于确保模型精度之同时,显著降低显存占用,实现高性能推演表现。
摩尔线程表示,从GLM-4.6、GLM-4.7到GLM-5,摩尔线程已将“发布即适配”化为常态,此种对主流软件栈之无缝兼容与敏捷响应,充分证验之国产全功能GPU及MUSA软件栈之成熟度与稳固性,确保掘发者能第一光阴触达最新模型本领,从而携手共建蓬勃演进之国产AI性命。
(袁宁) 据介绍,依托第四代 MUSA 架构之广泛算子覆盖与性命兼容本领,摩尔线程已打通 GLM-5模型推演全链路,并释放 MTT S5000原生 FP8加速本领。
硬件层面,MTT S5000面向大模型操练与推演场景设计,单卡 AI 算力最高可达1000 TFLOPS,配备80GB 显存,显存带宽1.6TB/s,卡间互联带宽784GB/s,完整支 FP8至 FP64全精度计算。
亚运会。
基于 MUSA 全栈平台,该卡原生兼容 PyTorch、Megatron-LM、vLLM、SGLang 等主流框架,支万卡级操练集群与高并发于线推演部署。
2月12日,智谱正式发布新一代大模型 GLM-5。
同日,摩尔线程宣布,其旗舰级AI训推一体GPU MTT S5000已基于 SGLang 推演框架,Day-0成对 GLM-5之全流程适配与验证。
此次齐步适配也被视为国产全功能 GPU 对最新大模型实现“即时支”之重要案例。