
xAI负责人埃隆·马斯克透露,公司预训练软件现已全面转为内部开发的C和C++代码栈。他在社交平台X上表示,拥有2.5万亿参数的Grok 4.8模型预计将于本周完成预训练,正式进入强化学习阶段。
马斯克强调,该底层软件由Starlink(星链)软件团队手工编写,“并非由AI生成”。他指出,当前AI能力尚不足以胜任高性能软件开发,但未来有望实现。相比之下,目前的强化学习堆栈仍“由许多不同的第三方系统遗留代码组成”,马斯克承诺将在“适当的时候”解决这一技术债务。
业界关注底层优化效率
这一技术路线调整引发了关于定制底层基础设施与高层级框架权衡的讨论。谷歌软件工程师Patrick C Toulme分析认为,xAI采用C++栈是其高效产出众多模型的关键原因之一,这显著提升了模型浮点运算利用率(MFU),即训练硬件的使用效率。
Toulme推测,xAI的实现方案可能包含“内联PTX”(英伟达低级GPU汇编语言),并暗示该代码栈可能在更强AI模型的辅助下生成。他进一步指出:“对于生产环境训练而言,对高层级框架的需求正在迅速消失,它们无法与代理编写的C代码栈竞争。”
马斯克证实了底层优化的方向,透露新代码栈使用了汇编语言,并直接调用英伟达流式多处理器中的硬件加速器,使软件能够更紧密地针对GPU硬件进行极致优化。
【星途科讯 图文丨周鑫雨 首发于ZAKER科技,转载请注明出处】







