2026.10.19 仅代表专家观点,不代表任何投资建议。
1,近期市场传闻智谱将于10月底发布1.6T参数的新一代模型GLM-5.5,是否属实?新模型的具体规划如何?
该传闻不实。新一代基座模型的实际参数规模在2.5万亿至3.5万亿区间,模型架构较为激进,既要训得快,也要推得快,同时压低推理端成本,目标是在模型发布第一天即可提供大规模服务。据了解,已有多家云厂商开始就分成模式进行洽谈。为支撑这一激进方案,智谱补强了infra团队。
2,新模型的发布时间为何没有市场预期的那么早?
主要原因是基座训练前段时间并不顺利,训练过程中出现了loss不降的情况。激进的架构改进必然伴随较高风险。近期该问题应已解决,预计很快能够完成训练。从目前情况判断,下一代模型发布后将达到Fable级别的旗舰水平。
3,RSI和Loop等技术方向目前进展如何?
RSI已取得一些进展,但尚未成为模型能力提升的主力。Loop相关技术应已较早解决,估计会在某个版本中直接进入服务,公司在公开场合对此也有所提及。
4,国内厂商训练上万亿基座的模型面临的核心难点是什么?
据了解,国内各家模型厂商都在考虑5万亿参数规模的训练,训练难度显著加大。国内目前可能还没有一家能够完整、稳定地训练完成2万亿参数的模型。需要说明的是,“成功完成训练”和“训完一个模型”是两码事。
没有成功完成训练也就是常说的训崩了,超大参数模型训练中的“训崩”主要有两类:
loss spike:成因包括Attention logit growth、Output logit divergence、Stale optimizer state、Bad batch × bad state、Residual/norm growth以及Numerical overflow等。
loss不降:这类更棘手,表现为走平甚至逐渐升高。架构改动过于激进、模型参数过大、不同卡的数值精度差异都可能是原因。
模型越大,踩中这类不稳定的概率越高。最简单的例子是每层梯度求和,规模越大,溢出的可能性也就越大。
此外还有最后一种崩,要到后训练阶段才能体现出来,即后训练怎么都上不去。这种情况代价最大,只能下架重训。
从行业案例看,市场传闻Kimi K3的预训练数据并未全部过完,原因应是出现了loss不降,只能硬上后训练。但即便如此效果依然不错,也让行业看到了scaling的威力。另有传闻称DeepSeek V4属于后训练阶段才暴露问题的情况。智谱在后训练方面积累深厚,如果确实已经搞定了3T级别的预训练,后训练环节应当比较有把握,值得期待。
5,海外厂商的反蒸馏措施会对国内模型产生什么影响?智谱在数据和技术路线上如何应对?
近期Anthropic和OpenAI已经采取了反蒸馏措施,例如通过API报错和上下文篡改机制来限制蒸馏。这些举措将对依赖该路径的模型迭代产生较大影响,因此业内普遍判断,国内模型性能的大幅提升可能会受到限制。
就智谱而言,之前也有市场观点透露,智谱已经在局部解决了数据问题,并坚定走Claude体感路线,即通过持续的后训练来刷新和提升模型能力,包括在后训练阶段对任务环境的大量投入。例如GLM-5系列的一个基座模型可以使用半年以上,通过后训练工程化持续刷新能力。
6,下一代模型在推理优化上的进展如何?
此前大参数模型普遍面临"发得出、供不上"的问题,发布初期往往需要限流。新一代模型在设计阶段就把推理效率和推理成本作为硬约束,目标是发布首日即可大规模服务,这将直接改善旗舰模型的商业化节奏。
红包分享
钱包管理

