爱看中文

手机浏览器扫描二维码访问

437. 傲慢的代价（第3页）

倘若能够先发展国内计算设备，适配这种技术，就能够在制程等诸多硬件技术落后的情况下，达到更快的推理效果。

换言之，孟繁岐又一次将希望寄予了发展周期更长的硬件厂商，那么在这方面被其他人赶上，倒也不是什么奇怪的事情了。

虽然具体实现上稍显不同，但总体来说，DS完成了孟繁岐在技术上的两点宏观展望。

从其余的许多技术细节当中，孟繁岐可以很强烈地读到，他们的开发之路走得也并不顺利。

比如说混合专家MoE，很容易让一两个专家变成懂王，什么都要参与，很多其他的专家渐渐变成了挂件，貌似在参与，其实完全就是围观的观众。

如果增加额外的损失函数去调整它们，既增加了大量计算量，又极有可能影响到训练的主要目标本身。专家们的调度问题这个小问题影响到模型的能力这个主要问题。

DS最终完美地解决了这个问题，既没有额外增添损失计算优化，又使得各专家实现了负载均衡。

孟繁岐相信，这个最终简洁优雅的技术方案背后一定存在许多努力与艰辛。

而现在的closeai对这种付出是越来越排斥的。

比起花费许多的努力在某一个算子上优化20-30%的速度，他们更愿意多用一些显卡，多花一些时间。

既然英伟达暂时不直接支持FP8做这样的操作，那就先等等吧。

诸如此类的事情持续累积，使得后来者已经实质上实现了相当数量的技术超越，甚至是在孟繁岐较为关注的技术方向上。

而DeepSeek的坦率开源，也让孟繁岐动摇了closeai是否继续闭源的想法。

“若是我适当裁减一些已经沉迷安乐的技术人员，逐渐走向开源，对比海对面的OpenAI倒也算是奇景了。”孟繁岐想到这里也是笑出了声。

自从两国关系逐渐微妙，CloseAI的在美使用就收到了限制。原本标榜开源的OpenAI逐渐走向闭源，而最初就闭源盈利的CloseAI反而在考虑拥抱开源盛世。

这倒也称得上是另一种双向奔赴了。

同一时刻，比起一直在关注技术细节的孟繁岐，普通人更为在意的，则是R1这个模型，首次揭露了前沿高性能智能思考问题的逻辑脉络。