都大学了，小学系统才来？ 第384节

　　“今天这个会议的目的，就是把各自的理解同步一下。“

　　“然后讨论具体怎么落地。“

　　他看向白迁和潘思：

　　“你们两个先说说，文档看下来有什么感受？“

　　白迁清了清嗓子。

　　“我先说吧。“

　　他的语气很认真：

　　“这份文档我前后看了差不多五六遍。“

　　“坦白说，里面的内容对我冲击挺大的。“

　　他顿了顿：

　　“不是说难度有多高——里面涉及的大部分计算机方面的知识点，其实本科毕业就能学到。“

　　“真正让我震撼的，是陈总把这些东西组合在一起的方式。“

　　“以及最终呈现出来的那个架构设计。“

　　潘思点了点头。

　　“我同意。“

　　他接过话头：

　　“尤其是梯度版NDP的那部分。“

　　“用稀疏注意力机制来近似完整的消息传递。“

　　“再结合我们已有的线性复杂度架构......“

　　“这个思路真的很巧妙。“

　　陈林笑了笑。

　　“理解得挺透彻的。“

　　他转向白板。

　　开始画示意图。

　　“我先简单说一下核心理念吧。“

　　他一边画，一边讲：

　　“神经发育程序的核心思想，是让网络自己'长'出来。“

　　“而不是像传统方法那样，预先设计好架构再训练。“

　　他在白板上画了两个对比图。

　　“传统方法是这样的——“

　　他指着第一个图：

　　“先定义网络结构。“

　　“多少层，每层多少神经元，用什么激活函数......“

　　“这些都是预先定好的。“

　　“然后喂数据，调参数。“

　　“架构是死的，只有权重是活的。“

　　他又指向第二个图：

　　“而神经发育程序不一样。“

　　“它从很小的种子网络开始。“

　　“根据数据的特点，自己决定要长成什么样子。“

　　“遇到什么问题，就长出什么结构来解决。“

　　白迁点了点头。

　　“这个理念我理解。“

　　他说：

　　“但问题是，怎么和我们现有的YanHai架构结合？“

　　这个问题问到了点子上。

　　陈林放下马克笔。

　　“这就是我想和大家讨论的核心问题。“

　　他看向白迁和潘思。

　　“我的想法是分两步走。“

　　他伸出两根手指：

　　“第一步，先用我们已经验证过的YanHai架构作为'基础骨架'。“

　　“这个骨架是固定的。“

　　“保证了基本的性能和稳定性。“

　　“第二步，在这个骨架之上，引入神经发育程序的机制。“

　　“让网络在训练过程中，自己'长出'一些额外的模块来处理特定类型的问题。“

　　潘思若有所思。

　　“你是说......混合架构？“

　　“可以这么理解。“

　　陈林点头：

　　“YanHai提供了低复杂度的计算框架。“

　　“神经发育程序提供了自适应的生长能力。“

　　“两者结合，理论上能实现1+1大于2的效果。“

　　白迁陷入了思考。

　　作为架构创新派的代表。

　　他对这个想法非常感兴趣。

　　“如果真的能做到......“

　　他喃喃道：

　　“那这个模型就不只是一个静态的大模型了。“

　　“它会是一个能够持续进化的系统。“

　　“没错。“

　　陈林说：

　　“这才是我真正想做的事情。“

　　他的目光扫过在场的每一个人。

　　“训练一个很强的模型，然后部署上线——“

　　“这是现在所有大模型公司都在做的事情。“

　　“但我想做的不止于此。“

　　他的语气变得郑重：

　　“我想做一个能够自我进化的系统。“

　　“今天的模型和明天的模型不一样。“

　　“它会根据新的数据、新的交互，自己变得更强。“

第三百零一章 YanHai-30B推广

　　办公室里安静了几秒钟。

　　所有人都在消化陈林刚才说的话。

　　孙宇忍不住开口了。

　　“陈总......“

　　他的语气有些不确定：

　　“您说的这个......是不是有点像科幻电影里的那种AI？“

　　陈林笑了笑。

　　“差不多吧。“

　　他说：

　　“当然，我不确定我们现在做出来的模型能到达什么水平。“

　　“但我相信这是AI发展的未来。“

　　孙宇听到这话，眼睛亮了起来。

　　虽然他技术水平一般。

　　但科幻影视作品他可是看了不少。

　　什么《终结者》、《黑客帝国》、《西部世界》......

　　里面那些能自我进化的AI，不都是反派吗？

　　等等......

　　孙宇的表情忽然变得有些微妙。