第128 章 沈默的优化（1/2）

会议室里安静了一瞬。

几个研发人员面面相覷，有人小声嘀咕：

“反馈路径？那是標准配置啊……”

沈默没有理会，继续说道：

“你们用的是时序差分误差作为反馈信號，这是dqn的標准做法。”

“但你们忽略了一个问题，那就是在这个场景下，环境状態的稀疏性会导致梯度消失。”

他走到白板前，拿起记號笔，快速画了一个简化的网络结构图。

“你们看，输入层到隱藏层的连接有四个，但隱藏层到输出层只有两个。”

“当环境反馈稀疏时，梯度反向传播到隱藏层就已经衰减得差不多了。”

“所以训练一周，准確率只提升3.7%。”

他放下笔，看向宋远：

“解决方案有两个：一是增加隱藏层的残差连接，让梯度有捷径可走；”

“二是改用ppo算法，用优势函数替代时序差分误差。”

会议室里瞬间没声音了。

宋远盯著白板上那张图，眼睛慢慢睁大。

“这……確实是。”他喃喃道，“我们怎么没想到……”

旁边一个年轻研发人员忍不住开口：

“可是残差连接会增加计算量，影响推理速度……”

沈默看向他：“推理速度的问题，可以通过模型剪枝和量化来解决。”

“而且这是训练阶段，推理速度不是首要考虑因素。”

“等模型收敛后，再对网络结构进行优化，把不必要的连接剪掉。”

那人张了张嘴，没再说出话来。

宋远深吸一口气，看著沈默的眼神完全变了。

更新不易，记得分享101看书网

“沈总，您……您是学计算机出身的？”

沈默淡淡一笑，“算是吧。”

他没再多解释，转身看向投影屏幕上的代码：

“把核心代码拷给我一份，我回去再想想。”

宋远连忙点头，“好的好的，我这就让人准备。”

几分钟后，一个研发人员递过来一个u盘。

沈默接过，转身往外走。

走到门口时，他忽然停下脚步，回头看向会议室里的眾人：

“对了，残差连接的实现，注意初始化方式，最好別用xavier初始化。”

说完，他推门离开。

会议室里已经一片死寂。

过了好几秒，才有人小声开口：

“他……他怎么知道我们在用xavier？”

另一个人喃喃道：

“而且连梯度消失、稀疏状態这些细节都一眼看出来了……”

“可是，这些都是咱们一起研究半个月的成果啊。”

宋远慢慢坐回椅子上，盯著白板上那张手绘的网络图，沉默了很久。

他是业內资深专家，在ai领域摸爬滚打了十几年，带过上百人的团队，发表过十几篇顶会论文。

可刚才那几分钟，他感觉自己居然像个门外汉。

那个小沈总……他之前只当是个靠著家族背景上位、对技术一窍不通的富二代。

可刚才那几句点拨，精准深刻得令人咋舌。

他刚才一直注意沈默的举动。

发现沈默连代码都没看，只是看了一眼架构图，就指出了核心问题。

这是什么样的技术功底？

他深吸一口气，开始正视这个“花花公子”了。

……

沈默回到办公室，將u盘插入电脑。