第181章 论文通过!(2/2)
罗伯特看著论文第三部分的实验参数,稍稍沉吟了一下。
“按照论文里的设定,向其中40个节点注入隨机网络延迟。延迟范围设置在100毫秒到500毫秒之间,模擬极端恶劣的陈旧梯度环境。”
“明白。”
很快,两个博士后开始迅速按照论文之中的实验流程进行操作。
罗伯特將论文附件中提供的那段核心c++架构代码提取出来,亲自进行编译。
代码非常简洁,没有一行多余的冗余注释。
“这种代码风格……简直像是一台精密的机器写出来的。”罗伯特一边检查代码,一边在心里暗自惊嘆。
十分钟后,编译通过,没有报错。
“模型部署完毕。数据集使用標准的imagenet子集。”
戴维匯报导。
“开始运行测试程序。叠代周期设定为10000个epoch。”罗伯特下达了指令。
回车键敲下。
主控台屏幕上,黑色的终端窗口瞬间开始输出运行日誌。
三个人站在屏幕前,眼睛地盯著不断刷新的数据行。
隨著算力的持续满载输出,实验室里的空调系统自动加大了製冷功率。
二十分钟后。
终端日誌的滚动停止。一万次叠代周期全部跑完。
罗伯特亲自移动滑鼠,输入指令,调出了最终的训练loss收敛曲线。
曲线图页面跳出来。
整个曲线的形態,和论文中给出的实验数据图表情况几乎完全一致。
戴维和迈克两个博士后面面相覷,都能看到对方眼中的震惊。
困扰了他们实验室整整一年的异步网络收敛发散问题,就这样被乾净利落地解决了。
罗伯特教授站在屏幕前,看著那条红色的收敛曲线。
他推了推眼镜,深深吸了一口气,然后缓缓吐出来。
“没有任何造假。数学推导完美,工程代码落地完美。”
罗伯特的声音在机房里响起。
“这项技术一旦开源,未来五年內的大规模模型训练框架,都要在它的基础上进行重写。”
罗伯特转身回到自己的办公桌前。
他打开nips的內部审稿系统,找到赵阳那篇论文。
在最终的审稿意见栏里,他没有写长篇大论的评价。对於这种奠基级別的论文,任何修改意见都是多余的。
他直接勾选了最高级別的评价选项。
【strong accept】(强烈建议接收)
並在补充说明里敲下了一行字。