第177章 计算机深度学习（2/2）

他看了一会儿关於作业系统的英文原版专著，隨后登录海外代理，打开了美股交易软体。

此时正好是美股盘前交易时段。

赵阳开启了超凡心算状態，迅速接入纳斯达克的数据流。

在半个小时的盘前交易中，他敏锐地捕捉到了两只科技股的定价偏差，利用五十万美金的短线帐户进行了三次快进快出的操作。

赚取了大约八万美元的利润后，赵阳关闭了交易软体。

而此时，另外一边。

大洋彼岸。

美国，加利福尼亚州，拉霍亚。

这里是全球计算机科学领域的圣地之一。nips（神经信息处理系统大会，后改名为neurips）组委会的审稿办公室就设在这里。

距离本届nips大会的截稿日期还有最后两天。

大会的资深编辑兼审稿委员查理斯，正端著一杯美式咖啡，坐在电脑前。

他的邮箱里每天都会塞满来自全球各大高校计算机系和顶尖科技公司的投稿邮件。

查理斯如往常一样，按照收件顺序，机械地清理著邮箱里的稿件。

“又是关於同步梯度下降参数优化的论文……缺乏底层创新，拒稿。”

查理斯一边嘟囔著，一边快速扫过几篇论文的摘要，將其归入“拒稿候选项”的文件夹。在目前的硬体算力瓶颈下，大家都在现有的框架里打转，很难看到让人眼前一亮的突破。

他点击滑鼠，打开了下一封未读邮件。

发件人：yang zhao。

查理斯对这个名字没有任何印象。在计算机科学和深度学习这个圈子里，这显然是一个完全陌生的新人。

邮件正文极其简短，只有一句话：

“解决异步隨机梯度下降中梯度陈旧问题的一种新框架。”

查理斯看到这句话，眉头微微挑起。

眼神之中闪过一丝好奇。

“解决异步sgd的梯度陈旧问题？这倒是有些稀奇了！”

异步sgd的梯度陈旧问题，是目前整个分布式深度学习领域公认的最大痛点。

异步算法虽然能解决节点间的通信等待时间，但由於各节点计算速度不同，慢节点传回的“陈旧梯度”会严重破坏全局模型的收敛方向。无数顶尖实验室都在尝试解决，但从来没有实验室拿出来过相对完美的底层架构。

这个投稿人，口气未免太大了些。

而且这个投稿人，並不是什么知名人物——至少在计算机深度学习领域是这样的。

本想直接划走，但稍稍迟疑了一下，抱著万一的態度，查理斯点开了邮件下方的pdf附件。

论文標题：《一种用於超大规模神经网络训练的新型异步分布式框架》

查理斯喝了一口咖啡，態度隨意的开始翻看论文的摘要和引言部分。

一分钟后。

他放下了手里的咖啡杯。

十分钟后。

查理斯的身体坐直了很多，表情严肃了很多，他的眼睛盯著论文中关於动態时间戳惩罚机制的推导公式，一动不动。

“这种引入时间差作为衰减权重的数学模型……”

查理斯滑动滑鼠滚轮。