第70章 顶级论文的工具请求（1/2）

周六下午，陈一然隨便找了把枪塞进后腰的枪套，开车去了斯坦福。

coupa cafe就在斯坦福计算机科学楼的东侧，门面不大，里面挤满了拿macbook的学生，墙上贴满了各种学术海报和讲座通知。

咖啡机蒸汽的声音和键盘声混在一起，颇具浪漫主义色彩。

现在还没有网红打卡点的说法，但是毫无疑问coupa cafe已经有了这个潜质。

陈一然推门进去扫了一圈，先看到了亚当·考特斯，和网上的照片一样。一头深棕色捲髮，整体穿著非常刻板印象，就差一个格子衫就可以完成硅谷的默认形象。

令人惊讶的是，他身边坐了个四十岁左右的男人，是一个戴著无框眼镜的华裔面孔，正是学术泰斗吴恩达。陈一然本以为这次只会见到考特斯，交流几次之后才会见到吴恩达。

毕竟先让下面的科研民工小博士去找人探路，看看好不好交流才学术圈常规。

陈一然一边过去打招呼，一边在脑中和茉莉调侃了一句：茉莉，你的老师来了，甚至可以说是启蒙老师吧。

【严格来说，我是基於你的大脑模型运行的，各种记忆也储存在你的大脑中，他不是我的老师，是你的。】

这边吴恩达却是很热情，和陈一然確认了身份之后，主动开始自我介绍。

“嘰里咕嚕咕嚕嘰里，咕咕嘎嘎，咕呱咕呱，嘎嘎噠噠，嘻嘻呼呼。”

陈一然感觉自己头都大了，他能隱约中感觉出吴恩达说的是中文，但是吧，这奇怪的声调，这猥琐的腔调，这莫名其妙的转音，堪称灾难啊。

陈一然大概愣了十秒钟，实在是不知道怎么回话，直接骂教授抹黑中国文化，会不会不太好？

对面的吴恩达看了出来他的无奈，只好有点不情愿的切换回英文说：“抱歉啊抱歉啊，我这不是最近偶尔也自己练练中文，我考虑之后有机会可以去中国发展一下的，看样子不怎么成功啊。你有什么建议，哪里不好需要改？”

陈一然麻瓜了，这怎么改，这整段都是乱码啊。但是，也不能驳了教授的面子啊，只能绞尽脑汁，硬著头皮夸了几句。

“哪里哪里，还可以的，至少我听出来了是中文，声调上至少没有破音，再练练再练练肯定行的。”

考特斯在边上有点无奈，非常想假装不认识自己导师，但是又怕再过十年也毕不了业，只好死命的憋著笑。

吴恩达开始把话题转到正事：“感谢你周末还跑一趟，考特斯给我看了你的deepflow，我们组试跑了三个实验，gpumat的瓶颈全消失了。所以我直接跟过来了，有几个事想当面跟你聊。”

“能帮上忙也是我的荣幸，我之前在网上看过您的课的，严格来说您也是我的老师。”

吴恩达没有废话，直接从书包里掏出一个thinkpad，屏幕上打开了一份代码文件，准確地说，是好几千行matlab代码，中间嵌著零星的cuda kernel。陈一然看了两眼，基本上看不明白，全是各种矩阵操作的英文注释。

“这是我们过去两年写的无监督特徵学习代码，quoc le和adam从2008年开始搭的框架。简单说就是，多层稀疏自编码器，局部感受野，一层自定义的归一化层。在gpumat上跑的。”

他换了张图，是一个模型结构图。输入层从stl-10读图像块，往上叠了四层自编码器，每层有自己的稀疏约束，不是全连接的。

“我想把这些全部移植到deepflow框架上。gpumat已经撑不住了，我们想赶neurips的截稿日，大概是九月初，现在七月中，按gpumat的速度，论文肯定赶不上。”

“所以需要我帮您改什么？”

“不是改什么，是你的框架里还缺三样东西。没有这三样，我们的模型移植不过去。”

吴恩达拿了张纸，把缺的东西一个一个列了出来。

“第一个，稀疏约束算子。我们的自编码器中间层有稀疏激活约束，反向传播的梯度计算跟普通全连接层不一样。deepflow现在只有基础的dense，卷积和池化这三个算子，没有这个。

第二个，自定义感受野。我们的模型用的不是標准卷积。不是3x3的核在图上滑窗，是每个输出神经元固定连输入层的一块局部区域，而且不共享权重。

第三个，白化归一化。我们对每层激活值做零相位成分分析白化，梯度要通过奇异值分解回传，这个跟现在任何框架里的都不一样。”

吴恩达把thinkpad合上，非常期待的看著陈一然。