第80章 標准答案≠正確答案！（2/2）

卡尔采夫大佬仿佛想把每个硬体知识拆开塞进他脑子里。

由於年代久远加上俄译汉的语境偏差和专业基础问题，书中很多细节內容，漆昊看得还是头疼。

他站起身，打算去喝杯水缓缓。

此时，陈工正守在几台嗡嗡作响的伺服器前，唉声嘆气。

“陈工，这是在干嘛吗？”漆昊端著杯子好奇走过去问道。

陈工一看是他，也就照实说了：“公司的任务，我在尝试训练神经网络。”

“汪总提过一个设想，认为未来的无人机必须装上眼睛，我们要实现室內的视觉自主定位悬停，甚至想让飞机底部的摄像头能自动辨识障碍物，自动锁定並跟踪一个移动的目標，想要解决这种计算机视觉和自適应控制难题，传统控制理论根本不行，唯一的出路，就是机器学习和神经网络。”

“那怎么样了？”漆昊好奇问道。

陈工嘆了口气，指著屏幕上缓慢爬行的进度条，苦笑道：“太慢了，用的是机载实拍图像数据集，解析度高样本量大，就这么个简单三层网络，一轮叠代也要跑上几个小时，这要是以后网络层数加深，光是调参训练就能把我们耗死。”

漆昊看著屏幕上几乎被占满的cpu使用率，心中突然动了一下，开口问道：“陈工，学术界和工业界现在为什么普遍用cpu来训练？为什么不找更高效的硬体？”

陈工听到这个问题，转过头来，耐心地解释道：“现在用cpu训练几乎是唯一的选择，cpu是通用处理器，它最擅长处理具有复杂分支的指令，神经网络在训练过程中，不仅有矩阵计算，还伴隨著大量的临时文件读写，內存控制流跳转，数据预处理等问题。”

“目前其他晶片，在处理这些复杂的控制流时，效率很低，会频繁卡死。”

“而且现在的神经网络训练需要耗费海量的內存来存储权重和中间激活值，我们的伺服器可以插上48gb甚至96gb的內存来支持。”

“可以说，用cpu来训练神经网络就是业界约定俗成的標准答案！”

说完，陈工见漆昊没什么反应，以为他累了，就拍了拍他的肩膀：“別整天把自己绷得太紧，这事儿你不用管，后天齐教授就会来开组会，检查我们上一阶段的工作进度，剩下的工作不多，没多久咱们这个课题基本上就能结题了。”

“我琢磨著，等组会开完，我带大家一块出去放鬆放鬆，附近新开了一家温泉山庄，去泡个温泉怎么样？去不去？”

泡温泉？

漆昊缓过神，脑海中浮现出一幅画面。

大冬天的，一个烟雾繚绕的池子里，挤著十几个平时不修边幅的糙汉，大家坦诚相见，在温水里泡著。

漆昊暗自打了个冷战，连忙找了个藉口：“陈工，我就不去了，怕水。”

陈工狐疑地上下打量了他一眼：“怕水？你一个一米八的大个子，泡个一米深的温泉池子，你怕水？”

漆昊乾笑两声，说：“之前呛过水。”

陈工立刻理解了，说：“原来如此，那这样，泡温泉取消，等开完组会，我带大家去整一顿最给力的海鲜自助，这总行了吧？”

“这个好，我举双手赞成。”

“那就这么定了！”

回到工位后，漆昊重新將注意力集中到了电脑上。

他翻了一会儿卡尔采夫的书，突然愣住了。

冷战时期，苏联的半导体工艺全面落后於西方，算力拉胯，可卡尔采夫硬生生靠著大规模同步並行架构，支撑起了国家级系统的超级算力。

陈工的说法在当下的工程界確实没错，神经网络训练中確实掺杂著数据读取等细碎的控制操作，这些任务高度依赖cpu强大的通用调度能力和复杂指令处理能力。

这也是为什么，如今不管是大厂还是高校，大家都老老实实地守著cpu训练。

他意识到，所有人似乎忽略了一个最基础的数学事实！

神经网络的核心算力消耗，从来不是那些细碎的控制流操作，而是海量的矩阵乘加运算！

也就是说，標准答案≠正確答案！

业界所有人都错了！