第83章 搞纯数的这么逆天吗?(爆梗1.5w 2/3求首订)(2/2)
此时的他盯著屏幕上杂乱的线程索引公式,脑海中不断地闪过卡尔采夫在《计算系统与同步算术》中提到的那句关於“物理空间与计算拓扑对称性”的论述。
“不对,一定是我的思维方式还停留在传统的串行cpu上。”
漆昊想了一阵,觉得头疼。
硬钢下去太浪费时间了,他想到最近系统给的奖励,於是默念道:“系统,启动奖励灵感火花!”
【提示:检测到达瓦里氏正在遭遇学术与工程上的双重瓶颈,一次性道具灵感火花奖励已成功激活!】
一瞬间,漆昊只觉得自己头疼减轻了不少。
原本因为疲惫而產生的混乱,也逐渐被抚平。
紧接著,在灵感火花的加持下,漆昊觉得自己的思维运转速度比平时快了不少!
过往学习到的所有知识,一个接著一个冒出来。
不对,这些冒出来的知识,都是对他当前情况有用的!
“我明白了————”
“之前我之所以卡住,是因为我试图用cpu的分工逻辑去命令gpu,面对反向传播的写衝突,我不需要atomicadd锁,我完全可以用数学空间的对称性!”
针对反向传播梯度累加的衝突,漆昊在灵感火花的帮助下,直接用数学公式重构了算法,在卷积反向传播中,原本是每个输入像素的偏导数往输出矩阵的各个位置去散射累加,而漆昊反其道而行之,他让每一个gpu线程直接对准输出梯度的单点元素。
每一个线程独立负责根据偏置公式,从对应的输入特徵图及对应位置聚集读取偏导数,然后进行局部的规约求和。
这样一来,在整个反向传播计算中,所有的写操作全部变成了线程內部的局部寄存器写入,没有任何两个线程会同时写入同一个內存地址!
最让人头疼的atomicadd锁,被这套数学对称转换后,內存竞爭就消失了。
漆昊继续在忙著。
就在这时,陈工的电话响了。
陈工拿著电话匆匆走出去,隨后带了几个人进来。
“小漆人呢?”胡院长背著手,乐呵呵地四处张望。
“漆昊在里面磕难题呢。”陈工指了指最里面的工位,神色复杂地说道。
“哦?是什么数学难题啊?”
“不是,他好像在尝试基於cuda编写训练代码。”
“什么?”
宋启航诧异地挑了挑眉:“他不是学纯数学的吗?怎么跟程式设计师抢起饭碗来了?”
宋启航微微一愣,隨后无奈地笑了一声,摇了摇头:“cuda编程可不是闹著玩的,漆昊数学天分极高,他跑去折腾这个,简直是在白白浪费他的数学天赋啊,有这个时间,他多推导两个方程,价值也比写几行代码大得多。”
在宋启航看来,年轻人精力充沛,做出一定成果后,总喜欢往自己不熟悉的时髦新领域去尝试,这很正常。
但越是聪明的孩子,越容易在错误的道路上因为不服输而钻牛角尖。
他准备作为长辈和学界前辈,等会儿进去好好劝一劝漆昊,让他把心思放回正轨上,不要在写代码这种杂务上浪费了天资。
“咱们进去看看,要是他卡住了,我也顺便劝劝他。”宋启航温和地笑道。
一眾教授迈步穿过隔断,来到了漆昊身后。
然而,当他们站定在漆昊身后的一剎那,原本准备了一肚子劝告之词的宋启航,神色严肃了起来。
他身后那几位燕大的博士,更是一动不动地盯著漆昊的电脑。
“欸,这代码?!”
陈工盯著屏幕,整个人像是被施了定身法一样定在了原地,走不动了。
屏幕上的cuda代码正一行行飞速向下滚动。
他先以为是漆昊隨便乱打的,仔细一看,那些都是规范的代码!
更惊人的是那些核函数的逻辑。
“用im2coi配合cublas避开了多重循环,然后用共享內存的错位padding彻底消除了bankconflict,我的天,他在用数学思维解决这些问题?”
搞纯数的这么逆天吗?
曾工心情复杂。
这种將高等代数的矩阵对称性,与gpu存储层级的物理限制完美结合的代码设计,是一个纯数学生能写出来的?
“老陈你掐我一下,我是不是跑数据跑魔怔了,出现幻觉了?”曾工揉著眼睛。
陈工根本没有理会他,因为陈工此时也在看漆昊写的代码。
“你看他这手速,他都不思考的吗?感觉一刻都没停过!”
宋启航听著他们的对话,问:“小陈,这就是你说的,漆昊有一定的编程基础?”
“宋教授,我是真不知道!刚才他连显存合併访问都还没搞太懂,结果现在好像把之前遇到的困难全部克服了。”
至於怎么在短时间內克服的,他很想知道!
一时间,几位大教授和工程师们,就这么安安静静地排排站。
几位教授在原地站得双腿都有些发麻了,才捨得挪步。
因为腿不太舒服了,胡院长和王教授陪同著宋启航一行人,缓缓走出了实验室。
阳光洒在科大安静的小道上。
宋启航深深地吸了一口早春微凉的空气,认真地说道:“胡院长,我也不跟您藏著掖著了,从我们这次研討会结果可以看出,漆昊是个难得一见的天才。”
“他留在科大,虽然也很不错,但无论是学术资源,国际化学界地位,还是国家级顶尖课题的参与度,我们燕大,都绝对能给他提供更好的舞台。”
“这次回去之后,我们燕大数学学院一定会竭尽全力爭取他的加入,他是一个真正能改变一些东西的孩子,不应该被局限在这里。”
胡院长微微眯了眯眼,脸上依旧掛著那副招牌式的笑容,背著手不紧不慢地走著:“宋教授,燕大自然很好,这一点全国人民都知道,不过啊,孩子终归是长大了,有他自己的想法,强扭的瓜不甜,咱们做老师的,还是得看他自己的意愿嘛。”
宋启航微微一笑:“他还是个十八岁左右的学生,在面对人生重大的平台抉择时,难免会因为一时的情感羈绊而做出不那么理智的选择,但胡院长您是明白人,应该清楚,真龙如果一直困在浅水里,他的天赋也是会被无形的琐事和地方平台的局限给消磨掉的。”
“不管是清大也好,还是谁,我们都有信心爭取到漆昊。”
说完,宋启航礼貌地与胡院长王教授告別,带著他的团队走了。
胡院长的笑容渐渐收敛,他背著手,看著一颗沙沙作响的大树。
一直站在旁边没有说话的王教授,问道:“老胡,看宋启航这架势,燕大那边估计是要抢人了,咱们真就这么看著?”
“老王。”
胡院长忽然笑了,將双手背在身后,迈著有些八字步的步子,悠悠地往回走去。
“这件事校长早就预料到了,无非是看谁给的待遇更好,更合適漆昊罢了。”
“普林斯顿大学都有行动了,他们肯定急。