第70章 顶级论文的工具请求(2/2)
“你如果能给deepflow加上这三个算子,我们整个组就能在两周之內把代码栈全部切过来。如果你加不了,我也不怪你,毕竟是开源框架,没义务给我们定製。
但我们可能就得用gpumat硬撑过九月了嘍,可怜我们这些人的心血了,居然没有人帮忙,唉不帮忙的人真的是太无情了呢……”
…………
陈一然有点无语,但还是在心里问了一句:茉莉,这三个东西你搞得定吗。
茉莉的回答很快:【稀疏约束的反向传播是一层自定义梯度的链式求导,十几行cuda加几十行python包装。感受野是个特殊矩阵乘法,本质上是个分块矩阵乘的变体。白化复杂一点,奇异值分解回传梯度需要数值稳定性处理,但也就是多写两百行的事。】
陈一然明白了:懂了,你的意思是你都能搞定是吧,你这语气真够凡尔赛的。
【並没有凡尔赛,不过確实不难。半小时。测试和跑分调参需要半天,但单纯把算子写出来,半小时就够了。】
吴恩达和考特斯两个人看著他沉默的那几秒,大概以为他在评估工作量。
吴恩达作为学术泰斗,脸皮也是足够厚的,开启了各种花式捧杀。
陈一然赶紧抬起头说:“大致想了一下,应该没问题,今天晚上我就能给你。”
“今晚?”
“对,三个算子的cuda实现加python接口,今晚发到你邮箱。”
“你確定吗?”
吴恩达查了查眼睛一会的问:“我不是怀疑你的能力。但我们自己评估过,这三个算子如果让一个人写,从学习deepflow的扩展api到调试完,至少两周。加上白化的数值稳定性问题,保守一个月吧。”
“哈哈,天才,总是异於常人的。”
这句话说出来之后,他自己都觉得有点囂张。但问题不大,以后他还会震惊世界很多次,天才人设已经是必然的了。
吴恩达把thinkpad的盖子合上了,想了下,做了个保证
“如果你今晚能搞定,我们下周三的组会上你做一次demo。就在gates楼,我们实验室有四块特斯拉c2050。你带著新版本的deepflow过来,现场移植我们的模型,你的框架成功跑通。在neurips论文的工具段会被引用。”
“好的,我回去儘快搞定。”
陈一然回家路上很是开心,吴恩达可不是一般的学者,他的很多课程可以说已经成为了这个方向的基础课程。
deepflow框架在他这里被引用进论文,几乎意味著马上就会被所有企业关注,很多企业会直接找人尝试运用。
甚至,这应该也算吴恩达欠了他一个小人情,別的不说,以后招人的时候都容易很多。斯坦福相关专业的学生,哪个没听过他的课。甚至不是斯坦福的,又有哪个学过他的课呢。
陈一然甚至刚才一度想,更深入的参与进实验,来博取一个署名。毕竟,按照学术惯例,工具和基础公选都会单独感谢和註明。做了工具,你只能说修了路,不能把比赛的成果也占据一部分。
但是最后陈一然犯懒了,都已经財富自由了,哪还有那么大的动力奋斗,陈一然现在还坚持创业已经是顶级毅力了,换別的穿越者没准已经躺平享受人生了。
到家中,还是固定的流程,冰可乐冰淇凌准备好,让茉莉全力出击。
【第一个算子,稀疏约束。梯度链式求导的cuda实现,我们开始吧。】
写了大概七八十行cuda,茉莉让他切到python文件,写了一层包装。然后第二个算子,局部感受野的矩阵乘法。茉莉说这个本质上是个分块矩阵乘,但要绕开標准卷积的核滑窗机制。
最后四单个是最费时间的,白化归一化的奇异值分解回传,茉莉想了一会,设计了一个对角线小量正则化,用来防止梯度爆炸。
茉莉確实没吹牛,这些工作在他这確实不算难。加上陈一然经过多次磨练,现在打字速度已经可以笔尖专业速记,不到半个小时,就搞定全部修改要求,陈一然发到了吴恩达留给他的邮箱。
陈一然感觉,再过一两周,他的floweda应该就不是籍籍无名的小公司了。