第196章 谷歌的大模型框架（2/2）

首先就是transformer的论文，他们对deepflow做了全方位的针对，强行反著来。

deepflow的底层是动態稀疏注意力，只算强相关词对，跳掉无关计算。transformer反过来，每个词跟全句所有词全算一遍相关性。

谷歌试图证明稀疏不是必要的，只要给够算力，全自注意力自己就能学会哪些词该关注哪些该忽略。这让transformer不需要deepflow的注意力路由机制。

deepflow的位置编码是学习出来的，跟多模態注意力共享权重。transformer直接用正弦余弦公式硬算，完全不需要训练。

谷歌希望大家觉得位置编码简单到只用三角函数就够了，不需要deepflow那种跟多模態绑定在一起的复杂设计。

deepflow里信號根据输入內容自己选择走哪几个计算模块，transformer里每一层之后所有人走同一个全连接前馈网络，不挑信號类型。

谷歌號称堆足够多层之后，固定的前馈网络天然就做到了混合，不需要架构层支持。

deepflow从第一天就带了多模態注意力接口，transformer则只处理文本翻译。

谷歌希望先在纯文本上跑贏deepflow最不关心的翻译赛道，然后再宣布要往视觉和语音拓展。

deepflow靠架构效率，小模型跑高准確率。transformer论文不避讳计算量，虽然比deepflow的训练成本高出一个数量级。

但谷歌在论文里迴避了这一点，只说transformer可以被推到更准。

除了论文上的各种技巧，谷歌也发动了多年的关係网，首先就是开始抨击deepflow的商业化居然需要授权，开源不绝对就是没有共享精神。

transformer可是直接发了论文的，论文公布的那一天他们就相当於放弃了专利进攻性，並且谷歌同步把完整的实现代码全部发布了出来。

然后谷歌又上线了一个翻译接口，让中小开发者可以直接使用，不需要装框架。

然后谷歌派出了公司最有技术號召力的八个人，开始做全美学术巡演，开始到处派发免费算力劵，力求让所有相关学生都默认使用他们的transformer框架。

並且还专门设立了资金池，用於资助所有乐於把deepflow换成transformer的研究组。

不得不说，谷歌还是很强的，如果陈一然完全不管，谷歌就这么烧钱，还真有可能把deepflow活生生埋掉。

但是陈一然也不是很担心，因为transformer为了规避deepflow的影响，过於强调算力的暴力美学。

但是现在的硬体限制了他们，想做到比肩deepflow相当之困难。

而且谷歌始终不可避免的无法解决一个核心问题，那就是同等算力deepflow就是会更强。

谷歌的各种操作，顶多算是一种强行占座位。

陈一然只要保持自己的优势就可以了，或者说在各种事情上打击谷歌。

比如现在，苹果推出的鸭子全集通，他就准备好好的奶一口。

茉莉和陈一然在如海一般的论文库中，选中了几个很有意思的方向，稍加验证之后决定开始新的项目。

floweda已经有了足够的积累，是时候设计出自己的第一款晶片了，他要设计一款张量处理器卖给苹果。大幅削减在搜索和视频上面的成本。