第135章 逻辑与生成的结合(2/2)
“但是。我的模型优势不在於『翻译』,也不在於『文本生成』的流畅度。”
现在的gpt模型,靠著海量的语料堆砌,已经是天生的语言大师了。让laart去跟它们比谁写诗写得好,谁翻译得溜,那是拿自己的短处去碰別人的长处。
laart的核心优势是什么?
是逻辑。
是永远不会说“猫是植物”,永远不会在做三段论推理时出现“a>b, b>c,所以a<c”这种弱智错误的严谨性。
“用翻译数据集测逻辑,就像是考爱因斯坦背单词,根本测不出智商。”
“我需要一套专门考『逻辑推理』的卷子。”
他在arxiv和github上飞速检索。
很快,几个备选方案浮现在眼前。
1. snli (stanford natural language inference):斯坦福自然语言推理数据集。给两句话,判断它们是“蕴含”、“矛盾”还是“中立”。这是最经典的nli任务。
2. squad (stanford question answering dataset):阅读理解问答。这个稍好一点,但也侧重於信息提取。
3. clutrr (compositional language understanding and text-based relational reasoning):基於文本的关係推理。
徐辰的目光最终锁定了最后一个数据集clutrr。
……
clutrr这个数据集很有意思。它会给你一段像绕口令一样的故事:
“爱丽丝的妈妈是鲍勃的姐姐,鲍勃的儿子是查理。”
然后问你:“爱丽丝和查理是什么关係?”
这不仅需要模型读懂文本,更需要在脑子里构建出一张“家谱图”,进行多次的逻辑推理,才能得出正確答案。
对於传统的transformer模型来说,这是个噩梦。因为transformer本质上是在算“词与词之间的相关性”,它並没有真正的逻辑推理模块。它可能会因为“妈妈”、“姐姐”这些词出现的频率,瞎猜一个“姨妈”或者“奶奶”。
但对於装载了“逻辑几何嵌入”的laart来说……
这简直就是送分题!
在徐辰的数学模型里,“妈妈”、“姐姐”、“儿子”这些关係,会被映射为向量空间里的几何变换算子。推导关係,不过就是做几次向量加法和包含运算而已。
“就选它了!”
徐辰打了个响指。
……
徐辰心情大好,转过身准备拿水杯喝口水。
然而,刚一回头,他就嚇了一哆嗦,杯子里的水差点洒出来。
只见身后,方博、薛超、刘鑫羽三个人,不知何时已经站成了一排。三人双手抱胸,六只眼睛直勾勾、阴森森地盯著他
空气安静得有些诡异。
“呃……”徐辰端著水杯的手僵在半空,嘴角抽搐了一下,尷尬地笑了笑,“你们……怎么都站在这儿?这么閒?不用学习吗?”
“学习?”
方博冷笑一声,痛心疾首地指著徐辰。
“徐神,你老实交代,你不在燕园那个独立公寓里待著,特意跑回咱们这又挤又乱的301,是不是就是为了回来装个逼?”
“啊?”徐辰一脸无辜,“我不是为了找你修开发环境吗?”
“修环境需要顺手修出一套人工智慧算法吗?!”方博悲愤地喊道,“你考虑过我们这些还在跟bug互啄的小萌新的感受吗?”
一旁的薛超也长嘆了一口气,走过来拍了拍徐辰的肩膀:
“老徐,真的,算兄弟求你了。以后这种装逼的活动,能不能去祸害別的宿舍?或者去图书馆、去食堂都行。”
“別一直指著我们301这几个人装了,大家都是两个肩膀扛一个脑袋,你这样显得我们真的很像游戏里来凑数的npc,很伤自尊的好不好?”
徐辰无奈地摇了摇头,忍不住笑骂道:“行了,別贫了。等我这个模型发了顶刊,请你们吃大餐,行了吧?”
“顶刊?”方博耳朵一动,瞬间变脸,一脸諂媚地凑过来接过徐辰的水杯,“哎哟,徐神大气!那我要吃西门那家日料!最贵的那种!来来来,水凉了我给您续上!”
“准了。”
“得嘞!徐神您继续忙,小的绝不打扰您修仙!”