来源|多知网
作者|王上
图片来源|言之画
比尔·盖茨上周二在圣地亚哥举行的ASU+GSV峰会上发表主旨演讲时表示:“AI聊天机器人将18个月内,可以做到教孩子阅读,辅导家庭作业。”
今年3月和4月,百度和阿里巴巴分别推出了自己的大模型。目前来看,百度的文心一言和阿里的通义千问均可以多轮对话、文本创作等。
未来,大模型将会朝着多模态(文本、图像、视频、音频等)继续发展,也将越来越逼近人类的智慧。
在不少专家学者看来,如果大模型足够成熟,将改变教育体系的核心要素,包括教育目标、知识获取方式等。所以,这波AI技术的爆发非常值得教育领域关注。
那么现在,各家的大模型进展到什么程度了?是否可以在学习或者教育领域直接利用呢?我们让百度的文心一言和阿里的通义千问PK了一下。
我们让文心一言和通义千问在高中英语翻译、初中数学题目、高中中文写作、代码生成、青少年心理辅导方向各出了一道题目,双方针对所有问题各自回答一遍,这样就总共是10道题目。
通过评测,我们看到了大模型在学习或教育类的问题上暂未成熟,尤其是数学这样要求精准的科目上,仍然需要继续训练。不过,我们依然看好大模型的未来,他们在教育领域的应用也是必然。
01
“作为出卷人”:题目正常、不算偏怪难
万万没想到,在出题上双方就迥然不同。以下是双方给出的题目:
点评:文心一言每道给出了A、B两套题,通义千问按要求给出了5道题。我们给了文心一言两次机会,它依然出了“A、B卷”,有些看不懂[挠头]……我们最后从每道题中选择了一道题,除了第4题外,其他题目都选择了A题目。
对于这5道题目,通义千问看起来更灵活,也更有针对性,更像一个“出卷人”。比如,第3题,出一道作文题目,跟通义千问的题目就非常像高考热门命题方向,是跟科技与人文相关的。从出题难度上来看,双方出的都比较偏简单。比如翻译题目,双方出的题目看起来都不像高中的英语题目。
来看他们下面的作答情况——
02
翻译题目
第一题英文翻译,文心一言的题目,是让把英文翻译成汉语:
点评:这个题目两个都翻译的大同小异,通义千问的会更具体。可能因为题目是文心一言出的,所以它直接翻译成了汉语。而通义千问会问是“翻译成哪门语言”,考虑得更周到一些。
来看通义千问出的这道翻译题目:
点评:文心一言翻译的是“请问我怎么读这个词?” ,通义千问翻译的是 “你能告诉我这个词是什么意思吗?”文心一言的翻译更准确一些。通义千问自己出的题却没有答好,有点匪夷所思。
要么跟通义千问换一个问法吧,回答如下:
越来越离谱了。。