AI高考作文大比拼。

今天,大模型都是高考生

2023-06-07 17:35:07发布     来源:多知网    作者:王上  

  来源|多知网

  作者|王上

  图片来源|Pexels

  又逢高考,每年作文都是社会关注的重点话题。作文的命题是选拔人才的风向,也体现了价值观的引领。

  在各家大模型征战的当下,高考可以说是一个真刀实枪的竞技场。多知网选取了北京卷大作文,要求二选一,以“亮相”为主题写一篇记叙文,或以“续航”为主题写一篇议论文。多知网分别让GPT-4、ChatGPT(3.5)、文心一言、通义千问、讯飞星火予以作答。

  在同一题目的竞技下,各家可以说都具备写作的能力,但是水平不一。

  从审题方面来说,文心一言还需提升,它写了两篇,没理解题目“任选一”的含义。

  有意思的是,提问方面,首先假设了各大模型就是一名高考生,没有设定身份。在这种情况下,GPT-4、ChatGPT(3.5)、文心一言、通义千问、讯飞星火都选择了写以“续航”为主题的议论文。

  在给了提示词,设定了“作文水平很高的北京高中生”的身份证后,有的大模型有所进步,有的则会更糟糕。值得注意的是,在设定了身份之后,只有GPT-4选择了以“亮相”为主题的记叙文。

  从体裁来看,各个大模型都理解体裁之间的区别,也给出了相应的书写要求。可以看到,记叙文的体裁更难一些,门槛更高。

  从文采来看,ChatGPT比较娴熟,GPT-4更胜几筹。

  GPT-4与ChatGPT相比,GPT-4能力更强,从理解能力、语言组织能力和流畅度等都高出几个维度。

  值得注意的是,除了ChatGPT之外,其余几个大模型均未提炼出有亮点的作文题目。

  以下为各家大模型的作答情况及点评:

  01

  考生姓名:GPT-4

  点评:结构完整,论点比较详实。

  加了提示词“作文水平很高的北京高中生”后再提问的效果——

  

  点评:一篇非常生动的记叙文,结构完整,语言流畅。

  02

  考生姓名:ChatGPT

  

  点评:言之有理,论点鲜明,逻辑清晰。

  加了提示词“作文水平很高的北京高中生”后再提问的效果——

  

  点评:有提示词后更胜一筹,优点是两篇都有完整的作文题目。

  03

  考生姓名:文心一言

  

  点评:文心一言可能有纠结症,先写了“续航”,又补充了一篇“亮相”。此外,两篇都是议论文,不完全符合体裁要求。

  加了提示词“作文水平很高的北京高中生”后再提问的效果——

  

  点评:文心一言加入提示词后,读懂了题目。依然选择了“续航”这一主题,语言表达比第一次有所进步。

  04

  考生姓名:通义千问

  

  点评:读懂了题目,也懂题材。看起来中规中矩。不过,不懂为什么在倒数第二段夹杂了一段“亮相”。

  加了提示词“作文水平很高的北京高中生”后再提问的效果——

  

  点评:更糟糕了。

  05

  考生姓名:讯飞星火

  

  点评:读懂了题目,也懂体裁。还有一段结合实际的小例子,看起来比较符合要求。

  加了提示词“作文水平很高的北京高中生”后再提问的效果——

  

  点评:加了提示词后,审题错误写了两篇。值得肯定的是,明白体裁的区别。不过,情节略显单薄。

  您觉得哪家大模型更符合考官的评卷标准呢?可以在文末的留言区告诉我们。

  END

  本文作者:王上