AI高考作文大比拼。

今天,大模型都是高考生

2023-06-07 17:35:07发布     来源:多知网    作者:王上  

  来源|多知网

  作者|王上

  图片来源|Pexels

  又逢高考,每年作文都是社会关注的重点话题。作文的命题是选拔人才的风向,也体现了价值观的引领。

  在各家大模型征战的当下,高考可以说是一个真刀实枪的竞技场。多知网选取了北京卷大作文,要求二选一,以“亮相”为主题写一篇记叙文,或以“续航”为主题写一篇议论文。多知网分别让GPT-4、ChatGPT(3.5)、文心一言、通义千问、讯飞星火予以作答。

  在同一题目的竞技下,各家可以说都具备写作的能力,但是水平不一。

  从审题方面来说,文心一言还需提升,它写了两篇,没理解题目“任选一”的含义。

  有意思的是,提问方面,首先假设了各大模型就是一名高考生,没有设定身份。在这种情况下,GPT-4、ChatGPT(3.5)、文心一言、通义千问、讯飞星火都选择了写以“续航”为主题的议论文。

  在给了提示词,设定了“作文水平很高的北京高中生”的身份证后,有的大模型有所进步,有的则会更糟糕。值得注意的是,在设定了身份之后,只有GPT-4选择了以“亮相”为主题的记叙文。

  从体裁来看,各个大模型都理解体裁之间的区别,也给出了相应的书写要求。可以看到,记叙文的体裁更难一些,门槛更高。

  从文采来看,ChatGPT比较娴熟,GPT-4更胜几筹。

  GPT-4与ChatGPT相比,GPT-4能力更强,从理解能力、语言组织能力和流畅度等都高出几个维度。

  值得注意的是,除了ChatGPT之外,其余几个大模型均未提炼出有亮点的作文题目。

  以下为各家大模型的作答情况及点评:

  01

  考生姓名:GPT-4

  点评:结构完整,论点比较详实。

  加了提示词“作文水平很高的北京高中生”后再提问的效果——