引言

ChatGPT (3.5版本)是 OpenAI 开发的目前公认最强的智能对话机器人,不用过多介绍了。OpenAI 的早期员工离开之后建立了一个公司叫 Anthropic, Google 投资了3亿美金,这家公司的机器人就是 Claude,也是目前效果最接近 ChatGPT 的智能对话机器人。

今天在用这两个机器人做对比的时候发现,虽然 Claude 的中文水平有限,但回复风格却非常有趣,不像 ChatGPT 那么呆板。

本文在写之前做了一些对比测试,发现两者对话能力比较接近,但在创意写作方面区别很大,让两个机器人分别写了一段甄嬛体的情书和一个短篇科幻小说。个人的结论是在创意方面 Claude 完胜,具体请看后面的例子。

更新:由于 GPT4 已经出来了,在这里补充了 GPT4 和 Claude 的对比,GPT4 非常强,查看地址:文学测试

理解能力和推理能力

为什么可以通过写甄嬛体和科幻小说来评估对话机器人的能力水平呢?这就涉及到现在LLMs的最重要的2个能力,理解能力和推理能力。

一般不会有人针对甄嬛体和我的设定进行专门训练,所以这两个测试对模型来说都不算是特长任务。当然要注意通过少数例子来判断语言模型能力都是不可能的,本文只是一个很局限的对比。

好的,现在开始看结果。

甄嬛体写作

Prompt

下面是甄嬛体的几个例子:
例子1:方才在正想来老朋友已多年不见,也必定会想念彼此,若请你来小聚,应允的话就是极好的。念初我俩同窗数年,不敝风雪,情比金坚,此真也宛若在心。
例子2:方才见网店上一只皮质书包,模样颜色极是俏丽,私心想着若是给你用来,定衬肤色,必是极好的……
例子3:今日天气清爽,本是极好的日子,若能踏踏青,逛逛西苑,便是再好不过了。却偏恼人午觉一睡睡到晚上 9 点,负了个大好光阴。

请用甄嬛体写一段200字左右的故事,讲一只猫和主人相守一生

ChatGPT 的结果:

一只小猫被遗弃在街头,它流浪了很久,直到有一天被一位温柔的主人收养。从那天起,小猫和主人开始了相守一生的旅程。

小猫在温馨的家中过着幸福的日子,它和主人成了最好的朋友。每天,它都会蹭着主人的腿,咕噜咕噜地发出满足的声音。主人也会给它喂食,给它梳毛,和它玩耍。

时间过得很快,小猫和主人的友谊越来越深厚。它们一起看着日出日落,一起赏花闻草,一起度过了一个又一个温馨的夜晚。

然而,岁月如梭,主人渐渐变老,小猫也开始感觉到自己的身体变得不太好了。虽然它们都不愿面对这个事实,但是时间终究不会等待任何人。

最终,主人和小猫都离开了这个世界,但是它们的友谊却在永恒中延续。小猫和主人相守一生,并一起走过了人生的每一个阶段。虽然它们已经不在了,但是它们的爱和回忆却永远留在了彼此的心中。

Claude 的结果:

方才与老黄相识已20载,倘说起往事,更是悠长久远。初时它尚是黄家后院的一只小猫咪,尚未开眼,甫学行走,我便爱怜它那一身灰黄花斑,伶俐模样。从此它便与我主仆情深,相互依偎成长。

年复一年,老黄已渐渐体貌丰腴,而我亦逐渐当家,许下婚约,创业生子。老黄每每亦围绕在我身旁,见证着我人生点点滴滴。虽年岁已高,老黄亦已步入老境,身上的几道伤疤早已淡去,只余下一双英气顽强的明亮眼睛。我知它时日无多,却愈发难舍难分,每每看着它安心儿睡在我脚边,心中不觉有几分酸楚。今日再婆媳相聚于此,老黄仍带领小主人们玩耍。一群小朋友见了它竟惊道:“爷爷,这猫是不是很老了!”我不禁苦笑,既是,这真是许多年来,陪我走过风雨,我的这只老伙伴了。

可以看出:

ChatGPT 的描写是第三人称叙述,语言风格很难说是甄嬛体,文中也没包含太多情感,比较平淡。