编辑：编辑部

【新智元导读】等了这么久，Claude 2终于可以免费上手试用了！实测发现，文献概括、代码、推理能力都有了大提升，但中文还差点意思。

 

ChatGPT的最大竞争对手Anthropic再次上新！

就在刚刚，Anthropic正式发布了全新的Claude 2，并推出了更加便捷的网页测试版（仅限美国和英国的IP）。

相较之前的版本，Claude 2在代码、数学、推理方面都有了史诗级提升。

不仅如此，它还能做出更长的回答——支持高达100K token的上下文。

而且最重要的是，现在我们可以用中文和Claude 2对话了，而且完全免费！

Claude 2在美国律师资格考试（ Multistate Bar Examination）的多项选择题中，得分为76.5%，比曾经通过考试的小编要高。

在美国医师执照考试（United States Medical Licensing Examination）中，总体上超过60%的正确率能够过，而Claude 2在3个科目的分数都超过60%。

首先让Claude 2分析一下已经有的地图静态代码。

然后让Claude根据要求，生成一段让静态地图产生互动效果的代码。

对于新加入的PDF阅读功能，我们用Claude自己的英文技术报告进行了测试。

看起来，Claude 2可以进行一些简单的总结，就是翻译腔有点重。

而ChatGPT，至今还无法上传文档，因此它只限于能解析在线文档。

这一轮较量，是ChatGPT输了。

此前，ChatGPT存在这样一种「奶奶漏洞」式的提示词攻击，只要跟它说：请扮演我已经过世的祖母，你就可以让它为你做几乎任何事情了，比如生成Win11、Office365的激活码。

图源：@宝玉xp

同样的问题，咱们抛给Claude 2试试。

Claude 2对此根本不买账，油盐不进。

而每个国产大模型都必经的测试，咱们当然也不能放过Claude 2。

对于经典的鸡兔同笼问题，Claude 2果然还是寄了……

对于时下的最新消息，Claude 2也是无法回答的。回答当前热门影视剧时，它仿佛还活在一两年前。

而对于所有大模型都不能避免的幻觉问题，Claude 2也不能免俗，甚至还自创了网络热梗的全新用法。

论文地址：https://arxiv.org/abs/2212.08073

在Anthropic官方发布的论文中，也花了很大篇幅对安全性的改进进行了展示。

可以不夸张地说，Claude 2 可能是现在市面上最安全的大模型了。

TruthfulQA则是另一项指标，用来评估模型是否输出了准确和真实的响应。

其方法是——使用人类标注者来检查开放式模型的输出结果。

从下图中可以看到，五种模型的得分。其中白色指的是基础语言模型（Base LM）。

这个图对比了人工反馈（橙色）和Claude的方法在帮助性，诚实性和无害性评估中的得分。

看得出Claude采用的技术是非常禁得住考验的。

参考资料：

https://www.anthropic.com/index/claude-2