ChatGPT劲敌现身:Claude3能总结15万单词,长文理解准确率超99%

澎湃新闻记者 张静 喻琰
2024-03-05 18:31
来源:澎湃新闻

·Claude 3能总结15万个单词,而ChatGPT只能总结大约3000个单词。用户可以输入大量数据集,并要求Claude 3以备忘录、信件或故事的形式进行总结。

·Claude 3 Opus是Anthropic最强大的新模型,在行业基准测试中的表现优于OpenAI的GPT-4和谷歌的Gemini Ultra大模型。Claude 3 Opus对长文的语境理解准确率超99%。

当地时间3月4日,美国人工智能初创公司Anthropic发布最新大模型Claude 3系列,该系列包含Claude 3 Opus(著作)、Claude 3 Sonnet (十四行诗)、Claude 3 Haiku(俳句)三个版本。其中,Claude 3 Opus是Anthropic最强大的新模型,在行业基准测试中的表现优于OpenAI的GPT-4和谷歌的Gemini Ultra大模型。这家初创企业过去一年融资五笔,总额约73亿美元,由OpenAI前高级成员创立,获得了谷歌和亚马逊的支持。

200秒看懂Claude 3:一键预测世界经济走势(04:00)
可总结15万个单词,长文语境理解准确率超99%

Anthropic表示,Claude3系列是目前市面上速度最快、性能最好的人工智能模型,在推理、数学、编程、多语言理解和视觉方面树立了新的行业基准。

其中,Claude 3 Opus是Anthropic最强大的新模型,在行业基准测试中的表现优于OpenAI的GPT-4和谷歌的Gemini Ultra大模型,尤其在大规模多任务语言理解数据集(MMLU)、研究生级别的谷歌验证问答基准(GPQA)、数学评测集(GSM8K)、编程多语言测试(HumanEval)等方面均超越了GPT-4和Gemini。

 Claude 3 模型与同行大模型在行业基准测试中的表现 

Anthropic在官网公布了Claude 3模型与其他模型在多项性能基准上的比较数据。数据显示,在MMLU上,Claude 3 Opus得到86.8%的得分,而GPT-4得到86.4%。一些差距则较大,例如在编程多语言测试上,Claude 3 Opus得到84.9%的得分,而GPT-4得到67%,这或意味着Claude 3 Opus对于新手学编程的更友好。

此外,Claude 3能够总结高达15万个单词,而ChatGPT只能总结大约3000个单词。用户可以输入大量数据集,并要求Claude 3以备忘录、信件或故事的形式进行总结,这一能力使得Claude 3在处理长文本方面超过ChatGPT。其中,Claude 3 Opus对于长文的语境理解准确率超99%,“在某些情况下甚至能识别出有哪些词句是人为插入到原始文本中的。”Anthropic在官网提到。

Claude 3 Opus对长文理解的准确度

Claude 3系列中的Haiku能在3秒内读取arXiv(arXiv是一个收集物理学、数学、计算机科学、生物学论文预印本网站)上一篇数据密集的研究论文,并附带图表和图形。

Claude 3强大的视觉能力
 

值得一提的是,与前几代模型相比,这也是Anthropic首次提供多模态支持,允许用户上传图片、文档、图表和其他类型的非结构化数据进行分析和回答,但Claude 3不能生成图像。

不过,Anthropic也在官网最后表示,尽管与之前发布的大模型相比,Claude3在生物知识、网络知识和自主性等相关指标上有所进步,但它仍处于人工智能安全等级2 (ASL-2)。Claude红队评估得出的结论是,目前这些模型带来灾难性风险的可能性非常小,但公司会持续监测未来的模型。

Anthropic拒绝透露训练Claude 3花了多长时间,也不愿透露花了多少钱。目前,Claude 3 Opus和Claude 3 Sonnet 已在全球159个国家上线,用户可在 Claude.ai 中使用,Claude 3 Haiku也将很快与公众见面。

Anthropic总裁丹妮拉·阿莫代(Daniela Amodei)表示,如果客户需要处理最复杂的认知任务,比如准确处理复杂的财务分析,他们会选择Claude 3 Opus,尽管价格更高。据路透社报道,Claude 3 Opus对输入的每100万token收取15美元。相比之下,OpenAI对其GPT-4 Turbo模型中输入的每100万token收费10美元。而Sonnet和Haiku比Claude 3 Opus更便宜。

创始人系OpenAI前高级成员,过往一年融资73亿美元

Anthropic是美国的人工智能初创公司,由OpenAI前高级成员丹妮拉·阿莫代和达里奥·阿莫代(Dario Amodei )兄妹于 2021 年创立,后者曾担任OpenAI研究副总裁。

Anthropic公司

据外媒报道,Anthropic公司创始人之一达里奥·阿莫代领导的一群研究人员因对OpenAI发展方向产生分歧而离开OpenAI,他们担心微软对OpenAI的首次投资会使其走上更加商业化的道路,从而偏离其最初对高级人工智能安全性的关注。

达里奥·阿莫代在领英上的介绍包括他曾担任Open AI研究副总裁和谷歌高级研究科学家。在OpenAI,达里奥·阿莫代从2016年工作到2020年,负责监督公司GPT-2和GPT-3语言模型的创建。

丹妮拉·阿莫代在创办Anthropic公司之前曾在Stripe担任风险经理,负责监管运营、用户政策和承保。后来成为OpenAI安全与政策副总裁,在确保人工智能技术的安全和道德使用方面发挥了关键作用。

Anthropic这家初创该公司将自己的产品定位为比ChatGPT更安全的替代品。过去一年Anthropic完成五笔融资,总额约73亿美元。据《金融时报》报道,谷歌在2023年2月向Anthropic投资约3亿美元。亚马逊公司于2023年9月向Anthropic投资40亿美元,作为战略合作伙伴关系的一部分。

亚马逊公司在一份新闻稿中表示,亚马逊计划在其产品和服务中使用Anthropic的人工智能技术,而Anthropic将依赖亚马逊网络服务作为其主要的云服务,并协助亚马逊开发其定制的人工智能芯片。亚马逊表示,作为交易的一部分,它将获得这家人工智能初创公司的"少数股权",但没有提供更多细节。

    责任编辑:宦艳红