文章目录
- 一、前言
- 二、Claude 3 介绍以及相关测试细节
- 三、在亚马逊云科技上体验 Claude 3
- 3.1 在 Amazon Bedrock 服务中配置 Claude 3
- 3.2 为聊天配置使用 Claude 3 模型
- 3.3 Caude 3 Sonet 聊天体验
- 四、文末总结
- 五、参考文献
一、前言
3月4号，Anthropic 发布了号称现阶段宇宙最强大模型 Claude 3，到底强到什么程度，直接看这张图即可。
发文时间点 Claude 3 Sonnet 模型现已在亚马逊云科技的 Amazon Bedrock 正式可用，本文第三节会介绍如何在亚马逊云科技上使用 Claude3 模型。
二、Claude 3 介绍以及相关测试细节
这次发布包括了三个版本：Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus，它们的能力从低到高。
首先是Haiku，它是市场上速度最快、成本效益最高的选择，对于大部分的纯文本任务表现出色，同时也支持多模态能力。
Sonnet 则比之前的 Claude 2 和 Claude 2.1 快两倍，并且智能水平更高。它擅长处理需要快速响应的智能任务，比如知识检索或者销售自动化。它在智能和速度之间达到了完美平衡，这对企业应用来说尤为重要。
Opus 是最顶级、最强大的基础模型，具备深度推理、高级数学和编码能力，在高度复杂的任务上表现出色。它能够流畅地处理各种开放式提示和新颖场景，包括任务自动化、假设生成以及图表、图形和预测的分析。适用于需要高度智能和复杂任务处理的场景，比如企业自动化、复杂金融预测、研究和开发等。
Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus的能力可以参考下面的图示：
在相关测评中，Opus表现出色，多项基准测试中的得分都超过了GPT-4和Gemini 1.0 Ultra，在数学、编程、多语言理解、视觉等多个维度上树立了新的行业标准。特别是在特定测试场景下，如研究生水平考试Q题解A和数学Q题解决上，Claude 3的表现优于GPT-4。比如，在zero-shot学习环境下，Claude 3的准确率达到了60%，超过了GPT-4的52%。
在 Babel.cloud 开源评估项目的 LLMRGB 项目中，Claude3 在单次测试中获得了高达97.6的高分，大大超过了GPT-4，成为当前大型模型能力的领先者。
要特别注意的是，在 LLM-RGB 评估中，015_simple_mahjong 是个超级难题。简单地说，大型模型被教了一些简单的麻将规则，还给了一些例子，然后要求在一个具体情境下做出选择。这个问题在以前的测试中很少有人能正确解答。不过，Claude 3 Opus 有20%的几率给出最佳解答，还有80%的几率给出次优解。这意味着它的多轮推理能力远远超过其他模型，能够快速学习并应用有限的知识。这使得 Claude 3 的应用领域不仅限于简单的客服和文本生成，它在工程过程更长的领域也能表现出色。
三、在亚马逊云科技上体验 Claude 3
3.1 在 Amazon Bedrock 服务中配置 Claude 3
目前，Anthropic 的 Claude 3 Sonnet 模型现已在亚马逊云科技的 Amazon Bedrock 正式可用。目前可以完全免费试用。
Amazon 上的体验服务入口：https://portal.cloudassist-beta.sign-up.china.aws.a2z.com/demo/qrcode?trk=KOCKOL
进入后无需注册账号，仅需要扫码进入 CloudAssist，然后点击限时试用即可，如下图
下一代 Claude (Claude 3) 的三个模型 Claude 3 Opus、Claude 3 Sonnet 和 Claude 3 Haiku 将陆续登陆 Amazon Bedrock。Amazon Bedrock 是目前第一个也是唯一一个提供 Claude 3 Sonnet 的托管服务。
在 Amazon Bedrock 服务中，点击下面的入门按钮
进入到 Amazon Bedrock 后，首先需要管理模型的访问权限，这后面需要申请所需的模型，在这个步骤直接点击 [管理模型访问权限] 按钮即可。
进入到模型列表页面后，可以看到 Amazon Bedrock 中内嵌了很多模型，不过这些模型默认没有配置访问，这需要你做访问请求，也就是继续点击配置模型访问权限操作。
进入到模型请求访问权限页面后，可以看到 Anthropic 公司的模型，在做请求之前，需要先提交应用场景。如下图
下面的信息是必填信息，需要填写后，按钮才会高亮，允许继续点击
在上一步点击提交按钮后，勾选所需的模型，这里直接全选了所有模型做请求。
最后请求过程中可能需要等待几分钟。等待请求完成即可。
3.2 为聊天配置使用 Claude 3 模型
在上述步骤配置好后，在 Amazon Bedrock 页面，选择聊天菜单，之后点击【选择模型】按钮，选择 Claude 3 模型。
进入到模型选择页面，选择 Anthropic 公司中的 Claude 3，点击应用即可。
3.3 Caude 3 Sonet 聊天体验
第一个问题我是直接问他使用pyhon写一个3次的循环，可以看出 Caude 3 不局限一种方式书写，并且将多个实现写出，后面并且给出的测试打印结果。可以说你后面想问的或者拓展的很好。
接下来我使用 Claude 3 进行了一个图片识别，并且让 Claude 3 进行了分析总结， 传给 Claude 3 的图片是一张中国地图，并且带有一些描述信息。
可以看到最后 Claude 3 给的分析总结非常精准，精准到我有点吃惊。
对图片进行识别的测试，我上传了一只猫，可以看到 Claude 3 不仅分析了动物是什么，还直接描述了这个图片中猫的场景动作。
另外一个让我吃惊的是，我上传了一张车的图片，让他识别出来车的型号，Claude 3 可以几乎精准识别。问题以及 Claude 3 的回答可以看下图。
四、文末总结
个人觉得，Claude 3 的超预期成功并不意味着 Anthropic 的能力已经完全超越了OpenAI。现在看 Claude 3 显然比 GPT4 更强大，但也许GPT-5 已经在 OpenAI 手中了。
然而，Claude 3 的出现表明大型模型领域不再由单一实体主导，也没有只有 OpenAI 才能创造的“核心魔法”。更多地涉及领先于工程能力和资源投入。大型基础模型之间的竞争为上层应用开发人员提供了更多选择，并将不可避免地带来更低的价格。从这个角度来看，无论 Claude 3 的成功被高估了多少，都带来了重要的行业价值和社会影响。
五、参考文献
- https://github.com/babelcloud/LLM-RGB
- https://llm-rgb.babel.run/view/testId/a581e4a9-ce1e-4b2f-8f45-980889913b58
- https://mp.weixin.qq.com/s?__biz=MzA4ODMwMDcxMQ==&mid=2651122739&idx=1&sn=667fcc30565cb1ba6510307747fbf78e
