测试一下 Anthropic 宣称超过 GPT-4 的 Claude 3 Opus

news2024/11/16 17:56:50

测试一下 Anthropic 宣称超过 GPT-4 的 Claude 3 Opus

0. 引言
1. 测试 Claude 3 Opus

0. 引言

今天测试一下 Anthropic 发布的 Claude 3 Opus。

3月4日，Anthropic 宣布推出 Claude 3 型号系列，该系列在广泛的认知任务中树立了新的行业基准。该系列包括三款最先进的型号，按功能升序排列：Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。每个后续型号都提供越来越强大的性能，允许用户为其特定应用选择智能、速度和成本的最佳平衡。

Opus 和 Sonnet 现在可以在 claude.ai 和 Claude API 中使用，后者现已在 159 个国家/地区正式发布。

Claude 3 模型系列

在这里插入图片描述
以下是 Claude 3 型号与同行在多个性能基准 [1] 上的比较

强大的视觉能力

Claude 3 型号具有与其他领先型号相媲美的复杂视觉功能。它们可以处理各种视觉格式，包括照片、图表、图形和技术图表。我们特别高兴能为我们的企业客户提供这种新模式，其中一些客户拥有多达 50% 的知识库以各种格式编码，例如 PDF、流程图或演示幻灯片。

在这里插入图片描述
refer: https://www.anthropic.com/news/claude-3-family

1. 测试 Claude 3 Opus

题目是我之前写的让 OpenAI GPT4 出 10 道题测试其他开源大语言模型。

无图无真相，直接上截图，这样大家也可以自行判断一下效果。

import anthropic

client = anthropic.Anthropic(
    # defaults to os.environ.get("ANTHROPIC_API_KEY")
    # api_key="my_api_key",
)

def chat(content):
    return client.messages.create(
        model="claude-3-opus-20240229",
        max_tokens=1000,
        temperature=0,
        messages=[
            {"role": "user", "content": content}
        ]
    )

response = chat("<your question>")
print(response.content[0].text)