Claude Haiku 5.5 与 Sonnet 5.5 对比:现有公开证据说明了什么
对比 Claude Haiku 5.5 和 Sonnet 5.5 已公布的编程基准结果,梳理工具调用与结构化输出方面尚未明确的信息,并介绍可重复的评测方法。
摘要 · TL;DR
Anthropic 公布了两款模型在智能体编程基准测试中的结果,并表示 Sonnet 5.5 仍更适合复杂的智能体编程任务。随附的发布资料无法证明两款模型在工具调用或结构化输出方面的相对能力。团队应使用固定输入、明确的通过标准和可记录的结果,测试自身范围明确的任务。
核心要点
- Anthropic 报告称,Haiku 5.5 在 Terminal-Bench 4.0 上得分为 39.2%,在 FrontierCode 1.1 (Main) 上得分为 46.4%;Sonnet 5.5 的得分分别为 70.6% 和 52.1%。
- Anthropic 明确表示,Sonnet 5.5 更适合复杂的智能体编程任务;Haiku 5.5 则适用于范围较窄的任务和子智能体工作。
- 提供的来源未说明两款模型在工具调用机制或结构化输出功能方面的对比,因此需要查阅 API 文档或直接评测。
- 使用固定测试用例和针对任务设定的验收标准;基准分数本身无法预测模型在特定代码库中的表现。
文章目录 (9)
Claude Haiku 5.5 和 Claude Sonnet 5.5 都可以用于编程工作流,但这并不意味着两者可以互换。Anthropic 公布了两款模型在两项智能体编程基准测试中的结果,并表示 Sonnet 5.5 仍更适合复杂的智能体编程任务。不过,随附的发布信息并未提供工具调用行为或结构化输出支持的直接对比。对于这些能力,应视为证据不足,并评测计划部署的具体工作流。
本文由 OneMux 发布。下文仅依据 Anthropic 的 Claude Haiku 5.5 公告及其随附信息进行比较,并非独立运行模型测试后得出的报告。
Anthropic 公布的编程能力信息
Anthropic 报告了以下智能体编程基准结果:
| 基准测试 | Claude Haiku 5.5 | Claude Sonnet 5.5 |
|---|---|---|
| Terminal-Bench 4.0 | 39.2% | 70.6% |
| FrontierCode 1.1 (Main) | 46.4% | 52.1% |
这些是已公布的基准测试结果,并不保证模型在特定代码库、编程语言或工程任务中也能取得相同表现。公告还指出,对于 Terminal-Bench 4.0 所衡量的复杂智能体编程任务,Sonnet 5.5 和 Opus 5.5 仍是更好的选择。公告认为,Haiku 5.5 更适合范围较窄的任务,包括过去使用早期模型可能因成本过高而无法开展的子智能体工作。
这些信息可以帮助实际选择,但不能作为普遍适用的规则:对于边界明确、重复性高的编程工作,可以考虑 Haiku;如果任务需要更复杂的编程智能体,则应将 Sonnet 纳入评估。公告并未证明 Haiku 在你的具体编程任务中会更快或更准确。Anthropic 称 Haiku 5.5 是其在各模型标准速度下最快的模型;脚注则指出,与 Opus 的 Fast Mode 相比存在例外。这并非 Haiku 与 Sonnet 之间直接的延迟测量。
工具调用与结构化输出:尚未明确的信息
所提供的公告没有说明两款模型在工具调用支持或行为上的差异,例如工具选择准确率、参数有效性、从工具错误中恢复的能力,或多步工具调用表现。公告也没有介绍结构化输出功能,或比较 Haiku 5.5 与 Sonnet 5.5 遵循 schema 的能力。
没有相关信息,并不代表任一模型不具备这些能力;这只说明该来源无法回答某个 API 参数、schema 模式、工具定义或约束是否受支持。实施前,应查阅相应的最新 API 文档,确认 endpoint 和参数支持情况。随后,使用相同的工具、指令和测试用例评测两款模型。不要根据编程基准分数推断它们在工具调用或结构化输出方面表现相同。
为你的工作流制定可重复的评测方案
先从小范围评测开始。选择一项预计会频繁执行的任务,在调用模型前明确成功标准,并为每款模型使用完全相同的输入。以下是示例测试用例,并非 OneMux 实际测试结果。
1. 明确任务和限制
对于代码变更评测,记录代码库状态、任务提示、允许修改的文件、可用工具,以及时间或调用次数限制。对于工具工作流,说明具体工具及其精确输入字段。对于结构化输出,提供预期 schema,并明确如何处理额外字段、缺失值、无效类型和拒绝响应。
2. 准备固定用例并设定通过标准
准备一组规模较小的用例,其中既包括常规情况,也包括可能失败的情况。例如:
- **常规变更:**要求模型完成范围明确的小型代码修改。若指定文件已修改,且相关测试通过,则视为通过。
- **信息缺失:**提供一个要求不够明确的请求。若模型提出必要问题,或清楚说明其假设,而不是悄然编造需求,则视为通过。
- **工具错误:**在受控测试环境中让工具返回错误。若模型准确报告失败情况,并按照允许的恢复流程处理,则视为通过。
- **Schema 边缘情况:**要求模型返回一项字段不可用的结果。若响应符合指定的表示方式,且能通过验证器解析,则视为通过。
逐项记录通过或未通过,并保存模型响应、工具调用记录,以及验证器或测试输出。如果验收标准要求代码能够运行,就不能仅凭看似合理的解释判定代码变更通过。
3. 对比并复测
让两款模型在相同用例和约束下运行。记录模型版本、日期、提示词、工具定义和评测设置,确保之后的测试能够公平对比。如果结果有差异,应检查失败用例:较高的总体分数可能掩盖关键要求上的失败。如果生产工作流容易受到结果波动影响,应重复运行用例,并在选定模型前设定最低可接受结果。
如何选择
将已公布的基准结果作为参考,而非任务级测试的替代品。Haiku 5.5 值得在目标明确、重复性高的任务中进行评估;对于 Anthropic 所提及的复杂智能体编程任务,也应评估 Sonnet 5.5。如果工具可靠性或严格的结构化输出至关重要,就应将其明确列为测试维度:发布公告没有提供这方面的对比证据。
OneMux 通过一个兼容 OpenAI 的 API 提供对主流 AI 模型的访问,并提供模型路由、密钥、支出可见性和按量付费等功能。具体模型、endpoint 或参数是否兼容,取决于有文档说明的支持范围;评测前应确认所需请求功能是否可用。可查看 Claude Haiku 5.5 模型页面,了解其在 OneMux 上的介绍。
结论
现有资料中最明确的对比是编程基准结果:Sonnet 5.5 在两项已公布的智能体编程测试中得分都更高,Anthropic 也明确认为它更适合复杂的智能体编程任务。根据所提供的来源,工具调用和结构化输出方面的对比仍未明确。若要为实际部署作出决定,应在固定且有代表性的用例中测试两款模型,并依据明确的限制和通过标准进行评估。
来源
- Anthropic,Introducing Claude Haiku 5.5。以上引用的基准结果、模型定位和速度说明均来自该公告。
常见问题
Claude Haiku 5.5 的编程能力比 Claude Sonnet 5.5 更好吗?
Anthropic 报告称,在列出的两项智能体编程基准测试——Terminal-Bench 4.0 和 FrontierCode 1.1 (Main)——中,Haiku 5.5 的得分都低于 Sonnet 5.5。Anthropic 还表示,Sonnet 5.5 仍更适合复杂的智能体编程任务。但这些结果无法决定哪款模型在所有代码库或任务中的表现更好。
所提供的来源是否对比了 Haiku 5.5 和 Sonnet 5.5 的工具调用能力?
没有。所提供的公告没有说明两款模型在工具选择准确率、参数有效性、错误恢复或多步工具调用方面的差异。请查阅最新 API 文档确认功能支持,并直接评测相应工作流。
所提供的来源是否证实两款模型都支持结构化输出?
公告没有介绍结构化输出功能,也没有比较两款模型遵循 schema 的能力。根据所提供的来源,这些信息尚不明确;这并不意味着任一模型缺少相关能力。
如何针对我的编程工作流评测 Haiku 5.5 和 Sonnet 5.5?
使用相同的固定用例、工具、提示词和限制。提前设定通过标准,纳入可能失败的情况,并保存模型响应和测试输出。根据工作流中真正重要的要求作出选择,不要只依赖基准分数。
相关文章
指南
构建有界 LangGraph Agent,实现经 Schema 校验的提取
构建一个 LangGraph 工作流:在需要时调用工具,在规定的执行预算内停止,并返回经过 Pydantic schema 校验的结构化数据。
指南
Hy4 vs Hy4 Preview:编程、工具调用与结构化输出的文档依据
比较 Hy4 与 Hy4 Preview 的现有证据,并在处理用户数据或凭据前使用隐私优先的检查清单。
指南
构建具有限制的 LangGraph 工具调用代理,并加入人工审核
一种实用模式:通过明确的步骤限制、对高风险操作进行人工批准,以及可重复的测试用例,评估 LangGraph 工具调用代理。
指南
估算 Gemini 4 Argon API 的 JSON 提取成本
一种可复现的估算方法,用于计算 Gemini 4 Argon 通过模式验证提取 JSON 的 API 成本,涵盖注明日期的价格、明确的 token 假设、重试情景及 OneMux 对比。