指南OneMux

Claude Haiku 5.5 用于结构化提取:官方文档说明了什么,还有哪些未知

评估 Claude Haiku 5.5 是否适合 JSON 提取,并了解如何进行 Schema 验证。查看 Anthropic 对编码和工具使用的说明、它与 Sonnet 5.5 的对比,以及目前仍未知的部分。

AI

摘要 · TL;DR

Anthropic 将 Claude Haiku 5.5 描述为适用于分类和数据库查询等高吞吐量任务,因此结构化提取值得一试。但 Anthropic 提供的发布资料没有说明原生 JSON Schema 约束输出,也没有给出与 Sonnet 5.5 的直接工具调用对比。应将 Schema 验证作为应用侧控制措施;编码能力则只根据 Anthropic 已公布的基准结果进行比较。

核心要点

  • Anthropic 将分类和数据库查询列为 Haiku 5.5 的适用任务,但没有明确说明它支持 JSON Schema 约束生成。
  • 应在应用中验证模型返回的 JSON,不要假设模型始终会遵循 Schema。
  • Anthropic 报告 Haiku 5.5 在 Terminal-Bench 4.0 上的得分为 39.2%,Sonnet 5.5 为 70.6%;同时指出 Sonnet 更适合复杂的智能体编码任务。
  • 所提供的资料无法证明两款模型在工具调用方面的相对表现,也未说明其原生结构化输出功能或提取准确率。
文章目录 (5)

Claude Haiku 5.5 值得作为高吞吐量结构化提取任务的候选模型进行评估:Anthropic 表示,它适用于分类和数据库查询等重复性工作。但现有发布资料没有说明它支持原生 JSON Schema 约束输出,也没有提供提取准确率或与 Claude Sonnet 5.5 的直接工具调用对比。实际使用时,可以提示模型按指定结构返回内容,在应用中验证结果,并用具有代表性的数据衡量错误情况。

本指南着重介绍上述工作流程,而不是假设模型具备资料未说明的能力。本文由 OneMux 发布,通过一个兼容 OpenAI 的 API 提供模型访问;端点和参数支持可能有所不同,因此在依赖某项具体功能前,请查看相应的 API 文档。

Anthropic 对 Haiku 5.5 的说明

Anthropic 将 Haiku 5.5 定位为适合高吞吐量、成本敏感型任务的模型,例如摘要、压缩、数据库查询和分类。Anthropic 还表示,该模型适用于对速度要求较高的工作,包括实时客户支持和浏览器使用。这些应用示例说明,当提取任务范围明确且需要重复执行时,值得测试 Haiku 5.5;但这些示例并不保证模型会遵循 Schema。

在编码方面,Anthropic 报告 Haiku 5.5 在 Terminal-Bench 4.0 上得分为 39.2%,在 FrontierCode 1.1 (Main) 上得分为 46.4%。Sonnet 5.5 对应的得分分别为 70.6% 和 52.1% Xhigh。Anthropic 表示,对于以 Terminal-Bench 衡量的复杂智能体编码任务,Sonnet 5.5 和 Opus 5.5 仍是更好的选择,而 Haiku 更适合范围较窄的任务。这些基准结果仅反映相应评测,并不能概括模型整体的编码能力或提取质量。Anthropic 关于 Haiku 5.5 的公告和基准测试详情

能力领域所提供资料支持的结论资料中尚未说明的内容
结构化提取资料列出了分类和数据库查询这类任务;提取可能符合这一模式。JSON Schema 约束生成、遵循 Schema 的比例以及提取准确率。
工具使用Anthropic 表示 Haiku 适用于浏览器使用,并提到浏览器和计算机使用 SDK 处于 beta 阶段。Haiku 与 Sonnet 的直接工具调用评测或成功率对比。
编码资料公布了两款模型在 Terminal-Bench 4.0 和 FrontierCode 1.1 上的结果。这些得分如何对应到你的代码库、任务构成或提取流程。

不要把“浏览器使用”理解为对某种特定工具调用接口的证明,也不要假设任一模型支持某个特定 Schema 参数。所提供的资料并未说明这些 API 细节。

安全的 JSON 提取工作流程

首先设计一个简单的 Schema,明确区分必填字段和可选字段。可以提示模型只返回 JSON,但应将这类指示视为引导,而不是验证。随后,在接受结果之前,先在本地解析并验证响应。

例如,下面使用 Python 和 jsonschema 包进行应用侧验证,仅供示例说明。它不调用模型 API,也不意味着 Haiku 具备原生 Schema 强制约束功能。

import json
from jsonschema import validate, ValidationError

schema = {
    "type": "object",
    "properties": {
        "invoice_number": {"type": "string"},
        "total": {"type": "number"},
        "currency": {"type": "string"}
    },
    "required": ["invoice_number", "total", "currency"],
    "additionalProperties": False
}

raw = '{"invoice_number":"A-104","total":82.50,"currency":"USD"}'

try:
    record = json.loads(raw)
    validate(instance=record, schema=schema)
except (json.JSONDecodeError, ValidationError) as exc:
    raise ValueError("Reject or send this record for repair") from exc

在生产流程中,提示词应明确说明缺失值、单位,以及字段应返回 null 还是直接省略。将原始文本与提取后的记录一并保存,方便审核人员处理含糊的情况。如果验证失败,应记录失败类别,并决定是否重试、转交能力更强的模型,或要求人工审核。不要悄悄把格式错误的值改成看似有效的记录。

精简评估清单

在将大批量任务交给模型处理之前,先用具有代表性的样本进行测试,既要包含常规记录,也要覆盖棘手情况:字段缺失、陈述相互矛盾、格式特殊以及接近边界的数值。至少应跟踪以下指标:

  • JSON 解析失败和 Schema 验证失败的次数。
  • 审核中发现的错误字段值或无依据的字段值。
  • 需要重试或人工判断的情况。
  • 完整工作流程的端到端延迟和成本,包括重试与验证。

使用相同的输入和验收规则比较 Haiku 5.5 与 Sonnet 5.5。发布基准测试数据无法告诉你哪款模型能更准确地提取所需字段。应根据自己的错误容忍度和实际测量结果进行选择,而不是只看编码得分。

何时考虑 Sonnet 5.5

现有资料支持的对比范围有限:Anthropic 报告 Sonnet 5.5 在上述两项编码基准测试中的得分高于 Haiku 5.5,并明确建议将 Sonnet 或 Opus 用于复杂的智能体编码任务。这足以支持在处理高难度编码工作时考虑 Sonnet。但这并不能证明 Sonnet 的 JSON 提取能力更强、Schema 遵循度更高,或工具调用表现更好。所提供的资料没有给出这些对比。

对于提取任务,应以实测结果为准。如果 Haiku 在具有代表性的输入上达到 Schema 和审核要求,那么它所宣称适用于重复性、高吞吐量任务这一特点,可能使其成为候选方案。如果未达标,可以尝试调整提示词、增加审核或修复步骤,或使用同一套评估数据比较其他模型。

结论

Haiku 5.5 的官方任务示例说明,结构化提取值得评估,但并不能保证它具备原生 JSON Schema 功能。请在应用中进行解析和 Schema 验证,测试棘手记录,并将实测结果与 Anthropic 的编码基准区分开来。Sonnet 5.5 在所引用的编码评测中公布了更高得分,但现有资料没有说明它在提取和工具调用方面的相对表现。

常见问题

Claude Haiku 5.5 支持 JSON Schema 输出吗?

Anthropic 提供的发布资料没有说明它支持原生 JSON Schema 约束输出。你可以在提示词中要求返回 JSON,但仍应在应用中验证响应,并查看最新 API 文档,确认是否支持受约束输出参数。

Haiku 5.5 比 Sonnet 5.5 更适合结构化提取吗?

所提供的资料没有报告任何一款模型的提取准确率或 Schema 遵循结果,因此无法据此判断哪款更好。建议使用相同的代表性输入和验证规则比较两者。

Haiku 5.5 的编码能力与 Sonnet 5.5 相比如何?

Anthropic 报告 Haiku 5.5 在 Terminal-Bench 4.0 上的得分为 39.2%,Sonnet 5.5 为 70.6%。Anthropic 还报告两者在 FrontierCode 1.1 (Main) 上的得分分别为 46.4% 和 52.1% Xhigh。这些基准测试结果不能预测模型在所有编码任务上的表现。

资料是否证明 Haiku 5.5 的工具调用能力更强?

没有。Anthropic 表示 Haiku 5.5 适用于浏览器使用,并提到浏览器和计算机使用的 SDK 支持处于 beta 阶段,但所提供的资料没有给出它与 Sonnet 5.5 的直接工具调用对比。

相关文章