指南OneMux

Claude Haiku 5.5 用於結構化擷取:文件記載了什麼,又有哪些未知?

評估 Claude Haiku 5.5 是否適用於 JSON 擷取與 Schema 驗證。了解 Anthropic 對程式編寫和工具使用的說明、與 Sonnet 5.5 的比較,以及目前仍未知的部分。

AI

摘要 · TL;DR

Anthropic 將 Claude Haiku 5.5 描述為適合分類和資料庫查詢等大量處理工作,因此結構化擷取值得評估。Anthropic 提供的發布資料並未記載原生 JSON Schema 限制輸出,也沒有提供與 Sonnet 5.5 的直接工具呼叫比較。應將 Schema 驗證視為應用程式端的控管措施,並只根據 Anthropic 公布的基準測試結果比較程式編寫表現。

重點

  • Anthropic 列出分類和資料庫查詢作為 Haiku 5.5 的適用工作,但沒有特別說明支援 JSON Schema 限制生成。
  • 請在應用程式中驗證回傳的 JSON;不要假設模型一定會遵循 Schema。
  • Anthropic 公布 Haiku 5.5 在 Terminal-Bench 4.0 的分數為 39.2%,Sonnet 5.5 則為 70.6%;Anthropic 同時指出,Sonnet 更適合複雜的代理式程式編寫。
  • 所提供的來源沒有證明兩款模型在工具呼叫方面的比較分數、原生結構化輸出功能,或擷取準確度。
文章目錄 (5)

Claude Haiku 5.5 值得評估是否適用於大量結構化擷取工作:Anthropic 表示,這款模型適合分類和資料庫查詢等重複性工作。不過,現有發布資料並未記載原生 JSON Schema 限制輸出、擷取準確度,或與 Claude Sonnet 5.5 直接比較工具呼叫表現。實際做法是提示模型依照明確格式輸出,在應用程式中驗證回應,並以具代表性的資料測量失敗情況。

本指南聚焦於這套工作流程,而非假設資料未記載的功能。本文由 OneMux 發布,OneMux 可透過一個相容 OpenAI 的 API 提供模型存取;端點和參數支援情況可能不同,使用特定功能前請先查閱適用的 API 文件。

Anthropic 對 Haiku 5.5 的說明

Anthropic 將 Haiku 5.5 定位為適用於大量且重視成本的工作,例如摘要、精簡內容、資料庫查詢和分類。Anthropic 也指出,這款模型適合重視速度的工作,包括即時客戶支援和瀏覽器使用。這些範例讓範圍明確且需重複執行的擷取工作值得測試,但不代表模型一定符合 Schema。

在程式編寫方面,Anthropic 公布 Haiku 5.5 在 Terminal-Bench 4.0 的分數為 39.2%,在 FrontierCode 1.1 (Main) 的分數為 46.4%。Sonnet 5.5 對應的公布分數則為 70.6% 和 52.1% Xhigh。Anthropic 表示,在以 Terminal-Bench 衡量的複雜代理式程式編寫工作中,Sonnet 5.5 和 Opus 5.5 仍是更好的選擇;Haiku 則適用於範圍較明確的工作。這些基準測試結果只反映模型在該等評測中的表現,並非衡量整體程式編寫能力或擷取品質的通用指標。Anthropic 的 Haiku 5.5 公告與基準測試細節

能力領域所提供來源支持的說法該來源未說明的事項
結構化擷取來源列出分類和資料庫查詢作為適用工作;擷取可能符合這類工作模式。JSON Schema 限制生成、遵循 Schema 的比率,以及擷取準確度。
工具使用Anthropic 表示 Haiku 適合瀏覽器使用,並提及瀏覽器和電腦使用 SDK 支援仍處於 beta。Haiku 與 Sonnet 的直接工具呼叫評測或兩者的成功率比較。
程式編寫來源公布兩款模型在 Terminal-Bench 4.0 和 FrontierCode 1.1 的結果。這些分數如何反映在你的程式碼庫、工作組合或擷取流程上。

不要將「瀏覽器使用」解讀為特定工具呼叫介面的證明,也不要假設任一模型支援某個 Schema 參數。所提供的來源並未說明這些 API 細節。

安全的 JSON 擷取工作流程

先從精簡的 Schema 著手,清楚區分必填欄位與選填欄位。提示模型只回傳 JSON,但應將這項指示視為引導,而非驗證。接著,在接受結果前,於本機解析並驗證回應。

以下範例是應用程式端驗證步驟的示意,使用 Python 和 jsonschema 套件。這不是模型 API 測試,也不代表 Haiku 具備原生 Schema 強制功能。

import json
from jsonschema import validate, ValidationError

schema = {
    "type": "object",
    "properties": {
        "invoice_number": {"type": "string"},
        "total": {"type": "number"},
        "currency": {"type": "string"}
    },
    "required": ["invoice_number", "total", "currency"],
    "additionalProperties": False
}

raw = '{"invoice_number":"A-104","total":82.50,"currency":"USD"}'

try:
    record = json.loads(raw)
    validate(instance=record, schema=schema)
except (json.JSONDecodeError, ValidationError) as exc:
    raise ValueError("Reject or send this record for repair") from exc

在正式工作流程中,請在提示中明確說明缺漏值、單位,以及應回傳 null 還是省略欄位。將原始來源文字與擷取後的資料一併保留,方便審查者釐清模糊案例。若驗證失敗,請記錄失敗類別,並決定要重試、改用能力更強的模型,或交由人工審查。不要默默將格式錯誤的值轉成看似有效的資料。

精簡評估清單

在將大量工作交給模型處理前,請測試具代表性的樣本,當中應包括一般記錄和棘手案例:欄位缺漏、內容矛盾、格式特殊,以及數值接近界限的情況。至少追蹤以下項目:

  • JSON 解析失敗和 Schema 驗證失敗的情況。
  • 審查時發現錯誤或缺乏來源支持的欄位值。
  • 需要重試或交由人工判斷的案例。
  • 包含重試和驗證在內的完整流程延遲與成本。

使用相同輸入和驗收規則比較 Haiku 5.5 與 Sonnet 5.5。發布時公布的基準測試數據無法告訴你哪款模型擷取欄位更準確。請根據自己的錯誤容忍度和實測結果選擇,而不是只看程式編寫分數。

何時考慮 Sonnet 5.5

來源支持的比較範圍有限:Anthropic 公布 Sonnet 5.5 在上述兩項程式編寫基準測試中的分數均高於 Haiku 5.5,並明確建議複雜的代理式程式編寫工作使用 Sonnet 或 Opus。這支持在高難度程式編寫工作中考慮 Sonnet。但這並不能證明 Sonnet 的 JSON 擷取能力更好、遵循 Schema 更可靠,或工具呼叫表現更出色。所提供的來源沒有這些比較資料。

進行擷取工作時,請以實測結果作為判斷依據。如果 Haiku 在具代表性的輸入上達到你的 Schema 和審查門檻,Anthropic 所述其適合重複性、大量處理工作的定位,可能使它成為該類工作的候選模型。如果表現未達標,請測試不同提示、加入審查或修正步驟,或使用相同評估集比較其他模型。

結論

Haiku 5.5 公布的適用工作範例,表示值得評估其結構化擷取能力;但這不代表它具備原生 JSON Schema 功能且一定能符合 Schema。請使用應用程式端的解析與 Schema 驗證,測試棘手記錄,並將實測結果與 Anthropic 的程式編寫基準測試區分開來。Sonnet 5.5 在所引用的程式編寫評測中公布了較高分數,但根據所提供的來源,兩者在擷取和工具呼叫方面的相對表現仍未知。

常見問題

Claude Haiku 5.5 支援 JSON Schema 輸出嗎?

所提供的 Anthropic 發布資料並未記載原生 JSON Schema 限制輸出。你可以在提示中要求模型回傳 JSON,但應在應用程式中驗證回應,並查閱最新 API 文件,確認是否支援限制輸出的參數。

Haiku 5.5 比 Sonnet 5.5 更適合結構化擷取嗎?

所提供的來源沒有公布任一模型的擷取準確度或 Schema 遵循結果,因此無法據此判定哪款較佳。請使用相同的具代表性輸入和驗證規則進行比較。

Haiku 5.5 在程式編寫方面與 Sonnet 5.5 相比如何?

Anthropic 公布 Haiku 5.5 在 Terminal-Bench 4.0 的分數為 39.2%,Sonnet 5.5 則為 70.6%。Anthropic 也公布兩者在 FrontierCode 1.1 (Main) 的分數分別為 46.4% 和 52.1% Xhigh。這些基準測試結果無法預測模型在每一種程式編寫任務中的表現。

來源是否證明 Haiku 5.5 的工具呼叫能力更好?

沒有。Anthropic 表示 Haiku 5.5 適合瀏覽器使用,並提及瀏覽器和電腦使用的 SDK 支援仍處於 beta,但所提供的來源沒有與 Sonnet 5.5 直接比較工具呼叫能力。

相關文章