指南OneMux

Claude Haiku 5.5 與 Sonnet 5.5:已公開證據能說明什麼

比較 Claude Haiku 5.5 與 Sonnet 5.5 已公開的程式設計證據,了解工具呼叫與結構化輸出方面仍有哪些未知之處,並建立可重複的評估方法。

AI

摘要 · TL;DR

Anthropic 公布了兩款模型在代理式程式設計基準測試中的結果,並指出 Sonnet 5.5 仍較適合複雜的代理式程式設計任務。提供的發布資料並未證實兩者在工具呼叫或結構化輸出方面的比較結果。團隊應使用固定輸入、明確的通過標準和記錄結果,測試自身範圍明確的任務。

重點

  • Anthropic 公布 Haiku 5.5 在 Terminal-Bench 4.0 的成績為 39.2%,在 FrontierCode 1.1 (Main) 的成績為 46.4%;Sonnet 5.5 分別為 70.6% 和 52.1%。
  • Anthropic 明確指出,Sonnet 5.5 較適合複雜的代理式程式設計任務;Haiku 5.5 則適合範圍較明確的任務及子代理工作。
  • 提供的來源未說明工具呼叫機制或結構化輸出功能的比較,因此相關主張須參考 API 文件或透過實測驗證。
  • 使用固定測試案例和符合任務需求的驗收標準;基準測試分數本身無法預測模型在特定程式碼庫中的成效。
文章目錄 (9)

Claude Haiku 5.5 和 Claude Sonnet 5.5 並非可以互換的選項,即使兩者都能用於程式設計工作流程。Anthropic 公布了兩款模型在兩項代理式程式設計基準測試中的結果,並指出 Sonnet 5.5 仍較適合複雜的代理式程式設計。不過,提供的發布資訊沒有記載兩者在工具呼叫行為或結構化輸出支援方面的直接比較。評估這些功能時,應視現有證據為不完整,並測試你打算實際部署的工作流程。

本文由 OneMux 發布。以下比較僅依據 Anthropic 的 Claude Haiku 5.5 公告及其中所附資訊。本文並非獨立執行的模型測試報告。

Anthropic 公布的程式設計資訊

Anthropic 公布了以下代理式程式設計基準測試結果:

基準測試Claude Haiku 5.5Claude Sonnet 5.5
Terminal-Bench 4.039.2%70.6%
FrontierCode 1.1 (Main)46.4%52.1%

這些是已公布的基準測試結果,並不保證模型在特定程式碼庫、程式語言或工程任務中的表現。公告也指出,對於 Terminal-Bench 4.0 所測量的複雜代理式程式設計任務,Sonnet 5.5 和 Opus 5.5 仍是較佳選擇。公告將 Haiku 5.5 描述為較適合範圍明確的任務,包括過去使用舊款模型可能因成本過高而難以執行的子代理工作。

這些資訊支持的是實務上的區分,而非通用規則:範圍明確、可重複執行的程式設計工作可考慮使用 Haiku;任務需要更複雜的程式設計代理時,也應將 Sonnet 納入評估。公告並未證明 Haiku 在你的特定程式設計任務中會更快或更準確。公告將 Haiku 5.5 描述為 Anthropic 以各模型標準速度運作時最快的模型,並在註腳指出,相較於使用 Fast Mode 的 Opus,這項說法有例外;這並非 Haiku 與 Sonnet 之間直接的延遲測量。

工具呼叫與結構化輸出:尚待確認的資訊

提供的公告未說明兩款模型在工具呼叫支援或行為上的差異,例如工具選擇準確度、參數有效性、工具錯誤復原能力,或多步驟工具使用情況。公告也未介紹結構化輸出功能,或比較 Haiku 5.5 與 Sonnet 5.5 遵循 schema 的能力。

缺少這些資訊,不代表任一模型不具備相關能力,而是表示這份來源無法回答模型是否支援特定 API 參數、schema 模式、工具定義或限制條件。實作前,請查看目前適用的 API 文件,確認端點與參數支援情況。接著,使用相同工具、指示和測試案例,分別測試各模型。不要根據程式設計基準測試分數,推斷兩者在工具或結構化輸出方面的支援相同。

為你的工作流程建立可重複的評估

初次評估時,範圍不妨先縮小。選一項預期會經常執行的任務,在呼叫模型前先訂好成功標準,並對每款模型使用相同輸入。以下是示例測試案例,並非 OneMux 測試結果。

1. 說明任務與限制

若要評估程式碼修改,請記錄程式碼庫狀態、任務提示、允許修改的檔案、可用工具,以及時間或呼叫次數限制。若要評估工具工作流程,請列明工具及其確切輸入欄位。若要評估結構化輸出,請提供預期的 schema,並說明如何處理多餘欄位、缺漏值、無效型別和拒絕回應。

2. 建立固定案例與通過標準

準備一小組案例,涵蓋一般情況及可能失敗的情況。例如:

  • 例行修改: 要求模型進行範圍明確的小型程式碼修改。若指定檔案已修改,且相關測試通過,即為通過。
  • 資訊不足: 提供一項資訊不完整的請求。若模型提出必要問題,或明確指出假設,而非逕自捏造需求,即為通過。
  • 工具錯誤: 在受控的測試環境中讓工具傳回錯誤。若模型準確回報失敗,並依照允許的復原方式處理,即為通過。
  • Schema 邊界案例: 要求模型在某欄位無法取得的情況下提供結果。若回應符合你指定的表示方式,且能通過驗證器解析,即為通過。

每項標準都以通過或失敗評分,並保留模型回應、工具呼叫,以及驗證器或測試輸出。如果驗收標準要求程式碼可正常運作,就不要因為模型的解釋聽起來合理而判定程式碼修改通過。

3. 比較並重複測試

使用相同案例和限制測試兩款模型。記錄模型版本、日期、提示、工具定義和評估設定,以便公平比較後續測試結果。如果結果不同,請檢視失敗案例:整體分數較高,仍可能掩蓋關鍵需求上的失誤。如果正式環境中的工作流程容易受到結果變異影響,請重複執行測試案例,並在選擇模型前訂好最低可接受標準。

如何選擇

將已公布的基準測試作為參考,而非取代任務層級的測試。Haiku 5.5 值得納入範圍明確、可重複執行的工作的評估;若任務接近 Anthropic 所指出的複雜代理式程式設計工作,則應評估 Sonnet 5.5。如果工具可靠性或嚴格的結構化輸出至關重要,請將它們明確列為測試項目:發布公告並未提供這些方面的比較證據。

OneMux 透過單一 OpenAI 相容 API 提供主流 AI 模型,並具備模型路由、金鑰、支出概覽和隨用隨付使用方式。特定模型、端點或參數是否相容,取決於文件載明的支援情況;在評估中採用前,請確認所需的請求功能。請參閱 Claude Haiku 5.5 模型頁面,查看它在 OneMux 上的產品資訊。

結論

已公開的比較在程式設計基準測試方面最為明確:Sonnet 5.5 在兩項已公布的代理式程式設計測試中得分都較高,Anthropic 也明確表示,複雜的代理式程式設計任務更適合使用 Sonnet 5.5。根據提供的來源,兩款模型在工具呼叫和結構化輸出方面的比較仍無從得知。若要做出實際部署決策,請使用固定且具代表性的案例測試兩款模型,並依據明確的限制與通過標準評估。

來源

常見問題

Claude Haiku 5.5 的程式設計能力比 Claude Sonnet 5.5 好嗎?

Anthropic 公布的兩項代理式程式設計基準測試結果中,Haiku 5.5 的分數都低於 Sonnet 5.5:Terminal-Bench 4.0 和 FrontierCode 1.1 (Main)。Anthropic 也指出,複雜的代理式程式設計任務仍較適合使用 Sonnet 5.5。但這些結果無法決定哪款模型在每個程式碼庫或任務中都會表現較好。

提供的來源有比較 Haiku 5.5 與 Sonnet 5.5 的工具呼叫能力嗎?

沒有。提供的公告未說明工具選擇準確度、參數有效性、錯誤復原或多步驟工具使用方面的比較。請查看目前的 API 文件確認功能支援情況,並直接評估相關工作流程。

提供的來源能證實兩款模型都支援結構化輸出嗎?

來源未介紹結構化輸出功能,也未比較模型遵循 schema 的能力。這些資訊在提供的來源中尚無定論,但不代表任一模型缺少相關能力。

該如何評估 Haiku 5.5 和 Sonnet 5.5 是否適合我的程式設計工作流程?

使用相同的固定案例、工具、提示和限制。事先訂好通過標準,納入可能失敗的案例,並保存模型回應與測試輸出。依據工作流程中的實際需求做選擇,不要只依賴基準測試分數。

相關文章