指南OneMux

Gemini 4 Hydrogen 与 Carbon 对比:现有资料能否支持结构化提取选型

对比 Gemini 4 Hydrogen 和 Carbon 在编码、工具调用及结构化输出方面的现有证据,并设计经过模式验证的提取工作流。

AI

摘要 · TL;DR

Google 将 Hydrogen 描述为面向编码和智能体工作流的执行模型,将 Carbon 描述为面向深度推理的模型。其公告并未通过直接对比确定谁在受模式约束的提取任务中更胜一筹,因此应验证输出,并使用自己的文档对模型进行基准测试。

核心要点

  • 所给的 Google 公告描述了 Hydrogen 的编码和工具使用表现,但没有提供与 Carbon 在这些能力上的同等直接对比数据。
  • 一家合作伙伴报告称,Hydrogen 在其评估套件中的格式合规率为 100%;这不能证明其支持 JSON Schema,也不是与 Carbon 的对比结果。
  • 应在模型之外验证提取出的 JSON,并单独检查文档是否支持其中的值。
  • 可将 Hydrogen 作为提取任务的候选模型;当文档理解难度较高、需要深度推理候选模型时,可单独评估 Carbon。
文章目录 (13)

选型建议:测试 Hydrogen,但要验证每次提取结果

当工作流需要快速执行和机器可读的结果时,Gemini 4 Hydrogen 是结构化提取的合理候选模型。但不要仅凭所给公告,就认定它在提取准确率或 JSON Schema 合规性方面优于 Gemini 4 Carbon:Google 并未提供这方面的对比。Google 则将 Carbon 描述为面向深度、长周期推理的前沿模型。参见 Google 的 Gemini 4 Hydrogen 公告。

在生产环境中,应将模型响应视为不可信输入:先解析,再根据模式验证,并检查文档是否支持其中的值。本文由 OneMux 发布,OneMux 通过兼容 OpenAI 的 API 提供对领先模型的访问。无论使用哪家提供商或哪个端点,下文的验证方法都有参考价值。

Hydrogen 与 Carbon:已说明的能力及信息缺口

下表区分了 Google 的产品描述与直接对比的实测结果。所给资料是一篇厂商公告,因此不应将其中的宣传说法和合作伙伴结果视为针对自身工作负载的独立评估。

领域Gemini 4 HydrogenGemini 4 Carbon资料未能证实的内容
编码Google 描述了代码仓库调试、针对性修改,以及并行文件读取和搜索调用。Google 报告称,其 Terminal-Bench 4.1 得分为 57%,Gemini 3.8 Flash 为 18.2%。Google 将 Carbon 定位于架构判断和隐蔽错误处理。Hydrogen 与 Carbon 在代码仓库编码或调试方面的直接对比分数。
工具调用Google 表示,Hydrogen 能在工具调用失败或搜索结果为空时调整行动,也能批量读取文件和搜索。Google 将 Carbon 描述为可充当并行智能体的协调者。两个模型在工具调用准确率、故障恢复或并行调用性能方面的可比数据。
结构化输出Google 描述了结构化交付成果。一家合作伙伴报告称,Hydrogen 在其推理和创意评估套件中的格式合规率为 100%。未提供同等的结构化输出结果。任一模型是否支持特定的 JSON Schema API 选项,以及两者在模式合规性和提取准确率上的相对表现。
组合工作流Google 的 Antigravity Orchestrator 在包括 Carbon 和 Hydrogen 在内的模型之间切换。Google 报告称,在 Terminal-Bench 4.0 上,其任务成功率接近 Carbon,配额消耗降低 24%,完成速度提高 19%。Carbon 是上述 Orchestrator 结果的比较基准。独立运行的 Hydrogen 与 Carbon 之间的对比,也没有证据表明同样的收益适用于提取任务。

来源:Google 公告。合作伙伴报告的格式合规结果为该项评估提供了有用证据,但公告并未证实这项评估测试了任意 JSON 模式或提取结果的正确性。

编码和工具使用证据对提取任务意味着什么

如果提取流水线需要检索文档或查询参考数据,Hydrogen 所描述的调用失败后恢复能力就具有相关性。其代码仓库编码结果也可能对构建该流水线有参考价值。但这两项说法都不能证明模型能为每份文档选择正确的工具、提取正确的值,或返回符合模式的 JSON。这些指标需要分别测量。

Carbon 的深度推理定位使其成为处理理解难度较高文档的候选模型,但资料并未量化它在这类文档上是否表现更好。当字段出错的代价较高时,设置人工复核流程也是一种选择。

构建经过模式验证的提取工作流

以下是一个从文本中提取发票编号和总额的示例性、未经测试的方案。它不依赖特定模型的原生结构化输出功能。

1. 在编写提示词前定义数据约定

前提条件包括:能够访问模型端点、应用获准处理的源文本、Python 和 jsonschema 包。在集成之前,请确认端点文档中规定的模型名称、请求参数和响应格式。尤其要注意,只有在端点文档明确支持时,才使用原生 JSON Schema 响应选项;所给公告并未证实这种支持。

要求模型仅返回包含 invoice_number、total_amount 和 currency 的 JSON 对象。指示它对未明确出现的值使用 null,不要猜测。例如,文档中写有 Invoice INV-104; total USD 125.50,可能得到:

{"invoice_number":"INV-104","total_amount":125.50,"currency":"USD"}

使用允许显式表示缺失值、同时拒绝非预期字段和类型的模式:

import json
from jsonschema import Draft202012Validator

schema = {
    "type": "object",
    "properties": {
        "invoice_number": {"type": ["string", "null"]},
        "total_amount": {"type": ["number", "null"], "minimum": 0},
        "currency": {
            "anyOf": [
                {"type": "string", "pattern": "^[A-Z]{3}$"},
                {"type": "null"}
            ]
        }
    },
    "required": ["invoice_number", "total_amount", "currency"],
    "additionalProperties": False
}

# Replace with the text returned by the model endpoint.
response_text = '{"invoice_number":"INV-104","total_amount":125.50,"currency":"USD"}'

try:
    result = json.loads(response_text)
except json.JSONDecodeError as exc:
    raise ValueError("Response is not valid JSON") from exc

errors = list(Draft202012Validator(schema).iter_errors(result))
if errors:
    raise ValueError("Schema validation failed: " + "; ".join(e.message for e in errors))

print(result)

该模式会检查结构、类型、金额是否非负,以及货币是否符合三个大写字母的格式。它不会验证货币是否为公认代码、金额是发票总额还是小计,也不会验证任何值是否出现在原文中。对于财务处理,还应在使用这些数据的应用中采用合适的十进制表示方式和会计规则。

2. 妥善处理失败,避免悄然接受错误

  • **JSON 无效:**记录失败,并可选择附上有边界的指令重试,要求只返回指定对象。不要随意去除文本后就假定剩余内容可信。
  • **模式验证失败:**返回验证错误以便修正,或将条目送交复核。限制重试次数,避免格式异常的文档导致无限循环。
  • **格式有效但值缺乏依据:**将提取的字段与原文比对,或要求提供引用段落等证据。对于含糊的总额和相互冲突的值,交由人工处理。
  • **值缺失:**将 null 与零或空字符串区分开来。在下游流程中决定是否可以接受不完整记录。
  • **不可信的文档内指令:**将文档中的指令视为待提取内容,而不是改变任务的指令。限制工具权限,并独立审核敏感操作。

如何使用自己的文档比较两个模型

建立一组具有代表性的文档,并提供经过审核的参考值,涵盖字段缺失、多个总额、特殊格式和信息冲突等情况。使用文档化的设置,对每个模型运行相同的提取指令和验证规则。记录模式验证通过率、字段级准确率、缺乏依据的值的比例、延迟和成本;应检查具体错误,而不是只依赖平均值。另留一组独立的保留集用于最终比较。

OneMux 同时列出了 Gemini 4 Hydrogen 和 Gemini 4 Carbon。如果使用 OneMux 进行评估,请先查看端点和参数支持文档:仅仅兼容 OpenAI 并不意味着支持每一项提供商特有功能。在确认之前,不要假定各路由都支持原生模式约束、具有相同的工具行为或使用相同设置。

常见问题

Hydrogen 能保证输出符合 JSON Schema 吗?

所给的 Google 公告没有确立这样的保证,也没有指定用于强制执行模式的 API。即使端点文档说明提供结构化输出模式,也应在应用中验证响应。

Carbon 的提取准确率更高吗?

根据所给资料,目前无法确定。Google 将 Carbon 定位于更深度的推理,但没有提供 Hydrogen 与 Carbon 的提取准确率对比。如果选型结果很重要,应使用有代表性的标注文档测试两者。

JSON 有效就意味着提取数据正确吗?

不是。有效的 JSON 仍可能包含错误的值,符合模式的 JSON 也可能将小计填入总额字段。应单独检查语义正确性以及原文是否支持这些值。

结论

Hydrogen 在编码和智能体执行方面有文档描述的优势,而 Carbon 的定位是更深度的推理。现有证据尚不能确定哪个模型更擅长结构化提取。应先定义清晰的模式并进行独立验证,再根据自己文档上的实测错误、延迟和成本做出选择。

来源

常见问题

Gemini 4 Hydrogen 能保证输出符合 JSON Schema 吗?

所给的 Google 公告没有确立这样的保证,也没有指定用于强制执行模式的 API。即使端点文档说明提供结构化输出模式,也应在应用中验证响应。

Gemini 4 Carbon 的提取准确率比 Hydrogen 更高吗?

所给资料没有提供两者提取准确率的直接对比。应使用自己文档中经过审核的示例来评估两个模型。

符合模式的 JSON 能证明提取结果正确吗?

不能。模式验证检查的是指定结构和约束,而不是原文是否支持某个值,也不是该值是否对应预期字段。

相关文章