GuidesOneMux

Gemini 4 Hydrogen và Carbon: Nguồn tài liệu cho thấy gì về trích xuất có cấu trúc?

So sánh bằng chứng được công bố về khả năng lập trình, sử dụng công cụ và đầu ra có cấu trúc của Gemini 4 Hydrogen và Carbon, sau đó thiết kế quy trình trích xuất có kiểm định schema.

AI

Tóm tắt · TL;DR

Google mô tả Hydrogen là mô hình thực thi cho các quy trình lập trình và tác vụ tự chủ, còn Carbon là mô hình dành cho suy luận sâu hơn. Thông báo của Google không xác định mô hình nào vượt trội trong trích xuất theo schema, vì vậy hãy kiểm định đầu ra và đánh giá các mô hình trên tài liệu của chính bạn.

Điểm chính

  • Thông báo của Google được cung cấp mô tả cách Hydrogen lập trình và sử dụng công cụ, nhưng không đưa ra các phép đo đối đầu tương đương với Carbon cho những khả năng này.
  • Một đối tác báo cáo Hydrogen đạt 100% tuân thủ định dạng trên bộ đánh giá của họ; điều đó không chứng minh khả năng hỗ trợ JSON Schema hay cho phép so sánh với Carbon.
  • Kiểm định JSON được trích xuất bên ngoài mô hình và kiểm tra riêng xem các giá trị có được tài liệu nguồn xác nhận hay không.
  • Cân nhắc Hydrogen cho tác vụ trích xuất và đánh giá Carbon riêng khi việc diễn giải khó đòi hỏi một mô hình có khả năng suy luận sâu hơn.
Mục lục (13)

Quyết định: thử Hydrogen, nhưng kiểm định mọi kết quả trích xuất

Gemini 4 Hydrogen là một lựa chọn đáng cân nhắc cho trích xuất có cấu trúc khi quy trình cần thực thi nhanh và tạo ra kết quả máy có thể đọc được. Đừng chọn mô hình này thay vì Gemini 4 Carbon dựa trên độ chính xác trích xuất hoặc mức tuân thủ JSON Schema từ thông báo được cung cấp: Google không đưa ra phép so sánh đó. Carbon được mô tả là một mô hình tiên tiến dành cho suy luận sâu, dài hạn. Xem thông báo của Google về Gemini 4 Hydrogen.

Trong môi trường production, hãy coi phản hồi của mô hình là đầu vào không đáng tin cậy: phân tích cú pháp, kiểm định theo schema và kiểm tra xem các giá trị có được tài liệu xác nhận hay không. Bài viết này do OneMux xuất bản; OneMux cung cấp quyền truy cập vào các mô hình hàng đầu thông qua API tương thích OpenAI. Phương pháp kiểm định dưới đây hữu ích bất kể nhà cung cấp hay endpoint.

Hydrogen và Carbon: Khả năng được công bố và những điểm còn thiếu

Bảng dưới đây phân biệt mô tả sản phẩm của Google với kết quả đo lường đối đầu. Nguồn được cung cấp là thông báo của nhà cung cấp, vì vậy không nên nhầm các tuyên bố và kết quả từ đối tác trong đó với một đánh giá độc lập cho khối lượng công việc của bạn.

Lĩnh vựcGemini 4 HydrogenGemini 4 CarbonĐiều nguồn tài liệu chưa xác lập
Lập trìnhGoogle mô tả khả năng gỡ lỗi repository, chỉnh sửa tập trung và thực hiện song song các lệnh gọi đọc tệp và tìm kiếm. Google báo cáo điểm Terminal-Bench 4.1 là 57%, so với 18.2% của Gemini 3.8 Flash.Google định vị Carbon cho việc đánh giá kiến trúc và xử lý các lỗi khó nhận thấy.Điểm số so sánh trực tiếp Hydrogen với Carbon về lập trình hoặc gỡ lỗi repository.
Gọi công cụGoogle cho biết Hydrogen thích ứng khi một lệnh gọi công cụ thất bại hoặc tìm kiếm không trả về kết quả, đồng thời có thể thực hiện các lượt đọc tệp và tìm kiếm theo lô.Google mô tả Carbon là một lựa chọn có thể điều phối các agent song song.Số liệu có thể so sánh về độ chính xác khi gọi công cụ, khả năng khôi phục sau lỗi hoặc hiệu suất gọi song song của hai mô hình.
Đầu ra có cấu trúcGoogle mô tả các sản phẩm đầu ra có cấu trúc. Một đối tác báo cáo mức tuân thủ định dạng 100% trên bộ đánh giá khả năng suy luận và sáng tạo của họ.Không có kết quả tương đương về đầu ra có cấu trúc.Liệu một trong hai mô hình có hỗ trợ một tùy chọn JSON Schema API cụ thể hay không, hoặc mức tuân thủ schema và độ chính xác trích xuất của chúng so với nhau.
Quy trình kết hợpAntigravity Orchestrator của Google chuyển đổi giữa các mô hình, trong đó có Carbon và Hydrogen. Google báo cáo tỷ lệ hoàn thành tác vụ gần bằng Carbon, mức tiêu thụ quota thấp hơn 24% và thời gian hoàn thành nhanh hơn 19% trên Terminal-Bench 4.0.Carbon là mốc so sánh cho kết quả Orchestrator được báo cáo đó.Một phép so sánh độc lập giữa Hydrogen và Carbon, hoặc bằng chứng cho thấy mức cải thiện tương tự cũng áp dụng cho trích xuất.

Nguồn: Thông báo của Google. Kết quả tuân thủ định dạng của đối tác là bằng chứng hữu ích về chính bài đánh giá đó, nhưng thông báo không xác lập rằng bài đánh giá đã đo khả năng xử lý các JSON Schema tùy ý hay tính chính xác của kết quả trích xuất.

Bằng chứng về lập trình và sử dụng công cụ có ý nghĩa gì với trích xuất?

Khả năng khôi phục sau các lệnh gọi thất bại được mô tả của Hydrogen có liên quan nếu pipeline trích xuất cần truy xuất tài liệu hoặc tra cứu dữ liệu tham chiếu. Kết quả lập trình repository của mô hình có thể hữu ích khi xây dựng pipeline đó. Tuy nhiên, cả hai tuyên bố đều không chứng minh rằng mô hình sẽ chọn đúng công cụ cho mọi tài liệu, trích xuất đúng giá trị hoặc trả về JSON hợp lệ theo schema. Hãy đo lường riêng từng đặc tính này.

Việc Carbon được định vị cho suy luận sâu hơn khiến nó trở thành một lựa chọn để thử với những tài liệu khó diễn giải, nhưng nguồn tài liệu không định lượng liệu mô hình có làm tốt hơn trên các tài liệu đó hay không. Một quy trình cho con người rà soát là lựa chọn khác khi sai sót ở một trường dữ liệu có thể gây hậu quả lớn.

Xây dựng quy trình trích xuất có kiểm định schema

Dưới đây là một mẫu mang tính minh họa, chưa được kiểm thử để trích xuất số hóa đơn và tổng tiền từ văn bản. Mẫu này không phụ thuộc vào tính năng đầu ra có cấu trúc tích hợp sẵn của một mô hình cụ thể.

1. Xác định quy ước trước khi viết prompt

Điều kiện tiên quyết gồm quyền truy cập vào một endpoint của mô hình, văn bản nguồn mà ứng dụng của bạn được phép xử lý, Python và gói jsonschema. Trước khi tích hợp, hãy xác nhận tên mô hình, các tham số yêu cầu và định dạng phản hồi theo tài liệu của endpoint. Đặc biệt, chỉ sử dụng tùy chọn phản hồi JSON Schema tích hợp sẵn nếu tài liệu của endpoint ghi rõ có hỗ trợ; thông báo được cung cấp không xác lập sự hỗ trợ đó.

Yêu cầu mô hình chỉ trả về một đối tượng JSON gồm invoice_number, total_amount và currency. Hướng dẫn mô hình dùng null cho giá trị không xuất hiện rõ ràng thay vì phỏng đoán. Ví dụ, một tài liệu ghi Invoice INV-104; total USD 125.50 có thể cho kết quả:

{"invoice_number":"INV-104","total_amount":125.50,"currency":"USD"}

Sử dụng schema cho phép biểu thị rõ các giá trị bị thiếu, đồng thời từ chối những trường và kiểu dữ liệu không mong đợi:

import json
from jsonschema import Draft202012Validator

schema = {
    "type": "object",
    "properties": {
        "invoice_number": {"type": ["string", "null"]},
        "total_amount": {"type": ["number", "null"], "minimum": 0},
        "currency": {
            "anyOf": [
                {"type": "string", "pattern": "^[A-Z]{3}$"},
                {"type": "null"}
            ]
        }
    },
    "required": ["invoice_number", "total_amount", "currency"],
    "additionalProperties": False
}

# Replace with the text returned by the model endpoint.
response_text = '{"invoice_number":"INV-104","total_amount":125.50,"currency":"USD"}'

try:
    result = json.loads(response_text)
except json.JSONDecodeError as exc:
    raise ValueError("Response is not valid JSON") from exc

errors = list(Draft202012Validator(schema).iter_errors(result))
if errors:
    raise ValueError("Schema validation failed: " + "; ".join(e.message for e in errors))

print(result)

Schema kiểm tra cấu trúc, kiểu dữ liệu, số tiền không âm và định dạng đơn vị tiền tệ gồm ba chữ cái viết hoa. Nó không xác minh đơn vị tiền tệ có phải là mã được công nhận hay không, số tiền là tổng hóa đơn hay tổng phụ, hoặc liệu các giá trị có xuất hiện trong nguồn hay không. Với xử lý tài chính, ứng dụng sử dụng kết quả cũng cần dùng cách biểu diễn số thập phân và các quy tắc kế toán phù hợp.

2. Xử lý lỗi, không âm thầm chấp nhận kết quả sai

  • JSON không hợp lệ: Ghi nhận lỗi và có thể thử lại với chỉ dẫn có giới hạn, yêu cầu chỉ trả về đối tượng đã yêu cầu. Không loại bỏ văn bản tùy ý rồi cho rằng phần còn lại đáng tin cậy.
  • Không đạt kiểm định schema: Trả về các lỗi kiểm định để sửa hoặc chuyển mục đó đi rà soát. Giới hạn số lần thử lại để tài liệu sai định dạng không gây ra vòng lặp vô tận.
  • Giá trị hợp lệ nhưng không được nguồn xác nhận: Đối chiếu các trường được trích xuất với nguồn hoặc yêu cầu bằng chứng như một đoạn trích. Chuyển các tổng tiền mơ hồ và giá trị mâu thuẫn cho người xử lý.
  • Giá trị bị thiếu: Phân biệt null với số không hoặc chuỗi rỗng. Quyết định ở bước xử lý tiếp theo liệu có thể chấp nhận một bản ghi không đầy đủ hay không.
  • Chỉ dẫn không đáng tin cậy trong tài liệu: Coi các chỉ dẫn bên trong tài liệu là nội dung cần trích xuất, không phải chỉ dẫn thay đổi tác vụ. Giới hạn quyền của công cụ và rà soát độc lập các hành động nhạy cảm.

Cách so sánh các mô hình trên tài liệu của bạn

Tạo một tập tài liệu đại diện với các giá trị tham chiếu đã được rà soát, bao gồm trường bị thiếu, nhiều tổng tiền, định dạng khác thường và thông tin mâu thuẫn. Chạy cùng chỉ dẫn trích xuất và quy tắc kiểm định cho từng mô hình, sử dụng các thiết lập được ghi trong tài liệu. Ghi nhận tỷ lệ hợp lệ theo schema, độ chính xác theo từng trường, tỷ lệ giá trị không được nguồn xác nhận, độ trễ và chi phí; rà soát lỗi thay vì chỉ dựa vào số trung bình. Giữ một tập holdout riêng cho lần so sánh cuối cùng.

OneMux niêm yết cả Gemini 4 Hydrogen và Gemini 4 Carbon. Nếu dùng OneMux để đánh giá, trước tiên hãy kiểm tra tài liệu về endpoint và các tham số được hỗ trợ: chỉ riêng việc truy cập tương thích OpenAI không chứng minh rằng mọi tính năng riêng của từng nhà cung cấp đều được hỗ trợ. Đừng mặc định có cơ chế thực thi schema tích hợp sẵn, hành vi công cụ hay thiết lập giống hệt nhau trên các route khi chưa xác nhận.

Câu hỏi thường gặp

Hydrogen có đảm bảo đầu ra tuân thủ JSON Schema không?

Thông báo của Google được cung cấp không xác lập sự đảm bảo như vậy hoặc nêu rõ một API thực thi schema. Hãy kiểm định phản hồi trong ứng dụng, ngay cả khi tài liệu của endpoint có nêu chế độ đầu ra có cấu trúc.

Carbon có chính xác hơn khi trích xuất không?

Nguồn được cung cấp không cho biết điều đó. Google định vị Carbon cho suy luận sâu hơn, nhưng không so sánh độ chính xác trích xuất giữa Hydrogen và Carbon. Hãy thử cả hai trên các tài liệu đại diện đã gán nhãn nếu lựa chọn này có ảnh hưởng quan trọng.

JSON hợp lệ có nghĩa là dữ liệu trích xuất chính xác không?

Không. JSON hợp lệ vẫn có thể chứa giá trị sai, và JSON hợp lệ theo schema vẫn có thể đưa tổng phụ vào trường tổng tiền. Hãy kiểm tra riêng tính đúng đắn về ngữ nghĩa và việc giá trị có được nguồn xác nhận hay không.

Kết luận

Hydrogen có các thế mạnh được công bố về lập trình và thực thi tác vụ tự chủ, trong khi Carbon được định vị cho suy luận sâu hơn. Bằng chứng được cung cấp chưa xác định mô hình nào tốt hơn trong trích xuất có cấu trúc. Hãy bắt đầu với một schema rõ ràng và quy trình kiểm định độc lập, sau đó lựa chọn dựa trên lỗi, độ trễ và chi phí đo được trên tài liệu của chính bạn.

Nguồn

FAQ

Gemini 4 Hydrogen có đảm bảo đầu ra tuân thủ JSON Schema không?

Thông báo của Google được cung cấp không xác lập sự đảm bảo hoặc nêu rõ một API thực thi schema. Hãy kiểm định phản hồi trong ứng dụng, kể cả khi tài liệu của endpoint có nêu chế độ đầu ra có cấu trúc.

Gemini 4 Carbon có trích xuất chính xác hơn Hydrogen không?

Nguồn được cung cấp không đưa ra phép so sánh đối đầu về độ chính xác trích xuất. Hãy đánh giá cả hai dựa trên các ví dụ đã được rà soát từ tài liệu của chính bạn.

JSON hợp lệ theo schema có chứng minh kết quả trích xuất là chính xác không?

Không. Kiểm định schema chỉ kiểm tra cấu trúc và các ràng buộc đã chỉ định, chứ không kiểm tra liệu giá trị có được nguồn xác nhận hoặc có thuộc đúng trường cần trích xuất hay không.

Bài viết liên quan