GuidesOneMux

Claude Haiku 5.5 para extração estruturada: o que está documentado — e o que não está

Avalie o Claude Haiku 5.5 para extração em JSON com validação de esquema. Veja o que a Anthropic documenta sobre programação e uso de ferramentas, como ele se compara ao Sonnet 5.5 e o que ainda não se sabe.

AI

Resumo · TL;DR

O Claude Haiku 5.5 é descrito como adequado para tarefas de alto volume, incluindo classificação e consultas a bancos de dados, o que faz da extração estruturada uma carga de trabalho plausível. O material de lançamento fornecido pela Anthropic não documenta saída nativa condicionada por JSON Schema nem apresenta uma comparação direta de chamadas de ferramentas com o Sonnet 5.5. Trate a validação do esquema como um controle na aplicação e compare a programação apenas com base nos resultados de benchmark divulgados pela Anthropic.

Principais pontos

  • A Anthropic cita classificação e consultas a bancos de dados como cargas de trabalho do Haiku 5.5, mas não documenta especificamente geração condicionada por JSON Schema.
  • Valide o JSON retornado na sua aplicação; não presuma que o modelo sempre seguirá um esquema.
  • A Anthropic informa pontuações no Terminal-Bench 4.0 de 39.2% para o Haiku 5.5 e 70.6% para o Sonnet 5.5, observando que o Sonnet é mais indicado para programação agêntica complexa.
  • A fonte fornecida não estabelece uma pontuação comparativa de chamadas de ferramentas, um conjunto de recursos nativos de saída estruturada nem a precisão de extração de qualquer um dos modelos.
Nesta página (5)

O Claude Haiku 5.5 é uma opção razoável para avaliar em tarefas de extração estruturada de alto volume: a Anthropic o descreve como adequado a cargas de trabalho repetitivas, incluindo classificação e consultas a bancos de dados. Porém, o material de lançamento disponível não documenta saída nativa condicionada por JSON Schema, precisão de extração ou uma comparação direta de chamadas de ferramentas com o Claude Sonnet 5.5. A abordagem prática é solicitar um formato definido, validar a resposta na sua aplicação e medir as falhas com dados representativos.

Este guia se concentra nesse fluxo de trabalho — sem presumir recursos não documentados. A OneMux é a publicadora deste artigo e oferece acesso a modelos por meio de uma única API compatível com OpenAI; o suporte a endpoints e parâmetros pode variar, então consulte a documentação aplicável da API antes de depender de um recurso específico.

O que a Anthropic documenta sobre o Haiku 5.5

A Anthropic posiciona o Haiku 5.5 para tarefas de alto volume e sensíveis a custos, como resumos, compactações, consultas a bancos de dados e classificação. Também descreve o modelo como útil para trabalhos em que a velocidade é importante, incluindo suporte ao cliente ao vivo e uso do navegador. Esses exemplos fazem da extração uma possibilidade que vale a pena testar quando a tarefa é limitada e repetitiva, mas não garantem conformidade com esquemas.

Em programação, a Anthropic informa uma pontuação de 39.2% para o Haiku 5.5 no Terminal-Bench 4.0 e de 46.4% no FrontierCode 1.1 (Main). Para o Sonnet 5.5, os valores correspondentes divulgados são 70.6% e 52.1% Xhigh. A Anthropic afirma que o Sonnet 5.5 e o Opus 5.5 continuam sendo opções melhores para programação agêntica complexa medida pelo Terminal-Bench, enquanto o Haiku é adequado a tarefas de escopo mais restrito. Esses resultados de benchmark dizem respeito às avaliações em questão; não são uma medida geral da capacidade de programação nem da qualidade de extração. Anúncio do Haiku 5.5 e detalhes dos benchmarks da Anthropic

Área de capacidadeO que a fonte fornecida sustentaO que continua desconhecido nessa fonte
Extração estruturadaClassificação e consultas a bancos de dados são citadas como cargas de trabalho; a extração pode se encaixar nesse padrão.Geração condicionada por JSON Schema, taxas de conformidade com esquemas e precisão de extração.
Uso de ferramentasA Anthropic afirma que o Haiku é adequado ao uso do navegador e descreve suporte beta do SDK para uso do navegador e do computador.Uma avaliação direta de chamadas de ferramentas entre Haiku e Sonnet ou uma taxa comparativa de sucesso.
ProgramaçãoSão divulgados resultados do Terminal-Bench 4.0 e do FrontierCode 1.1 para ambos os modelos.Como essas pontuações se aplicam à sua base de código, à combinação de tarefas ou ao fluxo de extração.

Não interprete “uso do navegador” como prova de uma interface específica para chamadas de ferramentas, nem presuma que qualquer um dos modelos aceita um parâmetro específico de esquema. A fonte fornecida não especifica esses detalhes da API.

Um fluxo de trabalho seguro para extração em JSON

Comece com um esquema pequeno que diferencie os campos obrigatórios dos opcionais. Peça ao modelo que retorne apenas JSON, mas trate essa instrução como orientação, não como validação. Em seguida, analise e valide a resposta localmente antes de aceitá-la.

Por exemplo, o trecho a seguir é uma etapa ilustrativa de validação no lado da aplicação, usando Python e o pacote jsonschema. Ele não testa uma API de modelo nem implica que o Haiku tenha validação nativa de esquemas.

import json
from jsonschema import validate, ValidationError

schema = {
    "type": "object",
    "properties": {
        "invoice_number": {"type": "string"},
        "total": {"type": "number"},
        "currency": {"type": "string"}
    },
    "required": ["invoice_number", "total", "currency"],
    "additionalProperties": False
}

raw = '{"invoice_number":"A-104","total":82.50,"currency":"USD"}'

try:
    record = json.loads(raw)
    validate(instance=record, schema=schema)
except (json.JSONDecodeError, ValidationError) as exc:
    raise ValueError("Reject or send this record for repair") from exc

Em um fluxo de produção, deixe explícitos no prompt os valores ausentes, as unidades e se o modelo deve retornar null ou omitir um campo. Mantenha o texto original da fonte junto ao registro extraído para que um revisor possa esclarecer casos ambíguos. Se a validação falhar, registre a categoria da falha e decida se deve tentar novamente, encaminhar o caso a um modelo mais robusto ou exigir revisão humana. Não converta silenciosamente um valor malformado em um registro que apenas pareça válido.

Lista de verificação para uma avaliação inicial

Antes de direcionar uma carga de trabalho grande, teste uma amostra representativa que inclua registros comuns e casos difíceis: campos ausentes, afirmações contraditórias, formatação incomum e valores próximos dos limites. Acompanhe pelo menos:

  • Falhas de análise de JSON e de validação do esquema.
  • Valores de campos incorretos ou sem respaldo identificados durante a revisão.
  • Casos que exigem uma nova tentativa ou decisão humana.
  • Latência e custo de ponta a ponta de todo o fluxo, incluindo novas tentativas e validação.

Compare o Haiku 5.5 com o Sonnet 5.5 usando as mesmas entradas e regras de aceitação. Os números de benchmark do lançamento não indicam qual modelo extrairá seus campos com maior precisão. Escolha com base na sua tolerância a erros e nos resultados medidos, não apenas em uma pontuação de programação.

Quando considerar o Sonnet 5.5

A comparação respaldada pelas fontes é limitada: a Anthropic informa pontuações mais altas para o Sonnet 5.5 do que para o Haiku 5.5 nos dois benchmarks de programação citados acima e recomenda explicitamente o Sonnet ou o Opus para programação agêntica complexa. Isso dá motivos para considerar o Sonnet em trabalhos de programação exigentes. Não demonstra que o Sonnet tenha melhor desempenho em extração de JSON, conformidade mais confiável com esquemas ou chamadas de ferramentas superiores. A fonte fornecida não apresenta essas comparações.

Para extração, baseie a decisão em resultados empíricos. Se o Haiku cumprir seus limites de conformidade com o esquema e de revisão em entradas representativas, sua adequação declarada a tarefas repetitivas e de alto volume pode fazer dele uma opção para essa carga de trabalho. Caso contrário, teste outro prompt, adicione uma etapa de revisão ou correção, ou compare outro modelo com o mesmo conjunto de avaliação.

Conclusão

Os exemplos documentados de cargas de trabalho do Haiku 5.5 fazem da extração estruturada uma possibilidade que vale a pena avaliar, não um recurso nativo garantido de JSON Schema. Use análise e validação de esquema no lado da aplicação, teste registros difíceis e diferencie esses resultados medidos dos benchmarks de programação da Anthropic. O Sonnet 5.5 tem pontuações divulgadas mais altas nas avaliações de programação citadas, mas seu desempenho comparativo em extração e chamadas de ferramentas é desconhecido com base na fonte fornecida.

Perguntas frequentes

O Claude Haiku 5.5 oferece saída em JSON Schema?

O material de lançamento da Anthropic fornecido não documenta saída nativa condicionada por JSON Schema. Você pode solicitar JSON em um prompt, mas valide a resposta na sua aplicação e consulte a documentação atual da API para verificar quais parâmetros de saída condicionada são compatíveis.

O Haiku 5.5 é melhor que o Sonnet 5.5 para extração estruturada?

A fonte fornecida não informa a precisão de extração nem resultados de conformidade com esquemas para qualquer um dos modelos, portanto não permite determinar qual é melhor. Compare ambos com as mesmas entradas representativas e regras de validação.

Como o Haiku 5.5 se compara ao Sonnet 5.5 em programação?

A Anthropic informa pontuações no Terminal-Bench 4.0 de 39.2% para o Haiku 5.5 e 70.6% para o Sonnet 5.5. Também divulga resultados no FrontierCode 1.1 (Main) de 46.4% e 52.1% Xhigh, respectivamente. Esses resultados de benchmark não preveem o desempenho em todas as tarefas de programação.

A fonte comprova que o Haiku 5.5 faz chamadas de ferramentas melhor?

Não. A Anthropic descreve o Haiku 5.5 como adequado ao uso do navegador e menciona suporte beta do SDK para uso do navegador e do computador, mas a fonte fornecida não traz uma comparação direta de chamadas de ferramentas com o Sonnet 5.5.

Artigos relacionados