Como avaliar sistemas de perguntas e respostas sobre documentos no Hugging Face
Crie uma avaliação reproduzível de perguntas e respostas sobre documentos que teste a qualidade das respostas, a recuperação, a atribuição de fontes e a abstenção.
Resumo · TL;DR
Um fluxo de trabalho prático para comparar modelos de perguntas e respostas sobre documentos em questões reservadas para teste, distinguindo falhas de recuperação, respostas sem suporte e citações enganosas.
Principais pontos
- Comece com perguntas reservadas para teste que sejam representativas dos documentos e das decisões com que o sistema realmente vai lidar.
- Compare o modelo base e o modelo ajustado com perguntas idênticas e contextos fixos antes de testar todo o pipeline de recuperação.
- Avalie separadamente a correção da resposta, o suporte às afirmações, a qualidade das citações e a abstenção.
- Guarde com cada resultado as revisões dos modelos, os prompts, as configurações de geração, as versões dos documentos, as saídas e as limitações conhecidas.
Nesta página (7)
Avalie a resposta e as evidências separadamente
Na avaliação de perguntas e respostas sobre documentos, é útil fazer duas perguntas: A resposta está correta e os trechos citados a sustentam? Uma resposta correta com uma citação irrelevante não é uma resposta com atribuição confiável. Uma resposta que resume com precisão o texto recuperado ainda pode estar errada se a recuperação tiver fornecido um documento desatualizado.
Comece com um conjunto reservado para teste, composto por perguntas reais sobre documentos. Compare o modelo base e o modelo ajustado usando as mesmas perguntas, trechos de origem, prompt e configurações de geração. Em seguida, avalie a recuperação separadamente. Isso segue a abordagem centrada na tarefa apresentada em uma discussão da comunidade Hugging Face sobre benchmarking, que recomenda um conjunto reservado para teste, o modelo base como referência, configurações fixas, métricas específicas da tarefa e inspeção de falhas individuais.
Pré-requisitos e escopo da avaliação
Você precisa de um modelo base e, se aplicável, de sua versão ajustada disponíveis no Hugging Face, além de permissão para usar os documentos na avaliação. Instale versões compatíveis de transformers, torch e quaisquer dependências específicas do modelo. Registre as versões instaladas; os requisitos de hardware e memória dependem do modelo. O script ilustrativo abaixo não foi testado com um modelo específico.
Antes de executá-lo, defina o que será comparado:
- Comparação dos geradores: Forneça aos dois modelos os mesmos trechos fixos. Isso isola a geração de respostas e a atribuição das variações na recuperação.
- Comparação de ponta a ponta: Execute juntos o recuperador e o gerador reais. Isso mede o fluxo de trabalho implantado, mas uma mudança na pontuação não pode ser atribuída automaticamente ao modelo.
Quando possível, execute as duas avaliações. A comparação dos geradores mostra se o ajuste ajuda diante das mesmas evidências; o teste de ponta a ponta mostra se o sistema inteiro funciona.
Crie um conjunto de teste de perguntas e respostas sobre documentos
Reserve perguntas e documentos relevantes ou grupos de documentos antes do ajuste fino. Verifique se há trechos duplicados ou quase duplicados entre as divisões: mudar a redação de uma pergunta não impede o vazamento se o modelo tiver sido treinado com o mesmo trecho que contém a resposta. Para testar a recuperação, mantenha um corpus separado e versionado que inclua os documentos nos quais o sistema tem permissão para pesquisar.
Inclua casos em proporções semelhantes às do uso esperado e apresente os resultados dos grupos difíceis separadamente, em vez de apresentar um conjunto deliberadamente difícil como tráfego típico.
| Grupo | Exemplo de objetivo de avaliação |
|---|---|
| Comum | Uma pergunta direta respondida em um único trecho |
| Múltiplos trechos | Uma resposta que exige evidências de dois trechos |
| Sem resposta | O contexto fornecido não contém a resposta |
| Conflitante ou desatualizado | Duas versões divergem; a pergunta ou os metadados identificam qual se aplica |
| Regressão | Um caso que o modelo base respondeu e citou corretamente antes |
| Desorganizado ou longo | A evidência relevante está inserida em um documento longo ou mal formatado |
Para cada caso, armazene um ID estável, a pergunta, a resposta esperada ou a rubrica de avaliação, a versão do documento de origem, os IDs dos trechos de suporte e uma indicação de que o contexto fornecido é suficiente ou não. Especifique respostas e citações alternativas aceitáveis quando apropriado. Se as evidências exigirem interpretação, peça a um revisor que resolva rótulos ambíguos antes de tratá-los como referência confiável.
Um registro compacto para um teste de contexto fixo poderia ser assim. A política e a resposta foram inventadas apenas para ilustrar o formato:
{
"id": "policy-001",
"question": "How long are draft reports retained?",
"context": "[policy-v1:p2] Draft reports are retained for 30 days.",
"expected_answer": "30 days",
"supporting_passage_ids": ["policy-v1:p2"],
"answerable": true
}
Use identificadores de trechos que apontem para a versão exata do documento e para o texto que um revisor possa inspecionar. O título de um documento, por si só, pode ser amplo demais para verificar uma afirmação específica.
Fixe a configuração de inferência no Hugging Face
Registre os nomes dos repositórios do modelo e do tokenizer e suas revisões imutáveis, qualquer adaptador e sua revisão, se os pesos foram mesclados ou quantizados, o backend, as versões dos pacotes e o hardware. Salve também o prompt e o template de chat exatos, a ordem do contexto, as regras de truncamento, o comprimento máximo de entrada e os parâmetros de decodificação. Para um ajuste fino baseado em adaptador, registre se a configuração avaliada é apenas o modelo base ou o modelo base com o adaptador.
A seguir há um script ilustrativo e não testado para modelos de linguagem causais compatíveis. Substitua os marcadores pelos nomes reais dos repositórios e pelas revisões imutáveis. Ele usa decodificação gulosa para reduzir a variação de amostragem e mantém o contexto fixo; não carrega um adaptador, não faz recuperação nem avalia os resultados. Alguns modelos exigem um template de chat ou configurações de tokenizer específicas. Se os dois modelos exigirem templates diferentes, documente essa diferença e trate-a como uma limitação da comparação.
import json
from pathlib import Path
from transformers import AutoModelForCausalLM, AutoTokenizer
MODELS = {
"base": ("YOUR_BASE_REPO", "BASE_COMMIT_HASH"),
"tuned": ("YOUR_TUNED_REPO", "TUNED_COMMIT_HASH"),
}
cases = [json.loads(line) for line in
Path("eval.jsonl").read_text(encoding="utf-8").splitlines()]
for label, (repo, revision) in MODELS.items():
tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
model = AutoModelForCausalLM.from_pretrained(repo, revision=revision)
model.eval()
with Path(f"{label}-outputs.jsonl").open("w", encoding="utf-8") as out:
for case in cases:
prompt = (
"Answer only from the context. Cite passage IDs for factual "
"claims. If the context is insufficient, say so.\n\n"
f"Context:\n{case['context']}\n\n"
f"Question: {case['question']}\nAnswer:"
)
inputs = tokenizer(prompt, return_tensors="pt")
generated = model.generate(
**inputs, do_sample=False, max_new_tokens=160
)
answer_tokens = generated[0, inputs["input_ids"].shape[1]:]
answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
out.write(json.dumps({"id": case["id"], "answer": answer}) + "\n")
Antes de uma execução completa, verifique alguns prompts em relação ao limite de contexto de cada modelo. Não trunque evidências silenciosamente: aplique a mesma política de truncamento documentada ou sinalize o caso como não avaliável. A decodificação gulosa não garante saídas idênticas em todas as configurações de hardware e software. Se a amostragem fizer parte da implantação pretendida, registre suas configurações e sementes e repita as execuções para examinar a variabilidade.
Avalie a recuperação, as respostas e as citações
Mantenha as medidas a seguir separadas. Para cada taxa, publique o numerador, o denominador e o número de casos excluídos; apresente também os resultados por grupo.
| Medida | Verificação prática |
|---|---|
| Recall de recuperação | Para perguntas com trechos de suporte conhecidos, com que frequência o conjunto recuperado continha as evidências necessárias? Defina se todos os trechos necessários precisam estar presentes. |
| Correção da resposta | A resposta corresponde à referência ou satisfaz a rubrica do caso? Use correspondência exata apenas quando a redação for suficientemente restrita. |
| Suporte às afirmações | As afirmações factuais da resposta são sustentadas pelos trechos fornecidos? Analise cada afirmação individualmente quando houver várias. |
| Qualidade das citações | Cada ID citado existe e sustenta a afirmação à qual está associado? Verifique também se as afirmações relevantes têm citações. |
| Abstenção | Nos casos em que o contexto é insuficiente, o modelo diz que as evidências são insuficientes? Nos casos que podem ser respondidos, ele evita abstenções desnecessárias? |
Por exemplo, “30 dias [policy-v1:p2]” passa no caso ilustrativo se esse trecho contiver a regra indicada. “30 dias [policy-v1:p3]” deve falhar na verificação de suporte da citação se p3 não estabelecer essa regra, mesmo que a duração esteja correta. Um ID de trecho inventado deve falhar tanto na verificação de validade do ID quanto na de suporte.
Verificações automatizadas de ID e formato são úteis, mas não podem estabelecer se um trecho sustenta uma afirmação. Use uma rubrica escrita e revisão humana para avaliar o suporte e a correção; se usar um modelo avaliador, registre sua versão e seu prompt e audite uma amostra de suas avaliações. Salve as saídas dos dois modelos e atribua rótulos de erro como missing_evidence, unsupported_claim, wrong_citation ou unnecessary_abstention.
Investigue problemas e apresente o resultado
Se um trecho correto estiver ausente, examine a indexação, a divisão em chunks, a versão do corpus e as configurações de recuperação antes de alterar o gerador. Se o trecho estiver presente, mas a resposta não tiver suporte, examine o prompt e o comportamento de geração. Se a resposta estiver correta, mas citar o trecho errado, trate a atribuição como uma falha em si, não como um problema meramente estético de formatação.
Publique um breve manifesto de execução junto com os resultados: construção e divisão do conjunto de dados, snapshot dos documentos, revisões dos modelos e adaptadores, prompts, configuração de recuperação, configurações de decodificação, regras de avaliação, contagens por grupo e falhas representativas. Em conjuntos pequenos, alguns exemplos podem alterar substancialmente uma porcentagem. Repita execuções com amostragem quando pertinente e diferencie a variação entre execuções da incerteza causada por um conjunto de teste limitado.
Um benchmark público pode acrescentar contexto, mas não substitui essas evidências específicas da tarefa. A conclusão justificável é limitada: o resultado descreve esses modelos, documentos, perguntas e configurações — não todas as aplicações de perguntas e respostas sobre documentos.
Fontes
- Comunidade Hugging Face: “What’s your method for benchmarking?” — avaliação centrada na tarefa, comparações justas entre modelos base e ajustados e considerações sobre a apresentação dos resultados.
- Hugging Face LLM Course: avaliação — informações adicionais sobre avaliação de modelos.
- Hugging Face Cookbook: LLM-as-a-judge — informações sobre o uso de um modelo para auxiliar na avaliação.
Perguntas frequentes
Devo avaliar primeiro a recuperação ou o modelo de linguagem?
Primeiro, compare os geradores com trechos idênticos e fixos para isolar seu comportamento. Em seguida, avalie o fluxo completo de recuperação e geração, incluindo se o recuperador encontra as evidências necessárias.
Uma resposta correta com uma citação conta como resultado bem-sucedido?
Não necessariamente. Verifique se o trecho citado existe e realmente sustenta a afirmação associada. Uma resposta correta com uma citação irrelevante ou inventada falha na atribuição.
Posso usar um LLM avaliador no lugar da revisão humana?
Um LLM avaliador pode fornecer um sinal útil, mas suas decisões não devem ser tratadas automaticamente como referência confiável. Registre a versão do modelo e o prompt, use uma rubrica clara e peça que pessoas auditem uma amostra.
Artigos relacionados
Guides
Estimativa de custo da API GPT 6.2 Astra para perguntas e respostas sobre documentos
Estime os custos de perguntas e respostas sobre documentos com o GPT 6.2 Astra usando premissas explícitas de tokens, faixas de contexto, tarifas de cache e cálculos reproduzíveis.
Guides
Estime os custos da API Claude Fable 5.2 para perguntas e respostas sobre documentos
Uma forma reproduzível de estimar os custos do Claude Fable 5.2 para perguntas e respostas sobre documentos, com pressupostos explícitos de tokens, orientações para atribuição de fontes e valores de preços datados.
Guides
Como criar uma avaliação reproduzível no Hugging Face para triagem de chamados de suporte
Um fluxo de trabalho prático para comparar um modelo base e sua versão ajustada em chamados de suporte reservados para teste, com aprovação humana e limitações transparentes.
Guides
Custos da API GPT Image 2.6 Sunburst para perguntas e respostas sobre documentos
Crie um orçamento reproduzível para perguntas e respostas sobre documentos usando premissas explícitas de entrada de imagem, separando os custos desconhecidos de geração de respostas e atribuição de fontes.