Avalie modelos do Hugging Face para decisões confiáveis de retry e recuperação
Crie uma avaliação reproduzível e específica para a tarefa para comparar modelos do Hugging Face em decisões de retry e recuperação em produção.
Resumo · TL;DR
Um plano prático de avaliação para comparar modelos base e ajustados do Hugging Face em decisões de retry, recuperação e escalonamento, além de riscos de ações duplicadas.
Principais pontos
- Teste as decisões necessárias ao fluxo de trabalho em incidentes reservados para avaliação antes de confiar em pontuações de benchmarks públicos.
- Compare modelos base e ajustados usando as mesmas entradas, o mesmo template de prompt, as mesmas configurações de decodificação e as mesmas condições de execução.
- Avalie retries inseguros separadamente da precisão geral das ações e examine as falhas por cenário.
- Submeta as recomendações do modelo à aplicação determinística de políticas e ao escalonamento para pessoas quando apropriado.
Nesta página (7)
Comece pela decisão operacional
Para avaliar um modelo do Hugging Face em operações de fluxo de trabalho, teste se ele recomenda a próxima ação correta em incidentes reservados para avaliação, em vez de verificar apenas seu desempenho em uma classificação geral. Compare os modelos base e ajustado nos mesmos casos, com o mesmo prompt e as mesmas configurações de geração, e informe as recomendações de retry inseguras separadamente da precisão geral.
Essa abordagem segue a principal orientação de uma discussão no fórum do Hugging Face sobre benchmarking: medir a capacidade que importa, usar exemplos excluídos do treinamento, comparar com o modelo base e examinar falhas individuais. A política e as verificações específicas de fluxo de trabalho apresentadas abaixo são ilustrativas; não constituem um benchmark testado nem uma afirmação sobre o desempenho de qualquer modelo.
Defina a política antes de criar o teste
Suponha que um modelo receba um resumo de incidente e recomende uma de quatro ações: retry, recover, escalate ou stop. Escreva as regras com o responsável pelo fluxo de trabalho antes de pedir ao modelo que as aplique. Por exemplo:
- Retry somente quando a falha for transitória, ainda houver tentativas disponíveis e a repetição for segura segundo as regras de idempotência do fluxo de trabalho.
- Recover quando um procedimento de recuperação documentado for aplicável e seus pré-requisitos forem atendidos.
- Escalate quando o resultado de um efeito colateral for desconhecido, faltar contexto necessário ou um operador precisar decidir.
- Stop quando a falha for permanente ou o limite de tentativas tiver sido atingido, a menos que se aplique uma regra de recuperação separada e aprovada.
Essas regras são exemplos, não classificações universais. Um timeout, por si só, não comprova que uma operação falhou: um pagamento ou uma mensagem pode já ter sido enviado. A recomendação do modelo deve passar por verificações determinísticas de política; ela não deve autorizar de forma independente um efeito colateral que possa ser duplicado.
Crie um conjunto representativo reservado para avaliação
Comece com incidentes que tenham dados sensíveis removidos ou com casos sintéticos realistas que reflitam as decisões que os operadores realmente enfrentam. Exclua os exemplos de avaliação dos dados de ajuste fino e agrupe incidentes relacionados antes da divisão, para que casos quase duplicados do mesmo evento não acabem em conjuntos diferentes. Reserve um conjunto de teste final para a decisão de lançamento e use um conjunto de desenvolvimento separado para alterações no prompt ou na política.
| Categoria de teste | Exemplo | Decisão esperada segundo a política de exemplo |
|---|---|---|
| Falha transitória, com repetição segura | Erro temporário de serviço; proteção de idempotência confirmada; ainda há tentativas disponíveis | Retry |
| Resultado desconhecido de efeito colateral | A solicitação expirou após o envio de um pagamento; status de conclusão desconhecido | Escalate |
| Limite de tentativas atingido | Falha transitória, mas todas as tentativas permitidas foram usadas | Stop |
| Recuperação documentada | Há um estado conhecido que pode ser recuperado e todos os pré-requisitos de recuperação estão presentes | Recover |
| Contexto ausente | O erro foi informado, mas não se sabe se a repetição é segura | Escalate |
| Caso de regressão | Um incidente simples que o modelo base já resolve corretamente | Depende da política |
Inclua incidentes comuns em proporções aproximadamente esperadas, mas mantenha também uma categoria distinta de alto risco para casos raros, como resultados desconhecidos de pagamentos. Apresente os resultados de ambas; um conjunto de casos perigosos deliberadamente sobreamostrado não deve ser apresentado como a distribuição de incidentes em produção. Peça a um especialista no fluxo de trabalho que rotule as ações esperadas e resolva casos ambíguos antes da avaliação.
Fixe as configurações de comparação
Use exatamente o mesmo texto de incidente, as mesmas instruções de sistema, o mesmo esquema de resposta, os mesmos exemplos few-shot e os mesmos parâmetros de geração para ambos os modelos. Registre as revisões do modelo base e do modelo ajustado, o tokenizer e o template de chat, o status do adaptador ou do modelo mesclado, a versão da biblioteca de inferência, o backend, a quantização e o hardware. Se a recuperação fornecer runbooks, mantenha fixo também o contexto recuperado.
Para cada caso, salve o prompt, a ação esperada, a resposta bruta, a ação extraída e o rótulo de erro. Trate JSON inválido, campos ausentes e ações não reconhecidas como falhas, em vez de corrigi-los silenciosamente. Se os dois modelos precisarem de templates de chat diferentes para funcionar corretamente, documente essa diferença: nesse caso, o resultado mede os sistemas configurados completos, não apenas o ajuste fino.
Se a geração for estocástica, repita a comparação com várias seeds registradas e informe cada execução e o intervalo dos resultados. O suporte a seeds e a reprodutibilidade variam conforme o backend; uma seed fixa não garante saídas idênticas em ambientes diferentes. A discussão no fórum também recomenda várias execuções, pois uma única pontuação em um conjunto pequeno pode apresentar muito ruído.
Avalie ações e retries inseguros separadamente
Pré-requisitos: Python 3, um arquivo JSON Lines reservado para avaliação e um arquivo de respostas salvo por modelo. Gere essas respostas com a configuração de inferência do Hugging Face escolhida antes de executar este avaliador local. O exemplo abaixo não foi testado e não pressupõe nenhum modelo específico, endpoint hospedado ou parâmetro de geração compatível.
Cada linha de cases.jsonl deve conter um id, um expected_action e um Boolean retry_safe definido pela política do fluxo de trabalho. Cada linha de um arquivo de respostas deve conter o mesmo id e a resposta bruta do modelo como uma string em output. Por exemplo:
{"id":"timeout-01","expected_action":"escalate","retry_safe":false}
Um registro de resposta correspondente poderia ser {"id":"timeout-01","output":"{\"action\":\"retry\"}"}. O avaliador a seguir exige exatamente uma resposta por caso e sinaliza essa resposta como um retry inseguro:
import json
import sys
VALID = {"retry", "recover", "escalate", "stop"}
def load(path):
with open(path, encoding="utf-8") as f:
rows = [json.loads(line) for line in f if line.strip()]
indexed = {row["id"]: row for row in rows}
if len(indexed) != len(rows):
raise ValueError(f"Duplicate case ID in {path}")
return indexed
cases = load(sys.argv[1])
outputs = load(sys.argv[2])
if not cases or cases.keys() != outputs.keys():
raise ValueError("Cases must be nonempty and IDs must match exactly")
correct = invalid = unsafe = 0
for case_id, case in cases.items():
if type(case["retry_safe"]) is not bool:
raise ValueError(f"retry_safe must be Boolean: {case_id}")
if case["expected_action"] not in VALID:
raise ValueError(f"Invalid expected action: {case_id}")
if case["expected_action"] == "retry" and not case["retry_safe"]:
raise ValueError(f"Inconsistent retry label: {case_id}")
try:
parsed = json.loads(outputs[case_id]["output"])
action = parsed["action"]
if not isinstance(action, str) or action not in VALID:
raise ValueError("Unrecognized action")
except (ValueError, TypeError, KeyError):
action = None
invalid += 1
correct += action == case["expected_action"]
unsafe += action == "retry" and not case["retry_safe"]
if action != case["expected_action"]:
print(f"FAIL {case_id}: expected={case['expected_action']} got={action}")
n = len(cases)
print(f"cases={n} action_accuracy={correct / n:.3f}")
print(f"invalid={invalid} unsafe_retries={unsafe}")
Execute-o uma vez para cada arquivo de saída salvo:
python score.py cases.jsonl base_outputs.jsonl
python score.py cases.jsonl finetuned_outputs.jsonl
Este é um verificador de ações, não um validador completo de esquema: ele não rejeita campos JSON adicionais nem avalia a explicação. Para uso em produção, adicione o esquema real e valide todos os parâmetros de recuperação obrigatórios. Verifique também se a ação proposta é segura mesmo quando corresponde ao rótulo; os rótulos podem estar errados.
Interprete os resultados e investigue problemas
Compare a precisão geral, a quantidade de saídas inválidas, os retries inseguros e os resultados por categoria. Examine cada retry inseguro e cada regressão em relação ao modelo base. Para recover, verifique se o procedimento proposto e os pré-requisitos estão corretos; a precisão da ação, por si só, não é suficiente para estabelecer isso. Registre o número de casos por trás de cada taxa, especialmente para falhas raras.
Se os IDs não corresponderem, verifique se houve gerações ausentes ou registros duplicados antes da avaliação. Se predominarem respostas inválidas, examine truncamento, template de chat e esquema solicitado antes de trocar o modelo. Se um modelo recomendar retries quando faltar contexto, adicione esses casos a um conjunto de desenvolvimento e revise as instruções ou o treinamento, não o conjunto de teste final reservado.
Defina os critérios de lançamento com o responsável pelo fluxo de trabalho antes de consultar os resultados finais, incluindo quantas recomendações inseguras são aceitáveis e quais casos exigem escalonamento. Um conjunto pequeno reservado para avaliação não pode comprovar a segurança em produção; ele pode revelar falhas concretas e apoiar uma decisão mais bem fundamentada. Documente os limites do conjunto de dados, as configurações, exemplos de falhas e riscos não resolvidos junto aos resultados. Benchmarks públicos podem fornecer contexto adicional, mas não substituem esse teste específico do fluxo de trabalho.
Fontes
- Fórum do Hugging Face: What’s your method for benchmarking? — avaliação específica da tarefa com dados reservados, comparações justas, exame de falhas e execuções repetidas.
- Hugging Face LLM Course: Evaluation — fundamentos de avaliação de modelos.
Perguntas frequentes
Devo usar uma classificação pública do Hugging Face para avaliar decisões de retry?
Use primeiro um conjunto representativo de casos do fluxo de trabalho reservado para avaliação. Benchmarks públicos podem fornecer contexto, mas suas tarefas e pontuações talvez não avaliem sua política de retry ou os riscos de ações duplicadas.
Uma seed fixa torna uma avaliação do Hugging Face perfeitamente reproduzível?
Não necessariamente. O suporte a seeds e a reprodutibilidade dependem do backend de inferência e do ambiente. Registre as seeds, as revisões dos modelos, as versões do software e as configurações de execução, e informe a variação entre as execuções.
Um modelo pode executar automaticamente o retry que recomenda?
Uma recomendação, por si só, não deve autorizar a execução. Aplique verificações determinísticas da política do fluxo de trabalho, incluindo segurança da repetição e limites de tentativas, e escale casos em que o resultado de efeitos colaterais seja incerto.
Artigos relacionados
Guides
Como criar uma avaliação reproduzível no Hugging Face para triagem de chamados de suporte
Um fluxo de trabalho prático para comparar um modelo base e sua versão ajustada em chamados de suporte reservados para teste, com aprovação humana e limitações transparentes.
Guides
Como avaliar sistemas de perguntas e respostas sobre documentos no Hugging Face
Crie uma avaliação reproduzível de perguntas e respostas sobre documentos que teste a qualidade das respostas, a recuperação, a atribuição de fontes e a abstenção.
Guides
Cline em produção: configure sessões e recupere-se com segurança
Um guia prático para configurar sessões do ClineCore, separar as definições de runtime da configuração do provedor e criar regras seguras de nova tentativa e recuperação.
Guides
Qwen4 Max em fluxos de trabalho de produção: o que é possível comparar com o Qwen3.8 Max?
Separe as capacidades documentadas do Qwen4 Max das questões em aberto e planeje uma avaliação do fluxo de trabalho com regras explícitas de nova tentativa e recuperação.