GuidesOneMux

Comment évaluer un système de questions-réponses sur documents avec Hugging Face

Mettez en place une évaluation reproductible des questions-réponses sur documents, qui teste la qualité des réponses, la recherche documentaire, l’attribution des sources et l’abstention.

AI

Résumé · TL;DR

Une méthode pratique pour comparer des modèles de questions-réponses sur documents à partir de questions réservées au test, en distinguant les échecs de recherche, les réponses non étayées et les citations trompeuses.

Points clés

  • Commencez par des questions réservées au test, représentatives des documents et des décisions que le système devra réellement traiter.
  • Comparez les modèles de base et fine-tuné sur les mêmes questions et des contextes figés avant de tester le pipeline de recherche complet.
  • Évaluez séparément l’exactitude des réponses, l’étayage des affirmations, la qualité des citations et l’abstention.
  • Conservez, pour chaque résultat, les révisions des modèles, les prompts, les paramètres de génération, les versions des documents, les sorties et les limites connues.
Sur cette page (7)

Évaluer séparément la réponse et les éléments qui l’étayent

Pour les questions-réponses sur documents, une évaluation utile pose deux questions : la réponse est-elle correcte et les passages cités l’étayent-ils ? Une réponse correcte accompagnée d’une citation sans rapport n’est pas une réponse dont l’attribution est fiable. Une réponse qui résume fidèlement le texte retrouvé peut tout de même être erronée si la recherche a fourni un document obsolète.

Commencez par un ensemble de questions documentaires réelles réservées au test. Comparez le modèle de base et le modèle fine-tuné avec les mêmes questions, passages sources, prompt et paramètres de génération. Évaluez ensuite la recherche séparément. Cette démarche suit l’approche centrée sur la tâche décrite dans une discussion de la communauté Hugging Face sur le benchmarking, qui recommande un jeu de test réservé, un modèle de base comme référence, des paramètres fixes, des métriques propres à la tâche et l’examen des échecs individuels.

Prérequis et périmètre de l’évaluation

Vous avez besoin d’un modèle de base et, le cas échéant, de sa version fine-tunée disponibles via Hugging Face, ainsi que de l’autorisation d’utiliser les documents dans votre évaluation. Installez des versions compatibles de transformers, torch et des éventuelles dépendances propres au modèle. Consignez les versions installées ; les besoins en matériel et en mémoire dépendent du modèle. Le script d’exécution présenté ci-dessous à titre d’exemple n’a pas été testé avec un modèle particulier.

Avant de l’exécuter, définissez l’objet de la comparaison :

  • Comparaison des générateurs : fournissez aux deux modèles les mêmes passages figés. Cela permet d’isoler la génération des réponses et l’attribution des sources des variations de la recherche.
  • Comparaison de bout en bout : exécutez ensemble le système de recherche réel et le générateur. Cette méthode mesure le workflow déployé, mais une variation du score ne peut pas être automatiquement attribuée au modèle.

Lorsque c’est possible, réalisez les deux évaluations. La comparaison des générateurs indique si le fine-tuning apporte une amélioration à partir des mêmes éléments ; le test de bout en bout indique si le système complet fonctionne.

Constituer un jeu de test réservé pour les questions-réponses sur documents

Réservez des questions et des documents ou groupes de documents pertinents avant le fine-tuning. Recherchez les passages dupliqués ou quasi dupliqués entre les partitions : reformuler une question n’empêche pas une fuite de données si le modèle a été entraîné sur le même passage contenant la réponse. Pour tester la recherche, conservez un corpus distinct et versionné comprenant les documents dans lesquels le système est autorisé à chercher.

Incluez les cas dans des proportions proches de l’usage attendu et présentez séparément les résultats des catégories difficiles, plutôt que de faire passer un jeu volontairement difficile pour du trafic typique.

CatégorieExemple de cible d’évaluation
OrdinaireUne question directe dont la réponse figure dans un seul passage
Plusieurs passagesUne réponse nécessitant des éléments provenant de deux passages
Sans réponse possibleLe contexte fourni ne contient pas la réponse
Contradictoire ou obsolèteDeux versions divergent ; la question ou les métadonnées indiquent celle qui s’applique
RégressionUn cas auquel le modèle de base avait précédemment répondu correctement, avec une citation correcte
Désordonné ou longLes éléments pertinents sont intégrés dans un document long ou mal mis en forme

Pour chaque cas, enregistrez un identifiant stable, la question, la réponse attendue ou une grille de notation, la version du document source, les identifiants des passages justificatifs et une indication précisant si le contexte fourni est suffisant. Précisez, le cas échéant, les réponses et citations alternatives acceptables. Si les éléments nécessitent une interprétation, demandez à un évaluateur de résoudre les étiquettes ambiguës avant de les considérer comme des références.

Voici à quoi pourrait ressembler un enregistrement compact pour un test à contexte fixe. La politique et la réponse sont inventées uniquement pour illustrer le format :

{
  "id": "policy-001",
  "question": "How long are draft reports retained?",
  "context": "[policy-v1:p2] Draft reports are retained for 30 days.",
  "expected_answer": "30 days",
  "supporting_passage_ids": ["policy-v1:p2"],
  "answerable": true
}

Utilisez des identifiants de passage permettant de retrouver la version exacte du document et le texte qu’un évaluateur peut examiner. Un titre de document seul peut être trop général pour vérifier une affirmation précise.

Fixer la configuration d’inférence Hugging Face

Consignez les noms des dépôts du modèle et du tokenizer ainsi que leurs révisions immuables, tout adaptateur et sa révision, le fait que les poids soient fusionnés ou quantifiés, le backend, les versions des packages et le matériel. Conservez également le prompt et le template de chat exacts, l’ordre du contexte, les règles de troncature, la longueur maximale d’entrée et les paramètres de décodage. Pour un modèle fine-tuné avec un adaptateur, indiquez si la configuration évaluée correspond au modèle de base seul ou au modèle de base avec l’adaptateur.

Le script suivant est un exemple illustratif et non testé destiné aux modèles de langage causaux compatibles. Remplacez les espaces réservés par les noms réels des dépôts et les révisions immuables. Il utilise un décodage glouton pour réduire les variations dues à l’échantillonnage et conserve un contexte fixe ; il ne charge pas d’adaptateur, n’effectue pas de recherche et ne note pas les résultats. Certains modèles nécessitent un template de chat ou des paramètres de tokenizer spécifiques. Si les deux modèles nécessitent des templates différents, documentez cette différence et considérez-la comme une limite de la comparaison.

import json
from pathlib import Path

from transformers import AutoModelForCausalLM, AutoTokenizer

MODELS = {
    "base": ("YOUR_BASE_REPO", "BASE_COMMIT_HASH"),
    "tuned": ("YOUR_TUNED_REPO", "TUNED_COMMIT_HASH"),
}
cases = [json.loads(line) for line in
         Path("eval.jsonl").read_text(encoding="utf-8").splitlines()]

for label, (repo, revision) in MODELS.items():
    tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision)
    model = AutoModelForCausalLM.from_pretrained(repo, revision=revision)
    model.eval()

    with Path(f"{label}-outputs.jsonl").open("w", encoding="utf-8") as out:
        for case in cases:
            prompt = (
                "Answer only from the context. Cite passage IDs for factual "
                "claims. If the context is insufficient, say so.\n\n"
                f"Context:\n{case['context']}\n\n"
                f"Question: {case['question']}\nAnswer:"
            )
            inputs = tokenizer(prompt, return_tensors="pt")
            generated = model.generate(
                **inputs, do_sample=False, max_new_tokens=160
            )
            answer_tokens = generated[0, inputs["input_ids"].shape[1]:]
            answer = tokenizer.decode(answer_tokens, skip_special_tokens=True)
            out.write(json.dumps({"id": case["id"], "answer": answer}) + "\n")

Avant une exécution complète, vérifiez quelques prompts par rapport à la limite de contexte de chaque modèle. Ne tronquez pas les éléments de preuve sans le signaler : appliquez la même politique de troncature documentée ou indiquez que le cas ne peut pas être évalué. Le décodage glouton ne garantit pas des sorties identiques sur toutes les configurations matérielles et logicielles. Si l’échantillonnage fait partie du déploiement prévu, consignez ses paramètres et ses graines aléatoires, puis répétez les exécutions pour examiner la variabilité.

Noter la recherche, les réponses et les citations

Distinguez les mesures suivantes. Pour chaque taux, publiez le numérateur, le dénominateur et le nombre de cas exclus ; présentez également les résultats par catégorie.

MesureContrôle pratique
Rappel de la recherchePour les questions dont les passages justificatifs sont connus, à quelle fréquence l’ensemble retrouvé contenait-il les éléments nécessaires ? Définissez si tous les passages requis doivent être présents.
Exactitude de la réponseLa réponse correspond-elle à la référence ou satisfait-elle la grille du cas ? N’utilisez la correspondance exacte que lorsque la formulation est suffisamment contrainte.
Étayage des affirmationsLes affirmations factuelles de la réponse sont-elles étayées par les passages fournis ? Examinez-les individuellement lorsque la réponse en contient plusieurs.
Qualité des citationsChaque identifiant cité existe-t-il et étaye-t-il l’affirmation à laquelle il est associé ? Vérifiez également que les affirmations substantielles sont accompagnées de citations.
AbstentionLorsque le contexte est insuffisant, le modèle indique-t-il que les éléments sont insuffisants ? Pour les cas auxquels il est possible de répondre, évite-t-il de s’abstenir inutilement ?

Par exemple, « 30 jours [policy-v1:p2] » réussit le cas illustratif si ce passage contient la règle indiquée. « 30 jours [policy-v1:p3] » doit échouer au contrôle d’étayage de la citation si p3 ne l’établit pas, même si la durée est correcte. Un identifiant de passage inventé doit échouer aux contrôles de validité de l’identifiant et d’étayage.

Les contrôles automatisés des identifiants et du format sont utiles, mais ils ne permettent pas d’établir qu’un passage justifie une affirmation. Utilisez une grille écrite et une vérification humaine pour l’étayage et l’exactitude ; si vous utilisez un modèle juge, consignez sa version et son prompt, et vérifiez un échantillon de ses jugements. Conservez les sorties des deux modèles et attribuez des étiquettes d’erreur telles que missing_evidence, unsupported_claim, wrong_citation ou unnecessary_abstention.

Diagnostiquer les problèmes et présenter les résultats

Si un passage pertinent est absent, examinez l’indexation, le découpage en segments, la version du corpus et les paramètres de recherche avant de modifier le générateur. Si le passage est présent mais que la réponse n’est pas étayée, examinez le prompt et le comportement de génération. Si la réponse est correcte mais cite le mauvais passage, considérez l’attribution comme un échec à part entière, et non comme un simple problème cosmétique de mise en forme.

Publiez un court manifeste d’exécution avec les résultats : construction et partitionnement du jeu de données, instantané des documents, révisions du modèle et de l’adaptateur, prompts, configuration de recherche, paramètres de décodage, règles de notation, effectifs par catégorie et échecs représentatifs. Avec de petits jeux, quelques exemples peuvent modifier sensiblement un pourcentage. Répétez les exécutions avec échantillonnage lorsque c’est pertinent, et distinguez la variation entre exécutions de l’incertitude due à un jeu de test limité.

Un benchmark public peut apporter du contexte, mais il ne peut pas remplacer ces éléments propres à la tâche. La conclusion défendable reste limitée : le résultat décrit ces modèles, documents, questions et paramètres, et non toutes les applications de questions-réponses sur documents.

Sources

FAQ

Faut-il d’abord évaluer la recherche ou le modèle de langage ?

Comparez d’abord les générateurs sur des passages identiques et figés afin d’isoler leur comportement. Évaluez ensuite le workflow complet de recherche et de génération, notamment la capacité du système de recherche à trouver les éléments nécessaires.

Une réponse correcte accompagnée d’une citation est-elle forcément un résultat réussi ?

Pas nécessairement. Vérifiez que le passage cité existe et qu’il étaye réellement l’affirmation associée. Une réponse correcte accompagnée d’une citation sans rapport ou inventée échoue sur le plan de l’attribution.

Puis-je utiliser un LLM juge à la place d’une vérification humaine ?

Un LLM juge peut fournir un signal utile, mais ses décisions ne doivent pas être automatiquement considérées comme des références. Consignez la version de son modèle et son prompt, utilisez une grille claire et faites vérifier un échantillon par des personnes.

Articles liés