GuidesOneMux

Comment configurer Cline pour des évaluations reproductibles d’agents de programmation

Configurez les sessions ClineCore avec des entrées fixes, des limites explicites pour les outils, des cas de test reproductibles et une liste de vérification pour le dépannage.

AI

Résumé · TL;DR

Utilisez ClineCore pour rendre les évaluations d’agents de programmation comparables : fixez le modèle et l’espace de travail, définissez les limites de la tâche, restreignez les outils au moyen des contrôles d’exécution pris en charge et consignez les résultats avec les tests et les données d’utilisation.

Points clés

  • Conservez le prompt, la configuration du modèle, l’espace de travail et les commandes de test entre les différentes évaluations.
  • ClineCore prend en charge la configuration au niveau de la session, les politiques d’outils et les capacités d’exécution ; vérifiez les schémas exacts des politiques et des callbacks dans la version du SDK que vous installez.
  • Considérez le prompt comme des consignes pour la tâche, et non comme une limite de sécurité. Restreignez explicitement les capacités d’exécution et les voies d’approbation.
  • Enregistrez les résultats des tests, les messages de session et l’utilisation cumulée afin de pouvoir diagnostiquer les échecs au lieu de juger uniquement la réponse finale.
Sur cette page (10)

La réponse en pratique

Pour évaluer équitablement un agent de programmation, faites en sorte que chaque exécution de Cline démarre du même état du dépôt, avec le même prompt, les mêmes identifiants de fournisseur et de modèle, les mêmes paramètres d’exécution et les mêmes commandes de test. N’accordez à l’agent que les outils requis par le test, puis consignez le résultat du test ainsi que l’historique de la session. Un prompt indiquant « ne modifiez pas de fichiers en dehors de ce dossier » constitue une consigne utile, mais ne fait pas respecter cette limite à lui seul.

ClineCore fournit la configuration de session, les politiques d’outils et les capacités propres à chaque session, l’historique de session, la lecture des messages, la récupération des données d’utilisation et les commandes d’interruption ou d’arrêt. La documentation de référence ne définit pas la structure détaillée des valeurs de politique ni des callbacks de capacités ; vérifiez donc ces éléments pour la version du SDK utilisée dans votre projet avant de vous y fier. Référence de l’API ClineCore

Prérequis et conception de l’évaluation

Avant d’écrire un harnais de test, déterminez les critères de réussite et les actions autorisées pour l’agent.

  • Fixez l’état de départ : utilisez une copie de travail propre ou réinitialisez le même environnement de test avant chaque exécution. Notez le commit ou l’identifiant de l’environnement.
  • Définissez un cas par tâche : indiquez la demande, le comportement attendu et une commande de test exécutable. Évitez les objectifs vagues tels que « améliorer le code ».
  • Définissez les limites : déterminez si l’exécution peut modifier des fichiers, lancer des tests, accéder au réseau ou démarrer des agents. N’activez que les possibilités nécessaires au cas.
  • Choisissez une règle d’arrêt : par exemple, arrêtez-vous après l’exécution de la commande de test ou lorsqu’un évaluateur humain intervient. ClineCore documente les méthodes abort et stop, mais la référence ne garantit pas de mécanisme de temporisation particulier.
  • Consignez l’environnement : enregistrez la version du SDK Cline, les identifiants du fournisseur et du modèle, la configuration pertinente, la sortie des tests et l’identifiant de session.

Exécutez les évaluations séquentiellement si elles partagent un espace de travail accessible en écriture. Des agents parallèles qui modifient la même copie de travail peuvent fausser les résultats.

Configurer une session ClineCore fixe

L’exemple ci-dessous suit la structure documentée de create et start. Il est donné à titre illustratif et ne constitue pas une recette d’intégration testée ; remplacez les identifiants de modèle et de fournisseur par des valeurs prises en charge par le fournisseur choisi, et ne stockez pas les secrets dans le contrôle de version.

import { ClineCore } from "@cline/sdk"

const cline = await ClineCore.create({
  clientName: "cline-eval-harness",
  backendMode: "auto",
})

const session = await cline.start({
  prompt: [
    "Implement the requested change in this repository.",
    "Do not change files outside the task scope.",
    "Run the specified test command and report its exact result.",
    "Do not spawn agents or agent teams.",
  ].join("\n"),
  source: "repeatable-evaluation",
  interactive: false,
  config: {
    providerId: "anthropic",
    modelId: "claude-sonnet-4-6",
    apiKey: process.env.ANTHROPIC_API_KEY,
    systemPrompt: "Make the smallest change that satisfies the task.",
    cwd: process.cwd(),
    workspaceRoot: process.cwd(),
    enableTools: true,
    enableSpawnAgent: false,
    enableAgentTeams: false,
  },
})

console.log({ sessionId: session.sessionId, result: session.result })

Le fournisseur et le modèle présentés sont des valeurs d’exemple tirées de la référence, et non une recommandation ni une garantie de disponibilité. ClineCore documente également toolPolicies et capabilities au moment de la création ou au niveau de la session. Lorsque votre version du SDK installée prend en charge ces contrôles, utilisez-les pour gérer les approbations et les outils exécutés par votre client. Le résumé de la source ne précise ni le schéma des politiques ni les signatures des callbacks ; ne copiez pas de clés de politique supposées dans votre harnais.

Pour les paramètres d’évaluation indépendants du fournisseur, gardez inchangés la tâche, l’espace de travail, la suite de tests, le mode d’interaction, les limites des outils et la procédure de consignation. Les identifiants de fournisseur et de modèle, les identifiants d’accès et les paramètres de requête propres au fournisseur ne sont pas indépendants du fournisseur. Vérifiez que le fournisseur accepte la configuration envoyée par votre environnement d’exécution ; la compatibilité avec un point de terminaison compatible avec OpenAI, par exemple, dépend de la prise en charge documentée des paramètres par ce point de terminaison. La référence Cline n’établit l’intégration avec aucun point de terminaison tiers en particulier.

Rendre le cas de test reproductible

Consignez chaque cas dans un petit manifeste ou un fichier de test versionné. Un cas utile comprend les éléments suivants :

ChampExemple de valeur
Identifiant du casadd-input-validation
État de départIdentifiant du commit ou de l’environnement
PromptTexte exact transmis à Cline
Actions autoriséesModifications de fichiers et tests locaux spécifiés uniquement
Commande de testCommande exacte et code de sortie attendu
Critères d’évaluationComportement requis et modifications interdites
Compte rendu d’exécutionIdentifiant de session, version du SDK, identifiant du modèle, sortie des tests

Le nom du cas et les valeurs ci-dessus sont donnés à titre d’exemple. Pour chaque exécution, conservez l’identifiant de session Cline et récupérez les messages avec readMessages ; utilisez getAccumulatedUsage lorsque vous avez besoin des données cumulées d’utilisation de jetons ou de coût rapportées pour la session. Ces éléments permettent de distinguer un échec d’implémentation d’un test qui n’a jamais été lancé ou d’une mauvaise compréhension de la tâche par l’agent. Évitez de comparer directement les coûts ou les données d’utilisation entre fournisseurs, sauf si vous savez que leurs unités de rapport et leurs méthodes de comptabilisation sont comparables.

Dépanner les problèmes courants d’évaluation

Les résultats varient d’une répétition à l’autre

Vérifiez si l’arborescence de travail contient des modifications non validées, si les dépendances ont changé, si des fichiers ont été générés, si les tests dépendent de l’environnement ou si le prompt est assemblé à partir de données variables. Réinitialisez l’espace de travail et comparez le prompt exact et la configuration de session avant de tirer des conclusions.

L’agent utilise un outil inattendu

Ne vous fiez pas uniquement aux instructions du prompt. Examinez les politiques d’outils configurées, ainsi que les capacités et callbacks d’approbation gérés par le client. Vérifiez les schémas pris en charge par la version du SDK installée, puis réduisez les voies d’exécution disponibles ou exigez une approbation. La référence énumère ces contrôles, mais ne détaille pas toutes les valeurs d’outil ou de politique.

L’exécution se termine sans résultat clair

Examinez les messages et le résultat de la session, puis vérifiez si la commande de test a réellement été exécutée. Le résultat documenté de start comprend un identifiant de session et peut inclure un résultat ; send renvoie un AgentResult ou undefined. Prévoyez le cas où aucun résultat n’est disponible dans le harnais, au lieu de considérer cela comme un test réussi.

Vous devez arrêter une exécution ou examiner le travail précédent

Utilisez l’identifiant de session avec la méthode documentée abort ou stop lorsqu’une intervention est nécessaire. Pour le débogage, ClineCore documente également la recherche de sessions, la lecture des messages, l’affichage de l’historique et la restauration de points de contrôle. Testez séparément le comportement de restauration avant de l’intégrer à un protocole d’évaluation formel.

Liste de vérification pour une évaluation concise

  1. Réinitialisez le dépôt à un état connu.
  2. Figez la version du SDK, les identifiants du fournisseur et du modèle, le prompt et la configuration de session.
  3. Définissez délibérément les racines de l’espace de travail et limitez l’exécution des outils au moyen des contrôles pris en charge.
  4. Exécutez un cas nommé avec une commande de test fixe.
  5. Enregistrez l’identifiant de session, les messages, la sortie des tests et les données d’utilisation pertinentes.
  6. Répétez l’exécution depuis le même état de départ ; examinez toute différence d’environnement avant de comparer les résultats.

ClineCore fournit des éléments utiles pour créer un harnais reproductible, mais la reproductibilité dépend de la conception des tests environnants : entrées fixes, autorisations explicites, espaces de travail contrôlés et preuves consignées.

FAQ

Quels paramètres Cline faut-il garder fixes entre les évaluations d’agents de programmation ?

Gardez fixes le prompt, les identifiants du fournisseur et du modèle, la configuration de session Cline, l’état de l’espace de travail, les limites des outils, la commande de test et la version du SDK. Consignez toutes les valeurs d’environnement susceptibles d’influer sur le résultat.

Dire à Cline de ne pas modifier un fichier suffit-il à imposer cette restriction ?

Non. Un prompt exprime une intention, mais ne constitue pas une limite d’exécution. Pour faire respecter la restriction, utilisez les politiques d’outils prises en charge, les capacités gérées par le client et les callbacks d’approbation, après avoir vérifié leurs schémas exacts dans la version de votre SDK.

ClineCore peut-il utiliser n’importe quel fournisseur ou point de terminaison compatible avec OpenAI ?

La référence ClineCore fournie présente les identifiants de fournisseur et de modèle dans la configuration de session, mais elle ne garantit ni une prise en charge universelle des fournisseurs ni l’intégration avec un point de terminaison particulier. Vérifiez que votre fournisseur et votre point de terminaison documentent la prise en charge de la configuration et des paramètres utilisés par votre environnement d’exécution.

Comment examiner une exécution Cline échouée ou incomplète ?

Vérifiez le résultat de la session et les messages enregistrés, confirmez que la commande de test attendue a été exécutée et examinez l’espace de travail pour repérer d’éventuelles modifications involontaires. ClineCore documente la recherche de sessions, la lecture des messages, la récupération des données d’utilisation cumulées et les méthodes d’arrêt ou d’interruption.

Articles liés