Cline für reproduzierbare Coding-Agent-Evaluierungen konfigurieren
So richtest du ClineCore-Sitzungen mit festen Eingaben, klaren Tool-Grenzen, reproduzierbaren Testfällen und einer Checkliste zur Fehlerbehebung ein.
Zusammenfassung · TL;DR
Mit ClineCore lassen sich Coding-Agent-Evaluierungen vergleichbar gestalten: Modell und Arbeitsbereich festlegen, Aufgabenbegrenzungen definieren, Tools über unterstützte Laufzeitkontrollen einschränken und Ergebnisse zusammen mit Tests und Nutzungsdaten dokumentieren.
Kernaussagen
- Prompt, Modellkonfiguration, Arbeitsbereich und Testbefehle sollten bei allen Evaluierungsläufen gleich bleiben.
- ClineCore unterstützt sitzungsbezogene Konfiguration, Tool-Richtlinien und Laufzeitfunktionen. Die konkreten Schemas für Richtlinien und Callbacks solltest du in der installierten SDK-Version prüfen.
- Ein Prompt ist eine Arbeitsanweisung, keine Sicherheitsgrenze. Beschränke ausführbare Funktionen und Freigabewege ausdrücklich.
- Erfasse Testergebnisse, Sitzungsnachrichten und kumulierte Nutzungsdaten, damit sich Fehler nachvollziehen lassen und nicht nur die abschließende Antwort bewertet wird.
Auf dieser Seite (10)
Die praktische Antwort
Für eine faire Coding-Agent-Evaluierung sollte jeder Cline-Lauf mit demselben Repository-Zustand, Prompt, Provider- und Modellkennungen, Laufzeiteinstellungen sowie Testbefehlen beginnen. Stelle dem Agenten nur die Tools bereit, die der Test erfordert, und dokumentiere anschließend sowohl das Testergebnis als auch den Sitzungsverlauf. Die Anweisung „Bearbeite keine Dateien außerhalb dieses Ordners“ ist als Orientierung nützlich, setzt diese Grenze aber nicht selbst durch.
ClineCore bietet Sitzungskonfiguration, sitzungsbezogene Tool-Richtlinien und Funktionen, Sitzungsverlauf, das Auslesen von Nachrichten, das Abrufen von Nutzungsdaten sowie Steuerungen zum Abbrechen und Beenden. Die Referenz beschreibt weder die genaue Struktur der Richtlinienwerte noch die Signaturen der Funktions-Callbacks. Prüfe diese daher anhand der SDK-Version in deinem Projekt, bevor du dich darauf verlässt. ClineCore API-Referenz
Voraussetzungen und Evaluierungsdesign
Lege vor dem Schreiben eines Test-Harness fest, was als Erfolg gilt und welche Aktionen der Agent ausführen darf.
- Ausgangszustand festlegen: Verwende vor jedem Lauf einen sauberen Checkout oder setze dieselbe Test-Fixture zurück. Notiere den Commit oder die Fixture-Kennung.
- Pro Testfall eine Aufgabe definieren: Gib die Anfrage, das erwartete Verhalten und einen ausführbaren Testbefehl an. Vermeide vage Ziele wie „den Code verbessern“.
- Grenzen festlegen: Entscheide, ob der Lauf Dateien bearbeiten, Tests ausführen, auf das Netzwerk zugreifen oder Agenten starten darf. Aktiviere nur, was der Testfall erfordert.
- Abbruchregel wählen: Beende den Lauf beispielsweise nach Abschluss des Testbefehls oder sobald ein menschlicher Reviewer eingreift. ClineCore dokumentiert die Methoden
abortundstop, garantiert in der Referenz aber keinen bestimmten Timeout-Mechanismus. - Umgebung dokumentieren: Speichere die Cline-SDK-Version, Provider- und Modell-IDs, relevante Konfiguration, Testausgabe und Sitzungs-ID.
Führe Evaluierungen nacheinander aus, wenn sie sich einen beschreibbaren Arbeitsbereich teilen. Parallele Agenten, die denselben Checkout bearbeiten, können die Ergebnisse verfälschen.
Eine feste ClineCore-Sitzung konfigurieren
Das folgende Beispiel orientiert sich an der dokumentierten Form von create und start. Es dient der Veranschaulichung und ist keine getestete Integrationsanleitung. Ersetze Provider- und Modellkennungen durch Werte, die dein gewählter Provider unterstützt, und halte Geheimnisse aus der Versionsverwaltung heraus.
import { ClineCore } from "@cline/sdk"
const cline = await ClineCore.create({
clientName: "cline-eval-harness",
backendMode: "auto",
})
const session = await cline.start({
prompt: [
"Implement the requested change in this repository.",
"Do not change files outside the task scope.",
"Run the specified test command and report its exact result.",
"Do not spawn agents or agent teams.",
].join("\n"),
source: "repeatable-evaluation",
interactive: false,
config: {
providerId: "anthropic",
modelId: "claude-sonnet-4-6",
apiKey: process.env.ANTHROPIC_API_KEY,
systemPrompt: "Make the smallest change that satisfies the task.",
cwd: process.cwd(),
workspaceRoot: process.cwd(),
enableTools: true,
enableSpawnAgent: false,
enableAgentTeams: false,
},
})
console.log({ sessionId: session.sessionId, result: session.result })
Provider und Modell im Beispiel sind Beispielwerte aus der Referenz, keine Empfehlung und kein Beleg für ihre Verfügbarkeit. ClineCore dokumentiert außerdem toolPolicies und capabilities bei der Erstellung oder auf Sitzungsebene. Nutze diese Steuerungen, sofern deine installierte SDK-Version sie unterstützt, um Freigaben und die von deinem Client ausgeführten Tools zu regeln. Die Quellenzusammenfassung enthält weder ein Schema für Richtlinien noch Callback-Signaturen. Übernimm daher keine geratenen Richtlinienschlüssel in ein Test-Harness.
Für providerunabhängige Evaluierungseinstellungen sollten Aufgabe, Arbeitsbereich, Testsuite, Interaktionsmodus, Tool-Grenzen und Aufzeichnungsverfahren unverändert bleiben. Provider-IDs, Modell-IDs, Zugangsdaten und providerspezifische Anfrageparameter sind nicht providerunabhängig. Vergewissere dich, dass der Provider die von deiner Laufzeit übermittelte Konfiguration akzeptiert. Die Kompatibilität mit einem OpenAI-kompatiblen Endpunkt hängt beispielsweise davon ab, welche Parameter der Endpunkt laut Dokumentation unterstützt. Die Cline-Referenz belegt keine bestimmte Integration mit einem Drittanbieter-Endpunkt.
Testfälle reproduzierbar gestalten
Halte jeden Testfall in einem kleinen Manifest oder einer versionierten Testdatei fest. Ein hilfreicher Testfall dokumentiert:
| Feld | Beispielwert |
|---|---|
| Testfall-ID | add-input-validation |
| Ausgangszustand | Commit- oder Fixture-Kennung |
| Prompt | Exakter an Cline übergebener Text |
| Zulässige Aktionen | Nur Dateiänderungen und die angegebenen lokalen Tests |
| Testbefehl | Exakter Befehl und erwarteter Exit-Status |
| Prüfkriterien | Erforderliches Verhalten und unzulässige Änderungen |
| Laufprotokoll | Sitzungs-ID, SDK-Version, Modell-ID, Testausgabe |
Der Testfallname und die Werte oben dienen nur der Veranschaulichung. Speichere für jeden Lauf die Cline-Sitzungs-ID und rufe Nachrichten mit readMessages ab. Verwende getAccumulatedUsage, wenn du die von der Sitzung gemeldeten kumulierten Token- oder Kostendaten benötigst. Diese Aufzeichnungen helfen dabei, einen Implementierungsfehler von einem nicht ausgeführten Test oder einem missverstandenen Auftrag zu unterscheiden. Vergleiche Kosten- oder Nutzungsdaten verschiedener Provider nicht direkt, sofern nicht feststeht, dass ihre Einheiten und Abrechnungsweisen vergleichbar sind.
Häufige Fehler bei Evaluierungen beheben
Die Ergebnisse ändern sich zwischen Wiederholungen
Prüfe, ob der Arbeitsbaum nicht sauber ist, Abhängigkeiten wechseln, Dateien generiert werden, Tests von der Umgebung abhängen oder der Prompt aus nicht fixierten Daten zusammengesetzt wird. Setze den Arbeitsbereich zurück und vergleiche den exakten Prompt sowie die Sitzungskonfiguration, bevor du Schlussfolgerungen ziehst.
Der Agent verwendet ein unerwartetes Tool
Verlasse dich nicht allein auf Anweisungen im Prompt. Prüfe die konfigurierten Tool-Richtlinien sowie die vom Client bereitgestellten Funktionen und Freigabe-Callbacks. Stelle sicher, dass du die unterstützten Schemas deiner installierten SDK-Version verwendest. Schränke anschließend die verfügbaren Ausführungswege ein oder verlange eine Freigabe. Die Referenz führt diese Steuerungen auf, zählt aber nicht jedes Tool und jeden Richtlinienwert auf.
Der Lauf endet ohne eindeutiges Ergebnis
Prüfe die Sitzungsnachrichten und das Ergebnis und stelle anschließend fest, ob der Testbefehl tatsächlich ausgeführt wurde. Das dokumentierte Ergebnis von start enthält eine Sitzungs-ID und kann ein Ergebnis enthalten; send gibt ein AgentResult oder undefined zurück. Berücksichtige im Test-Harness den Fall, dass kein Ergebnis vorliegt, statt ihn als bestandenen Test zu werten.
Einen Lauf stoppen oder frühere Arbeit prüfen
Verwende bei erforderlichen Eingriffen die Sitzungs-ID zusammen mit der dokumentierten Methode abort oder stop. Für die Fehlersuche dokumentiert ClineCore außerdem die Sitzungsabfrage, das Auslesen von Nachrichten, das Auflisten des Verlaufs und die Wiederherstellung von Checkpoints. Teste das Wiederherstellungsverhalten separat, bevor du es in ein formelles Evaluierungsprotokoll aufnimmst.
Kompakte Checkliste für Evaluierungen
- Setze das Repository auf einen bekannten Zustand zurück.
- Fixiere SDK-Version, Provider- und Modellkennungen, Prompt und Sitzungskonfiguration.
- Lege Arbeitsbereichsverzeichnisse bewusst fest und beschränke die Tool-Ausführung über unterstützte Steuerungen.
- Führe einen benannten Testfall mit einem festen Testbefehl aus.
- Speichere Sitzungs-ID, Nachrichten, Testausgabe und relevante Nutzungsdaten.
- Wiederhole den Lauf mit demselben Ausgangszustand. Untersuche Abweichungen in der Umgebung, bevor du die Ergebnisse vergleichst.
ClineCore bietet nützliche Bausteine für ein reproduzierbares Test-Harness. Die Reproduzierbarkeit entsteht jedoch durch das umgebende Testdesign: feste Eingaben, ausdrückliche Berechtigungen, kontrollierte Arbeitsbereiche und dokumentierte Nachweise.
FAQ
Welche Cline-Einstellungen sollten bei Coding-Agent-Evaluierungen gleich bleiben?
Prompt, Provider- und Modellkennungen, Cline-Sitzungskonfiguration, Zustand des Arbeitsbereichs, Tool-Grenzen, Testbefehl und SDK-Version sollten gleich bleiben. Dokumentiere außerdem alle Umgebungswerte, die das Ergebnis beeinflussen könnten.
Verhindert die Anweisung an Cline, eine Datei nicht zu bearbeiten, tatsächlich deren Änderung?
Nein. Ein Prompt vermittelt eine Absicht, bildet aber keine Ausführungsgrenze. Verwende die unterstützten Tool-Richtlinien, die vom Client bereitgestellten Funktionen und Freigabe-Callbacks zur Durchsetzung. Prüfe zuvor die genauen Schemas deiner SDK-Version.
Kann ClineCore mit jedem Provider oder OpenAI-kompatiblen Endpunkt verwendet werden?
Die bereitgestellte ClineCore-Referenz zeigt Provider- und Modellkennungen in der Sitzungskonfiguration. Sie belegt jedoch weder eine universelle Provider-Unterstützung noch eine bestimmte Endpunktintegration. Prüfe in der Dokumentation deines Providers und Endpunkts, ob die von deiner Laufzeit verwendete Konfiguration und die Parameter unterstützt werden.
Wie untersuche ich einen fehlgeschlagenen oder unvollständigen Cline-Lauf?
Prüfe das Sitzungsergebnis und die gespeicherten Nachrichten, vergewissere dich, dass der erwartete Testbefehl ausgeführt wurde, und untersuche den Arbeitsbereich auf unbeabsichtigte Änderungen. ClineCore dokumentiert die Sitzungsabfrage, das Auslesen von Nachrichten, den Abruf kumulierter Nutzungsdaten sowie Methoden zum Stoppen und Abbrechen.
Ähnliche Artikel
Guides
Cline in der Produktion: Sitzungen konfigurieren und sicher wiederherstellen
Praxisleitfaden zur Konfiguration von ClineCore-Sitzungen, zur Trennung von Laufzeit- und Provider-Einstellungen sowie zur Gestaltung sicherer Wiederholungs- und Wiederherstellungsregeln.
Guides
ClineCore für datenschutzbewusste Coding-Sitzungen konfigurieren
Eine praktische Anleitung zum Konfigurieren von ClineCore-Sitzungen, zum Begrenzen der Offenlegung sensibler Daten und zur Fehlerbehebung bei häufigen Einrichtungsproblemen.
Guides
Cline zur Diagnose eines API-Vorfalls konfigurieren
Konfigurieren Sie eine Cline-SDK-Sitzung zur Diagnose eines API-Vorfalls, wählen Sie anbieterunabhängige Laufzeiteinstellungen und beheben Sie Probleme anhand beobachtbarer Fehlersignale.
Guides
Cline mit einem OpenAI-kompatiblen Anbieter für die JSON-Schema-Extraktion konfigurieren
Richten Sie in Cline einen OpenAI-kompatiblen Anbieter ein und erstellen und validieren Sie anschließend mit einem Coding-Agent-Workflow eine strukturierte Extraktion mit JSON Schema.