GuidesOneMux

Cline für reproduzierbare Coding-Agent-Evaluierungen konfigurieren

So richtest du ClineCore-Sitzungen mit festen Eingaben, klaren Tool-Grenzen, reproduzierbaren Testfällen und einer Checkliste zur Fehlerbehebung ein.

AI

Zusammenfassung · TL;DR

Mit ClineCore lassen sich Coding-Agent-Evaluierungen vergleichbar gestalten: Modell und Arbeitsbereich festlegen, Aufgabenbegrenzungen definieren, Tools über unterstützte Laufzeitkontrollen einschränken und Ergebnisse zusammen mit Tests und Nutzungsdaten dokumentieren.

Kernaussagen

  • Prompt, Modellkonfiguration, Arbeitsbereich und Testbefehle sollten bei allen Evaluierungsläufen gleich bleiben.
  • ClineCore unterstützt sitzungsbezogene Konfiguration, Tool-Richtlinien und Laufzeitfunktionen. Die konkreten Schemas für Richtlinien und Callbacks solltest du in der installierten SDK-Version prüfen.
  • Ein Prompt ist eine Arbeitsanweisung, keine Sicherheitsgrenze. Beschränke ausführbare Funktionen und Freigabewege ausdrücklich.
  • Erfasse Testergebnisse, Sitzungsnachrichten und kumulierte Nutzungsdaten, damit sich Fehler nachvollziehen lassen und nicht nur die abschließende Antwort bewertet wird.
Auf dieser Seite (10)

Die praktische Antwort

Für eine faire Coding-Agent-Evaluierung sollte jeder Cline-Lauf mit demselben Repository-Zustand, Prompt, Provider- und Modellkennungen, Laufzeiteinstellungen sowie Testbefehlen beginnen. Stelle dem Agenten nur die Tools bereit, die der Test erfordert, und dokumentiere anschließend sowohl das Testergebnis als auch den Sitzungsverlauf. Die Anweisung „Bearbeite keine Dateien außerhalb dieses Ordners“ ist als Orientierung nützlich, setzt diese Grenze aber nicht selbst durch.

ClineCore bietet Sitzungskonfiguration, sitzungsbezogene Tool-Richtlinien und Funktionen, Sitzungsverlauf, das Auslesen von Nachrichten, das Abrufen von Nutzungsdaten sowie Steuerungen zum Abbrechen und Beenden. Die Referenz beschreibt weder die genaue Struktur der Richtlinienwerte noch die Signaturen der Funktions-Callbacks. Prüfe diese daher anhand der SDK-Version in deinem Projekt, bevor du dich darauf verlässt. ClineCore API-Referenz

Voraussetzungen und Evaluierungsdesign

Lege vor dem Schreiben eines Test-Harness fest, was als Erfolg gilt und welche Aktionen der Agent ausführen darf.

  • Ausgangszustand festlegen: Verwende vor jedem Lauf einen sauberen Checkout oder setze dieselbe Test-Fixture zurück. Notiere den Commit oder die Fixture-Kennung.
  • Pro Testfall eine Aufgabe definieren: Gib die Anfrage, das erwartete Verhalten und einen ausführbaren Testbefehl an. Vermeide vage Ziele wie „den Code verbessern“.
  • Grenzen festlegen: Entscheide, ob der Lauf Dateien bearbeiten, Tests ausführen, auf das Netzwerk zugreifen oder Agenten starten darf. Aktiviere nur, was der Testfall erfordert.
  • Abbruchregel wählen: Beende den Lauf beispielsweise nach Abschluss des Testbefehls oder sobald ein menschlicher Reviewer eingreift. ClineCore dokumentiert die Methoden abort und stop, garantiert in der Referenz aber keinen bestimmten Timeout-Mechanismus.
  • Umgebung dokumentieren: Speichere die Cline-SDK-Version, Provider- und Modell-IDs, relevante Konfiguration, Testausgabe und Sitzungs-ID.

Führe Evaluierungen nacheinander aus, wenn sie sich einen beschreibbaren Arbeitsbereich teilen. Parallele Agenten, die denselben Checkout bearbeiten, können die Ergebnisse verfälschen.

Eine feste ClineCore-Sitzung konfigurieren

Das folgende Beispiel orientiert sich an der dokumentierten Form von create und start. Es dient der Veranschaulichung und ist keine getestete Integrationsanleitung. Ersetze Provider- und Modellkennungen durch Werte, die dein gewählter Provider unterstützt, und halte Geheimnisse aus der Versionsverwaltung heraus.

import { ClineCore } from "@cline/sdk"

const cline = await ClineCore.create({
  clientName: "cline-eval-harness",
  backendMode: "auto",
})

const session = await cline.start({
  prompt: [
    "Implement the requested change in this repository.",
    "Do not change files outside the task scope.",
    "Run the specified test command and report its exact result.",
    "Do not spawn agents or agent teams.",
  ].join("\n"),
  source: "repeatable-evaluation",
  interactive: false,
  config: {
    providerId: "anthropic",
    modelId: "claude-sonnet-4-6",
    apiKey: process.env.ANTHROPIC_API_KEY,
    systemPrompt: "Make the smallest change that satisfies the task.",
    cwd: process.cwd(),
    workspaceRoot: process.cwd(),
    enableTools: true,
    enableSpawnAgent: false,
    enableAgentTeams: false,
  },
})

console.log({ sessionId: session.sessionId, result: session.result })

Provider und Modell im Beispiel sind Beispielwerte aus der Referenz, keine Empfehlung und kein Beleg für ihre Verfügbarkeit. ClineCore dokumentiert außerdem toolPolicies und capabilities bei der Erstellung oder auf Sitzungsebene. Nutze diese Steuerungen, sofern deine installierte SDK-Version sie unterstützt, um Freigaben und die von deinem Client ausgeführten Tools zu regeln. Die Quellenzusammenfassung enthält weder ein Schema für Richtlinien noch Callback-Signaturen. Übernimm daher keine geratenen Richtlinienschlüssel in ein Test-Harness.

Für providerunabhängige Evaluierungseinstellungen sollten Aufgabe, Arbeitsbereich, Testsuite, Interaktionsmodus, Tool-Grenzen und Aufzeichnungsverfahren unverändert bleiben. Provider-IDs, Modell-IDs, Zugangsdaten und providerspezifische Anfrageparameter sind nicht providerunabhängig. Vergewissere dich, dass der Provider die von deiner Laufzeit übermittelte Konfiguration akzeptiert. Die Kompatibilität mit einem OpenAI-kompatiblen Endpunkt hängt beispielsweise davon ab, welche Parameter der Endpunkt laut Dokumentation unterstützt. Die Cline-Referenz belegt keine bestimmte Integration mit einem Drittanbieter-Endpunkt.

Testfälle reproduzierbar gestalten

Halte jeden Testfall in einem kleinen Manifest oder einer versionierten Testdatei fest. Ein hilfreicher Testfall dokumentiert:

FeldBeispielwert
Testfall-IDadd-input-validation
AusgangszustandCommit- oder Fixture-Kennung
PromptExakter an Cline übergebener Text
Zulässige AktionenNur Dateiänderungen und die angegebenen lokalen Tests
TestbefehlExakter Befehl und erwarteter Exit-Status
PrüfkriterienErforderliches Verhalten und unzulässige Änderungen
LaufprotokollSitzungs-ID, SDK-Version, Modell-ID, Testausgabe

Der Testfallname und die Werte oben dienen nur der Veranschaulichung. Speichere für jeden Lauf die Cline-Sitzungs-ID und rufe Nachrichten mit readMessages ab. Verwende getAccumulatedUsage, wenn du die von der Sitzung gemeldeten kumulierten Token- oder Kostendaten benötigst. Diese Aufzeichnungen helfen dabei, einen Implementierungsfehler von einem nicht ausgeführten Test oder einem missverstandenen Auftrag zu unterscheiden. Vergleiche Kosten- oder Nutzungsdaten verschiedener Provider nicht direkt, sofern nicht feststeht, dass ihre Einheiten und Abrechnungsweisen vergleichbar sind.

Häufige Fehler bei Evaluierungen beheben

Die Ergebnisse ändern sich zwischen Wiederholungen

Prüfe, ob der Arbeitsbaum nicht sauber ist, Abhängigkeiten wechseln, Dateien generiert werden, Tests von der Umgebung abhängen oder der Prompt aus nicht fixierten Daten zusammengesetzt wird. Setze den Arbeitsbereich zurück und vergleiche den exakten Prompt sowie die Sitzungskonfiguration, bevor du Schlussfolgerungen ziehst.

Der Agent verwendet ein unerwartetes Tool

Verlasse dich nicht allein auf Anweisungen im Prompt. Prüfe die konfigurierten Tool-Richtlinien sowie die vom Client bereitgestellten Funktionen und Freigabe-Callbacks. Stelle sicher, dass du die unterstützten Schemas deiner installierten SDK-Version verwendest. Schränke anschließend die verfügbaren Ausführungswege ein oder verlange eine Freigabe. Die Referenz führt diese Steuerungen auf, zählt aber nicht jedes Tool und jeden Richtlinienwert auf.

Der Lauf endet ohne eindeutiges Ergebnis

Prüfe die Sitzungsnachrichten und das Ergebnis und stelle anschließend fest, ob der Testbefehl tatsächlich ausgeführt wurde. Das dokumentierte Ergebnis von start enthält eine Sitzungs-ID und kann ein Ergebnis enthalten; send gibt ein AgentResult oder undefined zurück. Berücksichtige im Test-Harness den Fall, dass kein Ergebnis vorliegt, statt ihn als bestandenen Test zu werten.

Einen Lauf stoppen oder frühere Arbeit prüfen

Verwende bei erforderlichen Eingriffen die Sitzungs-ID zusammen mit der dokumentierten Methode abort oder stop. Für die Fehlersuche dokumentiert ClineCore außerdem die Sitzungsabfrage, das Auslesen von Nachrichten, das Auflisten des Verlaufs und die Wiederherstellung von Checkpoints. Teste das Wiederherstellungsverhalten separat, bevor du es in ein formelles Evaluierungsprotokoll aufnimmst.

Kompakte Checkliste für Evaluierungen

  1. Setze das Repository auf einen bekannten Zustand zurück.
  2. Fixiere SDK-Version, Provider- und Modellkennungen, Prompt und Sitzungskonfiguration.
  3. Lege Arbeitsbereichsverzeichnisse bewusst fest und beschränke die Tool-Ausführung über unterstützte Steuerungen.
  4. Führe einen benannten Testfall mit einem festen Testbefehl aus.
  5. Speichere Sitzungs-ID, Nachrichten, Testausgabe und relevante Nutzungsdaten.
  6. Wiederhole den Lauf mit demselben Ausgangszustand. Untersuche Abweichungen in der Umgebung, bevor du die Ergebnisse vergleichst.

ClineCore bietet nützliche Bausteine für ein reproduzierbares Test-Harness. Die Reproduzierbarkeit entsteht jedoch durch das umgebende Testdesign: feste Eingaben, ausdrückliche Berechtigungen, kontrollierte Arbeitsbereiche und dokumentierte Nachweise.

FAQ

Welche Cline-Einstellungen sollten bei Coding-Agent-Evaluierungen gleich bleiben?

Prompt, Provider- und Modellkennungen, Cline-Sitzungskonfiguration, Zustand des Arbeitsbereichs, Tool-Grenzen, Testbefehl und SDK-Version sollten gleich bleiben. Dokumentiere außerdem alle Umgebungswerte, die das Ergebnis beeinflussen könnten.

Verhindert die Anweisung an Cline, eine Datei nicht zu bearbeiten, tatsächlich deren Änderung?

Nein. Ein Prompt vermittelt eine Absicht, bildet aber keine Ausführungsgrenze. Verwende die unterstützten Tool-Richtlinien, die vom Client bereitgestellten Funktionen und Freigabe-Callbacks zur Durchsetzung. Prüfe zuvor die genauen Schemas deiner SDK-Version.

Kann ClineCore mit jedem Provider oder OpenAI-kompatiblen Endpunkt verwendet werden?

Die bereitgestellte ClineCore-Referenz zeigt Provider- und Modellkennungen in der Sitzungskonfiguration. Sie belegt jedoch weder eine universelle Provider-Unterstützung noch eine bestimmte Endpunktintegration. Prüfe in der Dokumentation deines Providers und Endpunkts, ob die von deiner Laufzeit verwendete Konfiguration und die Parameter unterstützt werden.

Wie untersuche ich einen fehlgeschlagenen oder unvollständigen Cline-Lauf?

Prüfe das Sitzungsergebnis und die gespeicherten Nachrichten, vergewissere dich, dass der erwartete Testbefehl ausgeführt wurde, und untersuche den Arbeitsbereich auf unbeabsichtigte Änderungen. ClineCore dokumentiert die Sitzungsabfrage, das Auslesen von Nachrichten, den Abruf kumulierter Nutzungsdaten sowie Methoden zum Stoppen und Abbrechen.

Ähnliche Artikel