GuidesOneMux

Cómo configurar Cline para evaluaciones reproducibles de agentes de programación

Configura sesiones de ClineCore con entradas fijas, límites explícitos para las herramientas, casos de prueba reproducibles y una lista de comprobación para solucionar problemas.

AI

Resumen · TL;DR

Usa ClineCore para que las evaluaciones de agentes de programación sean comparables: fija el modelo y el espacio de trabajo, define los límites de la tarea, restringe las herramientas mediante controles de ejecución compatibles y registra los resultados junto con las pruebas y el uso.

Puntos clave

  • Mantén constantes el prompt, la configuración del modelo, el espacio de trabajo y los comandos de prueba entre ejecuciones de evaluación.
  • ClineCore admite configuración a nivel de sesión, políticas de herramientas y capacidades de ejecución; consulta la versión del SDK que instales para comprobar los esquemas exactos de las políticas y las funciones de callback.
  • Usa el prompt como guía para la tarea, no como límite de seguridad. Restringe explícitamente las capacidades ejecutables y las vías de aprobación.
  • Registra los resultados de las pruebas, los mensajes de la sesión y el uso acumulado para poder diagnosticar los fallos, en lugar de juzgar solo la respuesta final.
En esta página (10)

La respuesta práctica

Para evaluar de forma justa un agente de programación, haz que cada ejecución de Cline parta del mismo estado del repositorio y use el mismo prompt, los mismos identificadores de proveedor y modelo, la misma configuración de ejecución y los mismos comandos de prueba. Proporciona al agente solo las herramientas necesarias para la prueba y registra tanto el resultado de las pruebas como el historial de la sesión. Un prompt que diga «no edites archivos fuera de esta carpeta» sirve como indicación, pero por sí solo no impone ese límite.

ClineCore ofrece configuración de sesión, políticas y capacidades de herramientas por sesión, historial de sesión, lectura de mensajes, consulta del uso y controles para abortar o detener una ejecución. La referencia no especifica la estructura detallada de los valores de las políticas ni de los callbacks de capacidades, así que compruébalos en la versión del SDK de tu proyecto antes de depender de ellos. Referencia de la API de ClineCore

Requisitos previos y diseño de la evaluación

Antes de escribir un arnés de pruebas, decide qué se considera un resultado satisfactorio y qué puede hacer el agente.

  • Fija el estado inicial: usa una copia de trabajo limpia o restablece el mismo entorno de prueba antes de cada ejecución. Registra el commit o el identificador del entorno.
  • Define una tarea por caso: incluye la solicitud, el comportamiento esperado y un comando de prueba ejecutable. Evita objetivos vagos como «mejorar el código».
  • Establece límites: decide si la ejecución puede editar archivos, ejecutar pruebas, acceder a la red o iniciar otros agentes. Habilita solo lo necesario para cada caso.
  • Elige una regla de finalización: por ejemplo, detenerse cuando termine el comando de prueba o cuando intervenga una persona revisora. ClineCore documenta los métodos abort y stop, pero la referencia no garantiza un mecanismo de tiempo de espera específico.
  • Registra el entorno: guarda la versión del SDK de Cline, los identificadores del proveedor y del modelo, la configuración pertinente, la salida de las pruebas y el ID de sesión.

Ejecuta las evaluaciones de forma secuencial si comparten un espacio de trabajo con permisos de escritura. Si varios agentes editan la misma copia de trabajo en paralelo, pueden alterar los resultados.

Configura una sesión fija de ClineCore

El ejemplo siguiente sigue la estructura documentada de create y start. Es ilustrativo, no una receta de integración probada; sustituye los identificadores de proveedor y modelo por valores compatibles con el proveedor elegido y mantén las credenciales fuera del control de versiones.

import { ClineCore } from "@cline/sdk"

const cline = await ClineCore.create({
  clientName: "cline-eval-harness",
  backendMode: "auto",
})

const session = await cline.start({
  prompt: [
    "Implement the requested change in this repository.",
    "Do not change files outside the task scope.",
    "Run the specified test command and report its exact result.",
    "Do not spawn agents or agent teams.",
  ].join("\n"),
  source: "repeatable-evaluation",
  interactive: false,
  config: {
    providerId: "anthropic",
    modelId: "claude-sonnet-4-6",
    apiKey: process.env.ANTHROPIC_API_KEY,
    systemPrompt: "Make the smallest change that satisfies the task.",
    cwd: process.cwd(),
    workspaceRoot: process.cwd(),
    enableTools: true,
    enableSpawnAgent: false,
    enableAgentTeams: false,
  },
})

console.log({ sessionId: session.sessionId, result: session.result })

El proveedor y el modelo que aparecen son valores de ejemplo de la referencia, no una recomendación ni una garantía de disponibilidad. ClineCore también documenta toolPolicies y capabilities en la creación o a nivel de sesión. Cuando la versión del SDK instalada lo permita, usa esos controles para gestionar las aprobaciones y las herramientas que ejecuta tu cliente. El resumen de la fuente no especifica el esquema de las políticas ni las firmas de los callbacks; no copies claves de política supuestas en un arnés de pruebas.

Para las evaluaciones con ajustes independientes del proveedor, mantén sin cambios la tarea, el espacio de trabajo, el conjunto de pruebas, el modo de interacción, los límites de las herramientas y el procedimiento de registro. Los identificadores del proveedor y del modelo, las credenciales y los parámetros específicos del proveedor no son independientes de este. Confirma que el proveedor acepta la configuración que envía tu entorno de ejecución; por ejemplo, la compatibilidad con un endpoint compatible con OpenAI depende de los parámetros que ese endpoint documente como compatibles. La referencia de Cline no acredita la integración con ningún endpoint de terceros en particular.

Haz que el caso de prueba sea reproducible

Guarda cada caso en un manifiesto breve o en un archivo de pruebas bajo control de versiones. Un caso útil registra lo siguiente:

CampoValor de ejemplo
ID del casoadd-input-validation
Estado inicialIdentificador del commit o del entorno de prueba
PromptTexto exacto enviado a Cline
Acciones permitidasSolo ediciones de archivos y las pruebas locales especificadas
Comando de pruebaComando exacto y código de salida esperado
Criterios de revisiónComportamiento requerido y cambios prohibidos
Registro de ejecuciónID de sesión, versión del SDK, ID del modelo y salida de las pruebas

El nombre y los valores del caso son ilustrativos. En cada ejecución, conserva el ID de sesión de Cline y recupera los mensajes con readMessages; usa getAccumulatedUsage cuando necesites consultar el uso acumulado de tokens o costes informado para la sesión. Estos registros ayudan a distinguir un fallo de implementación de una prueba que nunca llegó a ejecutarse o de un agente que entendió mal la tarea. Evita comparar directamente el coste o el uso entre proveedores, a menos que sepas que sus unidades y métodos de cálculo son comparables.

Solución de problemas habituales en las evaluaciones

Los resultados cambian entre repeticiones

Comprueba si el árbol de trabajo contiene cambios pendientes, si varían las dependencias, si se generan archivos, si las pruebas dependen del entorno o si el prompt se compone a partir de datos variables. Restablece el espacio de trabajo y compara el prompt exacto y la configuración de sesión antes de sacar conclusiones.

El agente usa una herramienta inesperada

No te fíes solo de las instrucciones del prompt. Revisa las políticas de herramientas configuradas y las capacidades y funciones de aprobación administradas por el cliente. Confirma los esquemas compatibles con el SDK instalado y, después, reduce las vías de ejecución disponibles o exige aprobación. La referencia enumera estos controles, pero no detalla todas las herramientas ni todos los valores de política.

La ejecución termina sin un resultado claro

Inspecciona los mensajes y el resultado de la sesión; después, comprueba si se ejecutó realmente el comando de prueba. El resultado documentado de start incluye un ID de sesión y puede incluir un resultado; send devuelve un AgentResult o undefined. Gestiona la posibilidad de que no haya resultado en el arnés de pruebas, en lugar de tratarla como si la prueba hubiera sido satisfactoria.

Necesitas detener una ejecución o revisar el trabajo anterior

Usa el ID de sesión con el método documentado abort o stop cuando sea necesario intervenir. Para depurar, ClineCore también documenta la búsqueda de sesiones, la lectura de mensajes, la consulta del historial y la restauración de puntos de control. Prueba por separado el comportamiento de restauración antes de incorporarlo a un protocolo formal de evaluación.

Lista de comprobación breve para la evaluación

  1. Restablece un estado conocido del repositorio.
  2. Fija la versión del SDK, los identificadores del proveedor y del modelo, el prompt y la configuración de sesión.
  3. Define deliberadamente las raíces del espacio de trabajo y limita la ejecución de herramientas mediante controles compatibles.
  4. Ejecuta un caso con nombre y un comando de prueba fijo.
  5. Guarda el ID de sesión, los mensajes, la salida de las pruebas y los datos de uso pertinentes.
  6. Repite la ejecución desde el mismo estado inicial; investiga cualquier diferencia en el entorno antes de comparar los resultados.

ClineCore proporciona componentes útiles para crear un arnés reproducible, pero la reproducibilidad depende del diseño de las pruebas que lo rodean: entradas fijas, permisos explícitos, espacios de trabajo controlados y pruebas registradas.

FAQ

¿Qué ajustes de Cline deben mantenerse fijos entre las ejecuciones de evaluación de un agente de programación?

Mantén fijos el prompt, los identificadores del proveedor y del modelo, la configuración de sesión de Cline, el estado del espacio de trabajo, los límites de las herramientas, el comando de prueba y la versión del SDK. Registra cualquier valor del entorno que pueda afectar al resultado.

¿Decirle a Cline que no edite un archivo hace que la restricción sea efectiva?

No. El prompt comunica la intención, pero no limita la ejecución. Para imponer restricciones, usa las políticas de herramientas compatibles, las capacidades administradas por el cliente y los callbacks de aprobación, tras confirmar sus esquemas exactos en la versión de tu SDK.

¿ClineCore puede usar cualquier proveedor o endpoint compatible con OpenAI?

La referencia de ClineCore proporcionada muestra identificadores de proveedor y modelo en la configuración de sesión, pero no garantiza compatibilidad universal con proveedores ni establece una integración concreta con un endpoint. Confirma que la documentación de tu proveedor y endpoint indique que son compatibles con la configuración y los parámetros que usa tu entorno de ejecución.

¿Cómo puedo investigar una ejecución de Cline fallida o incompleta?

Revisa el resultado y los mensajes guardados de la sesión, confirma si se ejecutó el comando de prueba esperado e inspecciona el espacio de trabajo para detectar cambios no deseados. ClineCore documenta la búsqueda de sesiones, la lectura de mensajes, la consulta del uso acumulado y los métodos para detener o abortar una ejecución.

Artículos relacionados