Ponle una boleta de calificaciones a tu skill
Pídele a una IA que califique su propia salida en una escala del 1 al 5 y obtendrás un número, pero no uno confiable. La IA no puede distinguir de forma fiable entre un cuatro sobre cinco y un cinco sobre cinco; cuando la presionas por un puntaje, se lo inventa. Si quieres un ciclo de calificación en el que realmente puedas confiar, no pidas un puntaje. Pide aprobado o reprobado.
Por qué los puntajes numéricos no funcionan como evals
Una calificación del 1 al 5 se siente rigurosa porque produce un número, pero el número es en su mayoría ruido. El modelo no tiene un sentido interno estable de "esto es un 4.2" frente a "esto es un 3.8" — esas distinciones son más finas que lo que puede juzgar con consistencia, así que corridas consecutivas sobre la misma salida pueden desviarse hacia arriba o hacia abajo sin ninguna razón real. Eso vuelve inútil la autocalificación numérica como condición de parada: no puedes saber si un "4" significa "suficientemente bueno para publicar" o "necesita otra pasada".
Las verificaciones binarias no tienen ese problema. "¿Incluye esto un llamado a la acción?" y "¿Hay palabras de relleno?" son preguntas con una respuesta real y verificable. El modelo no está estimando un escalar difuso — está aplicando una regla concreta a un texto concreto.
Arma un evals.md de verificaciones de aprobado/reprobado
Para cualquier skill que produzca salida escrita o estructurada, anota las verificaciones que definen "listo" como ítems explícitos y binarios:
No filler words? ✓ / ✗
Has a clear call to action? ✓ / ✗
Matches the target voice? ✓ / ✗Cada verificación debe poder responderse mirando la salida — sin juicios sobre el grado, solo sobre presencia o ausencia. Si una verificación parece necesitar una respuesta "más o menos", todavía no es lo bastante específica; divídela en algo que se resuelva en sí o no.
Califícalo con un agente aparte, de contexto limpio
La verificación que importa tanto como las verificaciones mismas: no dejes que el mismo agente que escribió la salida también la califique. Un agente que califica su propio trabajo reciente carga el contexto de todo lo que acaba de hacer — su propio razonamiento, sus propias suposiciones — y ese sesgo se filtra en la calificación, del mismo modo que a una persona le cuesta corregir su propio texto justo después de terminarlo.
Levanta un agente aparte para correr los evals, con una ventana de contexto limpia que no tenga memoria de cómo se produjo la salida. Ve solo el archivo de evals y la salida, y responde cada verificación de forma independiente. Esa separación es lo que hace que la calificación sea confiable en lugar de autocomplaciente.
El ciclo
- El agente editor produce (o revisa) la salida.
- El agente calificador, en un contexto nuevo, corre cada verificación de evals.md y reporta aprobado/reprobado por ítem.
- Si alguna verificación reprueba, envía las fallas de vuelta al agente editor y haz que revise específicamente para corregirlas — no una reescritura general, sino un arreglo puntual.
- Repite hasta que cada verificación apruebe.
Esto no es una revisión de un solo tiro — es un ciclo, y puede tomar más de una pasada. Una corrida real de este patrón tomó cinco ciclos antes de que cada verificación aprobara, corriendo sin supervisión: nadie se sentó a mirar cada ronda. El valor del ciclo es exactamente que no necesita una persona en medio de cada iteración — el calificador o lo aprueba o lo devuelve.
Cómo configurar tu propio archivo de evals
- Escribe verificaciones específicas para lo que significa "bueno" para la salida de esa skill en particular — una skill de edición de newsletters y una de revisión de código necesitan listas de verificación completamente distintas.
- Mantén cada verificación binaria. Si te tienta escribir "el tono está más o menos bien", reescríbelo como algo verificable, como "evita la primera persona del plural" o "ninguna oración de más de 30 palabras".
- Guarda el archivo de evals junto a la skill para que viaje con ella y se mantenga sincronizado a medida que cambia el comportamiento de la skill.
Trucos avanzados
- Mantén siempre separados los agentes de edición y de calificación. Nunca dejes que el mismo contexto que produjo la salida también la juzgue.
- Convierte las verificaciones difusas en binarias. "Calidad: buena/mala" es un puntaje escondido — divídelo en los rasgos concretos que de verdad la hacen buena o mala.
- Deja correr el ciclo sin supervisión. El beneficio entero es no vigilar cada revisión — vuelve a revisar una vez que cada ítem apruebe.
Recursos
¿Estás construyendo una función con IA? Yeda AI diseña, audita y lleva a producción sistemas LLM.