English

Cómo los chatbots aprenden modales: fine-tuning en tres pasos

Ser inteligente no es lo mismo que ser útil. Un modelo de lenguaje recién preentrenado ha leído una buena parte de internet, pero si le haces una pregunta puede que complete tu frase, responda con otra pregunta o divague, porque lo único que aprendió a hacer es predecir la siguiente palabra. El comportamiento de asistente que en realidad experimentas se añade después, en un proceso de fine-tuning con tres pasos bien diferenciados.

Paso 1 — Ejemplos perfectos

Primero viene el fine-tuning supervisado. Personas escriben miles de intercambios ideales: una petición realista de un usuario junto con la respuesta que un gran asistente debería dar, con el formato correcto, el tono correcto y el nivel de detalle correcto. El modelo se entrena con estas demostraciones de la misma forma en que se preentrenó, prediciendo la siguiente palabra, solo que ahora las "siguientes palabras" son respuestas ejemplares. Aprende la forma de ser un asistente: responder la pregunta, estructurar la respuesta y detenerse cuando termina.

Paso 2 — Enseñar buen criterio

Las demostraciones no pueden cubrirlo todo, y para la mayoría de los prompts no existe una única respuesta perfecta, solo mejores y peores. Así que el siguiente paso le enseña al modelo a tener criterio. El modelo genera varias respuestas candidatas al mismo prompt, y revisores humanos las ordenan de la mejor a la peor. Esos rankings entrenan un modelo de recompensa aparte: una red cuyo único trabajo es mirar una respuesta y calcular cuánto le gustaría a una persona. En efecto, el juicio humano queda comprimido en un crítico automatizado.

Paso 3 — El entrenador automatizado

Ahora el modelo de recompensa se convierte en un entrenador que nunca duerme. El modelo principal genera respuestas, el modelo de recompensa las califica, y los pesos del modelo principal se ajustan para hacer más probables las respuestas con mejor puntuación: millones de rondas de práctica, sin una persona en el bucle para cada una. A esta técnica se le suele llamar RLHF: aprendizaje por refuerzo a partir de retroalimentación humana. La "retroalimentación humana" se recopiló en el paso 2; el paso 3 la escala. El resultado es el comportamiento educado, centrado en el tema y prudente en su justa medida que reconoces como los modales de un chatbot.

Roba la técnica en tus prompts

No puedes hacer fine-tuning de un modelo de frontera desde una ventana de chat, pero los dos mismos movimientos funcionan en contexto:

• Muestra un gran ejemplo (el paso 1, en miniatura). En lugar de describir la salida que quieres, pega un único ejemplar perfecto: el formato, el tono y la profundidad exactos. El modelo imita las demostraciones de forma mucho más fiable de lo que sigue las descripciones.
• Ordena y explica (el paso 2, en miniatura). Cuando el modelo te dé opciones, no elijas una sin más: di por qué: "La opción B, porque es concreta y se salta el preámbulo". Las preferencias explícitas actúan como una señal de recompensa en contexto para el resto de la sesión.

Los equipos de fine-tuning gastan millones haciendo exactamente esto a gran escala. Hacerlo a mano, conversación por conversación, es gratis.

Recursos

• Wikipedia — Reinforcement learning from human feedback (RLHF)
• Anthropic — prompt engineering overview