English

Los benchmarks favorecen a los modelos nuevos

Cada pocas semanas llega un modelo nuevo — a menudo de peso abierto — con un muro de gráficas que muestran que igualó o superó a la frontera a una fracción del precio. Las gráficas no son falsas. Pero favorecen. En tareas fáciles, limpias y bien acotadas, casi todo parece empatado, porque los benchmarks públicos se saturan: el techo es lo bastante bajo como para que una docena de modelos se amontonen arriba. Las brechas reales solo se abren en trabajo difícil, desordenado, abierto y de largo horizonte — y ese es justo el trabajo que la gráfica de titular no prueba.

Dónde engañan las gráficas

Dos tipos de gráfica merecen sospecha extra. La primera es la gráfica provista por el proveedor — el propio laboratorio del modelo mostrándolo frente a los líderes en un conjunto de benchmarks curado. Es señal real, pero el proveedor eligió los ejes. La segunda es el voto subjetivo de "arena": pruebas A/B a ciegas donde te muestran dos salidas — por ejemplo, "¿qué landing page prefieres?" — y eliges una, estilo reto Pepsi. Agregado sobre muchos votos es señal genuina, pero es muy subjetivo y fácil de escoger a conveniencia. Un modelo puede encabezar una arena de front-end y aun así ser la herramienta equivocada para tu trabajo real.

El enfrentamiento que las gráficas esconden

Aquí una corrida concreta de una persona que probaba un modelo abierto contra la frontera en la misma tarea creativa de front-end. En el marcador, el modelo abierto igualó a grandes rasgos al líder — la salida fue sólida, competitiva en calidad. Luego llegaron los números reales. Tardó unos 90 minutos frente a cerca de 17 del líder de la frontera. Quemó unos 21 millones de tokens — un devorador de tokens — y, una vez que contaste el uso real, costó más de lo que sugería el precio barato por token. En un benchmark aparte tipo alucinación, de "omnisciencia", con preguntas difíciles y de zona gris, el modelo de la frontera lideró con claridad mientras el abierto quedó atrás. Mismo marcador, experiencia radicalmente distinta.

Las métricas que los benchmarks entierran

Los leaderboards optimizan un solo número de calidad. Los ejes que de verdad deciden si un modelo es usable rara vez llegan al titular:

• Costo total por tarea, no precio por millón de tokens. Una tarifa barata por token en un modelo que gasta tres veces los tokens no es barata. Los rastreadores independientes lo hacen explícito — Artificial Analysis calcula el costo por tarea a partir de los precios de tokens de entrada, aciertos de caché, escritura de caché, razonamiento y respuesta, dividido por el número de tareas, en lugar de una tarifa de etiqueta, precisamente porque la eficiencia de tokens varía muchísimo entre modelos.
• Velocidad en tiempo real. Un modelo "igual de bueno" pero que tarda cinco veces más cambia cómo trabajas. Noventa minutos por tarea significa que corres un experimento, no cuatro.
• Enfoque a lo largo de un ciclo largo. ¿Puede sostener el hilo a través de 10, 20 llamadas a herramientas — leer el repo, planificar, editar veinte archivos, correr pruebas, leer fallos, corregir — sin desviarse alrededor del paso 10? Ese es el eje del que vive o muere un agente de código, y ningún benchmark de un solo tiro lo mide.

Corre tu propia tarea más difícil

El remedio es simple y barato. Ignora el leaderboard por un momento. Toma tu propia tarea más difícil y realista — un bug real en un repo real, no un prompt de juguete — y córrela en ambos modelos. Luego juzga tres cosas: costo total, tiempo en reloj y si el modelo mantuvo su enfoque a lo largo de todo el ciclo. Ganar un benchmark es un titular; tu tarea es la prueba real.

Qué medir tú mismo

• Costo total de la tarea terminada, según tu factura real — no la tarifa por token.
• Tiempo en reloj desde el prompt hasta terminar.
• Tokens consumidos para el mismo resultado — la brecha de eficiencia se esconde dentro del precio barato de etiqueta.
• Enfoque a lo largo del ciclo — ¿sostuvo el plan a través de muchas llamadas a herramientas, o se desvió y necesitó rescate?
• Los casos difíciles de zona gris — matiz y razonamiento de largo horizonte, donde de verdad viven las brechas.

En resumen

Los benchmarks favorecen a los modelos nuevos porque las tareas fáciles empatan y las difíciles separan — y las gráficas prueban las fáciles. Las gráficas de proveedores y los votos de arena son señal, no prueba. Antes de arrancar un setup que funciona, corre tu propia tarea más difícil en ambos y mide costo, velocidad y enfoque. El marcador es un titular. Tu tarea es el veredicto.

Recursos

• El costo por tarea, no por token — Yeda AI Tips #203
• Peso abierto no es local, y no es gratis — Yeda AI Tips #204
• Artificial Analysis — benchmarks independientes de modelos