English

Pesos abiertos no es local, y no es gratis

Las miniaturas prometen todas lo mismo: apunta el mejor harness de programación del planeta a un modelo abierto, córrelo gratis, local y de código abierto, y deja de pagarle a los laboratorios frontera para siempre. Gran parte de eso es real. Pero tres ideas distintas se sueldan silenciosamente en una sola, y desenredarlas es todo el tip. Pesos abiertos no es lo mismo que local, y ninguna de las dos significa gratis. Ten las tres claras y sabrás exactamente qué te da un modelo abierto antes de arrancar tu configuración de raíz.

Pesos abiertos: el archivo del modelo es tuyo

Pesos abiertos significa que el modelo entrenado — el archivo de parámetros en sí — es tuyo para conservar. Puedes descargarlo, inspeccionar cómo fue afinado, hacerle fine-tuning con tus propios datos y auto-alojarlo. Nadie puede meterse en tus servidores y apagarlo. En un hub como Hugging Face, ese archivo vive en un repositorio público de modelos que cualquiera puede descargar con una librería cliente, y así se ve "abierto" en concreto: el checkpoint está alojado, versionado y es compartible, no encerrado tras la API de un proveedor.

Eso es genuinamente distinto de un modelo cerrado, donde solo rentas acceso a través de un endpoint y nunca ves los pesos. Pero "el archivo es tuyo" no dice nada sobre si tu laptop puede correrlo.

Local: el hardware se ríe de ti

Aquí es donde la fantasía choca con el hardware. Un modelo frontera abierto llega con aproximadamente 2.8 billones de parámetros. Incluso con cuantización de 4 bits — empacando cada parámetro en cerca de medio byte — eso son alrededor de 1.4 TB solo para los pesos crudos, antes de cualquier contexto o sobrecarga de ejecución.

Ahora pon precio al hardware. El Mac Studio más grande llega como máximo a unos 512 GB. Cuatro GPU H100 te dan cerca de 320 GB. Incluso un servidor de 8 GPU con unos 1.44 TB apenas rebasa el piso, sin nada de sobra para la ventana de contexto. Correr el modelo completo en tu propia máquina no es un proyecto de escritorio — es un proyecto de centro de datos. Así que cuando una miniatura dice "local", lo que casi siempre significa es correr el modelo abierto en las GPU de un proveedor, en el hardware de alguien más, no el tuyo.

Una razón por la que un modelo tan enorme puede correr siquiera es su diseño de mezcla de expertos (mixture-of-experts): es gigantesco en disco, pero solo una fracción de sus expertos se activa para cada token. Es ligero cuando de verdad corre y enorme cuando está en reposo — que es exactamente por qué cabe en un servidor rentado pero nunca en un escritorio.

Gratis: normalmente una promo de lanzamiento

"Gratis" es la tercera palabra resbaladiza. En el lanzamiento, algunos proveedores y plataformas reparten créditos promocionales y niveles de prueba, así que para uso ligero genuinamente puedes empezar a correr un modelo abierto sin costo. Eso es real — pero es gratis para empezar, no gratis para siempre. Un modelo abierto alojado sigue cobrando por token: en uno de estos modelos, alrededor de $3 por millón de tokens de entrada y unos $15 por millón de salida. Más barato que la frontera, a menudo por mucho, pero no cero. Y como estos modelos tienden a ser glotones de tokens y más lentos, el precio de lista por millón puede maquillar la factura real — mide los tokens gastados de verdad, no la tarifa.

Entonces, ¿qué te dan de verdad los pesos abiertos?

Control y durabilidad. Si tienes el hardware o un servidor rentado, puedes auto-alojar por privacidad o cumplimiento — tus datos nunca salen de tus muros. No quedas atado a la hoja de ruta ni a los precios de un solo proveedor. Y, crucialmente, un modelo abierto no te lo pueden arrancar de debajo. Recuerda que un modelo frontera cerrado fue sacado de línea durante días por un susto de control de exportaciones; no puedes apagar un archivo que ya está en diez mil discos duros. Esa durabilidad es el verdadero significado de "abierto" aquí, incluso cuando el modelo nunca toca tu escritorio.

En resumen

Pesos abiertos, local y gratis son tres afirmaciones separadas. Pesos abiertos casi siempre es cierto — el archivo es genuinamente tuyo para conservar, inspeccionar y auto-alojar. Local suele ser marketing para "en las GPU de un proveedor", porque un modelo de 1.4 TB no cabe en una laptop. Gratis suele ser una promo de lanzamiento, no para siempre. Compra el modelo abierto por control y durabilidad, y trata "local" como "el centro de datos de alguien más" a menos que de verdad seas dueño del rack.

Recursos

• Apunta tu agente de programación a un modelo abierto — Yeda AI Tips #206
• Los benchmarks halagan a los modelos nuevos — Yeda AI Tips #208
• Hugging Face — el Model Hub