El viernes pasado un cliente me mandó un screenshot de una tabla con cuatro columnas de números y dos flechitas verdes, comparando GPT-4o y Claude. El mensaje decía: "¿Cuál es mejor? La tabla dice que este gana en tres de cuatro."
Pasé cuarenta minutos al teléfono explicándole que los números ahí son más mentirosos de lo que parecen. No porque la empresa mienta con dolo. Porque el que pone el examen elige qué preguntar, cómo corregirlo y qué resultado mostrar.
Qué son los benchmarks, sin jerga
Pensá la IA como una alumna. Para saber si es buena, le toman exámenes. Esos exámenes se llaman "benchmarks" — es el nombre técnico, nada más.
Hay exámenes de conocimiento general (historia, biología, derecho), de matemática, de código, de razonar. La IA responde, se cuenta cuántas acertó, sale un porcentaje. Suena objetivo.
El problema: los exámenes los arman humanos, los corrigen a veces otras IAs, y las empresas que venden las IAs saben exactamente qué examen se va a tomar. Imaginate tu colegio si la profesora avisaba con un mes de anticipación qué iba a entrar, y encima la alumna podía estudiar la prueba exacta antes. Así es el mercado de benchmarks hoy.
Las trampas que conviene conocer
Contaminación. Las IAs aprenden leyendo internet. Si las preguntas del examen ya estaban en internet cuando aprendió, las memorizó. Es rendir con la prueba vista.
Entrenar para el examen. Cuando una empresa sabe en qué benchmark va a competir, entrena específicamente para esa prueba. La IA sale genial ahí y mediocre afuera.
Cherry-picking. La empresa muestra los tres benchmarks donde ganó, esconde los siete donde perdió. Es elegir las cerezas buenas.
Versiones tramposas. El titular dice "supera a GPT-4 por 15%". Lo que no dice: la comparación es contra GPT-4, no contra GPT-4o, que salió seis meses antes y es bastante mejor.
Los cinco que todavía sirven
MMLU. Miles de preguntas de opción múltiple sobre 57 materias. Hoy está saturado — los modelos de frontera sacan entre 85 y 92. Sirve de piso: una IA que no llega a 75 no es seria.
GPQA Diamond. Preguntas nivel doctorado en ciencias duras, pensadas para que no se resuelvan googleando. Es el examen difícil del momento.
SWE-Bench Verified. Le dan a la IA un bug real de GitHub y miden si lo arregla. Es lo más parecido a "hace el trabajo de programador de verdad".
Chatbot Arena. Dos modelos anónimos responden, una persona vota cuál prefiere. Miles de votos, ranking tipo ajedrez. Es el más difícil de hackear porque el votante no sabe qué IA está juzgando.
Tu semana. La única prueba definitiva. No aparece en ningún paper.
Lo que tenés que llevarte
Tres ideas para leer la próxima tabla de benchmarks sin que te vendan humo:
- Los números no mienten; los que los eligen, sí pueden. Cuando veas "supera a X por Y por ciento", preguntate qué prueba, quién la armó, cuándo se midió, contra qué versión exacta. Si no hay pie de página con esas respuestas, sospechá.
- Chatbot Arena vale más que casi cualquier tabla oficial. Porque los votantes son humanos al azar que no saben qué modelo están rankeando. Cuando una empresa reporta una métrica propia y aparece más abajo en Arena, creele a Arena.
- La prueba que importa de verdad es una semana de trabajo real. Pedile a la IA las cosas que te pedís a vos. Fijate si te ahorra tiempo o te hace doble trabajo. Ese dato no aparece en ninguna tabla — y es el único que decide.
En junio de 2024, un equipo de investigadores independientes ligado a Scale AI publicó los resultados de un nuevo benchmark llamado GPQA Diamond. Eran preguntas nivel doctorado en física, química y biología, escritas para que Google no sirviera de nada. Cuando corrieron GPT-4 contra ese test en condiciones idénticas, el modelo sacó 12 puntos menos que lo que OpenAI había reportado en su propia comunicación de lanzamiento unos meses antes.
La diferencia no era ruido estadístico. Era la señal de un problema que la industria viene arrastrando y que conviene nombrar sin rodeos: los benchmarks tienen dueño, y cuando el dueño es el mismo que vende el modelo, el número se mueve.
Este artículo es para que la próxima vez que un proveedor de IA te muestre una tabla y te diga "somos mejores", sepas leer entre las filas.
Los cinco benchmarks que todavía valen la pena mirar
MMLU (Massive Multitask Language Understanding). Fue diseñado en 2020 por académicos de Berkeley. 14 mil preguntas de opción múltiple en 57 disciplinas: historia, derecho, medicina, matemática, ética. En 2020, una IA sacaba 45%. En 2024, los modelos de frontera rozaban el 90%. El benchmark está saturado: cuando todas sacan entre 85 y 92, la métrica deja de distinguir. Hoy sirve de piso — si un modelo no llega a 75, no lo mires — no de techo.
GPQA Diamond. Publicado en 2023. Preguntas nivel doctorado en ciencias duras, calibradas para que un humano con acceso a Google no las resuelva bien. Es el examen duro actual: el que separa modelos con razonamiento genuino de los que memorizan bien. Como es más nuevo, está menos contaminado.
SWE-Bench Verified. Es el más honesto del espacio de código. Le dan a la IA un issue real de GitHub con un repositorio entero adjunto y miden si arregla el bug. La versión Verified (agosto 2024) filtró manualmente las 500 tareas mejor construidas de las 2.294 originales, para eliminar ambigüedad en el criterio de éxito. Es lo más parecido a medir "hace el trabajo de programador".
Chatbot Arena (lmarena.ai). Dos modelos anónimos responden la misma consulta, el usuario vota cuál le gustó más sin saber cuál es cuál. Con miles de votos se arma un ranking tipo Elo. Es el benchmark más difícil de inflar por una razón estructural: no hay respuesta correcta predefinida que se pueda memorizar, y los votantes son humanos aleatorios. Sus sesgos conocidos — respuestas largas ganan más, prompts tienden a ser cortos — son problemas menores comparados con la fragilidad de los otros.
Tareas reales de tu trabajo. La única prueba definitiva. Es tu evaluación privada. Más sobre esto en dos minutos.
Las cuatro formas típicas de inflar un número
Contaminación. Si las preguntas del test aparecieron en los datos de entrenamiento, el modelo las memorizó. El caso de MMLU en 2023 fue notorio: análisis independientes encontraron que buena parte del test set había circulado en foros técnicos antes del entrenamiento de varios modelos. Los puntajes "oficiales" bajaron entre 10 y 25 puntos cuando se midió con preguntas limpias.
Entrenamiento dirigido al benchmark (gaming). Una empresa sabe que va a ser comparada en cierto test. Entrena específicamente para ese test. El modelo brilla ahí y mediocrea fuera de él. La ley de Goodhart aplicada al machine learning: cuando una medida se vuelve objetivo, deja de medir.
Cherry-picking. El reporte de lanzamiento muestra los tres benchmarks donde el modelo ganó. Los cinco donde perdió no aparecen. Si una empresa solo muestra tablas donde gana, no es evaluación — es marketing.
Comparaciones con versiones viejas. "Superamos a GPT-4 por 15%." ¿Contra qué GPT-4? El original de marzo 2023 está obsoleto comparado con GPT-4o (mayo 2024) o GPT-4-turbo. Cuando no está especificada la versión exacta y la fecha de medición, el titular está construido para confundir.
Benchmark vs evaluación: la distinción que importa
Un benchmark es una prueba estandarizada que cualquiera puede correr. Una evaluación es probar un modelo para tu caso concreto. Los benchmarks te dan una foto general; las evaluaciones te dicen si te sirve a vos.
Regla: benchmarks para filtrar (descartar lo malo), evaluación propia para decidir (elegir entre lo bueno).
La evaluación propia es lo que hacen las empresas serias antes de firmar un contrato con un proveedor. Se llama "eval privada". Consiste en juntar 10 a 15 tareas reales del trabajo del equipo, correr cada tarea con cada modelo candidato bajo condiciones idénticas, y scorearlas con criterios propios. El modelo que gana no es el que tiene el MMLU más alto — es el que resuelve mejor las tareas específicas del equipo.
Un detalle operativo: la eval privada no es caro de armar. Una tarde de trabajo con 15 prompts bien elegidos y tres modelos candidatos ya te da una señal mucho más útil que cualquier tabla oficial.
Un contraste honesto entre proveedores
Hay una diferencia observable en cómo los dos laboratorios más grandes reportan sus números — y vale nombrarla sin disfrazarla.
Anthropic tiende a publicar sus benchmarks con condiciones comparables (misma versión, mismo settings, mismo shot count), y sus system cards incluyen secciones de metodología detalladas. Cuando Claude pierde un benchmark, Anthropic suele decirlo.
OpenAI ha sido históricamente menos transparente con los settings exactos: varios de los picos reportados en lanzamientos de GPT-4 y GPT-4o se midieron con configuraciones especiales (mayor cómputo de inferencia, prompting asistido, re-tries) que después no son las que corre un usuario típico en producción.
No es que una empresa mienta y la otra diga la verdad. Es que una publica más datos que permiten auditar, y la otra publica menos. El régimen probatorio es distinto.
La advertencia del otro lado: Chatbot Arena es más honesta que cualquier número que reporte cualquiera de las dos. Porque los votantes no saben qué modelo están juzgando.
Tres preguntas para leer cualquier comparativa
Antes de creerle a una tabla, hacete tres preguntas. Si no podés responder las tres, el número no es evidencia — es decoración.
¿La prueba es pública o privada? Las públicas son auditables pero contaminables. Las privadas (holdout del proveedor) son limpias pero no verificables.
¿Quién eligió qué benchmarks reportar? Un reporte honesto incluye los tests donde pierde, no solo los que gana.
¿Qué versión exacta del modelo se midió, y cuándo? Los modelos cambian. Un benchmark de enero puede no aplicar al modelo de junio — y esa es una trampa común en comparaciones entre proveedores.
Por qué Claude aparece más abajo en benchmarks y más arriba en Arena
Hay un patrón observable que vale entender. En benchmarks académicos puntuales, Claude suele estar 2 a 5 puntos debajo del pico del momento. En Chatbot Arena, Claude suele estar en el top 1 a 3 consistentemente. La diferencia no es inconsistencia — es diseño.
Anthropic optimiza por robustez antes que por pico: prefieren un modelo que saque 88 de manera estable a uno que a veces saca 95 y a veces 62. Los benchmarks miden momentos; la experiencia humana mide promedios y varianza. Por eso en la votación ciega de usuarios reales, Claude gana más seguido. La gente no nota el pico del competidor — nota la inconsistencia.
Es la misma diferencia entre dos estudiantes: el que a veces saca 10 y a veces 4, versus el que siempre saca 8. En el boletín de fin de año, la segunda gana.
La prueba que ningún benchmark reemplaza
Usá el modelo una semana entera en tu trabajo real. Pedile las cosas que te pedís. Anotá tres cosas concretas: cuántas veces te ahorró tiempo (y cuánto), cuántas veces te hizo doble trabajo por revisar su salida, y cuántas veces entendió a la primera sin que tuvieras que reformular.
Ese dato no aparece en ningún paper. Pero es el único que responde la pregunta que te importa: ¿esta herramienta me sirve a mí?
¿Cuál de los cinco benchmarks que nombré sentís que pesa más en cómo elegirías una IA para tu trabajo — o tenés un test propio que les ganaría a todos? Si querés profundizar en el panorama competitivo, leé la carrera de las IAs. Si querés entender cómo se diferencian los modelos de frontera en uso real, las diferencias que sí importan es el siguiente paso.
MMLU fue creado en 2021 por un equipo académico liderado por Dan Hendrycks en Berkeley. 14 mil preguntas de opción múltiple en 57 disciplinas, desde álgebra abstracta hasta jurisprudencia. En el paper de publicación (Hendrycks et al., 2021), los autores reportaban que GPT-3 sacaba 43.9% — comparado con un humano experto, que promediaba 89.8%. La conclusión del paper era clara: los modelos de lenguaje tenían camino por recorrer en conocimiento general.
Tres años después, en 2024, los modelos de frontera — Claude 3 Opus, GPT-4 Turbo, Gemini 1.5 Pro — sacaban entre 86% y 88.7%. Para 2025, varios cruzaron el 90%. Hoy en 2026, casi ningún laboratorio reporta MMLU como métrica diferenciadora: es piso, no techo. La vida útil de un benchmark público en la frontera de escala actual es aproximadamente dos años. Lo que se mide se optimiza; lo que se optimiza, se satura.
Esa secuencia — invención académica, adopción como estándar, saturación, descarte — es el ciclo de vida normal de cualquier benchmark de IA. Entenderlo es la base para evaluar cualquier número que leas en los próximos meses.
Taxonomía de la evaluación actual
El espacio de evaluación de modelos se divide hoy en cinco familias con propiedades metodológicas distintas.
Conocimiento y razonamiento estructurado. MMLU (2021), MMLU-Pro (2024), GPQA Diamond (2023), BigBench-Hard. Formato opción múltiple o respuesta corta, corrección programática, métrica simple. Fortaleza: reproducibilidad y comparación cruzada. Debilidad: contaminables por leaks en training data, saturables cuando la comunidad converge al techo. MMLU original está saturado; MMLU-Pro fue la respuesta (más preguntas, más difíciles), pero ya empieza a saturarse también.
Programación ejecutable. HumanEval (2021), MBPP, SWE-Bench (2023), SWE-Bench Verified (2024), LiveCodeBench. Lo que se mide es si el código compila y pasa los tests. Poca ambigüedad. SWE-Bench es especialmente interesante porque mide resolución de issues reales de GitHub con repositorios enteros como contexto — se aproxima a tarea de ingeniería de software genuina. La versión Verified filtró manualmente 500 tareas de las 2.294 originales para eliminar ambigüedad en los tests case, respondiendo a la crítica de ruido estructural del benchmark base.
Razonamiento matemático. GSM8K (2021), MATH (2021), AIME. Los dos últimos cobraron relevancia desde la aparición de modelos con chain-of-thought extendida (o1, o3 de OpenAI, Opus 4.x de Anthropic), porque la diferencia entre pensar-más y responder-directo se vuelve medible.
Preferencia humana ciega. Chatbot Arena / LMSys. Sistema Elo basado en votos humanos en batallas ciegas de pares de modelos. La propiedad metodológica clave: el usuario no sabe qué modelo responde. Es lo más cercano a una métrica de utilidad en escala que tenemos. Sus limitaciones conocidas son tres: sesgo de muestra (votantes son auto-seleccionados y concentrados en países técnicamente alfabetizados), sesgo de longitud (respuestas más largas ganan sistemáticamente a igualdad de contenido), y concentración de prompts en consultas cortas (el benchmark mide bien puntualidad, peor sostenibilidad en tareas largas).
Evaluación agéntica. AgentBench, WebArena, GAIA, τ-bench (tau-bench). Emergentes. Miden ejecución de cadenas de acciones con herramientas — navegar, buscar, escribir código, persistir contexto, interactuar con APIs. Son los benchmarks que importan para los próximos dos años y donde todavía no hay saturación.
El problema metodológico central: contaminación
Cuando un test público aparece en los datos de entrenamiento, el modelo lo memoriza en lugar de resolverlo. El efecto es medible con técnicas de detección de memorización — por ejemplo, completar el prompt dejando huecos y medir la probabilidad exacta de la respuesta correcta — pero los proveedores pocas veces publican esos análisis.
Un ejemplo concreto: durante 2023, análisis independientes sobre varios modelos abiertos encontraron que fragmentos sustanciales del test set de MMLU aparecían en datasets públicos usados para pre-training (The Pile, RefinedWeb, C4). Cuando se re-midieron esos modelos contra versiones "paraphrase-resistant" generadas post-entrenamiento, los puntajes cayeron entre 10 y 25 puntos porcentuales. Pocos laboratorios publican este análisis proactivamente.
La respuesta parcial de la comunidad es mantener sets de evaluación privados (holdouts) que cada laboratorio usa internamente. El costo metodológico es claro: no-reproducibilidad. Anthropic ha tendido a combinar reportes en benchmarks públicos con resultados en holdouts internos declarados explícitamente; OpenAI tradicionalmente publica menos detalle sobre settings específicos; DeepMind ha sido más explícito con eval cards. Esa no es una equivalencia — es una diferencia observable en política de transparencia.
La otra respuesta es re-generar el benchmark. GPQA Diamond, MMLU-Pro, y SWE-Bench Verified son ejemplos de esa carrera: cada vez que un benchmark se satura o se contamina, aparece una versión más difícil o más limpia. El ciclo se repite cada dos a tres años.
Goodhart's law aplicada al entrenamiento
"Cuando una medida se vuelve objetivo, deja de ser una buena medida." En entrenamiento de LLMs, Goodhart's law se manifiesta como el problema del gaming: un laboratorio optimiza explícitamente contra un benchmark conocido, obtiene puntajes superiores en ese test, y degrada performance fuera de distribución.
El caso más documentado fue el de varios modelos chinos durante 2024 que reportaron resultados excepcionales en GSM8K; análisis posteriores encontraron que el set de evaluación había circulado en foros técnicos previos al entrenamiento. La corrección fue de 25-30 puntos porcentuales cuando se midió con un set limpio generado post-entrenamiento.
El antídoto técnico es evaluación fuera de distribución: generar problemas con la misma estructura pero distintos del set público, y correrlos recién después del entrenamiento. Pocos proveedores lo hacen sistemáticamente por el costo de generar sets nuevos de calidad metodológica equivalente.
El problema del juez LLM
Cuando la evaluación requiere juicio de calidad ("cuál de estas dos respuestas es mejor"), una práctica común es usar otro LLM como juez — típicamente GPT-4 evaluando respuestas de otros modelos. El problema es circularidad: si evaluás modelo A contra modelo B con modelo C como juez, el resultado depende de las preferencias de C.
Estudios recientes (Zheng et al. 2023; otros follow-ups 2024-2025) muestran que los LLM-judges tienen tres sesgos sistemáticos: sesgo de verbosidad (prefieren respuestas más largas), sesgo de auto-identificación (prefieren respuestas que se parecen estilísticamente a sí mismos), y sesgo de posición (prefieren la primera respuesta mostrada en una comparación). Chatbot Arena mitiga esto usando humanos como jueces, pero introduce sesgos humanos diferentes — verbosidad sigue presente, y los votantes no son una muestra representativa.
El consenso metodológico emergente es que ninguna fuente única de juicio es suficiente: una evaluación robusta requiere combinar tests programáticos (corrección de código, matemática verificable), preferencia humana (Arena), y evaluaciones privadas fuera de distribución. Ningún proveedor publica hoy un stack completo.
Transparencia diferencial entre proveedores
Vale contrastar con precisión cómo los laboratorios principales reportan sus números, porque la diferencia es operativa, no retórica.
Anthropic publica system cards detalladas en cada release mayor, incluye secciones explícitas sobre settings de evaluación (shot count, temperatura, prompting strategy), reporta resultados en benchmarks donde Claude pierde (no solo donde gana), y mantiene política de holdouts internos declarados. Las tablas comparativas que publica tienden a usar la misma versión y settings entre competidores. Esto no es neutralidad — Anthropic sigue siendo parte interesada — pero es un régimen probatorio que permite auditar.
OpenAI ha publicado históricamente menos detalle sobre settings específicos. Varios picos reportados en lanzamientos de GPT-4 y GPT-4o se midieron con configuraciones que el usuario típico no usa en producción: mayor cómputo de inferencia, prompting asistido por ingeniería interna, re-tries con majority voting. Estos settings se documentaron a veces en technical reports posteriores, pero no en el material de lanzamiento inicial que captura el ciclo de noticias.
Google DeepMind está en un punto intermedio: Gemini releases incluyen eval cards estructuradas, pero la metodología se comunica a veces con menos granularidad que la de Anthropic.
El punto editorial: esto no es una acusación de fraude. Es la observación de que el régimen probatorio varía entre proveedores, y el lector crítico necesita saber contra qué estándar está leyendo cada tabla.
La contrapartida honesta: Chatbot Arena, que no está controlada por ninguno de los tres, es más honesta que cualquier cifra que cualquiera de ellos reporte. Cuando Claude aparece en el top de Arena y simultáneamente pierde algunos benchmarks académicos, la señal útil es Arena — porque es votación ciega, no tabla armada.
Métricas recomendadas para 2026
Para filtrar (descartar lo malo): MMLU como piso. Si un modelo no pasa de 75, no es serio para trabajo profesional.
Para razonamiento duro: GPQA Diamond y AIME. Los dos requieren pensamiento genuino y son de generación reciente, menos contaminados.
Para código: SWE-Bench Verified. Es la métrica menos gameable en el espacio de programación.
Para preferencia humana en uso cotidiano: Chatbot Arena. Difícil de inflar, sesgos conocidos y compensables.
Para agentes y uso con herramientas: AgentBench, τ-bench. Emergentes, poco saturados, relevantes para lo que viene.
Para tu caso específico: ninguno de los anteriores. Tu evaluación es tu eval privada.
Cómo armar una eval privada que funcione
Esta sección es la más importante del artículo y la que rara vez aparece en cobertura mainstream.
Una eval privada bien construida tiene cuatro elementos.
Tareas representativas. Entre 10 y 15 tareas reales que hacés en una semana normal de trabajo. No tareas hipotéticas, no tareas de benchmark — las que pagás por resolver. Ejemplos para consultoría: redactar un mail de rechazo a un cliente, resumir un contrato de 30 páginas, hacer un draft de propuesta comercial, debuggear código ajeno, traducir una carta formal. Ejemplos para developers: implementar una función con tests, refactorizar un módulo sucio, revisar un pull request. Cada perfil tiene su set.
Prompts canónicos. Escribí el prompt exacto como lo usarías en tu flujo normal. No lo optimicés para el modelo — parte de la evaluación es ver qué modelo entiende mejor tu forma natural de pedir.
Protocolo de medición. Corré cada tarea con cada modelo candidato en condiciones idénticas — misma versión, mismo día, sin contexto previo. Idealmente doble ciego: alguien más etiqueta los outputs antes de que vos los veas.
Rúbrica de scoring. Dos dimensiones mínimas: calidad del output (1 a 5) y costo de edición para dejarlo presentable (1 a 5, invertido — menos edición es mejor). Opcional: tercera dimensión de confianza, "¿me animaría a entregarlo sin revisión detallada?". Sumá puntajes por tarea, promediá por modelo.
El resultado es una tabla interna que te dice, con evidencia propia, qué modelo rinde mejor en tu trabajo específico. Esa tabla vale más que cualquier paper de benchmark.
Las empresas serias — consultoras, firmas legales, fintechs, equipos de producto — hacen esto antes de adoptar un proveedor. Es lo que Anthropic, OpenAI y Google llaman informalmente "bakeoff": el cliente prueba los tres modelos con su eval privada y decide. En mi experiencia de consultoría, el ganador del bakeoff varía por caso — pero la frecuencia con la que gana Claude en tareas de producción con responsabilidad es la razón por la que es mi default.
Tesis editorial
Cierro con una tesis que excede el reporting metodológico y entra en evaluación.
El benchmark más valioso para un profesional serio no está publicado en ningún paper ni aparece en ninguna tabla de lanzamiento. Es el que construís vos, con 10 a 15 tareas reales de tu trabajo, repetidas con cada modelo candidato, scoreadas con criterios que vos definís, y actualizadas cada tres o seis meses. Esa eval privada es lo que las empresas serias hacen antes de adoptar un proveedor, lo que los consultores bien calibrados hacen antes de recomendar una herramienta, y lo que la prensa de IA rara vez explica a sus lectores.
La razón por la que no se explica es estructural: los benchmarks públicos generan titulares; las evals privadas generan decisiones. Y los incentivos del ciclo de noticias priorizan titulares. Por eso la mayor parte de la cobertura de "qué IA es mejor" en 2026 sigue siendo una lectura ingenua de tablas que deberían leerse como evidencia de parte interesada.
La línea editorial de este diario es explícita en ese punto: los benchmarks oficiales se reportan con su régimen probatorio declarado, Chatbot Arena se cita como contraste cuando corresponde, y la recomendación operativa siempre apunta a la eval privada. No porque sea más glamorosa — al contrario, es más trabajo. Porque es la única que responde la pregunta que importa.
¿Tenés una eval privada armada para tu trabajo, o estás eligiendo IA por tabla todavía? Si la respuesta es la segunda, la tarde que te tome armar las 10 tareas y correrlas probablemente sea la mejor inversión de tiempo en infraestructura de herramientas que vas a hacer este año.
