Cómo se miden las IAs hoy
Los benchmarks son los exámenes de la IA. Hay cinco que todavía te dicen algo — y una sola prueba que no se puede comprar: usarla una semana en tu trabajo real.
Germán Falcioni✦ Lectura: 10 min
El viernes pasado un cliente me mandó un screenshot de una tabla con cuatro columnas de números y dos flechitas verdes, comparando GPT-4o y Claude. El mensaje decía: "¿Cuál es mejor? La tabla dice que este gana en tres de cuatro."
Pasé cuarenta minutos al teléfono explicándole que los números ahí son más mentirosos de lo que parecen. No porque la empresa mienta con dolo. Porque el que pone el examen elige qué preguntar, cómo corregirlo y qué resultado mostrar.
Qué son los benchmarks, sin jerga
Pensá la IA como una alumna. Para saber si es buena, le toman exámenes. Esos exámenes se llaman "benchmarks" — es el nombre técnico, nada más.
Hay exámenes de conocimiento general (historia, biología, derecho), de matemática, de código, de razonar. La IA responde, se cuenta cuántas acertó, sale un porcentaje. Suena objetivo.
El problema: los exámenes los arman humanos, los corrigen a veces otras IAs, y las empresas que venden las IAs saben exactamente qué examen se va a tomar. Imaginate tu colegio si la profesora avisaba con un mes de anticipación qué iba a entrar, y encima la alumna podía estudiar la prueba exacta antes. Así es el mercado de benchmarks hoy.
Las trampas que conviene conocer
Contaminación. Las IAs aprenden leyendo internet. Si las preguntas del examen ya estaban en internet cuando aprendió, las memorizó. Es rendir con la prueba vista.
Entrenar para el examen. Cuando una empresa sabe en qué benchmark va a competir, entrena específicamente para esa prueba. La IA sale genial ahí y mediocre afuera.
Cherry-picking. La empresa muestra los tres benchmarks donde ganó, esconde los siete donde perdió. Es elegir las cerezas buenas.
Versiones tramposas. El titular dice "supera a GPT-4 por 15%". Lo que no dice: la comparación es contra GPT-4, no contra GPT-4o, que salió seis meses antes y es bastante mejor.
Los cinco que todavía sirven
MMLU. Miles de preguntas de opción múltiple sobre 57 materias. Hoy está saturado — los modelos de frontera sacan entre 85 y 92. Sirve de piso: una IA que no llega a 75 no es seria.
GPQA Diamond. Preguntas nivel doctorado en ciencias duras, pensadas para que no se resuelvan googleando. Es el examen difícil del momento.
SWE-Bench Verified. Le dan a la IA un bug real de GitHub y miden si lo arregla. Es lo más parecido a "hace el trabajo de programador de verdad".
Chatbot Arena. Dos modelos anónimos responden, una persona vota cuál prefiere. Miles de votos, ranking tipo ajedrez. Es el más difícil de hackear porque el votante no sabe qué IA está juzgando.
Tu semana. La única prueba definitiva. No aparece en ningún paper.
Lo que tenés que llevarte
Tres ideas para leer la próxima tabla de benchmarks sin que te vendan humo:
- Los números no mienten; los que los eligen, sí pueden. Cuando veas "supera a X por Y por ciento", preguntate qué prueba, quién la armó, cuándo se midió, contra qué versión exacta. Si no hay pie de página con esas respuestas, sospechá.
- Chatbot Arena vale más que casi cualquier tabla oficial. Porque los votantes son humanos al azar que no saben qué modelo están rankeando. Cuando una empresa reporta una métrica propia y aparece más abajo en Arena, creele a Arena.
- La prueba que importa de verdad es una semana de trabajo real. Pedile a la IA las cosas que te pedís a vos. Fijate si te ahorra tiempo o te hace doble trabajo. Ese dato no aparece en ninguna tabla — y es el único que decide.