En febrero de 2024, Google organizó un evento de demostración de Gemini, su modelo de IA, con la intención de recuperar terreno frente a ChatGPT. En una de las piezas publicitarias, Gemini describía con lujo de detalle "la primera imagen directa de un exoplaneta fuera del sistema solar tomada por el telescopio James Webb". Sonaba impresionante.
Esa misma tarde, la NASA salió a aclarar públicamente que el James Webb nunca había tomado esa imagen. No existía. Gemini la había inventado en una demo diseñada por Google para mostrarse impecable.
The Verge tituló la nota con precisión clínica: las alucinaciones también llegan a los lanzamientos que deberían ser perfectos. Era la segunda vez en menos de un año que la IA más publicitada del momento inventaba datos en vivo — ChatGPT ya había hecho algo similar con el caso Schwartz. El problema no es de un modelo. Es estructural.
El mecanismo: por qué predecir no es saber
Para entender las alucinaciones hay que entender algo incómodo sobre cómo funcionan los modelos de lenguaje.
Un LLM — large language model — no tiene una base de datos interna de hechos verificados. No tiene una tabla que diga "Varghese v. China Southern Airlines: no existe, no citar". Lo que tiene es una representación estadística, construida con cientos de miles de millones de palabras, de qué palabra suele venir después de qué otra en qué contexto.
Cuando le hacés una pregunta, el modelo no busca la respuesta. Genera una respuesta token por token, eligiendo en cada paso la palabra más probable dada la secuencia previa. Si la secuencia lleva a un patrón que tiene la forma de una cita legal — dos nombres, una versus, un tribunal — el modelo completa con esa forma. La forma es correcta. El contenido puede ser real o inventado. El modelo no distingue entre los dos.
Esa es la raíz del problema. No hay un modo "no sé" por defecto porque no hay un módulo interno que marque la diferencia entre saber y no saber.
Dónde se equivoca con más frecuencia
Hay seis categorías de errores donde conviene subir la guardia:
Fechas específicas. "¿Cuándo se firmó tal acuerdo?" El modelo tira un día y un mes. A veces acierta, a veces cambia el año.
Cifras financieras. Precios, ingresos, valuaciones. Los números cambian frecuentemente y el modelo se queda con versiones viejas o inventa actualizaciones.
Citas textuales. Frases atribuidas a alguien. Una parte existe, la otra está alterada, y es imposible saber cuál es cuál.
Código. Función que no existe, librería que no se instala con ese comando, sintaxis que el lenguaje no acepta. En código es donde más rápido te das cuenta, porque simplemente no corre.
Matemáticas. Operaciones con varios pasos donde se pierde en el medio. Las herramientas modernas mitigan esto con ejecución de código, pero si no la tenés activa, cuidado.
Temas legales y médicos. Alto riesgo porque son áreas donde la verosimilitud del formato (artículo tal, inciso cual, dosis tanto) tapa la posibilidad de que el contenido sea falso.
Las tasas que se pueden citar
Existe una referencia pública que conviene conocer: el Vectara Hallucination Leaderboard. Es un benchmark que mide cuánto alucina cada modelo en una tarea específica — resumir un documento que le das — y se actualiza periódicamente.
Los números varían según la versión del modelo, pero la foto general del último año es consistente: Claude, GPT-4 y Gemini están todos en tasas bajas de un dígito, con diferencias que en la práctica son menos grandes de lo que sugiere el marketing. Hace dos años las diferencias eran mucho mayores. Hoy, elegir el "mejor modelo" ya no es la palanca principal contra las alucinaciones.
Si querés citar un número específico, citalo con fuente — por ejemplo, "Claude 3.5 Sonnet marcó X por ciento según Vectara, consultado en abril 2026". Sin fuente verificable, no ponés número. Es una regla de oficio.
Qué funciona y qué no para reducirlo
Tres técnicas tienen evidencia de funcionar bien:
Búsqueda en web nativa. Claude, ChatGPT y Gemini hoy pueden buscar en internet mientras responden. Cuando activás esa capacidad, la tarea se convierte de "recordar" a "consultar", y la tasa de alucinación baja notablemente. Es la técnica más simple y efectiva.
RAG (Retrieval-Augmented Generation). Sistema donde antes de responder, el modelo consulta una base de datos específica tuya — manuales de la empresa, contratos, documentación interna. Muy usado en aplicaciones corporativas. Baja mucho el riesgo pero no lo elimina: el modelo puede seguir inventando dentro del documento recuperado.
Prompting con instrucciones explícitas. Frases como "si no estás seguro, decilo", "citá la fuente exacta", "distinguí lo que sabés de lo que inferís". Ayuda, pero es la técnica más débil de las tres.
Lo que no funciona tan bien: preguntarle al modelo "¿cuánta confianza tenés?" y confiar en su respuesta. Los modelos tienen un problema de calibración — reportan confianza similar para cosas que saben y para cosas que inventan. Sirve como señal, no como verdad.
Protocolo práctico de verificación
Esto es lo que uso yo y lo que recomiendo en consultoría cuando una salida de IA va a llegar a un cliente.
- Identificá lo verificable y lo no verificable. Lo verificable es cifras, fechas, leyes, nombres, citas, URLs. Lo no verificable es opiniones, interpretaciones, sugerencias de redacción.
- Para lo verificable, aplicá dos pasos. Primero, pedile al modelo que busque en web y cite fuentes. Segundo, abrí las fuentes y revisalas. Si la fuente no abre o no dice lo que el modelo afirma, está inventada.
- Para lo no verificable, usá el criterio. Tu experiencia y tu conocimiento del tema. La IA propone; vos decidís.
- Nunca firmes, enviés ni presentés algo que no revisaste. Aunque la IA parezca segura. Schwartz aprendió esto a costa de su matrícula.
- Cuando el costo de un error es alto, pediselo a dos modelos distintos. Cinco minutos extra, riesgo reducido a una fracción.
Para cerrar
Las alucinaciones no son el defecto de una versión. Son la forma natural de un sistema que aprendió a completar patrones antes de aprender a decir "no sé". Van a mejorar con el tiempo — Dario Amodei dijo en 2024 que "las alucinaciones no se van a eliminar del todo, se van a hacer más raras y más verificables" — pero no van a desaparecer.
Eso significa que el protocolo de verificación es parte del oficio de usar IA, no un accesorio. La buena noticia es que el protocolo no es complicado: una de las formas más efectivas es pedirle que busque en web y cite fuentes.
Si querés profundizar en cómo armar el flujo de trabajo completo, El método café es el siguiente paso. Si recién empezás y querés entender qué es un prompt y cómo hacerlo bien, Qué es un prompt.
¿En qué parte de tu trabajo NO podrías permitirte un error de IA — y qué protocolo armaste para protegerte ahí?
En septiembre de 2023, un grupo de investigadores de OpenAI publicó un paper corto y de lectura obligatoria: Why Language Models Hallucinate. El texto tiene la virtud rara, en literatura técnica reciente, de admitir que el problema no tiene una solución limpia. Describe el mecanismo que genera alucinaciones, muestra que las mitigaciones conocidas son parciales, y reconoce abiertamente que la industria necesita convivir con el problema en lugar de prometer eliminarlo. Un año después, en una entrevista pública, Dario Amodei dijo algo en la misma línea: las alucinaciones no se van a eliminar del todo, se van a hacer más raras y más verificables.
La tesis de esta nota es que entender por qué no hay solución limpia — y por qué eso no es un fracaso sino una propiedad estructural — es el paso que separa al usuario maduro del evangelista ingenuo.
Autoregresión y el problema de la verosimilitud máxima
Un LLM está entrenado con un objetivo concreto: dada una secuencia de tokens, predecir la distribución de probabilidad del próximo token. El entrenamiento usa máxima verosimilitud — ajustar los pesos para que los tokens efectivamente observados en el corpus reciban mayor probabilidad. Es un procedimiento eficiente y con teoría matemática sólida. Produce modelos que completan texto de manera notable.
La contrapartida es que ese procedimiento no contiene ningún mecanismo que distinga entre "esta secuencia es fácticamente correcta" y "esta secuencia aparece mucho en el corpus y por eso tiene alta probabilidad". Para el modelo son indistinguibles. Si el corpus contiene muchas biografías con cierta estructura, el modelo aprende esa estructura. Si le pedís la biografía de una persona real cuyos datos no están bien representados en el corpus, el modelo produce algo con la estructura correcta y contenido inventado que encaja con ella.
La alucinación no es un error del modelo. Es el comportamiento esperado de un sistema cuya única señal de aprendizaje es "¿cuán probable es esta secuencia?" y que opera en un dominio donde la probabilidad del corpus no es equivalente a la verdad del mundo.
Ausencia de ground truth y el problema de evaluación
Hay una complicación adicional que el paper de OpenAI enfatiza. En muchos dominios — incluyendo los que más importan en aplicaciones profesionales — no existe un ground truth etiquetado a escala.
Para entrenar un clasificador de imágenes podés etiquetar millones de fotos con "gato" o "no-gato". Para entrenar un modelo de lenguaje que "no alucine" tenés que etiquetar millones de respuestas con "verdadera" o "falsa", lo cual requiere verificación humana costosa en cada caso y no es escalable al volumen que necesitan los modelos modernos. La alternativa — usar heurísticas para generar etiquetas automáticamente — arrastra los errores de las heurísticas al modelo entrenado.
Esto significa que el problema no se resuelve con "más datos". Se resuelve, parcialmente, con datos mejor curados y con procesos de evaluación que agreguen una capa de señal de veracidad encima de la señal de verosimilitud. Pero esa capa siempre es incompleta.
RLHF y el incentivo perverso
Sobre la base del entrenamiento autoregresivo, los modelos modernos aplican reinforcement learning from human feedback — RLHF. Humanos rankean respuestas, se entrena un reward model con esos rankings, y el modelo se ajusta para maximizar la recompensa.
La intención es orientar al modelo hacia respuestas útiles, seguras y honestas. El efecto secundario observado — y documentado por OpenAI — es que los anotadores humanos tienden a preferir respuestas que suenan seguras y completas sobre respuestas que admiten incertidumbre. "Aquí tenés los tres casos relevantes" se rankea más alto que "no estoy seguro si hay casos relevantes para esta jurisdicción". El reward model aprende esa preferencia. El modelo entrenado aprende a sonar seguro aun cuando no lo está.
Esto es lo que la literatura llama el problema del confident hallucinator: un modelo que combina alta capacidad técnica con un incentivo de entrenamiento que premia la apariencia de certeza. No es un bug — es la consecuencia de cómo se definió la función de recompensa.
Constitutional AI, el método que usa Anthropic, intenta mitigar esto entrenando al modelo con principios explícitos entre los cuales figura "reconocer incertidumbre cuando corresponde". Funciona parcialmente: Claude tiene fama de ser uno de los modelos que con más frecuencia dice "no sé". Pero incluso con constitutional AI, el incentivo subyacente de la arquitectura autoregresiva sigue presente.
Por qué RAG ayuda pero no resuelve
Retrieval-Augmented Generation es la mitigación más popular contra las alucinaciones en aplicaciones empresariales. La idea es simple: antes de responder, el modelo consulta una base de datos específica (documentación interna, manuales, repositorios de información verificada), recupera los fragmentos relevantes, y genera la respuesta condicionada a esos fragmentos.
RAG reduce la tasa de alucinación de manera medible. La premisa es que el modelo, con información verificada en el contexto, es menos probable que invente. En la práctica funciona — pero con tres limitaciones que conviene conocer.
Primero, el modelo puede alucinar dentro del documento recuperado. Puede atribuir algo a una fuente que está en el contexto aunque esa fuente no lo diga. Segundo, si el sistema de retrieval falla y trae un fragmento irrelevante, el modelo puede generar una respuesta plausible pero equivocada combinando el fragmento con lo que "cree" saber. Tercero, la calidad del sistema depende completamente de la calidad de la base de datos — si la base tiene errores, el modelo los amplifica.
RAG es una mejora real, no una solución. El mismo modelo que con RAG produce respuestas más confiables puede seguir inventando citas dentro del contenido retrievado si no se instrumenta con verificación explícita.
El problema de calibración
Uno de los aspectos menos comprendidos — y más importantes — de las alucinaciones es el problema de calibración.
Un modelo bien calibrado sería aquel que, cuando reporta una confianza del 80 por ciento, acierta efectivamente el 80 por ciento de las veces. Los LLMs actuales están sistemáticamente mal calibrados. Reportan confianza similar para afirmaciones que tienen alta probabilidad de ser correctas y para afirmaciones que inventaron. Esto es lo que en la literatura se llama overconfidence.
La consecuencia práctica es que no podés confiar en la autoevaluación del modelo. Si le preguntás "¿qué tan seguro estás?" y te dice "95 por ciento", eso no equivale a una probabilidad real del 95 por ciento de acierto. Podés tratar la respuesta como una señal débil — un "5 por ciento" probablemente indica incertidumbre real, un "95 por ciento" no te garantiza nada — pero no como una probabilidad calibrada.
Hay investigación activa en técnicas de calibración — fine-tuning con rankings de confianza, ensembles, ensamblaje con verificadores externos — pero ninguna está lo suficientemente madura como para reemplazar la verificación humana en aplicaciones donde el costo de error es alto.
Contribuciones recientes que mitigan sin resolver
La última generación de modelos incorpora varias técnicas que reducen — pero no eliminan — las alucinaciones.
Chain-of-thought nativo. Modelos como o1, o3 y Claude con extended thinking razonan paso a paso antes de responder. Esto reduce errores en matemáticas y razonamiento encadenado, pero no resuelve las alucinaciones fácticas porque el razonamiento paso a paso puede basarse en premisas inventadas.
Búsqueda web nativa integrada. Claude, ChatGPT y Gemini pueden consultar internet mientras responden. Es probablemente la mitigación más efectiva disponible hoy para el usuario final: traslada la carga de "recordar" a "consultar fuentes en vivo". No elimina el problema — la IA puede resumir mal una fuente o citar mal — pero lo reduce significativamente.
Verificadores externos. Sistemas donde un modelo genera la respuesta y un segundo modelo (o el mismo ejecutado con un prompt distinto) verifica afirmaciones factuales contra fuentes. Más robusto pero más lento y más caro.
Tool use. Los modelos modernos pueden invocar calculadoras, ejecutores de código, bases de datos. Esto elimina una categoría entera de alucinaciones — las matemáticas — al transferir el cálculo a un sistema determinístico.
Ninguna de estas técnicas individualmente resuelve el problema. Combinadas reducen la tasa efectiva de manera significativa, pero no a cero.
Tesis editorial: el problema está en la venta, no en la tecnología
Cierro con una tesis que va más allá del reporting.
La industria de IA se equivocó al vender estos modelos como fuentes de verdad. Son generadores de respuestas probables. Son notablemente útiles para borradores, análisis, síntesis, escritura, código y muchas otras tareas donde "probable y coherente" es suficiente. Son inadecuados, usados sin protocolo, para tareas donde "verdadero" es requisito.
Esa confusión categorial es la raíz de los casos Schwartz y Gemini-James-Webb. Un abogado asumió que ChatGPT funcionaba como una base de datos jurisprudencial. Una empresa asumió que Gemini podía producir contenido publicitario factualmente correcto sin revisión. Ambas premisas son equivocadas, y la industria las alentó al posicionar sus productos como "el futuro de la búsqueda" o "tu asistente personal que lo sabe todo".
La responsabilidad de la mitigación es compartida en tres capas:
El usuario tiene que entender que estas herramientas no son enciclopedias y armar su protocolo de verificación. Es el primer y principal filtro.
La empresa (la que compra o integra IA en sus productos) tiene que diseñar flujos donde el output de IA pasa por revisión humana antes de llegar a un cliente externo o a un proceso crítico. No es opcional.
La plataforma (OpenAI, Anthropic, Google) tiene que seguir invirtiendo en calibración, búsqueda web integrada, verificadores e interpretabilidad — y tiene que comunicar los límites con honestidad. Anthropic es la que más lo hace hoy. Las otras están mejorando en esa dimensión pero desde una posición peor.
La madurez del usuario es la mitigación principal. Es la única que está bajo tu control directo y es la que tiene el mayor impacto sobre el riesgo real en tu trabajo. Todo lo demás — el modelo que elegís, la plataforma que usás, las técnicas de prompting sofisticadas — es secundario si no tenés el reflejo básico de verificar.
Una manera concreta y sencilla de empezar: pedile que busque en web y cite fuentes. Después abrí las fuentes y revisalas. Ese es el piso del oficio.
¿Cuál es tu test empírico personal para decidir cuándo una salida de IA necesita verificación antes de entregarse, y cuándo podés confiar en ella como está?
