Por qué se equivoca la IA — alucinaciones, límites y cómo cuidarte

En septiembre de 2023, un grupo de investigadores de OpenAI publicó un paper corto y de lectura obligatoria: Why Language Models Hallucinate. El texto tiene la virtud rara, en literatura técnica reciente, de admitir que el problema no tiene una solución limpia. Describe el mecanismo que genera alucinaciones, muestra que las mitigaciones conocidas son parciales, y reconoce abiertamente que la industria necesita convivir con el problema en lugar de prometer eliminarlo. Un año después, en una entrevista pública, Dario Amodei dijo algo en la misma línea: las alucinaciones no se van a eliminar del todo, se van a hacer más raras y más verificables.

La tesis de esta nota es que entender por qué no hay solución limpia — y por qué eso no es un fracaso sino una propiedad estructural — es el paso que separa al usuario maduro del evangelista ingenuo.

Autoregresión y el problema de la verosimilitud máxima

Un LLM está entrenado con un objetivo concreto: dada una secuencia de tokens, predecir la distribución de probabilidad del próximo token. El entrenamiento usa máxima verosimilitud — ajustar los pesos para que los tokens efectivamente observados en el corpus reciban mayor probabilidad. Es un procedimiento eficiente y con teoría matemática sólida. Produce modelos que completan texto de manera notable.

La contrapartida es que ese procedimiento no contiene ningún mecanismo que distinga entre "esta secuencia es fácticamente correcta" y "esta secuencia aparece mucho en el corpus y por eso tiene alta probabilidad". Para el modelo son indistinguibles. Si el corpus contiene muchas biografías con cierta estructura, el modelo aprende esa estructura. Si le pedís la biografía de una persona real cuyos datos no están bien representados en el corpus, el modelo produce algo con la estructura correcta y contenido inventado que encaja con ella.

La alucinación no es un error del modelo. Es el comportamiento esperado de un sistema cuya única señal de aprendizaje es "¿cuán probable es esta secuencia?" y que opera en un dominio donde la probabilidad del corpus no es equivalente a la verdad del mundo.

Ausencia de ground truth y el problema de evaluación

Hay una complicación adicional que el paper de OpenAI enfatiza. En muchos dominios — incluyendo los que más importan en aplicaciones profesionales — no existe un ground truth etiquetado a escala.

Para entrenar un clasificador de imágenes podés etiquetar millones de fotos con "gato" o "no-gato". Para entrenar un modelo de lenguaje que "no alucine" tenés que etiquetar millones de respuestas con "verdadera" o "falsa", lo cual requiere verificación humana costosa en cada caso y no es escalable al volumen que necesitan los modelos modernos. La alternativa — usar heurísticas para generar etiquetas automáticamente — arrastra los errores de las heurísticas al modelo entrenado.

Esto significa que el problema no se resuelve con "más datos". Se resuelve, parcialmente, con datos mejor curados y con procesos de evaluación que agreguen una capa de señal de veracidad encima de la señal de verosimilitud. Pero esa capa siempre es incompleta.

RLHF y el incentivo perverso

Sobre la base del entrenamiento autoregresivo, los modelos modernos aplican reinforcement learning from human feedback — RLHF. Humanos rankean respuestas, se entrena un reward model con esos rankings, y el modelo se ajusta para maximizar la recompensa.

La intención es orientar al modelo hacia respuestas útiles, seguras y honestas. El efecto secundario observado — y documentado por OpenAI — es que los anotadores humanos tienden a preferir respuestas que suenan seguras y completas sobre respuestas que admiten incertidumbre. "Aquí tenés los tres casos relevantes" se rankea más alto que "no estoy seguro si hay casos relevantes para esta jurisdicción". El reward model aprende esa preferencia. El modelo entrenado aprende a sonar seguro aun cuando no lo está.

Esto es lo que la literatura llama el problema del confident hallucinator: un modelo que combina alta capacidad técnica con un incentivo de entrenamiento que premia la apariencia de certeza. No es un bug — es la consecuencia de cómo se definió la función de recompensa.

Constitutional AI, el método que usa Anthropic, intenta mitigar esto entrenando al modelo con principios explícitos entre los cuales figura "reconocer incertidumbre cuando corresponde". Funciona parcialmente: Claude tiene fama de ser uno de los modelos que con más frecuencia dice "no sé". Pero incluso con constitutional AI, el incentivo subyacente de la arquitectura autoregresiva sigue presente.

Por qué RAG ayuda pero no resuelve

Retrieval-Augmented Generation es la mitigación más popular contra las alucinaciones en aplicaciones empresariales. La idea es simple: antes de responder, el modelo consulta una base de datos específica (documentación interna, manuales, repositorios de información verificada), recupera los fragmentos relevantes, y genera la respuesta condicionada a esos fragmentos.

RAG reduce la tasa de alucinación de manera medible. La premisa es que el modelo, con información verificada en el contexto, es menos probable que invente. En la práctica funciona — pero con tres limitaciones que conviene conocer.

Primero, el modelo puede alucinar dentro del documento recuperado. Puede atribuir algo a una fuente que está en el contexto aunque esa fuente no lo diga. Segundo, si el sistema de retrieval falla y trae un fragmento irrelevante, el modelo puede generar una respuesta plausible pero equivocada combinando el fragmento con lo que "cree" saber. Tercero, la calidad del sistema depende completamente de la calidad de la base de datos — si la base tiene errores, el modelo los amplifica.

RAG es una mejora real, no una solución. El mismo modelo que con RAG produce respuestas más confiables puede seguir inventando citas dentro del contenido retrievado si no se instrumenta con verificación explícita.

El problema de calibración

Uno de los aspectos menos comprendidos — y más importantes — de las alucinaciones es el problema de calibración.

Un modelo bien calibrado sería aquel que, cuando reporta una confianza del 80 por ciento, acierta efectivamente el 80 por ciento de las veces. Los LLMs actuales están sistemáticamente mal calibrados. Reportan confianza similar para afirmaciones que tienen alta probabilidad de ser correctas y para afirmaciones que inventaron. Esto es lo que en la literatura se llama overconfidence.

La consecuencia práctica es que no podés confiar en la autoevaluación del modelo. Si le preguntás "¿qué tan seguro estás?" y te dice "95 por ciento", eso no equivale a una probabilidad real del 95 por ciento de acierto. Podés tratar la respuesta como una señal débil — un "5 por ciento" probablemente indica incertidumbre real, un "95 por ciento" no te garantiza nada — pero no como una probabilidad calibrada.

Hay investigación activa en técnicas de calibración — fine-tuning con rankings de confianza, ensembles, ensamblaje con verificadores externos — pero ninguna está lo suficientemente madura como para reemplazar la verificación humana en aplicaciones donde el costo de error es alto.

Contribuciones recientes que mitigan sin resolver

La última generación de modelos incorpora varias técnicas que reducen — pero no eliminan — las alucinaciones.

Chain-of-thought nativo. Modelos como o1, o3 y Claude con extended thinking razonan paso a paso antes de responder. Esto reduce errores en matemáticas y razonamiento encadenado, pero no resuelve las alucinaciones fácticas porque el razonamiento paso a paso puede basarse en premisas inventadas.

Búsqueda web nativa integrada. Claude, ChatGPT y Gemini pueden consultar internet mientras responden. Es probablemente la mitigación más efectiva disponible hoy para el usuario final: traslada la carga de "recordar" a "consultar fuentes en vivo". No elimina el problema — la IA puede resumir mal una fuente o citar mal — pero lo reduce significativamente.

Verificadores externos. Sistemas donde un modelo genera la respuesta y un segundo modelo (o el mismo ejecutado con un prompt distinto) verifica afirmaciones factuales contra fuentes. Más robusto pero más lento y más caro.

Tool use. Los modelos modernos pueden invocar calculadoras, ejecutores de código, bases de datos. Esto elimina una categoría entera de alucinaciones — las matemáticas — al transferir el cálculo a un sistema determinístico.

Ninguna de estas técnicas individualmente resuelve el problema. Combinadas reducen la tasa efectiva de manera significativa, pero no a cero.

Tesis editorial: el problema está en la venta, no en la tecnología

Cierro con una tesis que va más allá del reporting.

La industria de IA se equivocó al vender estos modelos como fuentes de verdad. Son generadores de respuestas probables. Son notablemente útiles para borradores, análisis, síntesis, escritura, código y muchas otras tareas donde "probable y coherente" es suficiente. Son inadecuados, usados sin protocolo, para tareas donde "verdadero" es requisito.

Esa confusión categorial es la raíz de los casos Schwartz y Gemini-James-Webb. Un abogado asumió que ChatGPT funcionaba como una base de datos jurisprudencial. Una empresa asumió que Gemini podía producir contenido publicitario factualmente correcto sin revisión. Ambas premisas son equivocadas, y la industria las alentó al posicionar sus productos como "el futuro de la búsqueda" o "tu asistente personal que lo sabe todo".

La responsabilidad de la mitigación es compartida en tres capas:

El usuario tiene que entender que estas herramientas no son enciclopedias y armar su protocolo de verificación. Es el primer y principal filtro.

La empresa (la que compra o integra IA en sus productos) tiene que diseñar flujos donde el output de IA pasa por revisión humana antes de llegar a un cliente externo o a un proceso crítico. No es opcional.

La plataforma (OpenAI, Anthropic, Google) tiene que seguir invirtiendo en calibración, búsqueda web integrada, verificadores e interpretabilidad — y tiene que comunicar los límites con honestidad. Anthropic es la que más lo hace hoy. Las otras están mejorando en esa dimensión pero desde una posición peor.

La madurez del usuario es la mitigación principal. Es la única que está bajo tu control directo y es la que tiene el mayor impacto sobre el riesgo real en tu trabajo. Todo lo demás — el modelo que elegís, la plataforma que usás, las técnicas de prompting sofisticadas — es secundario si no tenés el reflejo básico de verificar.

Una manera concreta y sencilla de empezar: pedile que busque en web y cite fuentes. Después abrí las fuentes y revisalas. Ese es el piso del oficio.

¿Cuál es tu test empírico personal para decidir cuándo una salida de IA necesita verificación antes de entregarse, y cuándo podés confiar en ella como está?