Qué es un modelo de lenguaje — LLMs explicados para tu tía

Qué es un modelo de lenguaje — LLMs explicados para tu tía

Una definición precisa para empezar

Un modelo de lenguaje grande (LLM) es un sistema neuronal que aprendió a estimar la distribución de probabilidad sobre tokens posibles dada una secuencia de entrada, mediante entrenamiento sobre grandes corpus de texto.

No es una definición accesible. Pero es precisa. Y la precisión importa cuando vas a basar decisiones reales en lo que el sistema produce.

La arquitectura de fondo: transformers

Todo LLM moderno (Claude, GPT, Gemini, Llama, Mixtral) está construido sobre la arquitectura transformer, presentada en el paper "Attention Is All You Need" de Vaswani et al. (2017).

La idea central es el mecanismo de atención. Para cada token, el modelo asigna pesos a todos los demás tokens del contexto, decidiendo matemáticamente cuáles son relevantes para predecir el siguiente.

Esto es radicalmente distinto de las arquitecturas anteriores. Las RNN y LSTM procesaban secuencialmente token por token, lo que producía vanishing gradients en secuencias largas y entrenamiento lento. Las redes feedforward procesaban en paralelo pero perdían relaciones de largo alcance. Los transformers procesan todo el contexto en paralelo (escalable de forma masiva) y a la vez preservan relaciones a cualquier distancia gracias al multi-head attention.

El resultado práctico es que el modelo puede aprender, por ejemplo, que la palabra "gato" en la primera oración es relevante para predecir un pronombre en la quinta oración, aunque estén separadas por 200 tokens. Eso es lo que permite manejar contextos largos.

Parámetros y leyes de escala

Cuando leés "Claude tiene X mil millones de parámetros", esos parámetros son los pesos numéricos en la red neuronal. Cada conexión entre operaciones tiene un número asociado que se ajusta durante el entrenamiento mediante backpropagation para minimizar el error de predicción.

Algunas cifras verificables. GPT-3 tiene 175 mil millones de parámetros (Brown et al., 2020, NeurIPS). GPT-4 se estima en aproximadamente 1.8 billones de parámetros en una arquitectura mixture-of-experts, según reportes de la prensa especializada y filtraciones, aunque OpenAI nunca lo confirmó oficialmente. Anthropic no publica el tamaño exacto de Claude. Cuando alguien te dé un número de parámetros para Claude, pedile la fuente. Casi nunca existe.

Las scaling laws (Kaplan et al., 2020 en OpenAI; Hoffmann et al., 2022 en DeepMind, conocidas como Chinchilla) muestran que la capacidad mejora de forma predecible con más parámetros, más datos y más cómputo de entrenamiento (medido en FLOP).

Pero los parámetros sin datos suficientes son inútiles. Un modelo de un billón de parámetros entrenado con poco texto va a rendir peor que un modelo de 175 mil millones bien entrenado. Chinchilla específicamente sugiere que para un presupuesto computacional fijo conviene balancear el tamaño del modelo y el del dataset, no maximizar uno solo.

El fenómeno de las capacidades emergentes y su crítica

Las capacidades emergentes son habilidades que no aparecen en modelos pequeños y emergen abruptamente al aumentar la escala. El término lo acuñaron Wei et al. en 2022.

Ejemplos del paper original. Aprendizaje en contexto (in-context learning), donde el modelo aprende de ejemplos dentro del prompt sin actualizar parámetros. Razonamiento en cadena (chain-of-thought), donde modelos pequeños no resuelven problemas multi-paso pero modelos grandes empiezan a hacerlo cuando se los induce a "pensar paso a paso". Razonamiento aritmético y simbólico que aparece en escalas particulares.

Pero hay que mencionar la contracrítica. Schaeffer, Miranda y Koyejo publicaron en 2023 "Are Emergent Abilities of Large Language Models a Mirage?" (NeurIPS 2023). Argumentaron que muchas de esas "emergencias" son artefactos de las métricas no lineales que se usaron para evaluar. Si cambiabas a métricas continuas, la mejora se veía gradual, no abrupta.

¿Cuál es la lectura honesta hoy? Que hay mejoras reales con escala, pero que la narrativa de "habilidades que aparecen de la nada" probablemente sobrestimó el fenómeno. Las mejoras existen y son medibles, pero son menos misteriosas de lo que sugería el paper de 2022.

Predicción versus comprensión: el límite epistemológico

Acá está el sesgo más importante que la mayoría subestima.

Una predicción muy buena de "cuál es la próxima palabra probable" parece comprensión. Pero epistemológicamente no lo es.

Caso concreto. Le das a Claude un artículo de Nature sobre física cuántica (durante el entrenamiento leyó miles de papers similares). Le preguntás "¿qué significa superposición?". Claude da una respuesta coherente, técnicamente precisa, con uso correcto de la terminología.

¿Comprende superposición? No. Predice qué palabras correlacionan con "explicación de superposición" en contextos similares observados durante el entrenamiento.

¿Cómo lo sabés? Porque si le das un concepto que nunca vio con correlación clara (una paradoja nueva, un escenario contrafáctico genuinamente novedoso), genera una respuesta plausible pero a veces demostrablemente falsa.

Un físico comprende. Puede visualizar el fenómeno, ver las implicaciones en dominios donde no fue entrenado, identificar predicciones experimentales nuevas. Claude predice. Genera palabras estadísticamente asociadas a contextos de física cuántica.

¿Importa la diferencia? Importa mucho cuando el sistema enfrenta casos verdaderamente novedosos. Ahí la predicción falla de forma característica. Cuando la tarea está dentro de la distribución del entrenamiento, la predicción brilla.

Alucinaciones: no son bugs, son consecuencia estructural

Cuando Claude inventa un hecho o cita un paper que no existe, no es un glitch.

Es que el modelo, dada la secuencia de entrada, predice que cierta secuencia de salida es probable en la distribución aprendida. Esa salida suena creíble porque los patrones de la forma "X es una teoría científica" o "Y es un paper de Z" tienen muy alta probabilidad en el training. Pero X puede ser falso e Y puede no existir.

Sin acceso a una base de datos verificable en tiempo real, sin experiencia sensoriomotora, sin una noción interna de "verdad" separada de "probabilidad", el modelo predice palabras probables que pueden ser falsas.

Esto es estructural. No se "arregla" con prompting más cuidadoso. Se mitiga. Pedir citas con localizaciones específicas fuerza al modelo a anclar afirmaciones a su entrenamiento. Usar RAG (Retrieval-Augmented Generation), donde le proporcionás documentos verificados externos, baja drásticamente las alucinaciones. Pedir incertidumbre cuantificada ayuda. Implementar verificación externa con una segunda llamada al modelo o a una fuente autoritativa es lo más efectivo.

Pero el fenómeno subyacente sigue. Predicción sin acceso a verificación es siempre vulnerable a error sistemático.

Knowledge cutoff y la ilusión de actualidad

Cada modelo tiene una fecha de corte de entrenamiento. Para Claude Sonnet 4.6 está documentada en la página oficial de Anthropic. Para GPT-4o, en la documentación de OpenAI. Verificá siempre el dato concreto en la fuente del proveedor.

El usuario tiende a asumir que si el modelo no sabe algo, lo va a decir explícitamente. Pero a veces, si la pregunta cae justo cerca del cutoff, el modelo puede generar una respuesta que parece actual pero es extrapolación de patrones, no hecho verificado.

Por eso los chatbots con búsqueda web habilitada (como Claude conectado a Brave Search, ChatGPT con Bing, Gemini con Google Search) dan resultados sustancialmente más confiables para información reciente. La búsqueda inyecta información post-cutoff al contexto. La predicción sigue siendo predicción, pero ahora con datos frescos disponibles.

Multimodalidad: misma idea, entrada más rica

Claude, GPT-4o y Gemini son multimodales. Pueden procesar texto, imágenes y, en versiones recientes, audio y video.

¿Cómo funciona técnicamente con imágenes? La imagen pasa por un encoder visual (típicamente un Vision Transformer, ViT) que la convierte en una secuencia de tokens visuales. Esos tokens entran al LLM como contexto adicional. El LLM predice texto que es probable dada esa entrada combinada.

Es el mismo mecanismo de fondo. Predicción de secuencia. La entrada es más rica, pero el core sigue siendo "qué viene después según las correlaciones aprendidas".

Implicaciones para arquitectura de prompts

Si entendiste todo lo anterior, hay cinco cosas que cambian inmediatamente en cómo armás tus prompts.

Más contexto da mejor predicción. Por eso el Método CAFÉ (Contexto, Acción, Formato, Estilo) funciona. No es magia. Es darle al modelo más señal sobre la distribución desde la cual debe predecir.

Los ejemplos en el prompt activan pattern matching intenso. El few-shot learning consiste en dar tres a cinco ejemplos del estilo que querés. El modelo predice respuestas que se parecen estadísticamente a esos ejemplos.

Pedir que piense paso a paso (chain-of-thought) fuerza al modelo a generar tokens intermedios que exploran el espacio de predicción de forma más cuidadosa. Para problemas de razonamiento, esto suele subir la tasa de acierto significativamente.

La temperatura controla cuánto se aparta el muestreo de la palabra más probable. Temperatura cero te da la palabra de máxima probabilidad determinísticamente (consistente, repetible, a veces aburrido). Temperatura uno introduce variación (más creativo, menos predecible). Temperatura dos suele producir caos.

El orden de las instrucciones importa. El modelo presta más atención al inicio y al final del contexto que al medio (efecto "lost in the middle" documentado en literatura reciente). Pone tus instrucciones críticas al principio o al final.

Ajuste post-entrenamiento: RLHF y Constitutional AI

Después del pretraining (predecir siguiente palabra mediante cross-entropy loss), los modelos pasan por ajuste adicional.

RLHF (Reinforcement Learning from Human Feedback), formalizado por OpenAI en Ouyang et al. (2022). Humanos califican pares de respuestas. El modelo aprende mediante PPO (Proximal Policy Optimization) a maximizar la probabilidad de respuestas bien calificadas, mientras se mantiene cerca del modelo base para no degradarse.

Constitutional AI, de Anthropic (Bai et al., 2022). Además de RLHF, el modelo se entrena contra un conjunto de "principios constitucionales". El modelo critica sus propias respuestas contra esos principios y se autocorrige.

Esto no cambia los parámetros fundamentales del transformer. Pero recalibra la distribución desde la cual el modelo muestrea. Hacia respuestas más útiles, más seguras, menos sesgadas.

Por eso Claude se siente distinto a un modelo base sin ajuste. Fue ajustado explícitamente para reconocer límites, calibrar incertidumbre y rechazar tareas que violan principios.

Trayectoria a corto, mediano y largo plazo

A corto plazo, multiplicación de modelos especializados. LLMs ajustados a verticales específicos (medicina, derecho, código, soporte). El mercado se diferencia por dominio.

A mediano plazo, sistemas agénticos. LLMs como orquestadores que predicen no solo palabras sino también acciones (llamar APIs, usar herramientas, ejecutar código, integrar con bases de datos externas). RAG se vuelve default. El protocolo MCP de Anthropic es la pieza estándar de esa capa.

A largo plazo, la pregunta abierta es epistemológica. ¿Convergen LLMs mejorados (con memoria persistente, multimodalidad completa, razonamiento en tiempo de inferencia, retroalimentación continua) hacia algo cercano a AGI? ¿O el techo es predicción muy sofisticada pero no comprensión genuina en el sentido filosófico fuerte (qualia, intencionalidad, consciencia)?

Mi postura. Es predicción de secuencias extremadamente potente. Hasta hoy no hemos visto evidencia de comprensión genuina en sentido filosófico fuerte. Pero el problema está abierto y la honestidad intelectual exige no clausurarlo.

La tesis del blog

Cuando usás Claude estás usando un sistema que en su núcleo predice la siguiente palabra en una distribución de probabilidades. Que esa predicción sea sofisticada al punto de parecer razonamiento, creatividad y comprensión emocional es real conductualmente. La ejecución subyacente, sin embargo, es matemáticamente predicción de secuencia.

Esto no la hace menos útil. La hace distinta a la inteligencia humana. Y comprender esa diferencia, que el sistema funciona muy bien sin entender lo que hace, es el inicio de usarlo bien.

Los que mejor aprovechan los LLMs son los que internalizaron este marco. Saben dónde la predicción brilla. Saben dónde falla de forma característica. Verifican donde la verdad importa. No esperan que el modelo "se vuelva consciente" en la próxima versión, porque saben que eso no es lo que está cambiando.

Lo que está cambiando es la calidad de la predicción. Y eso, palabra por palabra, alcanza para transformar industrias enteras.