IA generativa — qué es y por qué cambió el trabajo intelectual

Genealogía técnica: del problema de la secuencia a la arquitectura de escala

Para entender por qué 2022-2023 fue el punto de quiebre de la IA generativa — y no 2020, cuando ya existía GPT-3 — hay que volver al problema que el deep learning arrastraba desde los años noventa: procesar lenguaje sin perder memoria en el camino.

El problema pendiente: memoria en secuencias largas

Las redes recurrentes (RNN), introducidas a comienzos de los noventa y formalizadas por Elman (1990), fueron el primer intento serio de aprender dinámicas temporales. Funcionaban para secuencias cortas — frases, oraciones — pero se quedaban cortas en textos de más de unos cientos de tokens. El problema técnico se conoce como vanishing gradient: durante el backpropagation, los gradientes que atraviesan muchos pasos de tiempo se multiplican hasta volverse numéricamente insignificantes. En términos prácticos, la red "olvidaba" el comienzo de una secuencia larga cuando llegaba al final.

Hochreiter y Schmidhuber (1997) propusieron las redes LSTM — Long Short-Term Memory — que incorporaban compuertas para preservar información relevante a través del tiempo. Fue una mejora real, pero la arquitectura seguía siendo fundamentalmente secuencial: cada token debía procesarse después del anterior. Eso imponía un techo computacional. Escalar LSTM a corpus masivos y a contextos largos era prohibitivo.

Hasta 2017, el campo estaba atascado en ese techo.

Attention is All You Need: el paper que rompió el techo

En junio de 2017, Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser y Polosukhin — ocho autores, la mayoría en Google Brain — publicaron Attention is All You Need en NeurIPS. Ocho páginas. Una arquitectura nueva.

La idea central: reemplazar la recurrencia por un mecanismo llamado self-attention. En lugar de procesar tokens en orden secuencial, cada token consulta a todos los otros tokens de la secuencia en paralelo, y cada consulta se pondera por un coeficiente de atención calculado dinámicamente. Formalmente:

Attention(Q, K, V) = softmax(QKᵀ / √d_k) · V

donde Q, K, V son proyecciones lineales de los embeddings de entrada (query, key, value).

Dos consecuencias inmediatas. Primero, paralelización completa: toda la secuencia se procesa en una sola pasada, no token por token. Segundo, rango de atención ilimitado dentro de la ventana de contexto: una palabra al inicio del párrafo puede influir directamente en una al final, sin que el gradiente tenga que atravesar intermediarios.

El paper tiene hoy más de 140.000 citaciones en Google Scholar y es, por mucho, uno de los artículos más influyentes de la historia reciente del machine learning.

La curva de escalamiento

Con Transformer como base, OpenAI, Google, DeepMind y Meta comenzaron a escalar sistemáticamente.

• BERT (Devlin et al., 2018/2019): 340 millones de parámetros. Arquitectura bidireccional, foco en comprensión.
• GPT-2 (Radford et al., 2019): 1.500 millones de parámetros. Arquitectura decoder-only, foco en generación.
• GPT-3 (Brown et al., 2020): 175.000 millones de parámetros. Cien veces más grande que GPT-2. Aparecen capacidades de few-shot learning documentadas y medidas en el paper original.
• Chinchilla (Hoffmann et al., 2022, DeepMind): 70.000 millones de parámetros, pero entrenado con cuatro veces más tokens que Gopher (280B). Demostró empíricamente que la mayoría de los modelos grandes de 2020-2022 estaban subentrenados: la relación óptima entre parámetros y tokens es aproximadamente 1:20.
• PaLM (Chowdhery et al., 2022, Google): 540.000 millones de parámetros.
• GPT-4 (2023, OpenAI): tamaño no confirmado. La estimación pública más citada proviene de un reporte de SemiAnalysis (julio 2023) que lo ubica en aproximadamente 1,76 billones de parámetros bajo una arquitectura Mixture of Experts. OpenAI nunca confirmó ni desmintió.
• Claude 3 (marzo 2024, Anthropic) y Claude 3.5 Sonnet (junio 2024, actualizado en octubre 2024): parámetros no publicados.

Un detalle que conviene dejar claro: ni Anthropic ni OpenAI han confirmado tamaños exactos de sus modelos más recientes. Cualquier número específico que circule sobre Claude 3 Opus o GPT-4 posterior es estimación externa, no cifra oficial.

La regla empírica: escalar datos y cómputo a la par

Kaplan et al. (2020, Scaling Laws for Neural Language Models) documentaron que la pérdida de entrenamiento sigue una ley de potencias respecto a tres variables: tamaño del modelo, cantidad de datos y cómputo total. Hoffmann et al. (2022) refinaron esa regla con el trabajo de Chinchilla, mostrando que el óptimo no es "más parámetros", sino "más datos y más parámetros en la proporción correcta".

Ese resultado reorientó toda la industria. Los modelos post-Chinchilla tienden a entrenarse sobre corpus mucho más grandes de los que se usaban en 2020.

Alineamiento: el paso que hace el modelo usable

Un modelo pre-entrenado es poderoso pero no obediente. Puede generar texto correcto, tóxico, falso o inapropiado — todo con la misma confianza. Antes de salir al mercado, se alinea.

Hay dos familias principales de métodos:

RLHF (Reinforcement Learning from Human Feedback), formalizado en Ouyang et al. (2022, Training language models to follow instructions with human feedback). El modelo genera pares de respuestas a un prompt; humanos califican cuál prefieren; un modelo de recompensa se entrena sobre esas preferencias; finalmente se usa PPO para ajustar el modelo original hacia las respuestas preferidas. Es el método detrás de InstructGPT y ChatGPT.

Constitutional AI, publicado por Bai et al. (2022, Anthropic) como Constitutional AI: Harmlessness from AI Feedback. El modelo se critica a sí mismo usando un conjunto explícito de principios — una "constitución" — y después se entrena sobre sus propias correcciones. Reduce la dependencia de etiquetadores humanos para la fase de harmlessness. Es el método detrás de Claude.

Ambos producen modelos dramáticamente más útiles que el pre-entrenado bruto. Pero también introducen sus propios fallos: el modelo aprende a producir respuestas que parecen buenas para los evaluadores, lo cual correlaciona con ser útil — a veces.

La objeción de las capacidades emergentes

Una afirmación que circuló con fuerza entre 2020 y 2022 fue que los modelos grandes exhibían capacidades emergentes: habilidades que aparecían bruscamente al cruzar cierto umbral de escala, sin estar presentes en modelos más pequeños.

Schaeffer, Miranda y Koyejo (2023, Are Emergent Abilities of Large Language Models a Mirage?, NeurIPS 2023) desafiaron esa lectura. Mostraron que muchas de las "emergencias" son artefactos de las métricas usadas: cuando la métrica es binaria (acierto total o fallo total), la mejora se ve abrupta; cuando la misma tarea se mide con una métrica continua (log-probabilidad, crédito parcial), la mejora es suave y predecible por las leyes de escala.

El debate sigue abierto. Pero el paper de Schaeffer es una corrección académica que los argumentos populares sobre IA "emergente" suelen ignorar — y que conviene tener presente antes de confiar en gráficos de salto brusco.

Diferencias entre familias: Claude, GPT, Gemini

Los tres modelos de frontera usan variantes de Transformer decoder-only, pero divergen en decisiones de diseño que importan:

GPT-4 (OpenAI): ventana de contexto de 128K tokens en GPT-4 Turbo. Fortalezas en tareas creativas y en integración con herramientas vía function calling. Debilidad relativa: tendencia a alucinar en hechos específicos, más marcada que Claude según benchmarks independientes como TruthfulQA.

Claude 3.5 Sonnet / 3.7 Sonnet (Anthropic): ventana de contexto de 200K tokens. Fortalezas en razonamiento largo, escritura estructurada y honestidad sobre incertidumbre — subproducto del entrenamiento con Constitutional AI. Debilidad relativa: menos expansivo en tareas de generación libre que GPT.

Gemini 1.5 Pro (Google): ventana de contexto de 1 millón de tokens en producción (2 millones en beta). Multimodalidad nativa: procesa texto, imágenes, audio y video en la misma llamada. Fortaleza: análisis de documentos y videos masivos. Debilidad relativa: menos iteraciones de feedback público que GPT y Claude.

En benchmarks genéricos (MMLU, HumanEval), los tres están en el rango 87-90% de precisión. Las diferencias reales aparecen en tareas específicas: razonamiento multi-etapa, creatividad controlada, análisis multimodal.

El siguiente nivel: agentes y Model Context Protocol

La IA generativa pura — "escribís, el modelo responde" — fue el producto de 2022-2024. Desde fines de 2024, el campo se está desplazando hacia agentes: sistemas que no solo generan texto, sino que toman acciones sobre herramientas externas.

Dos piezas clave aparecieron en ese período.

Computer Use, lanzado por Anthropic en octubre de 2024, permite a Claude ver una captura de pantalla, mover el cursor, clickear y escribir en cualquier aplicación. Es todavía experimental — la tasa de éxito en tareas multi-paso es moderada — pero marca un cambio de paradigma.

Model Context Protocol (MCP), lanzado por Anthropic en noviembre de 2024 como estándar abierto, define cómo un modelo se conecta a APIs, bases de datos y herramientas externas. No es un producto: es un protocolo. Permite que Claude (o cualquier otro modelo compatible) consulte datos vivos mientras razona.

La implicación es que el valor de estos sistemas deja de estar solo en la generación de texto. Pasa a estar en la combinación: generación + búsqueda + cálculo + acción.

Tesis del blog: esto no es un cambio de grado, es un cambio de categoría

Lo que este blog viene sosteniendo desde el primer número — y lo que este artículo confirma con más contexto técnico — es que lo que ocurrió entre 2017 y 2022 no es una iteración más del progreso en machine learning.

Los clasificadores, los sistemas expertos de los ochenta, los motores de recomendación de los 2010 — todos operaban sobre lo que ya existía. La IA generativa, con Transformer como motor y la escala de internet como combustible, es la primera tecnología de consumo masivo que produce artefactos originales de calidad profesional a velocidad interactiva.

El cambio de categoría no está en que la IA ahora escriba. Está en que la tarea cognitiva de "componer un artefacto de texto" — email, informe, código, propuesta — pasó de ser cuello de botella humano a ser cuello de botella de revisión. Durante la mayor parte de la historia del trabajo de oficina, el costo de producir el primer borrador era alto y el costo de criticarlo era bajo. Esa asimetría se invirtió.

Tres años después del lanzamiento de ChatGPT, el trabajo intelectual ya no se organiza alrededor de escribir. Se organiza alrededor de revisar lo que otro — humano o modelo — escribió primero. Y el que mejor revise, no el que mejor escriba, gana.

Ese es el cambio de categoría. Lo demás es consecuencia.