Qué es un modelo de lenguaje — LLMs explicados para tu tía
Un LLM es autocomplete potenciado. Aprende patrones de texto. Por eso puede escribir, resumir, traducir y programar — y por eso a veces inventa cosas.
Germán Falcioni✦ Lectura: 8 min
Qué es un modelo de lenguaje — LLMs explicados para tu tía
Empieza con tu celular
Tenés un teléfono con autocomplete. Escribís "Hola, ¿cómo" y te sugiere "estás". No te asombra. Es una herramienta básica.
Un modelo de lenguaje es eso. Pero turbinado mil veces.
Cómo funciona en realidad
Durante el entrenamiento, el modelo lee. Lee mucho. Novelas, artículos, código, conversaciones, prácticamente todo lo que existe en internet. GPT-3, el primero que dio el salto al público, se entrenó con unos 300 mil millones de tokens (Brown et al., 2020). Eso es más texto del que vos podrías leer en mil vidas.
Mientras lee, aprende patrones. Después de "buenos" generalmente viene "días". Después de "la lluvia" probablemente viene "cae".
Cuando vos le escribís un prompt a Claude, el modelo adivina cuál es la palabra que viene siguiente. Después la siguiente. Y la siguiente. Palabra por palabra, hasta que decide parar.
No entiende. Predice. Pero sus predicciones son tan buenas que parece que entiende.
Por qué puede escribir, traducir, programar
Porque todas esas tareas son, en el fondo, predicción de palabras.
Escribir una historia es predecir qué palabra viene después dada una trama. Traducir es predecir cuál es la secuencia en otro idioma que corresponde a este patrón. Programar es predecir cuál es la línea de código probable después de esta estructura.
Claude no sabe programar como sabe un humano. Sabe qué patrones de código son probables. Y como millones de programadores escriben código de forma consistente, los patrones son muy buenos.
Lo sorprendente: las capacidades emergentes
Nadie programó a Claude para escribir un poema sobre la muerte. Nadie le enseñó matemáticas con una clase formal.
Pero puede hacer ambas cosas.
¿Por qué? Porque el modelo aprendió patrones tan ricos que, en cierto punto, empieza a hacer cosas que nadie había anticipado. Es como si los patrones se combinaran de formas que crean habilidades nuevas. Lo llamamos capacidades emergentes.
Las limitaciones
Un LLM nunca vivió un día. Leyó todo libro que existe, pero nunca comió, nunca lloró, nunca fue traicionado. Eso importa cuando necesitás contexto emocional profundo o experiencia sensorial real. Puede imitar. No puede comprender.
Además, alucina. A veces inventa datos. No por maldad. Porque predice cuál es la palabra probable y a veces esa palabra es un hecho falso. Sin experiencia real, no se da cuenta.
Y tiene un knowledge cutoff: fue entrenado hasta cierta fecha y no sabe qué pasó después. No por incapacidad. Porque esos datos no estaban cuando se entrenó.
Tres ideas para llevar
Primero, un LLM predice. Punto. No piensa, no entiende. Pero predice tan bien que con eso alcanza para cambiarte el trabajo.
Segundo, sus puntos fuertes son crear, sintetizar y explorar variaciones. Sus puntos débiles son los hechos críticos sin verificar y las decisiones de alto riesgo donde se necesita comprensión genuina.
Tercero, las alucinaciones y el cutoff de conocimiento no son bugs. Son consecuencias estructurales de cómo funciona el modelo. Saberlo te ahorra sorpresas.