Glosario de IA
Transformer
La arquitectura de red neuronal de los modelos de lenguaje modernos. Su mecanismo de «atención» permite que cada token tenga en cuenta todos los demás.
Presentado en el artículo de 2017 Attention Is All You Need, el transformer sustituyó a diseños anteriores que leían el texto palabra a palabra. Gracias a la atención, el modelo pondera lo relevante que es cada parte de la entrada para todas las demás, en paralelo. Eso lo hace bueno con las relaciones a larga distancia —como unir un pronombre con el nombre al que se refiere tres párrafos antes— y eficiente de entrenar en GPU.
La «T» de GPT significa transformer.
Ejemplo: En la frase «El perro no cruzó la calle porque estaba demasiado cansado», la atención ayuda al modelo a ver que «cansado» se refiere al perro y no a la calle.
En la práctica
- Casi todos los modelos de lenguaje actuales, y muchos de imagen y audio, se basan en él.
- El coste de la atención crece con la longitud del texto: es uno de los motivos por los que los contextos largos son caros.
- Si quieres entenderlo a fondo, en recursos tienes cursos gratuitos.
Cómo encaja en el conjunto: cómo funcionan los LLM.