Glosario de IA
Mezcla de expertos (MoE)
Un diseño de modelo que divide la red en muchos «expertos» y solo activa unos pocos para cada token, de modo que un modelo enorme cuesta como uno más pequeño.
En un modelo de mezcla de expertos, un pequeño enrutador decide qué expertos atienden cada token. Solo esos trabajan, así que la mayoría de los parámetros del modelo están inactivos en cada momento. Eso abarata y acelera modelos muy grandes.
A cambio es más complejo: hace falta memoria para tener todos los expertos cargados, y entrenarlos para que cada uno aprenda algo útil no es fácil. Varios modelos de pesos abiertos, como los de DeepSeek, usan este diseño.
Ejemplo: Un modelo MoE puede tener cientos de miles de millones de parámetros en total y activar solo una parte para cada token. Por eso responde más rápido y más barato que un modelo «denso» del mismo tamaño total.
En la práctica
- En las fichas verás dos cifras: los parámetros totales y los activos por token.
- Para ejecutarlo en local, lo que cuenta para la memoria son los totales, aunque solo trabajen los activos.
- Si lo usas por API no tienes que hacer nada distinto: es un detalle interno.
