Glosario de IA
Procesamiento por lotes (batch)
Enviar muchas peticiones de golpe para que se procesen en segundo plano en unas horas, normalmente a mitad de precio.
Si no necesitas la respuesta al momento (clasificar miles de tickets, resumir un archivo, pasar una evaluación), puedes enviarlo todo como un lote. El proveedor lo ejecuta cuando tiene capacidad libre y tú recoges los resultados después.
Anthropic, OpenAI y Google cobran la mitad por las peticiones que van en lotes. Junto con la caché de prompts, es de las formas más fáciles de recortar el gasto en API.
Ejemplo: Una empresa quiere clasificar 50.000 correos antiguos. En lugar de enviarlos uno a uno, los manda en un lote por la noche y a la mañana siguiente tiene los resultados a mitad de precio.
En la práctica
- Úsalo para lo que pueda esperar unas horas: Google, por ejemplo, se marca como objetivo terminar los lotes en 24 horas.
- Cada petición del lote lleva su propio identificador: úsalo para unir las respuestas con tus datos, porque pueden llegar en otro orden.
- Prueba antes el prompt con unas pocas peticiones normales: un error en el lote se repite miles de veces.