Cinco apuntes deben convertirse en una breve nota de conversación. ¿Hace falta utilizar el mayor modelo de lenguaje disponible en cada solicitud? A menudo conviene delimitar bien la tarea y probar primero un modelo más pequeño.
El resultado deseado cabe en unas pocas líneas.
Una llamada ficticia se registra con estos apuntes: «La clienta pregunta por la fecha de entrega, el presupuesto está disponible, aclaración interna pendiente, respuesta mañana». El mensaje debe resumir el contenido de forma comprensible. No debe inventar una fecha de entrega ni convertir los apuntes en un pedido o un compromiso de precio.
Para esta tarea son decisivas la integridad, la atribución correcta y la gestión de los datos que faltan. Una argumentación especialmente extensa o una gran ventana de contexto pueden añadir trabajo sin hacer más útil la nota.
Primero los criterios de aceptación, después la elección del modelo.
El conjunto de pruebas no contiene solo ejemplos bien redactados. Incluye abreviaturas, erratas, referencias temporales contradictorias y contactos que faltan. Para cada ejemplo se establece qué puede incorporarse y cuándo es necesario pedir una aclaración.
Un modelo más pequeño es adecuado si cumple estos requisitos de forma fiable. Si no lo hace, se busca la causa: entrada ambigua, preparación inadecuada, falta de validación o una capacidad del modelo realmente insuficiente. Un modelo mayor puede ayudar, pero no es la respuesta más económica a todos los errores.
Un enrutador controlado puede tratar las tareas de manera diferente.
Una breve nota de conversación puede seguir una vía de procesamiento distinta de un análisis contractual complejo o una revisión de código. La elección considera las necesidades de protección, los proveedores aprobados, la calidad y el tiempo de respuesta. Si el resultado es insuficiente, se pide una aclaración o se aplica una escalada definida.
Un modelo de respaldo no debe provocar una nueva transferencia de datos no autorizada. La revisión profesional y los límites presupuestarios se mantienen aunque la API elegida inicialmente no esté disponible.
El precio de los tokens es solo una línea del cálculo.
Una llamada económica puede salir cara si los empleados deben corregir los resultados con frecuencia. A la inversa, un modelo más caro puede ser conveniente en conjunto si completa una tarea exigente con muchas menos correcciones. Se compara la misma tarea con los mismos requisitos de calidad.
- Uso
- Consumo de entrada y salida, llamadas adicionales a herramientas y repeticiones necesarias.
- Calidad
- Proporción de resultados realmente aprovechables y consecuencias de errores críticos de contenido.
- Correcciones
- Tiempo de revisión, corrección, preguntas de aclaración y nuevo procesamiento.
- Operación
- Integración, supervisión, actualizaciones, límites y gestión de fallos.
También pueden mejorarse las entradas.
Para la nota se proporcionan los apuntes necesarios, no todo el historial del cliente por precaución. Un formato de salida claro facilita la revisión. Cuando el servicio lo admite, las partes recurrentes de la entrada pueden beneficiarse del prompt caching. Hay que medir si se produce un acierto de caché y cuál es su efecto.
El procesamiento asíncrono por lotes es otra posibilidad para tareas que no requieren una respuesta inmediata. Encaja, por ejemplo, mejor con un conjunto documental preparado que con una nota necesaria durante la conversación.
Una tarifa plana disponible no convierte la espera en gratuita.
Las cuotas ya pagadas pueden influir en la decisión. Aun así, siguen siendo relevantes las entradas innecesarias, las correcciones humanas y la capacidad ocupada. Una arquitectura económica mide el coste por operación completada correctamente y lo revisa tras cambios de modelo o producto.
La página especializada Optimización de costes de IA explica el enrutamiento de modelos, las pasarelas y la infraestructura local. Para valorar procesos completos, ¿Script, workflow o agente de IA? complementa la decisión.
Fuentes: OpenAI: optimización de costes · OpenAI: prompt caching · OpenAI: procesamiento por lotes. Sin promesas generales de ahorro o de precios.
