¿Por qué tu asistente de cotización con IA empeora con el tiempo? La clave está en el feedback

En el último par de meses visitando clientes, varios dueños de imprentas pequeñas y medianas me hicieron la misma pregunta: el asistente de cotización con IA y el bot de respuesta automática en LINE que implementaron el año pasado impresionaron al principio, pero ahora parecen estancados o incluso cometen errores cada vez más desatinados

Este fenómeno queda expuesto con claridad en un estudio reciente titulado «Scaling Laws for Agent Harnesses via Effective Feedback Compute», escrito por Xuanliang Zhang y colaboradores, cuyo análisis leí a través de la síntesis en chino de Wisely Chen

El trabajo cuantifica algo contradictorio a la intuición: asumir que la IA mejorará simplemente dándole más capacidad de cómputo, conectándole más herramientas o ejecutándola más veces es un error

Al intentar explicar la tasa de éxito de las tareas usando raw tokens y tool calls, el coeficiente de determinación (R²) se sitúa únicamente entre 0,33 a 0,42

Traducido al lenguaje del taller de impresión: guardar el historial de chat al máximo detalle, elevar las recalculaciones de cotizaciones de una a tres veces o vincular dos bases de datos adicionales son acciones de «he trabajado mucho» que solo explican el 30 % o 40 % del resultado. El 60 % restante no tiene relación con la cantidad de recursos consumidos

Lo comparo con la formación de un aprendiz. Si un maestro pone al aprendiz a tirar 200 pliegos de ensayo al día, pero jamás le corrige los fallos ni le señala dónde se desregistró el color, ese aprendiz imprimirá 10 000 pliegos y seguirá en el mismo nivel. No se habrá vuelto más hábil, solo estará más agotado

El concepto central del estudio se denomina Effective Feedback Compute, abreviado como EFC. Significa que no todas las interacciones cuentan; solo el feedback efectivo permite que la IA progrese verdaderamente

Define que un feedback efectivo debe cumplir cuatro condiciones simultáneas. Las desgloso con ejemplos del entorno de impresión:

・Informative (con sustancia): el feedback aporta información nueva. Si el cliente dice que el presupuesto es caro pero no especifica si es por el papel o por los acabados, se trata de una observación inútil

・Valid (correcto): el feedback es fiable, no un rumor ni una suposición. Si un comercial anota a la ligera que «a este cliente no le importa el precio» cuando es todo lo contrario, alimentar al sistema con esa información errónea es peor que no ingresar nada

・Non-redundant (no redundante): no repetir lo que ya se sabe. Que el sistema registre cien veces que «el cliente requiere papel estucado de 100 lb» no aporta datos nuevos

・Retained (aplicado en decisiones): esta es la condición más crítica. ¿El feedback influye realmente en la siguiente decisión? Si un comercial comparte una evaluación acertada en el grupo de trabajo pero nadie la integra en la lógica de cotización, es como si no hubiera dicho nada

La cifra clave es esta: el estudio realizó un experimento controlado donde, manteniendo el presupuesto de cómputo exactamente igual y únicamente elevando la calidad del feedback, la tasa de éxito de la tarea pasó del 27 % al 90 %

Sin gastar un céntimo adicional, con solo hacer que el feedback fuera efectivo, la tasa de éxito se multiplicó por más de tres. Al recalcular los datos, la capacidad explicativa (R²) pasó de 0,33 de golpe a 0,94 hasta 0,99

Esta formulación coincide con lo que las ciencias del aprendizaje llevan décadas llamando «práctica deliberada» (deliberate practice): el feedback debe ser específico, correcto y aplicarse en la siguiente sesión de práctica. Entrenar sin revisar, o revisar sin corregir, equivale a no haber entrenado. La IA funciona exactamente igual que las personas en este sentido

Comprendido el principio, la cuestión es cómo conectar de verdad este bucle en el flujo de trabajo de la imprenta. Propongo varias medidas aplicables desde esta misma semana

Primero, crear una tabla de referencia con «respuestas estándar». Identifica los 20 o 30 productos cotizados con mayor frecuencia durante los últimos seis meses (catálogos encuadernados a grapa, libros en rústica, etiquetas adhesivas, cajas de cartón) y compila sus códigos de producto, tipos de papel, acabados y rangos de cotización razonables en una ground truth. Si la cotización de la IA no coincide con esta tabla, tendrás una señal clara para corregirla; de lo contrario, si cotiza mal, ni siquiera lo sabrás

Segundo, registrar cada error de la IA identificando la causa raíz. No basta con anotar «error de cotización», sino «confundió cartulina de 250 lb con la de 200 lb» o «omitió el coste del barnizado». Esto responde al criterio Informative: debe ser lo bastante concreto como para permitir una acción remediadora

Tercero, realimentar periódicamente el sistema con los casos fallidos. Dedica una hora al mes a revisar las cotizaciones erróneas o respuestas desatinadas del bot para ajustar sus prompts o reglas. Este paso representa el criterio Retained; aquí se comprueba si el bucle se cierra realmente. Los historiales de chat que se dejan pasar no cuentan; solo cuenta la información procesada que se traduce en reglas mejoradas

Cuarto, antes de añadir cualquier función, evalúala con el cuarto criterio de EFC. Si deseas conectar una herramienta adicional o activar una respuesta automática extra, pregúntate primero: ¿cambiará realmente la decisión futura de la IA? Si la respuesta es no, incorporarla solo generará gastos innecesarios y mayor carga de mantenimiento

Lo mismo aplica al diseño. Si utilizas IA para generar imágenes, corregir artes finales o redactar propuestas, los comentarios del cliente constituyen tus señales de feedback. Registra de forma concreta por qué el cliente rechazó una propuesta para evitar ese fallo la próxima vez; solo así aumentará tu tasa de acierto. Si solo archivas las entregas rechazadas sin analizar los motivos, corregirás cien versiones sin avanzar un solo paso

Algunos proveedores promocionan funciones de memoria como «la IA recordará los hábitos de tu empresa», lo cual suena atractivo. Sin embargo, el estudio plantea una advertencia con la que coincido plenamente

La arquitectura de memoria resuelve la cuarta condición, «retain», que suele ser la más compleja. Sin embargo, solo garantiza que el sistema recuerde; no filtra si la información de los primeros tres criterios es correcta o si resulta redundante

En otras palabras, si almacenas feedbacks erróneos, redundantes o llenos de ruido, esas memorias defectuosas se invocarán repetidamente, siendo más perjudiciales que no tener memoria alguna. Esto convierte un fallo puntual en un error permanente

Por lo tanto, cualquier función de memoria debe ir acompañada de una «puerta de escritura»: ¿esta información es relevante, fiable y no redundante? Solo si supera el filtro debe guardarse. Para una imprenta, esto evita que las preferencias de clientes anotadas apresuradamente por los comerciales sin verificar se conviertan de forma automática en «hechos» del sistema

También hay que ser honestos: este estudio no ofrece soluciones mágicas. El límite de 0,94 a 0,99 se basa en información ideal conocida a posteriori (denominada Oracle-EFC en el estudio), algo inalcanzable en sistemas reales; por lo que representa un techo teórico y no una cifra obtenible de inmediato. Además, evaluar si «el feedback realmente cambió la decisión» resulta difícil en sí mismo. Pese a estos matices, coincido plenamente con el enfoque central

En el futuro, la competencia entre herramientas de IA no dependerá de quién integre más funciones o mantenga chats más extensos, sino de quién logre que cada feedback se aproveche de verdad. Un buen asistente de IA no consiste en hacer que trabaje más, sino en actuar como un buen maestro impresor: asegurar que en cada paso aprenda de verdad

・Asignar más capacidad de cómputo y herramientas a la IA solo explica entre el 30 % y 40 % del resultado (R²: 0,33-0,42); el 60 % restante depende de la calidad del feedback

・Sin alterar el cómputo, mejorar la efectividad del feedback permite elevar la tasa de éxito del 27 % al 90 %: la diferencia radica en «entrenar bien», no en «entrenar más»

・Un feedback efectivo exige simultáneamente: sustancia, corrección, no redundancia y aplicación real; carecer del cuarto factor equivale a haber entrenado en vano

・Las funciones de memoria en la IA solo garantizan el almacenamiento, no la filtración de errores; sin una puerta de escritura, la memoria defectuosa es más tóxica que la falta de memoria

・Realimentar el sistema mensualmente con los casos fallidos de cotizaciones o revisiones de diseño es la acción determinante para ganar precisión con el tiempo

Para las imprentas y estudios de diseño, la verdadera enseñanza no estriba en «si se debe implementar la IA», sino en «si existe un mecanismo de revisión tras su implementación». La mayoría se estanca en el primer paso al tratar la integración de herramientas como la meta final. Recomiendo comenzar con algo sencillo: seleccionar un escenario de alta frecuencia, como la cotización de catálogos o las consultas de pruebas de etiquetas adhesivas; estructurar primero una tabla de 30 respuestas estándar y programar una sesión mensual de una hora dedicada exclusivamente a ajustar las reglas según los errores de la IA. Una vez consolidado este bucle, se podrá considerar la activación de memoria o la ampliación del alcance. Para los proveedores de servicios integrados, esto representa además una oportunidad de fidelización a largo plazo: al diseñar el bucle de feedback para el cliente, el sistema se adaptará cada vez mejor a sus necesidades en lugar de ser descartado a los seis meses por impreciso

・Los agentes también necesitan feedback oportuno: Effective Feedback Compute y la práctica deliberada en agentes