Pourquoi votre assistant de devis IA déraille-t-il avec le temps ? Tout est dans le feedback

Ces derniers mois, en rendant visite à des clients, plusieurs patrons de PME de l'imprimerie m'ont posé la même question : l'assistant de devis IA et le chatbot LINE automatisé installés l'année dernière étaient bluffants au début, mais aujourd'hui, ils stagnent, voire font des erreurs de plus en plus aberrantes

Ce phénomène est très bien expliqué dans une étude récente intitulée « Scaling Laws for Agent Harnesses via Effective Feedback Compute », rédigée par Xuanliang Zhang et son équipe. J'ai personnellement lu la synthèse en chinois de Wisely Chen

Elle quantifie une réalité totalement contre-intuitive : on s'imagine qu'en augmentant la puissance de calcul, en greffant des outils ou en multipliant les essais, l'IA va s'améliorer. C'est faux

L'étude montre que pour expliquer le taux de réussite d'une tâche via le nombre de tokens bruts ou d'appels d'outils, le coefficient de corrélation R² n'est que de :

・0.33 à

・0.42

En clair, version atelier de prod : activer l'historique détaillé du chatbot, recalculer trois fois les devis au lieu d'une ou brancher deux bases de données supplémentaires n'expliquent que 30 à 40 % du résultat. Les 60 % restants n'ont absolument rien à voir avec les ressources investies

C'est comme former un apprenti. Si un conducteur de presse lui fait imprimer deux cents feuilles d'essai par jour mais ne lui montre jamais ses défauts d'encrage ou ses écarts de repérage, l'apprenti pourra en imprimer dix mille sans jamais progresser. Il ne sera pas meilleur, il sera juste plus fatigué

Le concept central de l'étude s'appelle l'Effective Feedback Compute, ou EFC. L'idée est simple : toutes les interactions ne se valent pas. Seul un « feedback efficace » permet à l'IA de progresser

Pour qu'un feedback soit efficace, il doit remplir quatre critères. Appliquons-les à notre quotidien d'imprimeur :

・Informative (instructif) : le retour doit apporter une vraie information. Un client qui dit que le devis est trop cher sans préciser si c'est à cause du papier ou du façonnage, c'est un feedback inutile

・Valid (valide) : l'information doit être fiable, pas un bruit de fond ou une supposition. Si un commercial note à la va-vite « le client ne regarde pas le prix » alors que c'est le contraire, injecter cette erreur dans le système est pire que de ne rien faire

・Non-redundant (non redondant) : inutile de répéter ce qu'on sait déjà. Enregistrer cent fois que « le client veut du couché 100 g » n'apporte rien de neuf

・Retained (assimilé) : c'est le point le plus critique. Ce feedback est-il réellement intégré dans la décision suivante ? Si un commercial donne la bonne consigne dans un groupe de discussion mais que personne ne l'intègre dans les règles de calcul de devis, c'est comme s'il n'avait rien dit

Le chiffre clé est le suivant : lors d'un test comparatif à budget informatique constant, le simple fait d'améliorer la qualité du feedback a fait grimper le taux de réussite de 27 % à 90 %

Aucun surcoût, juste des retours pertinents, et l'efficacité fait plus que tripler. Dans ce scénario, le coefficient R² bondit de :

・0.33 d'un coup à

・0.94 à

・0.99

Cela rejoint ce que les sciences de l'apprentissage appellent depuis des décennies la « pratique délibérée » (deliberate practice) : pour progresser, le retour doit être précis, exact et réinjecté dans l'exercice suivant. S'entraîner sans débriefer, ou débriefer sans corriger, cela ne sert à rien. L'IA fonctionne exactement comme nous

Maintenant que la théorie est posée, reste à savoir comment l'appliquer concrètement à vos flux de production. Voici quelques pistes à tester dès cette semaine

Premièrement, établissez un référentiel de « vérité terrain » (ground truth). Listez les vingt ou trente produits les plus commandés ces six derniers mois — brochures piquées à cheval, livres en dos carré collé, étiquettes, boîtes pliantes — avec leurs références papier exactes, le façonnage et la grille tarifaire de référence. Si les calculs de l'IA dévient de ce tableau, vous aurez une base concrète pour la corriger. Sinon, impossible de savoir si elle est dans le vrai

Deuxièmement, documentez chaque erreur de l'IA en identifiant sa cause d'origine. Ne notez pas juste « erreur de devis », écrivez « a compté du carton 200 g au lieu de 250 g » ou « a oublié le coût du vernis ». C'est le principe du critère Informative : des retours précis et actionnables

Troisièmement, réinjectez régulièrement les cas d'échec. Prenez une heure par mois pour analyser les devis ratés ou les réponses erronées du chatbot, et ajustez les prompts ou les règles de calcul de l'IA. C'est l'étape Retained, indispensable pour boucler la boucle. Des historiques de chat perdus dans la nature ne servent à rien ; seules les règles corrigées et formalisées font progresser la machine

Quatrièmement, avant d'ajouter une fonctionnalité, passez-la au crible du quatrième critère de l'EFC. Si vous voulez greffer un nouvel outil ou activer une réponse automatique, demandez-vous d'abord : cela va-t-il vraiment modifier les futures décisions de l'IA ? Si la réponse est non, vous allez juste dépenser de l'argent et alourdir la maintenance pour rien

C'est la même chose pour les designers. Si vous utilisez l'IA pour générer des images, corriger des maquettes ou rédiger des propositions, chaque correction du client est un signal précieux. Notez précisément pourquoi un projet a été refusé pour éviter de répéter l'erreur lors de la prochaine soumission. C'est la seule façon d'augmenter votre taux de validation. Entasser les refus sans en analyser les causes vous condamnera à faire cent versions pour rien

Certains prestataires vendent des fonctions du type « l'IA va mémoriser les habitudes de votre entreprise ». L'idée est séduisante, mais l'étude formule une mise en garde très pertinente à ce sujet

Si l'architecture mémoire résout le critère le plus difficile, à savoir la rétention (« retain »), elle se contente de stocker. Elle ne filtre pas la validité ni la redondance des informations reçues

En d'autres termes, si vous y injectez des données erronées, redondantes ou inutiles, l'IA réactivera en boucle ces faux souvenirs. C'est bien pire que de n'avoir aucune mémoire. Une simple erreur ponctuelle devient alors un biais permanent

L'activation d'une fonction mémoire doit donc s'accompagner d'un « filtre d'écriture » : l'information est-elle pertinente, fiable et nouvelle ? Si oui, on enregistre. En imprimerie, cela veut dire qu'on ne laisse pas les notes volantes des commerciaux sur les préférences supposées d'un client devenir des vérités absolues pour le système

Soyons honnêtes, cette étude n'est pas une formule magique. Le seuil de :

・0.94 à

・0.99 de corrélation n'est atteint qu'avec des informations idéales a posteriori (ce que l'étude appelle « Oracle-EFC »). Un système réel ne peut pas faire de miracles, ce chiffre est donc un plafond théorique, pas un objectif atteignable dès demain. De plus, évaluer si un feedback a réellement influencé une décision reste complexe. Mais même avec ces limites, la logique globale reste extrêmement solide

L'avenir des outils IA ne se jouera pas sur le nombre de fonctionnalités ou la taille des fenêtres de chat, mais sur la capacité à exploiter chaque feedback reçu. Un bon assistant IA ne doit pas simplement exécuter des tâches en masse, il doit, à l'image d'un bon tuteur, apprendre de chaque action réalisée

・Multiplier la puissance de calcul et les outils de l'IA n'explique que 30 à 40 % des résultats (coefficient R² :

・0.33

・0

・42), les 60 % restants dépendent de la qualité du feedback

・À budget de calcul constant, un feedback de qualité fait grimper le taux de réussite de 27 % à 90 %. La clé est de s'entraîner correctement, pas de s'entraîner plus

・Un feedback efficace doit être instructif, valide, non redondant et exploité. Sans ce dernier point, l'effort est vain

・La fonction mémoire résout uniquement la rétention, pas la fiabilité. Sans filtre d'entrée, les souvenirs erronés polluent le système plus qu'autre chose

・Réinjecter mensuellement les erreurs de devis ou de mise en page est l'action déterminante pour affiner la précision de l'IA

Pour les imprimeurs et les studios de design, la vraie leçon n'est pas de savoir s'il faut intégrer l'IA, mais s'ils ont mis en place un mécanisme de contrôle après intégration. La plupart s'arrêtent dès la première étape, voyant la connexion de l'outil comme une fin en soi. Mon conseil est de commencer petit : choisissez un scénario récurrent, comme le devis de catalogues ou les demandes de BAT pour des étiquettes, et créez d'abord un référentiel de trente réponses types. Bloquez ensuite une heure par mois pour corriger les règles à partir des erreurs commises par l'IA. Une fois cette boucle bien rodée, vous pourrez envisager d'activer la mémoire ou d'élargir le périmètre. Pour les prestataires de services intégrés, c'est aussi un excellent moyen de fidéliser les clients : si vous concevez la boucle de feedback pour eux, le système collera de mieux en mieux à leurs besoins au fil du temps, au lieu d'être rejeté après six mois sous prétexte qu'il manque de précision

・Les agents aussi ont besoin de retours rapides : Effective Feedback Compute et la pratique délibérée des agents