Warum driftet Ihr AI-Angebotsassistent ab? Der Schlüssel liegt im Feedback

In den letzten zwei Monaten habe ich mehrere Inhaber kleiner und mittlerer Druckereien besucht, und alle fragten dasselbe: Der letztes Jahr eingeführte AI-Angebotsassistent und der automatische Customer-Service-Bot auf LINE waren beim Testen beeindruckend – warum gibt es seitdem keinen Fortschritt mehr, und warum werden die Fehler stellenweise sogar noch schlimmer?

Dieses Phänomen wird in einem aktuellen Paper mit dem Titel 《Scaling Laws for Agent Harnesses via Effective Feedback Compute》 gründlich analysiert. Autoren sind Xuanliang Zhang et al.; ich selbst habe die chinesische Zusammenfassung von Wisely Chen gelesen

Das Paper quantifiziert eine Gegenintuition: Man glaubt, AI werde automatisch besser, wenn man „mehr Rechenleistung bereitstellt, mehr Tools anbindet und mehr Durchläufe startet“ – dem ist aber nicht so

Die Studie erklärt die Erfolgsquote von Aufgaben anhand von Raw Tokens und Tool Calls. Der Korrelationskoeffizient R² liegt bei nur 0,33 bis 0,42

Auf Deutsch für die Druckpraxis: Wenn Sie die Chatverläufe des AI-Kundenservice maximal detailliert protokollieren, die Neuberechnung von Angeboten von einmal auf dreimal erhöhen und zwei weitere Datenbanken anbinden – all diese Aktionen im Sinne von „ich habe viel getan“ erklären nur etwa 30 bis 40 Prozent des Ergebnisses. Die restlichen 60 Prozent haben nichts damit zu tun, wie viele Ressourcen Sie verbrennen

Ich vergleiche das gern mit der Ausbildung eines Lehrlings. Wenn ein Meister seinen Lehrling jeden Tag 200 Übungsbögen drucken lässt, danach aber nie Fehler korrigiert oder erklärt, wo die Passgenauigkeit nicht stimmt, bleibt der Lehrling auch nach 10.000 Bögen auf demselben Niveau. Er ist nicht besser geworden – er ist nur müder

Das Kernkonzept des Papers heißt Effective Feedback Compute, kurz EFC. Das bedeutet: Nicht jede Interaktion zählt, sondern nur „effektives Feedback“ bringt AI wirklich weiter

Damit Feedback als effektiv gilt, muss es vier Bedingungen gleichzeitig erfüllen. Ich übertrage das Schritt für Schritt auf den Druckbereich:

・Informative (gehaltvoll): Feedback bringt neue Informationen. Beschwert sich ein Kunde über einen zu hohen Preis, sagt aber nicht, ob das Papier oder die Veredelung zu teuer ist, ist das wertloses Feedback

・Valid (korrekt): Feedback ist verlässlich und keine reine Spekulation oder Rauschen. Wenn der Vertrieb beiläufig notiert „Dieser Kunde achtet nicht aufs Geld“, es aber genau umgekehrt ist, schadet solches fehlerhafte Feedback mehr als gar keins

・Non-redundant (nicht redundant): Wiederholen Sie nicht, was längst bekannt ist. Wenn das System hundertmal speichert „Kunde wünscht 100 g/m² Bilderdruckpapier“, enthält das keine neue Information

・Retained (genutzt): Das ist der härteste Punkt. Fließt das Feedback tatsächlich in die nächste Entscheidung ein? Wenn der Vertrieb im Chat die richtige Einschätzung abgibt, diese aber niemand in die Angebotslogik einarbeitet, war sie nutzlos

Die entscheidende Zahl lautet: Die Autoren führten ein Kontrollexperiment durch. Bei völlig unverändertem Budget für Rechenleistung stieg die Erfolgsquote allein durch die Erhöhung der Feedback-Qualität von 27 % auf 90 %

Kein einziger Cent Mehrkosten – nur durch effektives Feedback hat sich die Erfolgsquote mehr als verdreifacht. Der Erklärungsgehalt R² stieg schlagartig von 0,33 auf 0,94 bis 0,99

Dieses Prinzip entspricht genau dem, was die Lernforschung seit Jahrzehnten als „Deliberate Practice“ (zielgerichtetes Üben) bezeichnet: Feedback muss konkret und korrekt sein und in die nächste Übung einfließen. Üben ohne Nachbereitung und ohne Korrektur bringt nichts. AI lernt genau wie der Mensch

Nachdem das Prinzip klar ist, lautet die Frage: Wie bindet man diesen Loop konkret in die Druckabläufe ein? Hier sind einige Maßnahmen, die Sie noch diese Woche umsetzen können

Erstens: Erstellen Sie eine Referenztabelle mit „Standardantworten“. Ermitteln Sie die 20 bis 30 am häufigsten kalkulierten Produkte der letzten sechs Monate – etwa Broschüren mit Rückstichheftung, Bücher mit Klebebindung, Sticker oder Faltschachteln – und stellen Sie korrekte Materialnummern, Papiersorten, Veredelungen sowie realistische Preisspannen als Ground Truth zusammen. Nur wenn das AI-Angebot abweicht, haben Sie ein „Richtig/Falsch-Signal“ zur Korrektur. Andernfalls merken Sie gar nicht, wenn die Kalkulation abdriftet

Zweitens: Dokumentieren Sie jeden AI-Fehler und ermitteln Sie die Ursache. Notieren Sie nicht einfach „Falsches Angebot“, sondern konkret: „Hat 250 g/m² Karton als 200 g/m² berechnet“ oder „Hat die UV-Lackierung vergessen“. Das entspricht der Anforderung „Informative“ – es muss handlungsrelevant sein

Drittens: Spülen Sie fehlerhafte Fälle regelmäßig zurück ins System. Investieren Sie jeden Monat eine Stunde, um anhand der Abweichungen bei AI-Angeboten oder Kundenservice-Antworten die Prompts oder Regelwerke zu korrigieren. Das ist der eigentliche Schritt „Retained“ – hier entscheidet sich, ob der Loop geschlossen ist. Verflogene Chat-Protokolle zählen nicht; erst aufbereitete und in Regeln umgesetzte Erfahrungen bringen Fortschritt

Viertens: Prüfen Sie jede neue Funktion vorab an Bedingung 4 von EFC. Wenn Sie ein weiteres Tool anbinden oder eine automatische Antwort aktivieren wollen, fragen Sie sich: Verändert das tatsächlich die nächste Entscheidung der AI? Wenn nicht, verbrennen Sie nur Geld und erhöhen den Wartungsaufwand

Dasselbe gilt für das Design. Wenn Sie AI bei Layouts, Korrekturen oder Präsentationen einsetzen, ist jedes Kundenfeedback Ihr Signal. Halten Sie konkret fest, warum ein Entwurf abgelehnt wurde, und vermeiden Sie diese Punkte beim nächsten Mal. Nur so steigt Ihre Trefferquote. Verworfene Dateien einfach liegen zu lassen, ohne die Ursachen zu analysieren, bringt Sie auch nach 100 Überarbeitungen nicht weiter

Einige Anbieter werben mit Memory-Funktionen wie „Die AI merkt sich die Gewohnheiten Ihres Unternehmens“. Das klingt gut, aber das Paper gibt hier einen sehr berechtigten Hinweis

Eine Memory-Architektur löst zwar die schwerste der vier Bedingungen – „Retained“ –, aber sie löst *nur* das Speichern. Sie filtert nicht, ob die Daten korrekt oder redundant sind

Mit anderen Worten: Wenn Sie fehlerhaftes, redundantes oder verrauschtes Feedback ungefiltert speichern, werden diese falschen Erinnerungen immer wieder abgerufen. Die schädliche Wirkung ist größer als ohne Gedächtnis. Das Problem des „Immer-falscher-Werdens“ wird so von einem Einzelfall zu einem Dauerzustand

Jede Gedächtnisfunktion erfordert daher ein „Schreib-Gateway“: Sind diese Informationen gehaltvoll, verlässlich und nicht redundant? Erst nach dieser Prüfung wird gespeichert. Für Druckereien bedeutet das: Flüchtige Notizen des Vertriebs oder ungeprüfte Kundenpräferenzen dürfen nicht automatisch als „Fakten“ ins System einfließen

Man muss ehrlich sein: Dieses Paper ist kein Wundermittel. Die Obergrenze von 0,94 bis 0,99 basiert auf idealen Informationen, die man erst im Nachhinein kennt (im Paper als Oracle-EFC bezeichnet). Reale Systeme erreichen das nicht; es ist eine theoretische Decke und kein Wert, den Sie morgen erreichen. Auch die Frage, ob Feedback eine Entscheidung tatsächlich verändert hat, ist schwer zu beurteilen. Trotz dieser Abstriche überzeugt mich die Grundrichtung vollkommen

Der Wettbewerb bei AI-Tools wird künftig nicht darüber entschieden, wer die meisten Funktionen hat oder wer die längsten Dialogfenster bietet, sondern wer jedes Feedback wirklich nutzbar macht. Ein guter AI-Assistent soll nicht einfach mehr arbeiten, sondern wie ein guter Lehrling mit jedem Schritt dazulernen

・Mehr Rechenleistung und Tools erklären nur 30–40 % des Erfolgs (R²: 0,33–0,42); die restlichen 60 % hängen von der Feedback-Qualität ab

・Bei gleicher Rechenleistung lässt sich die Erfolgsquote allein durch effektives Feedback von 27 % auf 90 % steigern – der Schlüssel liegt im „richtigen Üben“, nicht im „mehr Üben“

・Effektives Feedback muss gehaltvoll, korrekt, nicht redundant und tatsächlich genutzt sein; ohne die vierte Bedingung ist der Aufwand umsonst

・AI-Gedächtnisfunktionen sichern nur das „Behalten“, filtern aber keine Fehler. Ohne Schreib-Gateway ist ein fehlerhaftes Gedächtnis schädlicher als gar keins

・Fehlerhafte AI-Angebote und Korrekturen einmal im Monat ins System zurückzuspülen, ist die entscheidende Maßnahme für dauerhafte Präzision

Für Druckereien und Designstudios lautet die eigentliche Erkenntnis nicht „Sollen wir AI einführen?“, sondern „Haben wir nach der Einführung einen Review-Mechanismus aufgebaut?“. Die meisten bleiben beim ersten Schritt stehen und betrachten die Einbindung des Tools als Ziel. Empfehlenswert ist der Start mit einer kleinen Maßnahme: Wählen Sie ein hochfrequentes Szenario – etwa Broschürenangebote oder Anfragen zu Sticker-Mustern –, erstellen Sie eine Referenztabelle mit 30 Standardfällen und planen Sie monatlich eine Stunde ein, um anhand von AI-Fehlern die Regelwerke anzupassen. Läuft dieser Loop rund, können Sie Memory-Funktionen aufbauen oder den Umfang erweitern. Für Systemanbieter ist dies zudem ein Hebel für die langfristige Kundenbindung: Wer dem Kunden hilft, diesen Feedback-Loop einzurichten, sorgt dafür, dass das System immer besser zu seinen Anforderungen passt – statt nach einem halben Jahr wegen Ungenauigkeit verworfen zu werden

・Agenten brauchen rechtzeitiges Feedback: Effective Feedback Compute und Deliberate Practice für Agenten