AI見積もりアシスタントはなぜ使えば使うほど精度が落ちるのか？鍵を握る「フィードバック」

ここ1〜2ヶ月、クライアントの元を回っていると、複数の中小印刷会社の社長から同じ相談を受けました。「昨年導入したAI見積もりアシスタントや、LINEに自動返信するカスタマーサポートボットですが、最初は素晴らしかったのに、今ではまったく進歩が見られず、時折とんでもない間違いをする」と

この現象について、最近発表された『Scaling Laws for Agent Harnesses via Effective Feedback Compute』という論文が非常に明快に説明しています。著者はXuanliang Zhang氏らで、私はWisely Chen氏による解説を読みました

この論文は、直感に反する事実を明確に数値化しています。「計算資源（コンピュート）を増やし、ツールを連携させ、試行回数を増やせば」AIが賢くなると思われがちですが、実際はそうではありません

論文では、生のトークン数（raw tokens）とツール呼び出し（tool calls）からタスクの成功率を説明しようとしていますが、その相関係数 R² はわずか：

・0.33から

・0.42

印刷現場の言葉で分かりやすく言えば、AIカスタマーサポートの対話ログを極限まで詳細に記録し、見積もりの再計算回数を1回から3回に増やし、さらに2つのデータベースを連携させたところで、こうした「努力」が成果に寄与する割合は3〜4割程度に過ぎず、残りの6割はリソースをどれだけ投入したかとは無関係だということです

これは見習いを育てるプロセスに似ています。職人が見習いに毎日200枚の刷り取りを練習させても、印刷後に一切フィードバックを与えず、見当ズレを指摘しなければ、見習いが1万枚刷ったところで技術は変わりません。彼は成長したのではなく、ただ疲弊しただけです

論文の中核概念は「Effective Feedback Compute」（有効フィードバック計算量）、略してEFCです。これは、すべてのやり取りが意味を持つわけではなく、「有効なフィードバック」だけがAIを真に成長させるということを意味します

論文では、有効なフィードバックが満たすべき4つの条件を定義しています。印刷現場の文脈に照らし合わせてみましょう

・Informative（中身があること）：フィードバックが新しい情報をもたらすこと。顧客から「見積もりが高い」とクレームが入っても、用紙代が高いのか、それとも後加工費が高いのかが分からなければ、それは意味のないフィードバックです

・Valid（正確であること）：フィードバックの信頼性が高く、ノイズや憶測ではないこと。営業担当者が「この顧客は価格を気にしない」と適当にメモしたものの、実際は真逆だった場合、このような誤った情報をAIに入力するのは逆効果です

・Non-redundant（重複していないこと）：すでに把握している内容を繰り返さないこと。「顧客は100ポンドのコート紙を求めている」という記録をシステムに100回残しても、新しい知見は得られません

・Retained（活用されること）：これが最も過酷な条件です。フィードバックが次の意思決定に活かされているか、という点です。営業がグループチャットで正しい判断を共有したとしても、それが見積もりのルールに反映されなければ、共有していないのと同じです

非常に重要なデータがあります。論文内の比較実験によると、計算資源の予算を全く変えずにフィードバックの質だけを向上させたところ、タスクの成功率は27%から90%へと急上昇しました

コストを一切増やさず、フィードバックを有効なものに変えただけで、成功率が3倍以上に跳ね上がったのです。これにより、成果に対する説明力（R²）は：

・0.33から一気に

・0.94から

・0.99にまで達しました

このメカニズムは、学習科学の分野で数十年前から提唱されている「限界的練習（deliberate practice）」そのものです。フィードバックは具体的かつ正確で、次の練習に組み込まれなければれません。練習しても振り返りをせず、振り返っても改善しなければ、練習していないのと同じです。AIも人間と同様、この法則に従います

原理を理解したところで、問題は実際の印刷業務プロセスの中でこのループをどう構築するかです。今週からすぐに実践できる具体的なアプローチを提案します

第一に、まず「基準値（正解）」の対照表を作成することです。過去半年間で頻出する20〜30種類の品目（中綴じカタログ、無線綴じ本、ステッカー、紙箱など）を選定し、正しい型番、用紙、後加工、そして妥当な見積もり価格帯を「グラウンド・トゥルース（正解データ）」としてまとめます。AIの提示額がこれと乖離したときに初めて、修正すべきシグナルとして検知できます。これがないと、AIのズレにすら気づけません

第二に、AIがエラーを起こすたびに記録を残し、その根本原因を特定することです。「見積もりの誤り」とだけ書くのではなく、「250ポンドのカード紙を200ポンドと誤認した」「表面加工の費用が漏れていた」といったレベルで記録します。これが「Informative（中身があること）」に該当し、次の具体的な行動につながります

第三に、失敗事例を定期的にシステムに再投入（フィードバック）することです。月に1時間確保し、その月にAIが間違えた見積もりや顧客対応の事例をもとに、プロンプトやシステムルールを修正します。このプロセスこそが「Retained（活用されること）」であり、フィードバックループが「完結」するかどうかの分かれ目です。ただ流れていくだけの対話ログは無意味であり、整理され、ルール改善に反映されて初めて価値が生まれます

第四に、新しい機能を追加する際は、必ずEFCの第4の条件を満たしているか確認することです。外部ツールを連携させたり、自動返信パターンを増やしたりする前に、「それが本当に次回のAIの判断を変えるか」を自問してください。もし変えないのであれば、それはコストを無駄にし、システムのメンテナンス負荷を増やすだけです

これはデザイン部門でも同様です。AIを活用してデザイン生成、データ修正、提案書作成を行う場合、クライアントからの修正指示こそがフィードバック信号になります。「なぜこのバージョンが差し戻されたのか」を詳細に記録し、次回の提案時にそれを反映させることで初めて採用率が上がります。差し戻されたデータを放置し、原因を分析しなければ、100回修正を重ねても成果は出ません

「AIが自社の暗黙の了解や習慣を学習する」といった記憶機能をアピールするベンダーも多く、魅力的に聞こえます。しかし、本論文には非常に共感できる注意点が示されています

記憶システムは、4つの条件の中で最も困難な第4の「Retained（活用・保持）」を解決しますが、それは「覚えている」という点だけであり、前3つの条件（正確性、重複の有無など）をフィルタリングしてくれるわけではありません

つまり、誤った情報や重複したノイズのようなフィードバックをそのまま記憶させてしまうと、その間違った記憶が繰り返し呼び出され、記憶機能がない場合よりも有害な結果をもたらします。「一度限りの間違い」が「永久的なバグ」へと拡大されてしまうのです

そのため、記憶機能を導入する際は、必ず「書き込みゲート（バリデーション）」を設ける必要があります。「この情報は十分に有益で、信頼でき、重複していないか」を精査し、クリアしたものだけを保存します。印刷現場においては、営業が裏付けを取らずにメモした顧客の好みを、そのままシステムの「ファクト」として自動登録させないようにすることです

率直に言って、この論文は万能薬ではありません。あの：

・0.94から

・0.99という上限値は、あらかじめ正解が分かっている理想的な情報（論文ではOracle-EFCと呼ばれる）を用いた結果であり、実際のシステムで再現するのは不可能です。つまり、これは理論上の限界値であり、導入してすぐに得られる数値ではありません。また、「フィードバックが実際に意思決定を変えたか」の判定自体も容易ではありません。しかし、そうした差し引きを考慮しても、このアプローチの方向性には非常に納得しています

これからのAIツール競争は、機能の多さや対話ウィンドウの長さではなく、「いかに各フィードバックを実用的な改善につなげられるか」にかかっています。優れたAIアシスタントとは、単に作業を多くこなすものではなく、優秀な職人のように、一歩進むたびに確実に学びを得るシステムのことです

・AIに計算資源やツールを多く割り当てても、成果全体の3〜4割程度しか説明できません（R²：

・0.33

・0

・42）。残りの6割はフィードバックの品質にかかっています

・計算資源を変えず、フィードバックの精度を高めるだけで、成功率は27%から90%へと向上します。重要なのは「練習量」ではなく「正しいアプローチでの練習」です

・有効なフィードバックには「中身がある」「正確である」「重複しない」「実際に活用される」の4条件が不可欠です。特に4つ目が欠けると、改善にはつながりません

・AIの記憶機能は「覚える」だけであり、情報の誤りは選別しません。書き込みゲートがなければ、誤った記憶が定着し、記憶機能がない状態よりも精度が悪化します

・毎月1回、AI見積もりやデザイン修正の失敗事例をシステムに反映させることが、精度を継続的に向上させる最大のポイントです

印刷会社やデザイン事務所にとっての真の示唆は、「AIを導入すべきか否か」ではなく、「導入後に検証・改善の仕組みが設計されているか」にあります。多くの人は、ツールを導入した時点で満足し、そこで立ち止まってしまいます。まずは小さな一歩から始めることをお勧めします。例えば、カタログの見積もりやステッカーの校正問い合わせなど、発生頻度の高い業務を1つ選び、30項目程度の基準値（正解データ）リストを作成します。そして、月に1時間、AIが誤った事例をもとにルールを修正する時間を設けます。この運用サイクルが軌道に乗ってから、記憶機能の導入や対象業務の拡大を検討してください。統合サービスを提供する開発ベンダーにとっても、これは顧客を長期間囲い込むための有効なアプローチとなります。顧客のフィードバックループを適切に設計できれば、システムは使えば使うほど業務にフィットし、半年で「使い物にならない」と解約されるリスクを防ぐことができます

・エージェントにも「タイムリーなフィードバック」が必要：Effective Feedback Computeとエージェントの限界的練習（deliberate practice）