AI 견적 도우미, 쓰면 쓸수록 왜 자꾸 삼천포로 빠질까? 핵심은 피드백

최근 한두 달간 고객사를 방문하면서 여러 중소 인쇄소 대표님들께 같은 질문을 받았습니다. '작년에 도입한 AI 견적 도우미나 LINE 자동 응답 챗봇이 처음엔 참 놀라웠는데, 쓰면 쓸수록 발전은커녕 때로는 엉뚱한 실수를 더 심하게 한다'는 하소연이었습니다

이러한 현상은 최근 Xuanliang Zhang 등이 발표한 《Scaling Laws for Agent Harnesses via Effective Feedback Compute》라는 논문에 잘 나와 있습니다. 저는 Wisely Chen의 정리 글을 통해 원문을 접했습니다

이 논문은 직관에 반하는 사실 하나를 명확히 수치화합니다. '컴퓨팅 자원을 더 투입하고, 툴을 더 연동하고, 실행 횟수를 늘리면' AI가 똑똑해질 거라 믿지만, 실제로는 그렇지 않다는 점입니다

논문에서 raw tokens와 tool calls로 작업 성공률을 설명해 보니, 결정계수 R²는 겨우 다음과 같았습니다. 0.33에서 0.42 수준

인쇄 현장 용어로 쉽게 풀어보겠습니다. AI 고객센터의 대화 기록을 아무리 상세히 늘리고, 견적 재산출 횟수를 1회에서 3회로 늘리고, 데이터베이스를 2개 더 연동해 봤자, 이런 '노력'이 성과에 미치는 영향은 30~40%에 불과하다는 뜻입니다. 나머지 60%는 자원을 얼마나 쏟아부었느냐와 아무 상관이 없습니다

이것을 부사수 교육에 비유해 보겠습니다. 사수가 부사수에게 하루 200장씩 인쇄 연습을 시키면서도, 인쇄 후 핀이 어디서 어긋났는지, 핀트나 색상이 왜 틀어졌는지 지적해 주지 않는다면 어떻게 될까요? 그 부사수는 1만 장을 인쇄해도 실력이 그대로일 겁니다. 실력이 늘어난 게 아니라, 그냥 피로만 쌓인 것이죠

이 논문의 핵심 개념은 '유효 피드백 연산량(Effective Feedback Compute)', 즉 EFC입니다. 모든 상호작용이 의미 있는 것은 아니며, 오직 '유효한 피드백'만이 AI를 실제로 성장시킨다는 뜻입니다

논문에서는 유효한 피드백이 갖춰야 할 4가지 조건을 정의합니다. 인쇄 현장 상황에 맞춰 하나씩 대조해 보겠습니다

・Informative(알찬 정보): 피드백에 새로운 정보가 담겨 있어야 합니다. 고객이 견적이 비싸다고 투덜거리지만 종이 값 때문인지, 후가공 때문인지 밝히지 않는다면 쓸모없는 피드백에 불과합니다

・Valid(정확성): 피드백이 신뢰할 수 있어야 하며 노이즈나 짐작이 아니어야 합니다. 영업 담당자가 '이 고객은 가격에 신경 쓰지 않는다'고 대충 기록했는데 사실과 딴판이라면, 이런 잘못된 피드백은 주지 않느니만 못합니다

・Non-redundant(비중복성): 이미 알고 있는 사실을 반복하지 않아야 합니다. 시스템에 '고객이 아트지 100gsm을 원함'이라는 기록을 100번 입력해 봤자 새로운 정보는 없습니다

・Retained(실제 반영): 이 항목이 가장 중요합니다. 피드백이 다음 의사결정에 실제로 반영되었는가 하는 점입니다. 영업팀 단체방에서 올바른 판단이 나왔더라도 아무도 견적 로직에 반영하지 않았다면 아무 소용이 없습니다

가장 결정적인 수치가 여기에 있습니다. 연구진이 컴퓨팅 예산을 전혀 늘리지 않은 상태에서 피드백의 품질만 개선하는 대조 실험을 진행한 결과, 작업 성공률이 27%에서 90%로 뛰어올랐습니다

비용은 단 한 푼도 더 들지 않고 피드백을 유효하게 바꿨을 뿐인데 성공률이 3배 이상 폭증한 것입니다. 이를 재산출한 설명력 R²는 다음과 같이 변화했습니다. 0.33에서 일시에 폭등하여 0.94에서 0.99에 달했습니다

이 원리는 사실 학습 과학에서 수십 년간 강조해 온 '의도적 수련(deliberate practice)'과 일맥상통합니다. 피드백은 구체적이고 정확해야 하며, 다음 연습에 반영되어야 합니다. 연습만 하고 피드백을 안 하거나, 피드백을 받고도 고치지 않으면 안 하느니만 못합니다. AI 역시 사람과 똑같이 이 원리로 학습합니다

원리를 알았다면 이제 관건은 '인쇄 업무 프로세스에 이 루프를 어떻게 실제로 연결할 것인가'입니다. 이번 주에 당장 적용해 볼 수 있는 몇 가지 실천 방안을 제안합니다

첫째, '정답 대조표'부터 구축하세요. 지난 반년간 가장 자주 견적을 낸 20~30가지 품목(중철 카탈로그, 무선 제본 서적, 스티커, 단상자 등)을 뽑아 올바른 자재 번호, 용지, 후가공, 적정 견적 범위를 담은 정답 데이터(ground truth)를 정리합니다. AI가 산출한 견적이 이 기준과 다를 때 비로소 교정할 '정답/오답 신호'가 생깁니다. 기준이 없으면 AI 견적이 어긋나도 알아채지 못합니다

둘째, AI가 실수를 할 때마다 기록하되, 근본 원인까지 디테일하게 적으세요. 단순히 '견적 오류'라고 적는 게 아니라, '250gsm 판지를 200gsm으로 잘못 계산함', '코팅 비용 누락함'처럼 기록해야 합니다. 이는 Informative(알찬 정보) 조건에 해당하며, 즉각 조치할 수 있을 만큼 구체적이어야 합니다

셋째, 실패 사례를 주기적으로 피드백 루프에 재투입하세요. 한 달에 1시간씩 투자해 그달에 AI 견적이 틀렸거나 고객센터 응답이 잘못된 사례를 바탕으로 프롬프트나 규칙을 수정합니다. 이 단계가 바로 Retained(실제 반영)를 완성하는 핵심입니다. 스쳐 지나간 대화 기록은 아무 의미가 없으며, 정리되고 규칙 개정으로 이어져야만 비로소 유효한 피드백이 됩니다

넷째, 새로운 기능을 추가할 때마다 EFC의 4번째 조건을 검증하세요. 툴을 하나 더 연동하거나 자동 응답을 확장하려 할 때, '이것이 AI의 다음 판단을 실제로 바꾸는가?'를 스스로에게 물어보아야 합니다. 그렇지 않다면 비용과 유지보수 부담만 늘어나는 헛수고가 됩니다

이는 디자인 분야도 마찬가지입니다. AI를 활용해 이미지 생성, 시안 수정, 기획안 작성 등을 진행할 때 고객의 수정 의견이 곧 피드백 신호입니다. '고객이 이 시안을 왜 반려했는지' 구체적으로 기록하고 다음 제안 때 반영해야 채택률이 올라갑니다. 반려된 파일만 내버려 두고 원인을 분석하지 않는다면 시안을 100번 수정해도 제자리를 걸을 뿐입니다

일부 솔루션 업체에서는 'AI가 귀사의 작업 습관을 기억합니다'라는 식의 기억 기능을 홍보하곤 합니다. 그럴듯하게 들리지만, 이 논문에는 제가 깊이 공감하는 조언이 담겨 있습니다

기억 아키텍처는 4가지 조건 중 가장 어려운 4번째 'Retained(실제 반영)'를 해결해 주지만, 이는 어디까지나 '기억하는 것'에 불과합니다. 앞선 3가지 조건(정보성, 정확성, 비중복성)을 검증해 주지는 않습니다

다시 말해, 잘못되었거나 중복되고 노이즈가 섞인 피드백을 무턱대고 저장해 두면, 이러한 '오류 기억'이 반복적으로 호출되어 기억 기능이 아예 없는 것보다 훨씬 치명적인 독이 됩니다. '잘못된 판단'이 일회성에 그치지 않고 영구적으로 고착화되는 것입니다

따라서 기억 기능을 도입할 때는 반드시 '쓰기 필터 게이트(Write Gate)'를 구축해야 합니다. '이 정보가 충분히 유익하고 신뢰할 수 있으며 중복되지 않는가?'를 검증한 후에만 저장하는 것입니다. 인쇄소 입장에서는 영업 담당자가 검증 없이 대충 적어 둔 고객 취향이 시스템의 '사실(Fact)'로 자동 저장되지 않도록 막아야 합니다

솔직히 말해 이 논문이 만병통치약은 아닙니다. 논문에서 언급된 0.94에서 0.99라는 상한선은 사후에 정답을 알고 있는 이상적인 정보(논문에서는 Oracle-EFC라 부름)를 전제로 한 것입니다. 실제 시스템에서는 불가능하므로 이는 이론적 한계치일 뿐 내일 당장 얻을 수 있는 수치는 아닙니다. 또한 '피드백이 의사결정을 실제로 바꿨는가' 자체를 판단하기도 쉽지 않습니다. 하지만 이러한 한계를 감안하더라도 이 연구가 제시하는 핵심 방향성만큼은 매우 탁월하다고 봅니다

향후 AI 툴의 경쟁은 얼마나 많은 기능을 탑재했는지, 대화창이 얼마나 긴지의 싸움이 아니라 '매 피드백을 얼마나 실질적으로 활용하는가'의 싸움이 될 것입니다. 훌륭한 AI 도우미는 일을 무작정 많이 하는 것이 아니라, 훌륭한 사수처럼 매 단계를 거칠 때마다 확실한 배움을 얻도록 돕는 도우미입니다

・AI에 컴퓨팅 자원과 툴을 더 많이 제공하는 것은 성과의 30~40%만 설명할 수 있으며(R²: 0.33~0.42), 나머지 60%는 피드백의 품질에 달려 있습니다

・컴퓨팅 자원은 그대로 둔 채 피드백만 유효하게 개선해도 성공률이 27%에서 90%로 뛰어오릅니다. 핵심은 '양'이 아니라 '질'입니다

・유효한 피드백은 정보성, 정확성, 비중복성, 실제 반영의 4가지 조건을 동시에 충족해야 하며, 4번째 조건(실제 반영)이 빠지면 수련 효과가 없습니다

・AI 기억 기능은 '기억'만 해결할 뿐 오류를 필터링해 주지 않습니다. 쓰기 필터 게이트가 없으면 잘못된 기억이 치명적인 독이 됩니다

・AI 견적 및 시안 수정의 실패 사례를 월 1회 피드백 루프에 재투입하는 것이 정교함을 높이는 핵심 작업입니다

인쇄소와 디자인 스튜디오에 주는 진짜 시사점은 'AI를 도입할 것인가'가 아니라 '도입 후 검토 및 피드백 메커니즘을 제대로 설계했는가'입니다. 대부분 첫 단계에서 멈추어 툴 연동 자체를 끝으로 생각합니다. 지금 당장 작은 실천부터 시작해 보세요. 카탈로그 견적이나 스티커 샘플링 문의처럼 빈도가 높은 작업 하나를 선정해 30가지 정답 대조표를 만든 뒤, 월 1시간씩 AI 오답 사례를 분석해 규칙을 수정하는 시간을 갖는 것입니다. 이 루프가 안정화된 후 기억 기능을 도입하거나 범위를 넓히는 것이 바람직합니다. 솔루션 제공업체 입장에서도 이는 고객과 장기적인 관계를 구축하는 강력한 무기가 됩니다. 피드백 루프를 제대로 설계해 주면 시스템이 쓸수록 고객 니즈에 완벽히 맞춤화되므로, 반년 만에 성능 불만으로 버려지는 일을 막을 수 있습니다

・Agent에게도 '적시 피드백'이 필요하다: Effective Feedback Compute와 Agent의 의도적 수련