Tại sao trợ lý báo giá AI của bạn càng dùng càng lệch? Mấu chốt nằm ở phản hồi

Một hai tháng gần đây khi đi gặp khách hàng, tôi được vài chủ nhà in vừa và nhỏ hỏi cùng một câu: Trợ lý báo giá AI và chatbot tự động trả lời LINE đưa vào sử dụng năm ngoái, lúc chạy thử thì rất ấn tượng, sao đến giờ cảm giác không tiến bộ chút nào, nhiều khi còn sai sót ngớ ngẩn hơn

Hiện tượng này được phân tích rất rõ trong một bài nghiên cứu gần đây mang tên 《Scaling Laws for Agent Harnesses via Effective Feedback Compute》 của nhóm tác giả Xuanliang Zhang. Tôi đã đọc bản tóm tắt tiếng Trung của Wisely Chen

Nghiên cứu này định lượng trực tiếp một điều khá ngược đời: bạn nghĩ rằng chỉ cần 'tăng năng lực tính toán, tích hợp thêm công cụ, chạy thử nhiều lần' là AI tự khắc mạnh lên, thực ra không phải vậy

Nghiên cứu dùng lượng raw tokens và tool calls để lý giải tỷ lệ thành công của tác vụ, hệ số tương quan R² chỉ đạt:

・0.33 đến

・0.42

Nói một cách dễ hiểu ở xưởng in: bạn mở nhật ký hội thoại của AI chăm sóc khách hàng ở mức chi tiết nhất, tăng số lần tính lại báo giá từ một lên ba lần, rồi liên kết thêm hai cơ sở dữ liệu. Những việc mang danh 'làm rất nhiều thứ' này chỉ quyết định được 30% đến 40% kết quả. 60% còn lại chẳng liên quan gì đến lượng tài nguyên bạn bỏ ra

Tôi ví việc này giống như dạy học việc. Một người thợ cả bắt học việc in 200 bản nháp mỗi ngày, nhưng in xong không bao giờ chỉ ra lỗi sai, không nói chỗ nào bị chồng màu bị lệch, thì học việc có in 10.000 bản vẫn dậm chân tại chỗ. Người đó không giỏi lên, chỉ là mệt hơn thôi

Khái niệm cốt lõi của nghiên cứu gọi là Effective Feedback Compute, viết tắt là EFC. Ý của nó là: không phải mọi tương tác đều có giá trị, chỉ có 'phản hồi hiệu quả' mới giúp AI thực sự tiến bộ

Nghiên cứu định nghĩa một phản hồi hiệu quả phải đáp ứng đồng thời 4 điều kiện, tôi sẽ đối chiếu từng điều kiện với thực tế ngành in:

・Informative (Có thông tin hữu ích): Phản hồi phải đem lại thông tin mới. Khách chê báo giá đắt nhưng không nói rõ đắt ở tiền giấy hay khâu gia công sau in, thì đó là phản hồi vô nghĩa

・Valid (Chính xác): Phản hồi phải đáng tin cậy, không phải nhiễu thông tin hay đoán mò. Nhân viên kinh doanh ghi chép qua loa 'khách này không quan tâm giá cả' nhưng thực tế hoàn toàn ngược lại. Nạp loại phản hồi sai lệch này vào hệ thống còn tệ hơn là không nạp

・Non-redundant (Không trùng lặp): Đừng lặp lại những gì đã biết. Hệ thống ghi nhận 100 lần 'khách cần giấy Couche 100 gsm' thực chất không mang lại thông tin mới nào

・Retained (Được lưu giữ và sử dụng): Điều kiện này là gắt nhất. Phản hồi có thực sự đi vào quyết định tiếp theo không? Nhân viên kinh doanh đưa ra nhận định đúng trong nhóm trò chuyện, nhưng không ai tổng hợp lại để đưa vào logic báo giá, thế thì cũng như không

Con số mấu chốt nằm ở đây: nghiên cứu đã làm một thí nghiệm đối chứng. Giữ nguyên chi pháp tính toán và chỉ nâng cao chất lượng phản hồi, tỷ lệ thành công của tác vụ đã nhảy vọt từ 27% lên 90%

Không tốn thêm một đồng chi phí, chỉ bằng cách làm cho phản hồi hiệu quả hơn mà tỷ lệ thành công tăng hơn gấp ba lần. Khi tính toán lại, khả năng lý giải R² từ:

・0.33 tăng vọt lên

・0.94 đến

・0.99

Lý thuyết này thực chất chính là khái niệm 'luyện tập chủ ý' (deliberate practice) vốn được nhắc đến hàng thập kỷ trong khoa học học tập: phản hồi phải cụ thể, chính xác và được áp dụng vào lần luyện tập tiếp theo. Luyện mà không kiểm điểm lỗi sai, chỉ ra lỗi mà không sửa thì coi như không luyện. AI cũng học theo cách tương tự như con người

Hiểu được nguyên lý rồi thì câu hỏi đặt ra là: làm sao kết nối vòng lặp này vào quy trình in ấn thực tế. Dưới đây là vài cách bạn có thể bắt tay vào làm ngay trong tuần này

Thứ nhất, lập một bảng đối chiếu 'đáp án chuẩn'. Hãy tìm ra 20 đến 30 sản phẩm được báo giá nhiều nhất trong nửa năm qua, ví dụ catalogue đóng kim kỵ mã, sách keo nhiệt, nhãn dán, hộp giấy. Tổng hợp các thông tin chính xác về mã vật tư, loại giấy, gia công sau in và khung giá hợp lý thành một tài liệu ground truth. Khi giá AI báo không khớp với tài liệu này, bạn mới có 'tín hiệu đúng sai' để hiệu chỉnh, nếu không nó báo lệch bạn cũng chịu

Thứ hai, ghi lại nhật ký mỗi lần AI mắc lỗi và phải tìm ra nguyên nhân gốc rễ. Đừng chỉ ghi chung chung là 'báo giá sai', mà phải ghi rõ 'nó tính nhầm giấy Bristol 250 gsm thành 200 gsm' hay 'quên tính chi phí tráng phủ'. Điều này tương ứng với điều kiện Informative, thông tin phải đủ cụ thể để hành động

Thứ ba, nạp lại định kỳ các trường hợp thất bại. Mỗi tháng dành ra một giờ, lấy các trường hợp AI báo giá lệch hoặc chatbot trả lời sai trong tháng đó để sửa lại prompt hoặc quy tắc của nó. Bước này mới thực sự là Retained, vòng lặp phản hồi có 'khép kín' hay không là nhờ ở đây. Nhật ký hội thoại trôi qua sẽ không có tác dụng, chỉ khi được tổng hợp và dùng để cải tiến quy tắc thì mới được tính

Thứ tư, mỗi khi thêm một tính năng, hãy đối chiếu với điều kiện thứ tư của EFC trước. Muốn liên kết thêm một công cụ hay mở thêm một tính năng tự động trả lời, hãy tự hỏi: liệu nó có thực sự thay đổi quyết định tiếp theo của AI hay không? Nếu không, thêm vào chỉ tổ tốn tiền điện toán và tăng gánh nặng bảo trì

Đối với khâu thiết kế cũng vậy. Nếu bạn dùng AI để hỗ trợ thiết kế, sửa bản thảo hay viết đề xuất, thì ý kiến chỉnh sửa của khách hàng chính là tín hiệu phản hồi. Hãy ghi chép cụ thể 'tại sao khách hàng bác bản thiết kế này' để lần sau tránh thẳng, tỷ lệ chốt phương án mới tăng lên. Nếu chỉ vứt xó các file bị trả về mà không đúc rút nguyên nhân, sửa một trăm bản vẫn dậm chân tại chỗ

Một số nhà cung cấp quảng cáo tính năng ghi nhớ kiểu như 'AI sẽ nhớ thói quen của công ty bạn', nghe rất hấp dẫn. Nhưng nghiên cứu này đưa ra một cảnh báo mà tôi rất đồng tình

Kiến trúc ghi nhớ giải quyết điều kiện thứ tư khó nhất là 'retain', nhưng nó 'chỉ' giải quyết việc ghi nhớ chứ không giúp bạn sàng lọc xem ba điều kiện trước đó có đúng hay có bị trùng lặp hay không

Nói cách khác, nếu bạn nạp cả những phản hồi sai lệch, trùng lặp và đầy nhiễu thông tin vào hệ thống, những ký ức sai lệch này sẽ liên tục bị lôi ra sử dụng, gây hại còn hơn cả việc không có trí nhớ. Điều đó tương đương với việc phóng đại lỗi 'càng ngày càng sai' từ nhất thời thành vĩnh viễn

Vì vậy, khi cài đặt bất kỳ tính năng ghi nhớ nào, nhất thiết phải đi kèm một 'cổng kiểm soát đầu vào': thông tin này có đủ hữu ích, đủ tin cậy và không bị trùng lặp không? Đạt yêu cầu mới lưu. Đối với nhà in, điều này có nghĩa là đừng để những sở thích của khách hàng do nhân viên kinh doanh ghi chép tùy tiện, chưa được kiểm chứng, tự động biến thành 'sự thật hiển nhiên' trong hệ thống

Cũng phải nói thật lòng, nghiên cứu này không phải là liều thuốc vạn năng. Con số:

・0.94 đến

・0.99 của giới hạn trên được tính toán dựa trên thông tin lý tưởng khi đã biết trước kết quả (nghiên cứu gọi là Oracle-EFC). Hệ thống thực tế không thể làm được điều này, nên đó chỉ là giới hạn lý thuyết chứ không phải là con số bạn có thể đạt được ngay ngày mai. Bản thân việc đánh giá 'liệu phản hồi có thực sự thay đổi quyết định hay không' cũng rất khó khăn. Nhưng dù có những điểm trừ này, tôi vẫn hoàn toàn ủng hộ hướng đi cốt lõi đó

Cuộc cạnh tranh công cụ AI trong tương lai sẽ không nằm ở chỗ ai tích hợp nhiều tính năng hơn hay ai có khung chat dài hơn, mà là ai giúp cho mỗi phản hồi đều thực sự được áp dụng. Một trợ lý AI tốt không phải là bắt nó làm việc cật lực hơn, mà là giống như một người thợ cả giỏi, giúp nó thực sự học hỏi được sau mỗi bước thực hiện

・Tăng thêm năng lực tính toán và công cụ cho AI chỉ quyết định được 30% đến 40% kết quả (R²：

・0.33

・0

・42), 60% còn lại phụ thuộc vào chất lượng phản hồi

・Giữ nguyên năng lực tính toán, chỉ nâng cao hiệu quả phản hồi, tỷ lệ thành công có thể tăng từ 27% lên 90%. Điểm khác biệt là ở chỗ 'luyện tập đúng cách' chứ không phải 'luyện tập nhiều'

・Phản hồi hiệu quả cần đáp ứng đồng thời: hữu ích, chính xác, không trùng lặp, được áp dụng. Thiếu điều kiện thứ tư coi như công cốc

・Tính năng ghi nhớ của AI chỉ giải quyết việc 'nhớ được', không giúp bạn lọc lỗi sai. Nếu không lắp cổng kiểm soát đầu vào, ký ức sai lệch còn độc hại hơn là không có ký ức

・Nạp lại các trường hợp AI báo giá hoặc sửa bản thảo thất bại mỗi tháng một lần mới là hành động cốt lõi giúp hệ thống ngày càng chuẩn xác

Đối với các nhà in và studio thiết kế, bài học thực sự không phải là 'có nên đưa AI vào sử dụng hay không', mà là 'đã thiết kế cơ chế đánh giá sau khi đưa vào sử dụng chưa'. Hầu hết mọi người đều dừng lại ngay bước đầu tiên, coi việc cài đặt công cụ là đích đến. Lời khuyên là hãy bắt đầu từ một việc nhỏ: chọn một tình huống có tần suất cao, ví dụ như báo giá catalogue hoặc yêu cầu làm mẫu thử nhãn dán, lập trước một bảng đáp án chuẩn gồm 30 hạng mục, rồi lên lịch mỗi tháng một giờ để nạp lại dữ liệu, dùng chính các trường hợp AI trả lời sai để chỉnh sửa quy tắc. Khi vòng lặp này chạy trơn tru rồi mới cân nhắc đến tính năng ghi nhớ hoặc mở rộng phạm vi. Đối với các đơn vị cung cấp dịch vụ tích hợp, đây cũng là một điểm chạm để gắn kết lâu dài với khách hàng: bạn thiết kế tốt vòng lặp phản hồi cho khách, hệ thống của họ càng dùng sẽ càng sát với nhu cầu thực tế, chứ không phải dùng nửa năm đã bị chê thiếu chính xác rồi vứt xó

・Agent cũng cần 'phản hồi kịp thời': Effective Feedback Compute và deliberate practice của Agent