Chẩn đoán sự cố của hệ thống dùng Claude

Khi hệ thống trả lời sai, phản xạ quen thuộc là sửa ngay thứ gần tay nhất: thêm một câu vào prompt, hạ temperature, đổi model lớn hơn. Nhưng sửa trước khi biết lỗi nằm ở đâu thường chỉ che triệu chứng, và đôi khi làm hỏng thứ đang chạy tốt.

Bài này giúp bạn trả lời: một hệ thống dùng Claude hỏng thì tìm nguyên nhân thế nào, theo thứ tự nào?

Ví dụ xuyên suốt: trợ lý tra cứu quy định của phòng pháp chế

Phòng pháp chế một ngân hàng dùng trợ lý RAG để tra quy định nội bộ và văn bản của cơ quan quản lý. Trong một tháng có ba sự cố:

1. Sau khi nâng phiên bản model, trợ lý bắt đầu đưa ra những khẳng định không có trong tài liệu truy xuất được, dù khâu truy xuất không đổi.
2. Sau đợt bảo trì cuối tuần, bước trích xuất trả về JSON hỏng, làm bước xử lý phía sau lỗi hàng loạt.
3. Một người dùng báo một bản tóm tắt có trích dẫn không tồn tại. Trưởng nhóm hỏi: lỗi cá biệt hay lỗi kiến trúc?

Bốn tầng có thể hỏng

Câu hỏi đầu tiên luôn là: cái gì đã thay đổi ngay trước khi lỗi xuất hiện? Tầng không đổi thì tạm loại khỏi diện nghi vấn.

Xác nhận bịa thông tin

Docs của Anthropic về giảm bịa thông tin cho vài cách kiểm và cách sửa:

• Trích trước, trả lời sau: với tài liệu dài, yêu cầu Claude trích nguyên văn đoạn liên quan rồi mới trả lời. Ý nào không có đoạn trích thì không có căn cứ.
• Trích dẫn và rút lại: mỗi khẳng định phải kèm trích dẫn; không tìm được trích dẫn thì phải rút lại khẳng định đó.
• So nhiều lần chạy (best-of-N): chạy cùng câu hỏi nhiều lần; các câu trả lời mâu thuẫn nhau là dấu hiệu bịa.
• Cho phép nói "không biết", và chỉ dùng tài liệu được cấp, không dùng kiến thức chung.

Docs cũng nói rõ các kỹ thuật này giảm chứ không loại bỏ hẳn việc bịa.

Lỗi prompt: làm đúng chữ, sai ý

Định dạng JSON đổi tên trường giữa các lần chạy dù đầu vào sạch không phải là bịa thông tin; đó là prompt chưa nói đủ. Sửa bằng schema cố định và một ví dụ đầu ra (bài 2.3), hoặc structured outputs nếu cần chắc chắn đúng schema. Một luật bị áp quá tay ở chỗ không cần thường là vì luật thiếu lý do; docs về prompt khuyên nói rõ mục đích để Claude hiểu phạm vi của luật.

Lỗi tool: đọc triệu chứng ngược về định nghĩa

Docs về xử lý sự cố tool use cho bảng triệu chứng, nguyên nhân, cách sửa. Tóm lại:

Bài viết của Anthropic về viết tool cho agent thêm: nhiều lỗi tham số không hợp lệ thường nghĩa là mô tả tool cần rõ hơn hoặc cần ví dụ.

Lệch model và ước lượng quy mô

Lệch model (model mismatch) có hai chiều. Model quá nhỏ cho việc khó thì chất lượng tụt; model quá lớn cho việc đơn giản (trả lời theo mẫu) thì đúng nhưng chậm và đắt. Nếu chất lượng tụt sau khi ai đó hạ effort, việc đầu tiên là trả effort về rồi chạy lại bộ test, trước khi nghĩ tới đổi model. Docs về chọn model khuyên chỉ nâng model khi thấy thiếu năng lực cụ thể, đo bằng bộ test.

Với sự cố 3, câu hỏi "cá biệt hay kiến trúc" phải trả lời bằng số liệu. Khung AI Fluency gọi việc chịu trách nhiệm về sản phẩm có AI tham gia là Diligence.