Đánh giá kết quả của Claude có chính xác và đầy đủ không

Kết quả của Claude thường đọc rất trôi. Chính vì trôi nên dễ tin. Đánh giá kết quả là việc chiếm nhiều câu nhất trong đề CCAO-F: Domain 2 chiếm 21%, cao nhất trong bảy domain.

Bài này giúp bạn trả lời: làm sao biết một kết quả của Claude chính xác, đầy đủ và đúng điều mình cần?

Ví dụ xuyên suốt: hồ sơ dự thầu thiết bị y tế

Anh Phát làm ở một công ty phân phối thiết bị y tế. Một bệnh viện tỉnh gửi hồ sơ mời thầu (RFP) mua máy theo dõi bệnh nhân, gồm 12 yêu cầu đánh số về giá, bảo mật dữ liệu và cam kết bảo hành. Anh nhờ Claude tóm tắt RFP và soạn bản đề xuất đáp ứng.

Bản đề xuất dài 6 trang, bố cục đẹp, giọng chuyên nghiệp. Trưởng phòng hỏi: "Đủ chưa? Có sai gì không?" Anh Phát không trả lời được, vì anh mới chỉ đọc lướt và thấy "ổn".

Đặt tiêu chí trước khi chấm

Đọc xong mới nghĩ xem thế nào là đạt thì rất dễ bị ấn tượng ban đầu dẫn dắt: bản nào trình bày đẹp sẽ có vẻ đạt. Vì vậy hai việc phải làm trước khi chấm một kết quả là:

1. Định tiêu chí quan trọng với việc này.
2. Định ngưỡng phân biệt đạt và không đạt.

Với bản đề xuất của anh Phát, tiêu chí có thể là: mỗi yêu cầu trong RFP đều được đáp ứng; giá và thời hạn bảo hành khớp bảng giá công ty; đúng khuôn và giới hạn trang của bệnh viện. Ngưỡng: thiếu hoặc sai bất kỳ yêu cầu bắt buộc nào là chưa đạt.

Tiêu chí tốt bám vào việc này, nguồn này và người đọc này. Tiêu chí kiểu "có phần tóm tắt cho lãnh đạo dù không ai yêu cầu" hay "số chữ so với mức trung bình của ngành" không nói gì về việc kết quả có dùng được không.

Thứ tự đánh giá một kết quả theo tiêu chí đã thống nhất:

Chính xác: so với nguồn, không so với cảm giác

Trang hỗ trợ của Claude nói thẳng: Claude có thể viết ra những thứ trông đúng mà sai hẳn, nên đừng coi nó là nguồn sự thật duy nhất. Kết quả chính xác hay không chỉ biết được bằng cách so với nguồn: hồ sơ mời thầu, bảng giá, dữ liệu gốc, tài liệu chính thức.

Anthropic phỏng vấn những người dùng Claude hằng ngày về cách họ kiểm kết quả. Cách phổ biến nhất là so với một thứ nằm ngoài cuộc chat: tài liệu nguồn, tài liệu chính thức, dữ liệu của chính họ, một người khác. Đọc lại mà không đối chiếu gì chỉ là cách ít người dùng.

Khoá AI Fluency gọi năng lực này là Discernment: kiểm có hệ thống theo yêu cầu của việc, theo tài liệu nguồn và theo chuẩn nghề nghiệp, trước khi chia sẻ. Đọc thấy trôi chảy, hay thấy chủ đề quen thuộc với mình, không phải là kiểm.

Đầy đủ: đối chiếu từng yêu cầu

Một bản tóm tắt mạch lạc không có nghĩa là đủ. Với RFP có 12 yêu cầu đánh số, cách kiểm duy nhất đáng tin là lấy từng yêu cầu, tìm phần đáp ứng tương ứng trong bản đề xuất, và đánh dấu yêu cầu nào chưa có.

Đầy đủ còn là chuyện độ sâu. Một mục có mặt nhưng chỉ nói một trong ba ý bắt buộc thì đạt ở mức "có chủ đề", nhưng mục đó còn thiếu so với yêu cầu và phải bổ sung trước khi gửi. Gọi nó là "thiếu hẳn" thì quá tay, gọi là "đạt" thì bỏ sót.

Đúng trọng tâm

Một câu trả lời có thể đúng từng chữ mà vẫn không dùng được, vì nó trả lời câu khác. Trưởng phòng hỏi "vì sao quý này mình thua ba gói thầu?", Claude giải thích rất kỹ quy trình chấm thầu nói chung. Không sai, nhưng lệch trọng tâm (accurate but off target).

Đừng coi đó là "phần nền cũng hữu ích", cũng đừng chỉ rút gọn nó. Hãy hỏi lại đúng câu cần trả lời, kèm dữ liệu ba gói thầu đã thua.

1. Đã định tiêu chí và ngưỡng chưa?Định trước khi đọc kết quả
2. Từng dữ kiện khớp với nguồn chưa?So với nguồn, ghi chỗ sai
3. Từng yêu cầu đều có và đủ sâu chưa?Đối chiếu từng yêu cầu, ghi chỗ thiếu
4. Có trả lời đúng điều được hỏi không?Hỏi lại đúng câu, kèm dữ liệu cần thiết
5. Còn lạiĐạt cả bốn: dùng được, vẫn ghi lại đã kiểm những gì