Kiểm chứng thông tin trong kết quả của Claude

Biết kết quả có thể sai là một chuyện. Kiểm sao cho nhanh mà vẫn bắt được chỗ sai lại là chuyện khác. Bài trước nói hallucination trông ra sao; bài này nói cách kiểm chứng (fact-checking, validation).

Bài này giúp bạn trả lời: kiểm một bản nháp theo thứ tự nào, và với từng loại thông tin thì kiểm ở đâu?

Ví dụ xuyên suốt: bản tin thị trường của hiệp hội doanh nghiệp

Anh Khoa phụ trách truyền thông của một hiệp hội doanh nghiệp gỗ. Mỗi tháng hiệp hội ra một bản tin thị trường cho hội viên. Tháng này anh nhờ Claude, có bật web search, soạn bản nháp. Bản nháp có:

• "Xuất khẩu đồ gỗ tăng 18% trong 9 tháng", con số này xuất hiện ở ba bài báo chuyên ngành, nhưng không bài nào dẫn nghiên cứu gốc.
• Một câu trích nguyên văn từ báo cáo thường niên của một tổ chức quốc tế.
• Hai nguồn ghi hai ngày khác nhau cho ngày một quy định mới có hiệu lực.
• Mỗi con số đều có trích dẫn kèm link.

Bản tin phải đăng trong chiều nay.

Kiểm theo thứ tự

Đề thi hay hỏi thứ tự các bước kiểm một bản nháp. Thứ tự hợp lý:

Đọc một lượt trước để có cái nhìn chung; nhặt khẳng định trước khi đối chiếu để không sót; ghi lại vị trí và mức độ trước khi quyết, để quyết định dựa trên toàn bộ những gì đã thấy.

Lần về nguồn gốc

Mỗi loại thông tin có một chỗ kiểm riêng, và chỗ đó luôn là nguồn gốc, không phải nơi chép lại:

Ba bài báo cùng nhắc một con số thường là một nguồn được chép ba lần. Câu trích "gần giống" có thể là Claude diễn đạt lại rồi gắn dấu ngoặc kép. Còn số trang do Claude đưa ra cũng là một khẳng định cần kiểm, không phải bằng chứng.

Có trích dẫn rồi vẫn phải mở nguồn

Khi bật web search, mỗi câu trả lời của Claude đều kèm trích dẫn để bạn tự kiểm (trang hỗ trợ về web search). Nhưng trích dẫn chỉ cho biết Claude nói con số lấy từ đâu; nó không bảo đảm trang đó thật sự có con số ấy. Trang hỗ trợ về câu trả lời sai cũng khuyên xem lại nguồn Claude dẫn: trang gốc có thể có bối cảnh hay chi tiết mà bản tổng hợp của Claude bỏ mất.

Vì vậy, kể cả khi phải đăng trong một giờ, việc đầu tiên vẫn là mở từng nguồn được dẫn và xác nhận con số có thật trong trang đó.

Nhờ Claude giúp việc kiểm

Bạn không phải tự làm mọi thứ. Nhờ Claude dẫn nguồn cho từng khẳng định sẽ giúp bạn biết kiểm cái gì trước. Claude Academy gợi ý một prompt kiểu này, dùng sau khi đã có kết quả:

Với mỗi khẳng định về sự thật trong câu trả lời, cho tôi biết nó lấy từ đâu.
Trích nguyên văn đoạn trong nguồn, kèm link hoặc số trang.
Khẳng định nào lấy từ kiến thức chung của bạn thì ghi "không có nguồn"
để tôi biết phải kiểm cái nào trước.

Cách này không thay việc mở nguồn, nhưng nó biến một bản nháp dài thành một danh sách có thứ tự ưu tiên.

Trong cùng nghiên cứu đó, Anthropic phỏng vấn những người dùng Claude hằng ngày. Họ thấy rào cản lớn nhất khi kiểm kết quả không phải thiếu thời gian, mà là thiếu chuyên môn: không biết thế nào là đúng thì rất khó chấm. Gợi ý của Claude Academy là lập sẵn danh sách người bạn có thể nhờ xem lại ở những lĩnh vực ngoài chuyên môn của mình. Với bản tin của anh Khoa, một hội viên làm xuất khẩu lâu năm đọc lại năm phút có thể bắt được con số mà cả anh lẫn Claude đều không thấy sai.

Những người từng để lọt lỗi cũng đổi cách làm: bắt Claude trích nguồn trước rồi mới phân tích, và đặt điểm duyệt ở từng bước của một việc nhiều bước thay vì chỉ duyệt ở cuối.