Quy trình người duyệt và hiệu chỉnh độ tin cậy

Hệ thống trích xuất chạy ổn một thời gian, có người duyệt lại từng kết quả. Rồi tới lúc ai cũng muốn bớt việc duyệt: "độ chính xác 97% rồi, cho tự động luôn đi". Quyết định đó cần dữ liệu tốt hơn một con số trung bình.

Bài này giúp bạn trả lời: làm sao biết lúc nào an toàn để bớt người duyệt, và dồn thời gian ít ỏi của người duyệt vào đâu?

Ví dụ xuyên suốt: trích thông tin hợp đồng thuê mặt bằng

Một chuỗi cửa hàng tiện lợi có hàng nghìn hợp đồng thuê mặt bằng. Hệ thống dùng Claude trích: tên bên cho thuê, giá thuê, ngày bắt đầu, thời hạn, điều khoản tăng giá. Ba tháng qua, nhân viên pháp chế duyệt lại 100% kết quả.

Số liệu cho thấy: kết quả có độ tin cậy trên 90% đúng 97%. Trưởng nhóm đề xuất từ tháng sau bỏ duyệt mọi kết quả trên 90%. Nhưng hợp đồng có ba loại: hợp đồng theo mẫu của chuỗi (chiếm 80%), hợp đồng do chủ nhà soạn, và hợp đồng viết tay được scan.

Con số tổng có thể che lỗi

97% là trung bình trên mọi hợp đồng. Tách theo loại thì có thể ra:

Vì hợp đồng theo mẫu chiếm phần lớn, con số tổng vẫn đẹp, trong khi gần một phần tư hợp đồng viết tay bị trích sai. Tách theo trường cũng vậy: tên bên cho thuê có thể gần như luôn đúng, còn điều khoản tăng giá thì hay sai.

Đó là rủi ro của con số tổng: độ chính xác tổng (ví dụ 97%) có thể che kết quả kém ở một loại tài liệu hay một trường cụ thể. Vì vậy trước khi bỏ duyệt những kết quả có độ tin cậy cao, phải kiểm độ chính xác theo từng loại tài liệu và từng trường, chắc chắn mọi nhóm đều đạt chứ không chỉ con số chung.

Hiệu chỉnh độ tin cậy bằng tập đã gắn nhãn

Cho model báo độ tin cậy cho từng trường (field-level confidence scores) thay vì một con số cho cả hợp đồng: tên bên cho thuê 0,98, điều khoản tăng giá 0,62. Người duyệt biết nên nhìn vào trường nào.

Nhưng con số model tự báo chưa chắc khớp với độ chính xác thật: "0,9" chưa chắc nghĩa là đúng 90% số lần. Vì vậy cần hiệu chỉnh: lấy một tập hợp đồng mà người đã kiểm và gắn nhãn đúng sai (labeled validation set), xem ở mỗi mức độ tin cậy model thật sự đúng bao nhiêu, rồi đặt ngưỡng chuyển duyệt theo kết quả đó. Ba tháng duyệt 100% vừa qua chính là nguồn nhãn tốt.

Lấy mẫu theo nhóm để tiếp tục đo lỗi

Giả sử sau khi kiểm, bạn bỏ duyệt các kết quả có độ tin cậy cao. Từ đó, bạn không còn biết chúng đúng hay sai nữa. Hợp đồng kiểu mới (một mẫu chủ nhà mới, một phụ lục có cách trình bày lạ) có thể sinh lỗi mà không ai thấy.

Cách làm là lấy mẫu ngẫu nhiên theo nhóm (stratified random sampling): mỗi tuần, chọn ngẫu nhiên một tỉ lệ cố định trong các kết quả độ tin cậy cao, chia theo từng nhóm (từng loại hợp đồng), cho người duyệt. Nhờ vậy:

• Bạn đo được tỉ lệ lỗi thật của các kết quả không còn được duyệt.
• Bạn phát hiện kiểu lỗi mới sớm, kể cả ở nhóm nhỏ như hợp đồng viết tay mà lấy mẫu ngẫu nhiên đơn thuần có thể bỏ qua.

Dồn người duyệt vào ca khó

Người duyệt có hạn, nên chỉ chuyển cho họ những ca thật sự cần:

• Trường có độ tin cậy thấp sau khi đã hiệu chỉnh ngưỡng.
• Tài liệu mơ hồ hoặc tự mâu thuẫn: phụ lục ghi giá thuê khác với thân hợp đồng, hai trang ghi hai ngày bắt đầu khác nhau.

Phần còn lại đi thẳng, chỉ chịu lấy mẫu định kỳ như trên. Người duyệt dành thời gian cho chỗ dễ sai nhất thay vì đọc lại những hợp đồng theo mẫu gần như luôn đúng.