Đạo đức AI, gồm thiên lệch, công bằng và minh bạch

Một hệ thống có thể chính xác trung bình rất cao mà vẫn đối xử không công bằng với một nhóm người. Và vì quyết định đi qua một model, người ta dễ nghĩ nó "khách quan". Đạo đức AI trong đề thi xoay quanh ba chữ: thiên lệch (bias), công bằng (fairness) và minh bạch (transparency).

Bài này giúp bạn trả lời: thiên lệch đi vào hệ thống ở đâu, đo công bằng thế nào, và minh bạch với người dùng ra sao?

Ví dụ xuyên suốt: nền tảng cho thuê nhà

Một nền tảng cho thuê căn hộ dùng Claude đọc hồ sơ người thuê (thu nhập, lịch sử thuê, thư giới thiệu) và đề xuất cho chủ nhà: nên ưu tiên, cân nhắc, hay không phù hợp. Một thành viên ban giám đốc nói: "Model không được huấn luyện trên dữ liệu của công ty mình, nên không cần đánh giá thiên lệch."

Thiên lệch đi vào từ đâu

Vì thiên lệch có thể đến từ quá trình huấn luyện ban đầu của model, việc "không huấn luyện trên dữ liệu công ty" không miễn trừ đánh giá.

Đo công bằng

Nghiên cứu của Anthropic về đánh giá phân biệt đối xử trong quyết định của model ngôn ngữ dùng một cách làm áp dụng được cho hệ thống của bạn: tạo nhiều tình huống quyết định (họ dùng 70 tình huống), rồi giữ nguyên mọi thứ, chỉ thay thông tin nhân khẩu học, xem kết quả có đổi không. Họ phát hiện cả phân biệt theo hướng có lợi lẫn bất lợi ở model Claude 2.0 trong một số tình huống, và cho thấy viết prompt cẩn thận giảm đáng kể cả hai. Nghiên cứu cũng nói rõ họ không ủng hộ dùng model ngôn ngữ để tự động ra quyết định trong các tình huống rủi ro cao được nghiên cứu.

Các chỉ số cần nhìn:

• Chênh lệch kết quả: tỉ lệ được đề xuất "ưu tiên" giữa các nhóm.
• Chênh lệch tỉ lệ sai: trong số người thật ra phù hợp, tỉ lệ bị đề xuất "không phù hợp" ở mỗi nhóm có như nhau không. Tỉ lệ duyệt bằng nhau vẫn có thể che tỉ lệ sai khác nhau.
• Nhất quán theo cách diễn đạt: cùng một hồ sơ viết theo hai cách có nhận cùng đề xuất và cùng lý do không.

Không suy rộng vượt dữ liệu, con người chịu trách nhiệm

Hai mục nên có trong checklist đánh giá đạo đức (câu luyện thi chấm đúng):

• Đầu ra không dựa vào những khái quát về con người mà dữ liệu bên dưới không hỗ trợ. Một dòng nhận xét kiểu "người làm tự do thường trả tiền thuê không đều" là khái quát cần bị chặn nếu không có dữ liệu thật của chính người đó.
• Quyết định ảnh hưởng lớn vẫn do con người chịu trách nhiệm, không quy cho model.

Chính sách sử dụng của Anthropic xếp nhà ở vào nhóm rủi ro cao: khuyến nghị AI ảnh hưởng tới việc tiếp cận nhà ở phải được một người có chuyên môn xem xét thực chất, có quyền thay đổi. Chính sách cũng cấm dùng sản phẩm để phân biệt đối xử dựa trên thuộc tính được bảo vệ. Khung AI Fluency gọi năng lực chịu trách nhiệm về sản phẩm có AI tham gia là Diligence, gồm cả việc minh bạch vai trò của AI và chịu trách nhiệm với kết quả đưa cho người khác.

Các mục câu luyện thi chấm sai cho checklist đạo đức: kiểm điều khoản giấy phép của nhà cung cấp (chuyện pháp lý, không phải đạo đức của đầu ra); chỉ xem xét đầu ra có độ tin cậy cao; kiểm độ trễ và thông lượng giữa các nhóm người dùng.

Minh bạch với người dùng

Chính sách sử dụng của Anthropic có hai yêu cầu liên quan:

• Chatbot hướng tới người tiêu dùng phải cho người dùng biết họ đang trò chuyện với AI, tối thiểu ở đầu mỗi phiên hoặc trong giao diện sản phẩm.
• Người nhận một khuyến nghị rủi ro cao, hay chịu một quyết định dựa trên nó, phải được báo rõ là AI đã được dùng (không cần nêu tên nhà cung cấp hay model).

Trong ví dụ: người thuê nhà được biết hồ sơ của họ có được AI sơ duyệt, và có cách liên hệ một người thật để hỏi lại.