Bảo mật ứng dụng AI - prompt injection, jailbreak, nội dung không tin cậy, dữ liệu nhạy cảm

Ứng dụng dùng Claude vẫn gặp mọi lỗ hổng của ứng dụng web thông thường, và có thêm một loại mới: chữ có thể trở thành lệnh. Một dòng ẩn trong email, một đoạn trên trang web, một câu người dùng gõ khéo, đều có thể khiến model làm điều bạn không muốn.

Bài này giúp bạn trả lời: ứng dụng AI có những mối đe doạ riêng nào, và chặn chúng ở đâu?

Ví dụ xuyên suốt: trợ lý email của công ty dịch vụ kế toán

Một công ty dịch vụ kế toán có 40 kế toán viên, mỗi người phụ trách vài chục doanh nghiệp khách hàng. Công ty làm một trợ lý dùng Claude:

• Đọc email khách gửi đến (hoá đơn, chứng từ, câu hỏi), tóm tắt và soạn thư trả lời.
• Có tool tra_cong_no để xem công nợ của khách, và tool gui_email để gửi thư sau khi kế toán viên bấm duyệt.

Email chứa nhiều dữ liệu nhạy cảm: số tài khoản ngân hàng, mã số thuế, đôi khi cả mật khẩu cổng thuế điện tử mà khách gửi nhầm.

Các nhóm mối đe doạ riêng của ứng dụng AI

Ngoài các lỗ hổng web quen thuộc, mô hình mối đe doạ của ứng dụng AI cần thêm:

Docs về chống jailbreak chia làm hai mô hình mối đe doạ với hai kẻ tấn công khác nhau: với jailbreak và injection trực tiếp, chính người dùng là kẻ tấn công; với injection gián tiếp, người dùng đáng tin, còn kẻ tấn công là người viết ra nội dung mà Claude đọc hộ người dùng (email, trang web, tài liệu, kết quả tool).

Khi người dùng là kẻ tấn công

Docs gợi ý bốn lớp:

• Sàng lọc bằng model nhẹ (harmlessness screens): một lần gọi Haiku 5.5 phân loại đầu vào trước khi tới cuộc hội thoại chính, dùng structured outputs để kết quả là một nhãn code đọc được.
• Kiểm đầu vào: lọc các mẫu injection đã biết.
• System prompt nêu rõ ranh giới và dặn Claude cách từ chối.
• Xử lý người cố tình lặp lại: ai liên tục kích hoạt cùng một kiểu từ chối thì cảnh báo, giới hạn tốc độ, hoặc chặn.

Khi kẻ tấn công nằm trong nội dung

Email của khách là nội dung bên thứ ba. Docs nói đưa loại nội dung này tới Claude như dữ liệu tách bạch:

• Chỉ đưa vào khối tool_result, không vào system prompt hay khối chữ thường của lượt user; Claude được huấn luyện để hoài nghi chỉ dẫn nằm trong kết quả tool.
• Nói rõ nội dung là gì, từ đâu tới ("thân email từ người gửi bên ngoài").
• Mã hoá chuỗi không tin cậy trong JSON, để không "đóng thẻ" chen chỉ dẫn được.
• Nêu chính sách trong system prompt: nội dung từ tool là dữ liệu, chỉ dẫn trong đó là thông tin để báo lại, không phải lệnh để làm.
• Sàng lọc kết quả tool bằng một lần gọi Haiku 5.5 trước khi đưa cho Claude.
• Thử tấn công chính agent của mình (red-team) trước khi triển khai: gửi email, tài liệu có cài sẵn injection và kiểm các lớp có bắt được không.

Lớp cuối cùng là giới hạn quyền (least privilege): giả sử injection thành công thì nó làm được gì? Trong ví dụ, tra_cong_no chỉ trả công nợ của khách đang được hỏi, và gui_email chỉ chạy sau khi kế toán viên bấm duyệt. Bài viết "How we contain Claude" của Anthropic gọi đây là giới hạn phạm vi thiệt hại: thay vì chỉ giám sát agent làm gì, giới hạn agent có thể làm gì bằng sandbox, ranh giới file, kiểm soát kết nối ra ngoài; ví dụ, thông tin xác thực không bao giờ vào môi trường của agent thì không thể bị lấy trộm.

Dữ liệu nhạy cảm: lọc ngay tại ranh giới

Thước đo đúng là dữ liệu nhạy cảm có rời khỏi hệ thống hay không, không phải có bị phát hiện sau đó hay không. Cách làm:

1. Xác định rõ ranh giới ứng dụng: phần nào trong hệ thống của mình, phần nào là gọi ra ngoài.
2. Liệt kê nội dung nào được phép đi qua ranh giới tới Claude.
3. Lọc hoặc che (redaction) ngay tại ranh giới, trước lời gọi API.

Trong ví dụ, trước khi gửi email cho Claude, code thay số tài khoản bằng [STK_1], xoá hẳn chuỗi trông như mật khẩu, và giữ bảng ánh xạ ở phía mình để điền lại vào thư trả lời nếu cần.

Rò rỉ còn có thể đi theo chiều ngược lại: từ prompt ra ngoài. Docs về prompt leak khuyên đừng đặt thông tin bí mật vào prompt nếu không thật cần, và thử giám sát trước (sàng lọc, hậu xử lý đầu ra) rồi mới dùng các kỹ thuật chống lộ prompt, vì chúng làm prompt phức tạp hơn và có thể làm kết quả kém đi.

Xác thực, phân quyền: để trong code

Đề thi nhắc việc bảo đảm xác thực, phân quyền, bảo mật, quyền riêng tư và toàn vẹn. Với ứng dụng AI, nguyên tắc là: kiểm quyền trong code của tool, không trong prompt. Câu "chỉ trả lời về khách của người đang hỏi" trong system prompt không phải là phân quyền. Phân quyền là tool tra_cong_no nhận danh tính kế toán viên từ phiên đăng nhập (không phải từ chữ Claude gửi lên) và chỉ trả dữ liệu của khách mà người đó phụ trách.