Định nghĩa chỉ số đánh giá

"Hệ thống chạy tốt chứ?" là câu không trả lời được nếu chưa nói tốt theo nghĩa nào. Một trợ lý có thể trả lời đúng 95% nhưng mỗi câu mất 9 giây, hay rẻ và nhanh nhưng thỉnh thoảng lộ dữ liệu của người khác. Một con số không chứng nhận được cả hệ thống.

Bài này giúp bạn trả lời: đo hệ thống dùng Claude bằng những chỉ số nào, và đặt ngưỡng thế nào?

Ví dụ xuyên suốt: ứng dụng giao đồ ăn

Một ứng dụng giao đồ ăn dùng Claude cho ba việc:

1. Phân loại khiếu nại vào 12 loại (giao trễ, thiếu món, sai món, tài xế thái độ...) để chuyển đúng bộ phận.
2. Tóm tắt cuộc chat dài giữa khách và nhân viên để lưu hồ sơ.
3. Trả lời khách trong khung chat, đúng giọng thân thiện của thương hiệu.

Ràng buộc: mỗi lượt chat phải có phản hồi đủ nhanh, chi phí mỗi khiếu nại dưới một mức trần, và trợ lý không bao giờ được cho khách này thấy thông tin đơn hàng của khách khác.

Nhiều chiều, mỗi chiều một ngưỡng

Docs của Anthropic về tiêu chí thành công nói hầu hết ứng dụng cần đánh giá theo nhiều chiều: độ chính xác của việc chính, độ nhất quán, mức liên quan, giọng văn, bảo vệ dữ liệu riêng tư, cách dùng context, độ trễ và chi phí. Tiêu chí tốt phải cụ thể và đo được, kể cả với thứ nghe mơ hồ. Docs lấy ví dụ: thay vì "an toàn", viết "dưới 0,1% đầu ra trong 10.000 lần chạy bị bộ lọc nội dung gắn cờ độc hại".

Độ chính xác: chọn chỉ số theo hình dạng đầu ra

Docs đưa ví dụ các cách đo cho từng loại việc:

Độ trễ: nói rõ đồng hồ nào và phân vị nào

Docs về giảm độ trễ phân biệt độ trễ tổng (tới khi có đủ câu trả lời) và thời gian tới chữ đầu tiên (TTFT). Hai đồng hồ này đo hai thứ khác nhau: với chat có streaming, khách cảm nhận TTFT; với bước phân loại chạy ngầm không streaming, thứ hệ thống chờ là độ trễ tổng.

Chỉ tiêu nên viết theo phân vị, không theo trung bình. Ví dụ trong docs: 95% câu trả lời dưới 200 ms. Trung bình che mất những lượt rất chậm, trong khi phân vị nói rõ ngân sách và số trường hợp được phép vượt.

Chi phí: trên mỗi việc xong, giữ nguyên độ chính xác

Docs về tối ưu chi phí khuyên so bằng chi phí trên mỗi việc hoàn thành, không bằng giá mỗi token. Chỉ số chi phí chỉ có nghĩa khi độ chính xác giữ nguyên: một cấu hình rẻ hơn mà phân loại sai nhiều hơn thì việc chuyển nhầm bộ phận sẽ tốn ở chỗ khác.

An toàn và bảo mật: thành tỉ lệ đo được

Một chỉ tiêu an toàn kiểm được bằng script cần ba thứ: cái gì phát hiện (bộ lọc nào, grader nào), trên mẫu nào, bao nhiêu lần chạy, và ngưỡng tối đa. Bài viết về đánh giá agent của Anthropic còn nhấn mạnh chấm theo kết quả cuối (trạng thái thật của hệ thống) chứ không chỉ theo lời agent nói. Ví dụ của bài viết: agent nói "đã đặt" nhưng cơ sở dữ liệu không có đơn nào. Với bảo mật cũng vậy: kiểm xem dữ liệu của khách khác có thật sự bị trả ra không, đừng chỉ đọc transcript.

Chỉ số trông đẹp nhưng không chứng minh gì

Khung năng lực AI Fluency do Anthropic cùng hai tác giả xây dựng có một năng lực gọi là Discernment: đánh giá phê phán đầu ra, cách làm và hành vi của AI. Câu luyện thi dùng năng lực này cho tình huống chỉ số bề mặt.