Chọn model theo yêu cầu của việc

"Dùng model mạnh nhất cho chắc" nghe an toàn, nhưng với việc khối lượng lớn thì vừa chậm vừa tốn. "Dùng model rẻ nhất cho tiết kiệm" thì hỏng ở những việc cần suy luận sâu. Chọn model là cân ba thứ: chi phí, tốc độ và chất lượng.

Bài này giúp bạn trả lời: chọn model cho một việc dựa vào đâu, và làm theo các bước nào?

Ví dụ xuyên suốt: tổng đài của chuỗi cửa hàng điện máy

Một chuỗi điện máy có 50 cửa hàng. Ba nhóm cùng dùng Claude:

1. Tổng đài: mỗi ngày soạn khoảng 2.000 câu trả lời nháp ngắn cho tin nhắn của khách (hỏi giờ mở cửa, tình trạng đơn, chính sách đổi trả). Cần nhanh, rẻ.
2. Phòng vận hành: mỗi tuần tóm tắt 15 cuộc họp giao ban, không cần suy luận sâu.
3. Phòng pháp chế: phân tích một vụ tranh chấp hợp đồng với nhà cung cấp, nhiều điều khoản chồng chéo, có luật sư duyệt.

Ghép model với việc

Đây cũng là câu hỏi mẫu thứ hai trong tài liệu chính thức của đề thi: tạo nhiều câu trả lời ngắn cho khách, tốc độ và chi phí quan trọng hơn suy luận sâu. Đáp án là model nhanh hơn, rẻ hơn, hợp với việc đơn giản khối lượng lớn; giữ model mạnh nhất cho việc suy luận phức tạp. Dùng model mạnh nhất cho mọi câu trả lời thì lãng phí chi phí và thời gian chờ.

Hai cách ghép sai khác cũng hay gặp: chọn model mạnh chỉ vì nó đắt nhất, và dùng model mạnh cho việc rút một từ khoá với khối lượng cực lớn. Ngược lại, dùng model nhẹ cho việc tổng hợp chiến lược từ nhiều tài liệu phức tạp cũng là ghép sai.

Định yêu cầu trước khi thử model

Khi đưa một khối việc mới vào dùng thường xuyên, đừng mở model ra thử ngay. Tài liệu của Anthropic về chọn model nói hãy xác định tiêu chí trước: năng lực cần có, tốc độ phản hồi, chi phí, và mức effort. Thứ tự hợp lý:

Với việc hằng tuần nhỏ hơn, như tóm tắt họp, cách làm gọn hơn nhưng cùng tinh thần: viết ra thế nào là kết quả tốt, chạy một mẫu thật trên dòng mặc định, so với định nghĩa đó, chỉ đổi dòng ở chỗ còn thiếu.

Chỉnh effort trước khi đổi model

Tài liệu chọn model của Anthropic có một câu đáng nhớ: chỉnh effort thường là cách tốt hơn đổi model. Trong app, effort chỉnh ngay trong menu model: hạ xuống Low hoặc Medium cho việc thường để dùng hạn mức lâu hơn, nâng lên cho việc khó.

Với phòng vận hành, nếu bản tóm tắt họp bằng Sonnet đôi khi bỏ sót quyết định quan trọng, thử nâng effort hoặc sửa prompt (liệt kê các mục bắt buộc) trước khi chuyển sang Opus.

Tính tới khâu kiểm phía sau

Hai khối việc giống hệt nhau về khối lượng và chủ đề vẫn có thể cần chọn khác nhau. Câu trả lời nháp của tổng đài được nhân viên đọc và sửa trước khi gửi; nếu một ngày nào đó chuỗi cho tự gửi thẳng không ai đọc, khối việc đó mất lưới an toàn và phải tự gánh chất lượng. Lúc đó cần chọn model và cách kiểm kỹ hơn. Cân nhắc quan trọng nhất là khâu người kiểm phía sau bắt được bao nhiêu lỗi, không phải chức vụ người phụ trách hay khối lượng giống nhau.

1. Khối lượng lớn, câu ngắn, cần nhanh, suy luận nhẹ?Dòng nhanh và rẻ nhất
2. Việc hằng ngày, cần cân tốc độ và chất lượng?Dòng cân bằng
3. Suy luận nhiều bước, ít việc nhưng khó?Dòng suy luận sâu nhất
4. Kết quả chưa đạt?Sửa prompt, nâng effort, rồi mới lên dòng cao hơn
5. Còn lạiChưa biết: định yêu cầu, thử mẫu thật trên dòng mặc định