Nền tảng LLM - token, context window, lấy mẫu, thinking và ví dụ trong prompt

Nhiều câu hỏi trong đề không cần biết API nào cả, chỉ cần hiểu LLM hoạt động ra sao: vì sao cùng một câu hỏi mà hai lần trả lời khác nhau, vì sao tăng một tham số không làm context rộng ra, vì sao câu trả lời rất tự tin vẫn có thể sai.

Bài này giúp bạn trả lời: những khái niệm nền nào của LLM mà người viết ứng dụng phải nắm, và chúng ảnh hưởng tới thiết kế ra sao?

Ví dụ xuyên suốt: trợ lý thư viện của một trường trung học

Thư viện số của một trường trung học có khoảng 6.000 đầu sách và tài liệu. Trường làm một trợ lý dùng Claude để:

• Tóm tắt một chương sách cho học sinh.
• Soạn 10 câu hỏi ôn tập từ một bài đọc, theo đúng mẫu của giáo viên.
• Giải thích từng bước một bài toán xác suất khó.

Các giáo viên thử và thắc mắc: "Hỏi hai lần ra hai bộ câu hỏi khác nhau, có phải lỗi không?", "Sách dài quá không đưa vào được, tăng temperature lên có được không?".

Token: đơn vị model đọc và viết

Token là đơn vị nhỏ nhất mà model xử lý: có thể là một từ, một phần từ, một ký tự hay một byte. Số ký tự trong một token tuỳ model và ngôn ngữ. Theo glossary của Anthropic, ở các model cũ một token khoảng 3,5 ký tự tiếng Anh; từ Claude 4.7 trở đi model dùng tokenizer mới, cùng một đoạn chữ ra nhiều hơn khoảng 30% token. Muốn con số chính xác thì dùng endpoint đếm token với đúng model định dùng (bài 5.4).

Token quan trọng vì mọi thứ đều tính bằng nó: giới hạn context window, giới hạn đầu ra, giới hạn tốc độ và tiền.

Sinh từng token, và vì sao có lúc bịa

Model ngôn ngữ như Claude được huấn luyện trước (pretraining) để dự đoán từ tiếp theo từ những gì đứng trước. Khi trả lời, model sinh từng token một (next-token generation), mỗi token chọn dựa trên mọi token trước đó.

Hai hệ quả:

• Câu chữ có thể khác nhau giữa các lần sinh: lần này lặp nguyên văn một câu trong prompt, lần sau diễn đạt lại. Đó là đặc tính của quá trình sinh, không phải lỗi dựng yêu cầu.
• Model sinh ra câu trôi chảy, hợp lý, kể cả khi không có thông tin đúng. Docs gọi đây là bịa (hallucination): chữ sai sự thật hay mâu thuẫn với ngữ cảnh. Docs khuyên cho Claude được nói "không biết", và với tài liệu dài thì yêu cầu trích nguyên văn trước khi trả lời.

Context window: bộ nhớ làm việc

Context window là toàn bộ chữ model đọc được khi sinh câu trả lời, gồm cả chính câu trả lời. Glossary gọi nó là "bộ nhớ làm việc" của model, khác với kho dữ liệu lúc huấn luyện. Các model mới nhất có context window 1 triệu token. Context gồm system prompt, định nghĩa tool, toàn bộ hội thoại, tài liệu, ảnh và đầu ra.

Sách quá dài không vừa context thì phải giảm đầu vào: chia thành đoạn (chunking) và xử lý từng đoạn, hoặc tóm tắt trước (summarization). Temperature không liên quan gì tới chuyện này.

Lấy mẫu và vì sao cùng prompt ra kết quả khác

Ở mỗi bước, model có một phân phối xác suất cho token tiếp theo và chọn một token theo phân phối đó, gọi là lấy mẫu (sampling). Vì vậy LLM không tất định (non-deterministic): cùng prompt có thể ra kết quả khác nhau.

Từng có ba tham số điều chỉnh việc lấy mẫu: temperature (cao thì đa dạng, thấp thì bám câu chữ khả dĩ nhất), top_p, top_k. Tình hình hiện nay đã khác:

• Glossary nói ngay cả khi temperature bằng 0, kết quả vẫn không hoàn toàn tất định.
• Model từ Claude 4.7 trở đi chỉ nhận giá trị mặc định của các tham số này.
• Phiên bản API 2026-10-21 bỏ hẳn cả ba: gửi lên là lỗi 400 trên mọi model. Docs nói không có thiết lập nào thay thế.

Vậy với model hiện nay, ứng dụng phải được thiết kế để chịu được sự khác biệt giữa các lần chạy: kiểm đầu ra theo schema hay luật, thử lại khi không đạt, viết test kiểm tính chất ("đủ 10 câu, mỗi câu có đáp án") thay vì so nguyên văn, và đừng dùng nguyên văn câu trả lời làm khoá cache.

Thinking, effort và fast mode

Đề thi nhắc các tuỳ chọn của model (model options):

Bài toán xác suất cần lập luận nhiều bước: để thinking làm việc và tăng effort nếu chưa đủ. Phần tóm tắt chương sách đơn giản thì effort thấp hơn cho rẻ và nhanh.

Zero-shot, one-shot, multi-shot

Prompt không có ví dụ là zero-shot, có một ví dụ là single-shot (one-shot), có vài ví dụ là multi-shot (few-shot). Docs nói ví dụ là một trong những cách chắc nhất để điều khiển định dạng, giọng và cấu trúc đầu ra, mà không cần huấn luyện lại model. Docs khuyên 3–5 ví dụ, và ví dụ phải:

• Sát việc thật: giống loại đầu vào sẽ gặp.
• Đa dạng: phủ cả trường hợp khó, đủ khác nhau để Claude không bắt chước những nét không cố ý.
• Có cấu trúc: bọc trong thẻ <example> (nhiều ví dụ thì trong <examples>) để Claude tách được ví dụ với chỉ dẫn.

Trong ví dụ, giáo viên muốn câu hỏi ôn tập đúng mẫu của mình, nên prompt kèm 3 câu hỏi mẫu thuộc ba mức khó khác nhau, mỗi câu trong một thẻ <example>.