Context engineering - chống trôi và phình context, cô lập bằng subagent

Context window 1 triệu token nghe như vô tận, nhưng agent vẫn có thể "quên" ràng buộc đặt ra từ đầu sau vài chục lần gọi tool. Vấn đề thường không phải hết chỗ, mà là thông tin quan trọng bị chìm giữa một đống thứ đã hết giá trị.

Bài này giúp bạn trả lời: context engineering là gì, vì sao context dài làm Claude làm kém đi, và có những cách nào để giữ context gọn?

Ví dụ xuyên suốt: agent hỗ trợ kỹ thuật của hãng máy in

Một hãng máy in văn phòng có agent hỗ trợ kỹ thuật cho khách. Mỗi phiếu hỗ trợ, agent gọi tool khoảng 20 lần: đọc log lỗi của máy, tra tài liệu sửa chữa 800 trang, xem lịch sử bảo hành, kiểm tồn kho linh kiện. Mỗi kết quả tool dài vài nghìn token.

System prompt có một ràng buộc quan trọng: "chỉ hướng dẫn những thao tác khách tự làm được, không bao giờ bảo khách tháo vỏ máy". Đội nhận thấy sau khoảng 20 lần gọi tool, agent bắt đầu trả lời lan man và thỉnh thoảng quên ràng buộc đó.

Prompt engineering và context engineering

Bài viết "Effective context engineering for AI agents" của Anthropic phân biệt:

• Prompt engineering: cách viết và sắp xếp chỉ dẫn cho LLM để ra kết quả tốt. Tập trung vào từng prompt.
• Context engineering: các chiến lược chọn lọc và duy trì tập token tốt nhất trong lúc model chạy, gồm mọi thông tin khác đi vào context ngoài prompt: kết quả tool, lịch sử hội thoại, tài liệu, bộ nhớ.

Anthropic coi context engineering là bước phát triển tiếp theo của prompt engineering. Với việc dài nhiều bước như agent máy in, phần quyết định chất lượng là context engineering.

Thêm context không phải lúc nào cũng tốt hơn

Docs về context window nói: số token càng tăng thì độ chính xác và khả năng nhớ lại càng giảm, hiện tượng gọi là context rot. Vì vậy chọn lọc cái gì nằm trong context quan trọng ngang với việc có bao nhiêu chỗ. Bài viết về context engineering nói LLM có một "ngân sách chú ý" hữu hạn; context tốt là tập token nhỏ nhất mà mang nhiều tín hiệu nhất.

Thứ chiếm context gồm: system prompt, định nghĩa tool, toàn bộ hội thoại, kết quả tool, khối thinking, tài liệu, ảnh. Trong ví dụ, 20 kết quả tool vài nghìn token mỗi cái đã chiếm phần lớn context, và ràng buộc "không tháo vỏ máy" ở đầu system prompt bị loãng giữa chúng.

Cắt tỉa kết quả tool cũ: context editing

Cách nhẹ nhàng và an toàn nhất, theo bài viết của Anthropic, là xoá kết quả tool cũ: một khi tool đã được gọi từ lâu, agent hiếm khi cần xem lại nguyên văn kết quả. Đề thi gọi đây là cắt tỉa kết quả tool (tool output pruning).

Claude API làm việc này phía máy chủ qua context editing (đang beta, header context-management-2025-06-27) với chiến lược clear_tool_uses_20250919: khi prompt vượt ngưỡng, API xoá các kết quả tool cũ nhất và thay bằng một dòng báo cho Claude biết nội dung đã bị bỏ.

"context_management": {
  "edits": [{
    "type": "clear_tool_uses_20250919",
    "trigger": { "type": "input_tokens", "value": 100000 },
    "keep": { "type": "tool_uses", "value": 3 },
    "exclude_tools": ["tra_bao_hanh"]
  }]
}

Một điểm cần nhớ: xoá kết quả tool làm mất hiệu lực prompt cache từ chỗ bị xoá. Docs khuyên dùng clear_at_least để mỗi lần xoá đủ nhiều, đáng với việc phá cache. Trong ví dụ, kết quả tra bảo hành được giữ (exclude_tools) vì agent cần nó tới cuối phiếu.

Nén hội thoại: compaction

Compaction thay các lượt cũ của hội thoại bằng một bản tóm tắt do Claude viết. Bản tóm tắt giữ cái cốt lõi (mục tiêu, quyết định đã chốt, việc còn dở), chi tiết vụn bị nén lại. Trên Claude API, compaction chạy ở máy chủ (đang beta): theo yêu cầu, hoặc tự động khi vượt một ngưỡng token. Agent SDK và Claude Code tự nén khi context gần đầy.

Compaction hợp với chuyện hội thoại dài mà model cứ bám vào chi tiết cũ không còn liên quan: phần cũ vẫn còn ý chính nhưng không còn nặng ký như trước. Bài viết của Anthropic cảnh báo nén quá tay có thể làm mất chi tiết nhỏ mà sau mới thấy quan trọng.

Cô lập ngữ cảnh bằng subagent

Có những bước không nên thấy toàn bộ lịch sử. Một khi nội dung đã nằm trong context, dặn "hãy bỏ qua" không xoá được nó; cách chắc chắn là đừng đưa vào. Đề thi gọi đây là cô lập ngữ cảnh (context isolation) qua subagent hoặc workflow nhiều bước.

Bài viết của Anthropic mô tả: mỗi subagent có thể dùng hàng chục nghìn token để tìm tòi, nhưng chỉ trả về bản tóm tắt cô đọng, thường 1.000–2.000 token. Trong ví dụ, việc tra tài liệu sửa chữa 800 trang giao cho một subagent; agent chính chỉ nhận "bước 3 trang 214: lau trục kéo giấy bằng khăn khô", không nhận cả chương.

Một ý gần đó là nạp "vừa đúng lúc" (just in time): thay vì nạp sẵn mọi dữ liệu, agent giữ các tham chiếu nhẹ (đường dẫn file, mã tài liệu) và chỉ dùng tool nạp nội dung khi cần.

Chọn cách theo nguồn gây phình

Docs về quản lý ngữ cảnh tool chia các cách theo thứ chúng giảm:

1. Kết quả tool cũ đã hết giá trị?Context editing, giữ vài kết quả gần nhất
2. Hội thoại dài, model bám chi tiết cũ?Compaction
3. Một bước sinh rất nhiều token tìm tòi?Giao cho subagent, nhận bản tóm tắt
4. Bước sau không nên thấy lịch sử?Cô lập ngữ cảnh, chỉ truyền phần cần
5. Còn lạiQuá nhiều định nghĩa tool thì dùng tool search