Context Engineering — Bước tiến tiếp theo sau Prompt Engineering
Năm 2024–2025, Prompt Engineering là kỹ năng được săn đón nhất trong ngành AI. Nhưng bước sang 2026, các team đang xây AI Agent nhận ra rằng viết prompt hay chỉ giải quyết được 20% bài toán. 80% còn lại nằm ở việc quản lý context — toàn bộ thông tin mà model nhận được trước khi đưa ra quyết định.
Context Engineering là nghệ thuật thiết kế, tổ chức và tối ưu hoá toàn bộ ngữ cảnh đầu vào cho một hệ thống AI — bao gồm system prompt, lịch sử hội thoại, dữ liệu truy xuất (RAG), kết quả tool call, và metadata hệ thống. Mục tiêu: đảm bảo AI luôn có đúng thông tin cần thiết, đúng thời điểm, trong giới hạn context window.
Tại sao Prompt Engineering không đủ?
Giới hạn context window
Mọi LLM đều có giới hạn context window — số lượng token tối đa mà model xử lý trong một lần. GPT-4o hỗ trợ 128K token, Claude 3.5 lên đến 200K, Gemini 2.0 đạt 2M token. Nghe có vẻ nhiều, nhưng trong một AI Agent thực tế:
- System prompt: 2.000–5.000 token
- Lịch sử hội thoại (10 lượt): 3.000–8.000 token
- Kết quả RAG (5 tài liệu): 10.000–25.000 token
- Kết quả tool call (3 lần gọi API): 5.000–15.000 token
- Metadata & instruction: 1.000–3.000 token
Tổng cộng có thể vượt 50.000 token chỉ cho một request. Với mỗi token thêm vào, chi phí tăng, latency tăng, và — quan trọng nhất — khả năng model bỏ sót thông tin quan trọng cũng tăng theo (hiện tượng "lost in the middle").
AI Agent cần context động
Khác với chatbot đơn giản, AI Agent thực hiện nhiều bước: lập kế hoạch, gọi tool, đọc kết quả, điều chỉnh kế hoạch, gọi tool tiếp. Mỗi bước tạo thêm thông tin mới cần đưa vào context. Nếu không quản lý cẩn thận, context sẽ bị "ô nhiễm" bởi thông tin cũ không còn liên quan, khiến model mất focus.
5 Kỹ thuật Context Engineering cốt lõi
1. Context Pruning — Cắt tỉa thông tin cũ
Không phải mọi thông tin trong lịch sử đều quan trọng. Context pruning loại bỏ các lượt hội thoại cũ, kết quả tool call đã hoàn thành, và metadata không còn liên quan.
Ví dụ thực tế: Trong agent xử lý đơn hàng, sau khi đã xác nhận địa chỉ giao hàng, toàn bộ conversation về việc hỏi và xác nhận địa chỉ có thể được tóm tắt thành một dòng: "Địa chỉ giao: 123 Nguyễn Huệ, Q1, TP.HCM — đã xác nhận." Thay vì giữ 8 lượt hội thoại gốc (tiêu tốn ~2.000 token), chỉ cần 30 token.
2. Context Layering — Phân tầng thông tin
Tổ chức context thành các tầng với mức ưu tiên khác nhau:
| Tầng | Nội dung | Vị trí trong context | Luôn hiện diện? | |---|---|---|---| | Core | System prompt, role definition, rules | Đầu context | Có | | Session | Tóm tắt hội thoại, trạng thái hiện tại | Sau core | Có | | Retrieved | Kết quả RAG, tài liệu liên quan | Giữa context | Theo query | | Ephemeral | Kết quả tool call, data tạm thời | Cuối context | Xoá sau khi dùng |
Bằng cách phân tầng, bạn đảm bảo thông tin quan trọng nhất luôn ở vị trí model chú ý nhất (đầu và cuối context window), trong khi thông tin ít quan trọng hơn có thể bị cắt khi context đầy.
3. Smart Retrieval — Truy xuất thông minh
RAG (Retrieval-Augmented Generation) là thành phần phổ biến trong AI Agent, nhưng "retrieve nhiều" không có nghĩa là "retrieve tốt." Context Engineering yêu cầu retrieval strategy thông minh:
- Query decomposition: Tách câu hỏi phức tạp thành nhiều sub-query nhỏ, retrieve riêng cho từng sub-query.
- Relevance filtering: Sau khi retrieve, đánh giá relevance score và chỉ giữ document trên ngưỡng. Đưa document kém liên quan vào context còn tệ hơn không đưa gì.
- Chunk optimization: Thay vì retrieve nguyên trang tài liệu, chỉ lấy đoạn paragraph chứa câu trả lời. Tiết kiệm token, tăng signal-to-noise ratio.
4. Memory Management — Quản lý bộ nhớ
AI Agent cần nhớ thông tin qua nhiều phiên làm việc, nhưng không phải nhớ tất cả. Memory management chia thành:
- Short-term memory: Thông tin trong phiên hiện tại — lịch sử chat, kết quả tool call gần nhất. Tồn tại trong context window.
- Long-term memory: Thông tin quan trọng cần nhớ qua nhiều phiên — preference người dùng, quyết định trước đó, facts đã xác nhận. Lưu trong database, retrieve khi cần.
- Working memory: Thông tin đang xử lý — kế hoạch hiện tại, subtask đang thực hiện, trạng thái workflow. Cập nhật liên tục.
Nguyên tắc: Chỉ đưa vào context những gì model cần để thực hiện bước tiếp theo. Không load toàn bộ memory vào context chỉ vì "có thể cần."
5. Context Compression — Nén thông tin
Khi context vẫn quá lớn sau pruning và layering, sử dụng compression:
- Summarization: Dùng model nhỏ hơn (hoặc chính LLM) để tóm tắt lịch sử hội thoại dài thành đoạn ngắn.
- Structured extraction: Chuyển đoạn text dài thành JSON/table — model xử lý structured data hiệu quả hơn text tự do.
- Selective detail: Giữ chi tiết cho thông tin gần nhất, tóm tắt cho thông tin cũ. Giống cách bộ nhớ con người hoạt động.
So sánh: Prompt Engineering vs Context Engineering
| Tiêu chí | Prompt Engineering | Context Engineering | |---|---|---| | Phạm vi | Một prompt, một tác vụ | Toàn bộ thông tin model nhận | | Tĩnh/Động | Tĩnh (viết sẵn) | Động (thay đổi theo runtime) | | Phù hợp cho | Chatbot, single-turn task | AI Agent, multi-step workflow | | Độ phức tạp | Thấp-Trung bình | Cao | | Impact lên chi phí | Thấp | Cao (giảm 40–60% token usage) | | Skill cần thiết | Writing, domain knowledge | System design, data engineering |
Context Engineering trong thực tế tại Việt Nam
Tại Base Coding AI, chúng tôi áp dụng Context Engineering khi xây các hệ thống AI Agent cho doanh nghiệp:
Case 1 — Agent xử lý hồ sơ bảo hiểm: Context cần chứa thông tin khách hàng, lịch sử claim, quy định bảo hiểm hiện hành, và kết quả OCR từ tài liệu scan. Bằng context layering, chúng tôi giảm context size từ 80K token xuống 25K token mà không mất thông tin quan trọng. Latency giảm 60%, chi phí API giảm 55%.
Case 2 — Agent tư vấn sản phẩm e-commerce: Context cần catalog sản phẩm, lịch sử mua hàng, inventory real-time, và chính sách khuyến mãi. Smart retrieval chỉ đưa sản phẩm liên quan vào context thay vì toàn bộ catalog 50.000 SKU. Accuracy tăng từ 72% lên 94%.
Công cụ hỗ trợ Context Engineering
- LangSmith / LangGraph: Visualize context flow trong agent, debug xem model nhận được thông tin gì tại mỗi bước.
- Ragas: Đánh giá chất lượng retrieval — document được retrieve có thực sự liên quan không?
- TokenCounter libraries: Đo chính xác context size trước khi gửi đến model, tránh bị cắt ngầm.
Kết luận
Context Engineering không thay thế Prompt Engineering — nó bao trùm và mở rộng Prompt Engineering cho quy mô production. Nếu bạn đang xây chatbot đơn giản, prompt engineering vẫn đủ. Nhưng nếu bạn đang xây AI Agent thực hiện nhiều bước, truy xuất dữ liệu, và ra quyết định — context engineering là kỹ năng bắt buộc.
Trong năm 2026, sự khác biệt giữa AI Agent hoạt động tốt và AI Agent hay bị "ảo giác" thường nằm ở chất lượng context, không phải chất lượng model.
Cần tư vấn thiết kế context pipeline cho AI Agent? Liên hệ Base Coding AI để được hỗ trợ kiến trúc.