Memory in the Age of AI Agents

This is my learning note from Memory in the Age of AI Agents: A Survey

Trong hai năm gần đây, Large Language Models (LLMs) đã tiến hóa nhanh chóng từ các mô hình sinh văn bản tĩnh thành AI agents có khả năng suy luận, lập kế hoạch, sử dụng công cụ, tương tác đa vòng và thích nghi với môi trường. Trong kiến trúc agent hiện đại, bên cạnh reasoning và tool-use, memory nổi lên như một năng lực nền tảng không thể thiếu.

Memory không còn là một kỹ thuật mở rộng context đơn thuần. Trong kỷ nguyên AI agents, memory chính là:

• Cơ chế cho learning beyond parameters.
• Nền tảng cho tính liên tục, bản sắc và tự chủ của agent.
• Một trụ cột kiến trúc ngang hàng với reasoning và planning.

Memory cho phép agent:

• Thực hiện long-horizon reasoning.
• Học và thích nghi liên tục thông qua tương tác.
• Duy trì tính nhất quán hành vi và cá nhân hóa trong các kịch bản phức tạp như chatbot cá nhân hóa, hệ gợi ý, social simulation, tài chính và điều tra.

Không có memory, LLM chỉ là một bộ sinh phản hồi theo ngữ cảnh ngắn hạn, không thể tiến hóa theo thời gian.

Sự hỗn loạn khái niệm quanh “memory”

Dù ai cũng nói về memory, nhưng nếu nhìn kỹ, rất ít người đang nói cùng một thứ. Có hệ thống gọi history hội thoại là memory. Có nơi gọi vector database là memory. Có bài coi long context hay KV cache là memory. Có nơi đánh đồng memory với RAG hoặc context engineering.

Hệ quả là khái niệm memory trong AI agent trở nên mơ hồ và phân mảnh. Hai hệ thống rất khác nhau có thể cùng được gắn nhãn “có memory”, dù một bên chỉ kéo dài context, bên kia lại thực sự tích lũy kinh nghiệm và thay đổi hành vi theo thời gian.

Cách phân loại cũ, đặc biệt là chia memory thành short-term và long-term, ngày càng tỏ ra không đủ. Nó bỏ qua câu hỏi quan trọng hơn. Memory được biểu diễn như thế nào. Nó phục vụ mục đích gì. Và nó vận hành ra sao trong vòng đời của agent.

Forms – Functions – Dynamics

(1) Forms. Memory được biểu diễn dưới dạng nào?
Ba hình thức chính:

• Token-level memory. Bộ nhớ dạng rời rạc, lưu trữ bên ngoài model, dễ truy cập và chỉnh sửa.
• Parametric memory. Bộ nhớ được nội hóa vào trọng số mô hình.
• Latent memory. Bộ nhớ tồn tại trong trạng thái ẩn hoặc biểu diễn liên tục.

(2) Functions. Memory phục vụ mục đích gì?
Thay vì chỉ phân theo thời gian, bài báo phân loại theo chức năng:

• Factual memory. Lưu tri thức và thông tin ổn định.
• Experiential memory. Lưu kinh nghiệm, bài học rút ra từ hành động và phản hồi.
• Working memory. Quản lý thông tin tạm thời trong quá trình giải quyết một nhiệm vụ.

(3) Dynamics. Memory hình thành và tiến hóa ra sao?
Memory không tĩnh mà trải qua vòng đời:

• Formation. Trích xuất thông tin có giá trị từ tương tác.
• Evolution. Hợp nhất, tinh lọc, quên có chọn lọc.
• Retrieval. Truy xuất có điều kiện theo ngữ cảnh và mục tiêu.

Memory không còn là phần mở rộng của context

Một thay đổi tư duy quan trọng là tách memory ra khỏi khái niệm context. Context là những gì model nhìn thấy trong một lần suy luận. Memory là những gì agent mang theo qua thời gian.

Context có thể bị cắt, nén, tối ưu vì giới hạn tài nguyên. Memory thì không nên bị xem như một biến phụ thuộc của context window. Nó là trạng thái nhận thức bền vững, cho phép agent duy trì sự liên tục dù context có thay đổi.

Khi đánh đồng memory với context, chúng ta vô tình giới hạn agent trong hiện tại. Khi tách memory ra thành một primitive độc lập, agent mới thực sự có quá khứ và tương lai.

Memory không phải là log, cũng không phải history

Một hiểu lầm phổ biến là coi memory như nhật ký tương tác. Nhưng lưu tất cả mọi thứ không tạo ra trí nhớ. Ngược lại, nó tạo ra nhiễu.

Memory đúng nghĩa bắt đầu từ chọn lọc. Trong quá trình hành động, agent tạo ra rất nhiều dấu vết, từ reasoning, kết quả tool, phản hồi môi trường, cho đến tự đánh giá. Nhưng chỉ một phần rất nhỏ trong số đó có giá trị cho tương lai. Memory là kết quả của việc trích xuất và chưng cất những phần có khả năng tái sử dụng.

Quan trọng hơn, memory không đứng yên. Nó được hợp nhất, tái cấu trúc, loại bỏ trùng lặp và thậm chí bị quên đi khi không còn giá trị. Một agent có memory là một hệ thống mà tri thức và kinh nghiệm tiến hóa theo thời gian, chứ không phình to vô hạn.

Vì sao agent memory khác RAG và context engineering

Agent memory thường bị đánh đồng với RAG vì cả hai đều sử dụng retrieval. Nhưng điểm khác biệt nằm ở bản chất. RAG chủ yếu cung cấp tri thức bên ngoài, thường là tĩnh, để hỗ trợ một lần suy luận. Agent memory lưu giữ trải nghiệm của chính agent, được hình thành từ hành động và phản hồi.

Context engineering cũng thường bị nhầm với memory. Thực chất, nó là bài toán quản lý tài nguyên context window. Nó quyết định thông tin nào được đưa vào model ở thời điểm hiện tại. Memory thì quyết định agent biết gì, đã học được gì, và giữ được bản sắc ra sao qua thời gian.

Memory tồn tại ở đâu khi AI trở thành Agent?

Khi nói đến memory trong AI agents, một phản xạ rất tự nhiên là nghĩ đến nơi lưu trữ. Vector database, knowledge graph, hay một bộ nhớ ngoài nào đó. Nhưng câu hỏi thực sự quan trọng không phải là lưu ở đâu, mà là memory được mang bởi cái gì.

Cách memory được biểu diễn quyết định agent có thể nhớ theo kiểu nào, học ra sao, và thất bại ở đâu. Một agent có thể nhớ rất nhiều thứ, nhưng nếu memory tồn tại dưới hình thức không phù hợp, nó sẽ không bao giờ trở thành tri thức có thể hành động.

Ba cách mà memory có thể “tồn tại”

Nhìn ở mức trừu tượng, memory trong agent không phải một thực thể đơn nhất. Nó xuất hiện ở ba hình thức lớn, tương ứng với ba cách mà thông tin được mang và tái sử dụng trong hệ thống.

Hình thức đầu tiên là memory dạng token (Token-level memory). Đây là dạng trực quan nhất và cũng phổ biến nhất. Memory tồn tại dưới dạng các đơn vị rời rạc có thể nhìn thấy, chỉnh sửa và truy xuất trực tiếp. Chúng có thể là đoạn văn, tóm tắt, lịch sử hội thoại, trải nghiệm hành động, hay thậm chí là hình ảnh và video đã được mã hóa thành token. Vì nằm ngoài mô hình, dạng memory này rất minh bạch, dễ kiểm soát, dễ debug, và dễ kết hợp với các kỹ thuật retrieval.

Hình thức thứ hai là memory được nội hóa vào tham số mô hình (Parametric memory). Ở đây, memory không còn là thứ được “lưu” theo nghĩa truyền thống. Nó được hấp thụ vào trọng số thông qua huấn luyện, fine-tuning, continual learning hay reinforcement learning. Khi agent “nhớ” theo cách này, nó không cần truy xuất một bản ghi cụ thể nào. Memory thể hiện ra qua hành vi, xu hướng quyết định và khả năng suy luận được cải thiện.

Hình thức thứ ba là memory trong trạng thái ẩn và biểu diễn liên tục (Latent memory). Đây là loại memory tồn tại trong hidden states, các biểu diễn latent, hoặc trạng thái được duy trì trong quá trình inference hay qua nhiều vòng tương tác. Nó không hoàn toàn tĩnh như token-level memory, cũng không bền vững như parametric memory. Nó nằm ở giữa, mang tính ngữ cảnh cao, linh hoạt, nhưng khó quan sát và khó kiểm soát.

Ba hình thức này không loại trừ nhau. Một agent trưởng thành gần như luôn kết hợp cả ba.

Memory để làm gì trong AI Agent?

Memory tồn tại để giúp agent hành xử nhất quán, học từ kinh nghiệm và suy nghĩ dài hạn. Vì vậy, thay vì chia memory thành ngắn hạn hay dài hạn, cần nhìn nó theo chức năng.

Thứ nhất, memory lưu tri thức ổn định. Những gì agent tin là đúng về thế giới, người dùng hoặc hệ thống. Thiếu nó, agent reasoning tốt nhưng không đáng tin.

Thứ hai, memory lưu trải nghiệm. Mối liên hệ giữa hành động và hệ quả. Khi được trừu tượng hóa đúng cách, trải nghiệm giúp agent cải thiện theo thời gian, thay vì lặp lại sai lầm.

Thứ ba, memory là không gian làm việc cho suy nghĩ. Nó giữ kế hoạch tạm thời, giả thuyết và trạng thái trung gian để agent xử lý nhiệm vụ dài và phức tạp.

Ba chức năng này không nên bị trộn lẫn. Thiếu tri thức, agent thiếu nhất quán. Thiếu trải nghiệm, agent không học. Thiếu không gian làm việc, agent không suy nghĩ dài hơi.

Cốt lõi. Memory không chỉ để nhớ. Nó quyết định agent biết gì, học ra sao và suy nghĩ được đến mức nào.

Memory vận hành như thế nào trong AI Agent?

Memory không phải thứ được ghi một lần rồi để đó. Nó là một hệ thống động.

Memory bắt đầu từ chọn lọc, không phải ghi lại tất cả. Agent chỉ giữ những gì có khả năng ảnh hưởng đến hành vi tương lai. Nếu không, memory sẽ thoái hóa thành log.

Memory tiếp tục tiến hóa. Trải nghiệm được hợp nhất, trừu tượng hóa, cập nhật hoặc loại bỏ khi không còn phù hợp. Quên là điều kiện để memory tiếp tục hữu ích.

Memory chỉ tạo ra giá trị khi được truy xuất đúng lúc. Nhớ lại là một hành vi có chủ đích, gắn chặt với reasoning và planning. Truy xuất sai thời điểm có thể làm agent hành xử tệ hơn.

Short-term và long-term không phải thiết kế ban đầu. Chúng là kết quả của cách memory được sử dụng và củng cố theo thời gian.

Cốt lõi. Memory hình thành từ lựa chọn, sống nhờ tiến hóa, và ảnh hưởng đến hành vi qua retrieval. Không có động học đúng, agent không thể học dài hạn.

Làm sao biết Agent có memory tốt?

Memory không thể được đánh giá bằng một lần trả lời đúng. Nó chỉ bộc lộ giá trị khi agent hoạt động qua thời gian.

Một agent có memory tốt là agent không lặp lại sai lầm, biết sử dụng thông tin từ các tương tác trước và cải thiện hành vi khi nhiệm vụ lặp lại hoặc biến đổi. Vì vậy, memory phải được đo bằng hành vi dài hạn, không phải độ chính xác tức thời.

Không có benchmark chung cho mọi loại memory. Memory cho hội thoại dài, cho lập kế hoạch hay cho môi trường tương tác đều cần cách đánh giá khác nhau. Đánh giá sai bối cảnh sẽ dẫn đến kết luận sai.

Để đi vào thực tế, memory cần được vận hành như một thành phần kiến trúc. Có vòng đời rõ ràng, có khả năng kiểm soát, audit, sửa và xóa. Framework memory không chỉ là hạ tầng, mà là cách định nghĩa agent học và nhớ như thế nào.

Cốt lõi. Memory chỉ thực sự có giá trị khi nó có thể được đo lường bằng hành vi dài hạn và được quản lý có chủ đích trong hệ thống thực tế.

Key Takeaways. Agent Memory, nhìn từ đầu đến cuối

1. Memory là primitive kiến trúc của AI agent
   Khi AI trở thành agent, memory không còn là tiện ích hay feature. Nó là nền móng quyết định khả năng học, thích nghi và duy trì hành vi nhất quán theo thời gian.
2. Không có memory, không có agent thực thụ
   Một hệ thống không tích lũy và sử dụng quá khứ chỉ là LLM phản ứng tốt hơn, không phải một thực thể có lịch sử và kinh nghiệm.
3. Memory không phải log, history hay context kéo dài
   Memory đúng nghĩa bắt đầu từ chọn lọc và trừu tượng hóa. Lưu tất cả chỉ tạo ra nhiễu, không tạo ra trí nhớ.
4. Memory tồn tại dưới nhiều hình thức, không có dạng tối ưu duy nhất
   Token-level, parametric và latent memory mang các trade-off khác nhau. Agent trưởng thành là agent biết phối hợp các hình thức này theo vai trò.
5. Chức năng của memory quan trọng hơn thời gian lưu trữ
   Memory phục vụ ba chức năng cốt lõi. Tri thức ổn định, trải nghiệm học được từ hành động, và không gian làm việc cho suy nghĩ. Nhầm lẫn các chức năng này là nguồn gốc của nhiều thất bại hệ thống.
6. Memory là hệ thống động, không đứng yên
   Memory phải được hình thành có chọn lọc, tiến hóa qua hợp nhất và trừu tượng hóa, và duy trì giá trị bằng cách quên. Quên không phải lỗi, mà là điều kiện cần.
7. Retrieval là hành vi chiến lược, không phải tra cứu thụ động
   Nhớ lại sai thời điểm hoặc sai mức trừu tượng có thể làm agent hành xử tệ hơn. Retrieval phải gắn chặt với reasoning và planning.
8. Short-term và long-term là hệ quả vận hành, không phải thiết kế ban đầu
   Thứ tồn tại lâu là thứ được dùng lặp lại và mang giá trị, không phải thứ được gắn nhãn từ đầu.
9. Memory chỉ có ý nghĩa khi được đo bằng hành vi dài hạn
   Đánh giá memory bằng single-turn accuracy là sai. Memory phải được đo bằng khả năng tránh lặp lỗi, tận dụng quá khứ và cải thiện theo thời gian.
10. Framework memory là quyết định kiến trúc nhận thức, không chỉ là hạ tầng
    Chọn framework memory đồng nghĩa với chọn cách agent học, nhớ và quên. Đây là quyết định chiến lược, đặc biệt trong hệ thống enterprise.
11. Tương lai của agentic AI nằm ở memory tự quản lý
    Agent sẽ học cách tối ưu trí nhớ của chính mình. Reinforcement learning, multimodal memory và shared memory sẽ trở thành trung tâm.
12. Memory cần đi kèm kiểm soát và độ tin cậy
    Khi agent có memory dài hạn, khả năng audit, sửa, xóa và quản trị memory không còn là tùy chọn. Nó là yêu cầu bắt buộc.