Cách Dễ Nhất để Tạo Ra Các AI Agent Tự Cải Thiện

Giới thiệu về AI Agent Tự Cải Thiện

AI Agent đang phát triển để hoạt động giống như con người: chúng có thể suy luận, mất tới 30 phút để hoàn thành một nhiệm vụ, và thậm chí có thể kiểm soát trình duyệt của bạn. Tuy nhiên, không giống như con người, các agent hiện tại không học hỏi từ những sai lầm của chúng. Mỗi khi bạn chạy một AI agent, nó giống như thức dậy từ hư không và không có ký ức về những gì đang diễn ra. Bài viết này sẽ cung cấp một cái nhìn tổng quan về bộ nhớ của agent và hướng dẫn thực hành xây dựng các agent có bộ nhớ từ đầu, tập trung vào khả năng tự cải thiện của AI agent.

Bộ Nhớ Agentic là gì?

Để hiểu rõ hơn về bộ nhớ agentic, chúng ta có thể so sánh nó với cách hoạt động của bộ não con người. Trong bộ não con người, có bộ nhớ ngắn hạn và bộ nhớ dài hạn. Bộ nhớ ngắn hạn chịu trách nhiệm ghi nhớ một vài thứ trong một khoảng thời gian rất ngắn, như khi bạn quay số điện thoại mà bạn vừa thấy trên trang web. Trong khi đó, bộ nhớ dài hạn chịu trách nhiệm ghi nhớ thông tin từ nhiều ngày, nhiều tuần hoặc thậm chí nhiều năm trước, ví dụ như sinh nhật của bạn đã diễn ra như thế nào.

Đối với AI agent, cả hai loại bộ nhớ này cũng có thể được ánh xạ tới các thành phần cụ thể của agent. Theo một nghiên cứu, bộ nhớ ngắn hạn về cơ bản là lịch sử hội thoại, kết quả của các lệnh gọi công cụ và lớp chú ý của LLM cơ bản, là những gì agent hiện đang tập trung vào. Bộ nhớ dài hạn phức tạp hơn và có thể được chia thành ba loại con: bộ nhớ thủ tục, bộ nhớ ngữ nghĩa và bộ nhớ tình tiết.

• Bộ nhớ thủ tục: Cách chúng ta thực hiện các nhiệm vụ, về cơ bản là lời nhắc hệ thống của bạn.
• Bộ nhớ tình tiết: Ghi nhớ các sự kiện cụ thể trong quá khứ, là một vài lời nhắc nhở ngắn gọn.
• Bộ nhớ ngữ nghĩa: Ghi nhớ các sự kiện và đây là loại bộ nhớ mà chúng ta sẽ tập trung vào hôm nay.

Bộ nhớ ngữ nghĩa trong AI agent tương tự như Retrieval Augmented Generation (RAG), sử dụng cơ sở dữ liệu vector để thực hiện tìm kiếm ngữ nghĩa. Giống như bộ não con người, các thành phần của AI agent tương ứng với bộ nhớ ngữ nghĩa và tìm kiếm ngữ nghĩa.

Các Phương Pháp Xây Dựng Bộ Nhớ Ngữ Nghĩa cho AI Agent

Khi xây dựng bộ nhớ ngữ nghĩa cho AI agent, bạn thường có hai lựa chọn: phương pháp nền tảng tiêu chuẩn và phương pháp agentic hoàn toàn mới.

• Phương pháp nền tảng: Xử lý dữ liệu trong nền. Ví dụ: sau khi một agent hỗ trợ khách hàng đã xử lý 1.000 vé, bạn trích xuất các chi tiết quan trọng từ các vé này và thêm chúng vào kiến thức của agent, tức là cơ sở dữ liệu vector.
• Phương pháp Agentic: Agent tự xác định xem có cần cập nhật bộ nhớ của chính nó hay không, điều này tự nhiên hơn cho cả agent và người dùng.

Phương pháp agentic cực kỳ mạnh mẽ, agent có thể tự học hỏi gần như sau mỗi tin nhắn và sau mỗi lệnh gọi công cụ. Trong một ví dụ, agent đã ngăn chặn các lỗi tương tự mà nó đã mắc phải trước đó trong cuộc trò chuyện trước.

Lợi Ích Của Bộ Nhớ Agentic

Lợi ích của bộ nhớ agentic lớn hơn bạn nghĩ. Lợi ích chính không chỉ là truy xuất ngữ cảnh hoặc sự thật, mà là khả năng tự cải thiện. Bộ nhớ là cách dễ nhất để bạn tạo ra các AI agent tự cải thiện, vì các agent có thể ghi nhớ những sai lầm của chính chúng. Bạn chỉ cần thêm ba công cụ vào một agent, và ngay lập tức agent có thể tự cải thiện.

Lợi ích quan trọng thứ hai là cá nhân hóa. Cá nhân hóa mang lại cho agent của bạn một lợi thế cạnh tranh độc đáo. Nếu agent của bạn biết mọi thứ về khách hàng hoặc người dùng của bạn, thì nó sẽ trở nên có giá trị hơn đối với họ và khiến họ khó chuyển sang một giải pháp khác. Ví dụ: ngay cả khi Anthropic có một mô hình thông minh hơn ChatGPT, nhiều người dùng vẫn ưu tiên ChatGPT vì nó ghi nhớ mọi thứ về họ và doanh nghiệp của họ.

Các Tùy Chọn Xây Dựng Bộ Nhớ cho AI Agent

Bạn có ba tùy chọn để xây dựng bộ nhớ cho agent của mình:

1. Sử dụng cơ sở dữ liệu vector: Bạn có thể sử dụng bất kỳ cơ sở dữ liệu vector nào bạn chọn, như Pinecone hoặc Weaviate, và xây dựng lớp bộ nhớ của riêng bạn từ đầu. Phương pháp này cho phép bạn kiểm soát nhiều nhất, nhưng nó đòi hỏi nhiều công việc hơn.
2. Sử dụng framework hỗ trợ bộ nhớ tích hợp: Nhiều framework hiện nay, như CrewAI và Langchain, đã hỗ trợ bộ nhớ tích hợp. Tuy nhiên, đây không phải là phương pháp được ưu tiên, vì nó có thể trở nên hạn chế khi bạn triển khai vào sản xuất.
3. Sử dụng nền tảng lớp bộ nhớ chuyên dụng: Một số startup đã cố gắng tạo ra lớp bộ nhớ cho AI agent. Với các nền tảng này, bạn chỉ cần kết nối với API của họ. Tùy chọn này cung cấp cho bạn sự cân bằng tốt giữa kiểm soát và nỗ lực phát triển.

Nền tảng được sử dụng trong bài viết này là M0, một nền tảng mã nguồn mở cho phép bạn chạy nó cục bộ hoặc sử dụng nền tảng của họ, cung cấp một lượng dùng thử miễn phí hào phóng để giúp bạn bắt đầu. Tuy nhiên, OpenAI có thể sớm phát hành bộ nhớ trong API của họ, và đây có thể là lựa chọn được ưu tiên hơn.

Hướng Dẫn Thực Hành: Tạo Agent với M0 Từ Đầu

Để tạo agent có bộ nhớ, chúng ta sẽ sử dụng framework riêng có tên là “Agenesis” trên GitHub. Framework này đi kèm với tài liệu đầy đủ, bao gồm mô tả về các thành phần chính như công cụ và agent, cũng như các tính năng nâng cao khác.

Các Bước Tạo Agent

1. Tạo kho lưu trữ (repository): Trên GitHub, tạo một kho lưu trữ mới và sao chép nó cục bộ bằng GitHub Desktop.
2. Tải xuống tệp quy tắc Cursor: Framework sử dụng một tệp quy tắc Cursor đặc biệt để hoạt động. Tải xuống tệp này và thêm nó vào dự án Cursor của bạn. Hãy nhớ cập nhật tệp này thường xuyên để phù hợp với các tính năng mới nhất trong framework.
3. Tạo môi trường ảo Python: Tạo một môi trường ảo Python bằng cách sử dụng lệnh thích hợp trong Cursor.
4. Xây dựng agent bằng Cursor Composer: Sử dụng chế độ agent composer của Cursor để xây dựng agent. Trong ví dụ này, chúng ta sẽ tạo một agent hỗ trợ khách hàng với một vài công cụ.

Các Công Cụ Cần Thiết

Agent hỗ trợ khách hàng sẽ có các công cụ sau:

• Công cụ đọc bộ nhớ
• Công cụ cập nhật bộ nhớ
• Công cụ xóa bộ nhớ
• Công cụ tạo hoàn tiền đơn giản

Mục đích là để agent hỗ trợ khách hàng tìm hiểu sở thích của người dùng và sửa chữa những sai lầm của chính mình. Công cụ tạo hoàn tiền sẽ được sử dụng để kiểm tra xem agent có thể nhớ và học hỏi từ việc thực hiện hoàn tiền không chính xác trước đó hay không.

Lời Nhắc và Cấu Hình

Sử dụng mô hình Claude 3.5 Sonnet (các mô hình khác có thể không hoạt động đúng cách do các vấn đề với chức năng gọi). Trong lời nhắc của bạn, hãy chỉ định:

• Các agent bạn muốn tạo
• Cách các agent này nên hoạt động
• Mô tả của từng công cụ

Thêm một mô tả rõ ràng về tất cả bốn công cụ, bao gồm các tham số mà các công cụ này nhận, cách chúng nên hoạt động và những gì chúng nên trả về trong đầu ra của chúng. Vì Cursor không biết cách API của M0 hoạt động, bạn cần sao chép tài liệu M0 và thêm nó vào lời nhắc. Điều này cho phép Cursor truy cập vào cách API của M0 hoạt động, giúp tạo ra kết quả chính xác hơn.

Tạo Khóa API M0

Truy cập bảng điều khiển M0 và tạo khóa API của riêng bạn. Sao chép khóa API này, cùng với khóa OpenAI của bạn.

Kiểm Tra và Sửa Lỗi

Cursor sẽ tạo các thư mục agent và các công cụ cần thiết. Tuy nhiên, thường có một số điều chỉnh cần thiết để đảm bảo rằng các công cụ hoạt động chính xác. Để tăng tốc quá trình này, bạn có thể yêu cầu agent Cursor kiểm tra và kiểm tra mã của bạn cho bạn.
Nhập lệnh: `Xin vui lòng kiểm tra tất cả các công cụ để đảm bảo chúng hoạt động chính xác.`

Sau khi kiểm tra, bạn có thể cần thực hiện các điều chỉnh như cài đặt các yêu cầu hoặc sửa các phiên bản gói không chính xác. Cursor có thể phát hiện và sửa nhiều lỗi, nhưng bạn vẫn có thể cần phải điều chỉnh thủ công một số công cụ nhất định.

Điều Chỉnh Thủ Công Công Cụ Xóa Bộ Nhớ

Trong ví dụ này, công cụ xóa bộ nhớ có thể gặp phải vấn đề. Để khắc phục điều này:

1. Mở công cụ xóa bộ nhớ trong Cursor.
2. Sao chép đoạn mã Python từ tài liệu M0 cho điểm cuối xóa.
3. Gửi tài liệu này cho Cursor và yêu cầu nó sửa công cụ xóa bộ nhớ.

Lưu Ký Ức Theo ID Người Dùng

Để cho phép mỗi người dùng có những ký ức khác nhau, hãy sử dụng tham số ID người dùng trong M0. Trong Agenesis, bạn có thể sử dụng tính năng “trạng thái dùng chung” để chia sẻ các biến khác nhau giữa tất cả các agent và công cụ của bạn. Đặt ID người dùng trong trạng thái dùng chung trước khi khởi động ứng dụng của bạn.

Khi sử dụng công cụ xóa bộ nhớ và tất cả các công cụ khác với M0, bạn có thể truy cập trạng thái dùng chung này bằng cách sử dụng `self.shared_state.get(“user_id”)`. Điều này đảm bảo rằng ký ức được lưu trữ và xóa riêng cho từng người dùng.

Điều Chỉnh Hướng Dẫn

Viết hướng dẫn cho agent theo cách thủ công để đảm bảo rằng nó hoạt động chính xác. Trong hướng dẫn của bạn, hãy chỉ định vai trò của agent, bối cảnh và quy trình làm việc. Đảm bảo rằng agent luôn kiểm tra bộ nhớ trước khi phản hồi người dùng và lưu tất cả thông tin liên quan vào bộ nhớ. Bạn cũng có thể hướng dẫn nó ghi nhớ những lỗi mà nó đã gặp phải trước đó khi sử dụng các công cụ khác.

Ví dụ: chỉ định rằng agent cần ghi nhớ tên khách hàng, email, số điện thoại, lịch sử đơn hàng, v.v. Bạn cũng có thể yêu cầu nó ghi nhớ những lỗi mà nó đã gặp phải trước đó khi sử dụng các công cụ khác.

Ví Dụ Thực Tế: Agent Hỗ Trợ Khách Hàng Tự Cải Thiện

Với các công cụ và hướng dẫn đã được thiết lập, bạn có thể chạy agent. Đây là một ví dụ về cuộc trò chuyện với agent:

• Người dùng: Xin chào, tôi là Reni.
• Agent: Chào Reni! Thật vui khi được gặp bạn.
• (Agent lưu tên người dùng bằng công cụ thêm bộ nhớ)
• Người dùng: Tên tôi là gì?
• Agent: Tên của bạn là Reni.
• Người dùng: Tôi gặp sự cố với đơn hàng gần đây của tôi.
• Agent: Xin lỗi khi bạn gặp sự cố với đơn hàng của mình. Vui lòng cung cấp thêm chi tiết.
• Người dùng: Tôi muốn hoàn tiền một sản phẩm sữa mà tôi vừa đặt hàng.
• Agent: Xin lỗi, tôi không thể xử lý yêu cầu hoàn tiền cho sản phẩm sữa vì nó chứa các mặt hàng không được hoàn tiền.
• (Agent lưu thông tin này vào bộ nhớ)

Bây giờ, nếu người dùng khởi động lại cuộc trò chuyện và yêu cầu hoàn tiền sản phẩm sữa, agent sẽ sử dụng công cụ tìm kiếm bộ nhớ và cho người dùng biết rằng các sản phẩm sữa không được hoàn tiền mà không cần sử dụng công cụ tạo hoàn tiền. Điều này cho thấy khả năng của agent trong việc học hỏi từ những tương tác trước đó và ngăn chặn những sai lầm trong tương lai.

Ví dụ này nhấn mạnh sức mạnh của bộ nhớ trong việc ngăn chặn lỗi và cải thiện hiệu suất của agent. Hãy tưởng tượng nếu công cụ tạo hoàn tiền là một công cụ thực sự và khách hàng thực sự được hoàn tiền cho một sản phẩm không được hoàn tiền. Điều này có thể gây ra các vấn đề lớn hơn về sau.

Các Ứng Dụng Khác của Bộ Nhớ Agentic

Bộ nhớ agentic có thể mang lại lợi ích đáng kể cho các agent cơ sở dữ liệu thực hiện các truy vấn trên hàng trăm bảng. Nếu một agent cơ sở dữ liệu thực hiện một truy vấn không chính xác, khách hàng có thể cho agent biết bảng chính xác cho truy vấn đó là gì. Sau đó, agent có thể ghi nhớ thông tin này và sử dụng bảng chính xác vào lần tới. Điều này làm cho agent ngày càng mạnh mẽ hơn khi nó được sử dụng.

Kết Luận

Bộ nhớ agentic là một công cụ mạnh mẽ để tạo ra các AI agent tự cải thiện và có thể cá nhân hóa. Bằng cách trang bị cho agent bộ nhớ, bạn có thể cho phép chúng học hỏi từ những sai lầm của mình, ghi nhớ thông tin quan trọng và cung cấp trải nghiệm người dùng tốt hơn. Mặc dù vẫn còn một số thách thức cần vượt qua, nhưng tiềm năng của bộ nhớ agentic là rất lớn và nó có thể cách mạng hóa cách chúng ta tương tác với AI agent.

Bạn có thể tìm thấy mã cho video này bên dưới. Chúng tôi có thể sẽ cải thiện các công cụ này hơn nữa và nếu bạn không muốn xây dựng chúng từ đầu, bạn có thể sao chép chúng từ thư mục memory agency này và sau đó thêm nó vào các agent hiện có của bạn. Cảm ơn bạn đã theo dõi.