Ramp Labs giới thiệu giải pháp chia sẻ bộ nhớ đa tác nhân, giảm mức tiêu thụ token lên đến 65%.

Tin tức BlockBeats, ngày 11 tháng 4, công ty cơ sở hạ tầng AI Ramp Labs đã công bố kết quả nghiên cứu về "Latent Briefing", đạt được khả năng chia sẻ bộ nhớ hiệu quả giữa các hệ thống đa tác nhân thông qua việc nén trực tiếp bộ nhớ đệm KV của mô hình quy mô lớn, giảm đáng kể mức tiêu thụ Token mà không làm giảm độ chính xác.

Trong các kiến ​​trúc đa tác tử phổ biến, bộ điều phối (Orchestrator) phân tách các nhiệm vụ và liên tục gọi các mô hình tác tử (Worker). Khi chuỗi suy luận mở rộng, việc sử dụng Token tăng lên theo cấp số nhân. Ý tưởng cốt lõi của Latent Briefing là tận dụng cơ chế chú ý để xác định các phần thực sự quan trọng trong ngữ cảnh, trực tiếp loại bỏ thông tin dư thừa ở lớp biểu diễn, thay vì dựa vào tóm tắt LLM tốc độ chậm hoặc truy xuất RAG không ổn định.

Trong bài kiểm tra hiệu năng LongBench v2, phương pháp này đã thể hiện rất tốt: Mức tiêu thụ Token của mô hình Worker giảm 65%, mức tiết kiệm Token trung bình cho các tài liệu có độ dài trung bình (32k đến 100k) đạt 49%, độ chính xác tổng thể được cải thiện khoảng 3 điểm phần trăm so với phương pháp cơ bản, và thời gian bổ sung cho mỗi lần nén chỉ khoảng 1,7 giây, đạt được tốc độ nhanh hơn khoảng 20 lần so với thuật toán ban đầu.

Thí nghiệm sử dụng Claude Sonnet 4 làm mô hình điều phối và Qwen3-14B làm mô hình người thực hiện, bao gồm nhiều kịch bản tài liệu khác nhau như bài báo học thuật, văn bản pháp luật, tiểu thuyết và báo cáo chính phủ. Nghiên cứu cũng chỉ ra rằng ngưỡng nén tối ưu thay đổi tùy thuộc vào độ khó của nhiệm vụ và độ dài tài liệu — các nhiệm vụ khó phù hợp với phương pháp nén mạnh để lọc bỏ nhiễu suy luận, trong khi các tài liệu dài phù hợp hơn với phương pháp nén nhẹ để giữ lại thông tin quan trọng rải rác.