Nguồn: Salesforce Engineering Blog
Tóm tắt
Salesforce phát hiện rằng gần 47% tổng chi phí Kubernetes trên nền tảng Hyperforce bị lãng phí do over-provisioning. Hơn 8.000 service Kubernetes được quản lý, nhưng configuration drift qua nhiều năm khiến việc tối ưu hóa thủ công trở nên bất khả thi — service owner thiếu visibility và thiếu tự tin để thay đổi config trong môi trường production phức tạp.
Giải pháp là xây dựng Capacity Optimization Agent — một hệ thống AI phân tích cấu hình service qua các repository, tính toán resource allocation tối ưu, và tạo pull request trực tiếp để áp dụng thay đổi. Thay vì dashboard hiển thị insights, agent tự động thực hiện thay đổi và đưa vào đúng quy trình review của team.
Điểm kỹ thuật quan trọng là kiến trúc hybrid: LLM chỉ chịu trách nhiệm repository discovery và config parsing (context extraction), còn tất cả quyết định optimization được xử lý bởi deterministic algorithm — cụ thể là Integer Linear Programming solver để minimize resource waste. Điều này giải quyết vấn đề non-deterministic output khi dùng LLM thuần túy cho planning, đảm bảo kết quả nhất quán và an toàn.
Safety được đảm bảo qua nhiều lớp: agent chỉ modify CPU requests (không chạm CPU limits), mọi thay đổi đi qua pipeline deployment hiện có với staged rollout, và mỗi PR đều có explanation rõ ràng về projected impact. Kết quả là adoption scale được qua hàng nghìn service.