https://news.dhphong.com/tags/kv-cache/ Recent content in Kv-Cache on Tech News Feed Hugo -- 0.131.0 vi Sat, 18 Apr 2026 00:02:31 +0700 https://news.dhphong.com/posts/2026-04-17-nvidia-dynamo-agentic-inference-optimization/ Sat, 18 Apr 2026 00:02:31 +0700 https://news.dhphong.com/posts/2026-04-17-nvidia-dynamo-agentic-inference-optimization/ Nguồn: NVIDIA Developer Blog Tóm tắt Các coding agent như Claude Code và Codex đang tạo ra pattern sử dụng inference mới: mỗi session gửi hàng trăm API call mang toàn bộ lịch sử conversation, tạo ra áp lực cực lớn lên KV cache. Stripe hiện có agent tạo 1.300+ PR mỗi tuần; Ramp cho biết 30% PR được merge đến từ agent — đây là workload thực tế mà infrastructure cần phục vụ ngay bây giờ.