[Cloudflare Engineering] Cloudflare's AI Platform: an inference layer designed for agents
Nguồn: Cloudflare Engineering Tóm tắt Cloudflare công bố một unified inference layer — một API duy nhất để truy cập bất kỳ mô hình AI nào từ bất kỳ provider nào. Vấn đề đặt ra là phần lớn công ty đang dùng trung bình 3.5 mô hình từ nhiều provider khác nhau, nhưng không có provider nào cho cái nhìn tổng quan về chi phí AI. Với agent — vốn chain nhiều inference call — sự cố ở một provider có thể cascade thành hàng loạt lỗi downstream....