Nguồn: Cloudflare Engineering
Tóm tắt
Vectorize là cơ sở dữ liệu vector phân tán được Cloudflare xây dựng trực tiếp trên nền tảng Developer Platform của mình, cho phép các nhà phát triển lưu trữ và tìm kiếm vector embeddings với độ trễ thấp tại edge. Cơ sở dữ liệu này được thiết kế đặc biệt để hỗ trợ các ứng dụng AI và machine learning, nơi việc tìm kiếm ngữ nghĩa và tìm kiếm tương đồng (similarity search) là các thao tác cốt lõi.
Kiến trúc của Vectorize tận dụng cơ sở hạ tầng toàn cầu của Cloudflare để lưu trữ và phân phối dữ liệu vector trên hàng nghìn điểm hiện diện (PoPs) trên toàn thế giới. Mỗi index được phân mảnh (sharded) và nhân bản (replicated) thông minh để đảm bảo cả hiệu suất tìm kiếm lẫn tính sẵn sàng cao. Thuật toán tìm kiếm láng giềng gần nhất xấp xỉ (Approximate Nearest Neighbor - ANN) được tối ưu hóa để hoạt động hiệu quả trong môi trường phân tán.
Việc xây dựng Vectorize trên Cloudflare Workers và Durable Objects mang lại nhiều lợi thế đáng kể. Durable Objects cung cấp tính nhất quán mạnh (strong consistency) cho các metadata và trạng thái của index, trong khi Workers cho phép xử lý các truy vấn tìm kiếm song song với quy mô lớn. Sự kết hợp này cho phép Vectorize đạt được sự cân bằng tối ưu giữa tính nhất quán dữ liệu và hiệu suất tìm kiếm.
Vectorize được tích hợp chặt chẽ với các sản phẩm khác trong hệ sinh thái Cloudflare, bao gồm Workers AI và R2. Điều này cho phép các nhà phát triển xây dựng các ứng dụng RAG (Retrieval-Augmented Generation) hoàn chỉnh mà không cần rời khỏi nền tảng Cloudflare. Mô hình định giá theo số lượng vector và truy vấn giúp chi phí trở nên dự đoán được và phù hợp với các workload có quy mô khác nhau.