Nguồn: Cloudflare Engineering
Tóm tắt
Cloudflare đã hoàn thành một dự án kỹ thuật đầy tham vọng: thay thế NGINX — phần mềm web server truyền thống đã phục vụ hạ tầng Cloudflare trong nhiều năm — bằng một proxy server hoàn toàn mới được viết bằng Rust, có tên mã là Pingora. Quyết định này xuất phát từ những hạn chế cơ bản của kiến trúc NGINX trong việc đáp ứng quy mô và yêu cầu đặc thù của Cloudflare, đặc biệt là mô hình xử lý kết nối per-worker-process khiến việc chia sẻ tài nguyên giữa các kết nối trở nên kém hiệu quả.
Pingora được thiết kế với kiến trúc đa luồng (multi-threaded) sử dụng mô hình bất đồng bộ của Rust, cho phép tái sử dụng kết nối TCP và TLS hiệu quả hơn nhiều so với NGINX. Thay vì mỗi worker process duy trì connection pool riêng, Pingora cho phép tất cả các luồng xử lý chia sẻ chung một pool kết nối tới các origin server. Kết quả là số lượng kết nối mới cần thiết giảm đáng kể — theo công bố của Cloudflare, lên đến 87.5% — tiết kiệm tài nguyên đáng kể cho cả Cloudflare lẫn các origin server của khách hàng.
Về bảo mật, việc sử dụng Rust loại bỏ hoàn toàn một lớp lỗ hổng liên quan đến quản lý bộ nhớ (memory safety bugs) — nguyên nhân của phần lớn các CVE nghiêm trọng trong phần mềm hệ thống truyền thống. Rust’s borrow checker đảm bảo tại thời điểm biên dịch rằng không có các lỗi phổ biến như buffer overflow, use-after-free hay data race. Sau khi triển khai Pingora trên toàn bộ mạng lưới, Cloudflare ghi nhận cải thiện đáng kể về độ trễ (latency), tăng throughput và giảm thiểu lỗi kết nối, với ước tính rằng sự nâng cấp này ảnh hưởng tích cực đến khoảng 20% lưu lượng Internet toàn cầu đi qua hạ tầng Cloudflare.