[Google Engineering Blog] Speeding Up AI: Bringing Google Colossus to PyTorch via GCSFS and Rapid Bucket
Nguồn: Google Engineering Blog Tóm tắt Google công bố tích hợp Rapid Storage — dựa trên kiến trúc lưu trữ Colossus (cùng hệ thống file system vận hành YouTube và Google Search) — trực tiếp vào PyTorch ecosystem thông qua giao diện chuẩn fsspec. Rapid Bucket là giải pháp high-performance object storage trong dedicated zonal buckets, thay thế legacy REST API bằng persistent gRPC bidirectional streams, đạt throughput 15+ TiB/s, latency dưới 1ms cho random reads/appends, và 20M+ QPS....