Nguồn: Airbnb Engineering Blog
Tóm tắt
Airbnb Engineering chia sẻ chi tiết về quá trình chuyển đổi pipeline metrics quy mô lớn từ hệ thống StatsD cũ sang OpenTelemetry kết hợp với VictoriaMetrics Agent (vmagent) và Prometheus. Đây là bài viết kỹ thuật chuyên sâu về observability infrastructure cho hệ thống phân tán ở quy mô hàng triệu sự kiện mỗi giây.
StatsD là giao thức metrics đã có từ lâu — đơn giản, nhẹ, nhưng thiếu nhiều tính năng cần thiết cho hệ thống hiện đại như tagging linh hoạt, sampling có cấu trúc, và khả năng tích hợp với các hệ thống observability theo chuẩn mở. Airbnb đã tích lũy technical debt đáng kể xung quanh hệ thống StatsD khi quy mô tăng trưởng. Migration sang OpenTelemetry cho phép chuẩn hóa format metric, giảm thiểu custom code, và tích hợp tốt hơn với hệ sinh thái CNCF.
VictoriaMetrics Agent (vmagent) được chọn làm trung gian thay vì dùng Prometheus trực tiếp vì hiệu năng tốt hơn trong việc scrape và remote write ở quy mô cao, đồng thời tiêu tốn ít resource hơn. Pipeline mới bao gồm: ứng dụng emit metrics theo chuẩn OpenTelemetry → vmagent scrape và forward → Prometheus/VictoriaMetrics storage → Grafana visualization. (Không thể truy cập toàn bộ nội dung bài do paywall Medium.)
Migration metrics pipeline ở quy mô lớn thường cần chiến lược dual-write trong giai đoạn chuyển tiếp để đảm bảo không mất dữ liệu và có thể rollback. Bài viết của Airbnb là tham khảo có giá trị cho các team đang cân nhắc chuyển đổi từ legacy metrics systems sang chuẩn OpenTelemetry.