Metrics

Nguồn: Discord Engineering Tóm tắt Discord chia sẻ kinh nghiệm tái cấu trúc hệ thống metrics trong A/B testing để cải thiện chất lượng kết quả thực nghiệm. Vấn đề cốt lõi: khi số lượng metrics trong một experiment tăng lên, việc áp dụng Benjamini-Hochberg (BH) correction để kiểm soát false discovery rate buộc phải điều chỉnh ngưỡng p-value nghiêm ngặt hơn, dẫn đến recall giảm — tức là nhiều biến động thật sự bị bỏ qua....