Nguồn: Engineering at Meta
Tóm tắt
Meta đã tái kiến trúc Facebook Groups Search từ hệ thống keyword-based truyền thống sang kiến trúc hybrid retrieval kết hợp tìm kiếm lexical và semantic. Ba điểm ma sát chính được xác định: discovery (hệ thống keyword bỏ sót content do mismatch ngôn ngữ tự nhiên), consumption (người dùng phải đọc nhiều comment để tìm consensus), và validation (khó khai thác trí tuệ tập thể để đưa ra quyết định mua sắm).
Kiến trúc hybrid retrieval chạy hai pipeline song song. Pipeline lexical sử dụng Unicorn — Facebook’s inverted index — để fetch post có từ khóa chính xác, đảm bảo precision cao cho proper noun và quoted phrase. Pipeline semantic sử dụng search semantic retriever (SSR), một model 12 layers 200 triệu tham số, encode query thành dense vector và thực hiện approximate nearest neighbor (ANN) search trên Faiss vector index của group posts. Hai kết quả được merge và re-rank bởi một MTML (Multi-Task Multi-Label) supermodel tối ưu đồng thời cho clicks, shares, và comments.
Thách thức validation được giải quyết bằng automated evaluation sử dụng Llama 3 làm judge. Thay vì binary “good/bad”, hệ thống nhận biết category “somewhat relevant” — ví dụ hai môn thể thao khác nhau vẫn relevant trong context thể thao chung. Framework này tích hợp vào BVT (build verification test) pipeline, cho phép validate quality ở scale mà không cần human labeling cho mọi thay đổi.
Kết quả triển khai cho thấy cải thiện rõ ràng trong search engagement so với baseline keyword-only. Meta đang tiếp tục tích hợp luồng Facebook Marketplace để người dùng có thể validate quyết định mua sắm bằng community knowledge từ các specialized groups.