Nguồn: ByteByteGo Newsletter
Tóm tắt
LinkedIn Feed phải phục vụ 1.3 tỷ users với nội dung personalized — một bài toán recommendation system ở scale khổng lồ. ByteByteGo phân tích cách LinkedIn đã tích hợp Large Language Models vào pipeline hiện có để cải thiện relevance mà không sacrifice latency.
Architecture tổng thể gồm nhiều layers: candidate retrieval (lọc hàng triệu posts xuống vài nghìn candidates), ranking (dùng LLMs để score candidates dựa trên user profile và engagement history), và serving (cache results và fallback mechanisms khi LLM latency không đáp ứng SLA). LLMs được dùng chủ yếu ở offline stages — không phải real-time inference cho mỗi request.
Một innovation quan trọng là LinkedIn sử dụng LLMs để generate “semantic embeddings” cho cả users và content, cho phép matching dựa trên ý nghĩa thay vì chỉ keyword overlap. Điều này cải thiện đáng kể việc tìm relevant content từ những connections xa hoặc topics mới mà user chưa từng engage. Bài viết cũng discuss trade-offs giữa embedding freshness và computation cost ở scale 1.3 tỷ users.