[Bytebytego] How LinkedIn Feed Uses LLMs to Serve 1.3 Billion Users
Nguồn: ByteByteGo Newsletter Tóm tắt LinkedIn Feed phải phục vụ 1.3 tỷ users với nội dung personalized — một bài toán recommendation system ở scale khổng lồ. ByteByteGo phân tích cách LinkedIn đã tích hợp Large Language Models vào pipeline hiện có để cải thiện relevance mà không sacrifice latency. Architecture tổng thể gồm nhiều layers: candidate retrieval (lọc hàng triệu posts xuống vài nghìn candidates), ranking (dùng LLMs để score candidates dựa trên user profile và engagement history), và serving (cache results và fallback mechanisms khi LLM latency không đáp ứng SLA)....