Nguồn: Databricks Blog
Tóm tắt
Bài viết từ Databricks trình bày kiến trúc end-to-end của hệ thống product search real-time, lấy ví dụ từ marketplace bán ô tô — nơi trong mili-giây phải trả về kết quả phù hợp ngân sách, vị trí địa lý, sở thích người dùng và mức độ liên quan. Đây không phải là lookup đơn giản mà là “real-time decision engine” cân bằng giữa revenue, click-through rate, latency và relevance.
Kiến trúc được chia thành ba giai đoạn chính: Ingestion (chuẩn bị dữ liệu sản phẩm — xử lý title, description, attributes thành embeddings và index), Retrieval (tìm candidate set dùng full-text, semantic hoặc hybrid search kết hợp structured filtering), và Refinement (query understanding, ranking logic, personalization và business rules). Databricks sử dụng stack nội bộ: Lakeflow cho data ingestion, Vector Search cho retrieval, Lakebase (OLTP) cho operational data và Agent Bricks cho AI-powered search experience.
Điểm đáng chú ý về infrastructure: hệ thống này yêu cầu kết hợp nhiều loại database khác nhau — vector store cho semantic search, OLTP cho real-time operational data (giá, tồn kho, vị trí), và data lake cho analytics. Việc orchestrate các layer này để đáp ứng latency yêu cầu của product search là thách thức chính, đặc biệt khi cần personalization theo từng user.
Bài viết cũng nhấn mạnh vai trò của metrics discipline: infrastructure mạnh chưa đủ, cần liên tục validate rằng kết quả search thực sự relevant thông qua A/B testing và offline evaluation. Đây là pattern phổ biến trong production ML system — engineering và product metric cần được align chặt chẽ để tránh tối ưu hóa sai chỉ số.