Nguồn: Bytebytego
Tóm tắt
Bài viết EP212 của ByteByteGo cung cấp một cái nhìn tổng quan về ba mô hình lưu trữ và quản lý dữ liệu phổ biến: Data Warehouse, Data Lake và Data Mesh. Lưu trữ dữ liệu là phần dễ thực hiện, nhưng quyết định nơi và cách tổ chức dữ liệu mới là thách thức thực sự trong các hệ thống quy mô lớn.
Data Warehouse là kho dữ liệu có cấu trúc cao, được tối ưu cho truy vấn phân tích (OLAP). Dữ liệu được làm sạch và biến đổi trước khi lưu (schema-on-write), phù hợp cho các báo cáo BI và analytics truyền thống.
Data Lake lưu trữ dữ liệu thô ở bất kỳ định dạng nào (structured, semi-structured, unstructured) với chi phí thấp. Schema được áp dụng khi đọc (schema-on-read), mang lại sự linh hoạt nhưng đòi hỏi quản lý metadata cẩn thận để tránh trở thành “data swamp”.
Data Mesh là mô hình phi tập trung, trong đó các domain team sở hữu và quản lý dữ liệu của mình như sản phẩm (data-as-a-product). Cách tiếp cận này giải quyết vấn đề bottleneck của các data platform tập trung trong tổ chức quy mô lớn, nhưng đòi hỏi văn hóa tổ chức và công cụ quản trị (governance) phù hợp. Ngoài ra, bài còn bao gồm các khái niệm API như polling, long polling, webhooks, SSE và sự khác biệt giữa SLA/SLO/SLI.