Pipeline

Nguồn: Databricks Blog Tóm tắt Databricks thông báo Public Preview của Lakeflow Designer, công cụ giao diện đồ họa để xây dựng và quản lý data pipeline trong nền tảng Databricks. Đây là phần mở rộng của sản phẩm Lakeflow, bộ công cụ data engineering của Databricks tích hợp ETL và orchestration. Lakeflow Designer hướng đến việc đơn giản hóa việc xây dựng pipeline cho cả data engineer và analyst không có kinh nghiệm viết code Spark phức tạp....

Nguồn: Databricks Blog Tóm tắt Databricks giới thiệu tính năng AutoCDC from Snapshots, nhằm loại bỏ việc phải viết thủ công các pipeline Change Data Capture (CDC) phức tạp. Một senior data engineer từ công ty Fortune 500 cho biết 4 dòng code với AutoCDC đã thay thế được 1.500 dòng code tùy chỉnh mà họ đang duy trì trước đó. Change Data Capture (CDC) và Slowly Changing Dimensions (SCD) là nền tảng của các workload analytics và AI hiện đại — giúp giữ cho các bảng downstream luôn phản ánh dữ liệu vận hành đang thay đổi....