End-to-End Correctness & Đạo đức dữ liệu — Tương lai data systems
Phân tích chương cuối DDIA: làm sao đảm bảo tính đúng đắn end-to-end trong distributed systems, và trách nhiệm đạo đức khi xây dựng data systems.
THE ENGINEERING JOURNAL
#ddia
Các bài viết về ddia.
Data Integration & Unbundling Databases — Tách database thành những chuyên gia nhỏ (DDIA)
Tìm hiểu khái niệm unbundling databases của Martin Kleppmann: thay vì database monolithic, hãy tách thành các chuyên gia riêng biệt kết nối qua stream
Stream Joins & Fault Tolerance — Join và xử lý lỗi stream (DDIA)
Tìm hiểu 3 kiểu stream join (stream-stream, stream-table, table-table) và cơ chế fault tolerance — checkpointing, exactly-once trong streaming (DDIA).
Event Streams, CDC & Event Sourcing — Cốt lõi stream processing (DDIA)
Tìm hiểu về Event Streams, Change Data Capture (CDC) và Event Sourcing — ba khái niệm quan trọng trong stream processing được trình bày trong DDIA chương 11.
Xử lý dữ liệu theo lô — Unix Philosophy & MapReduce (Designing Data-Intensive Applications)
Unix pipes và MapReduce — từ sort/grep/awk trên một máy đến MapReduce chạy trên cả cluster. Tìm hiểu triết lý xử lý dữ liệu theo lô trong DDIA.
Beyond MapReduce — Spark, Flink và thế hệ data processing mới (DDIA)
MapReduce ghi intermediate state ra disk giữa mỗi phase — đây là điểm yếu chí tử. Spark, Flink, Tez thay thế bằng DAG pipeline, xử lý trong memory, hỗ trợ cả batch lẫn streaming.
Unix Philosophy & MapReduce — Xử Lý Batch Trong Hệ Phân Tán (DDIA)
Unix pipes là nguồn cảm hứng cho MapReduce — cách các hệ thống batch processing xử lý dữ liệu quy mô lớn với triết lý đơn giản
Ordering Guarantees & Consensus — Total Order, 2PC, Raft và ZooKeeper (DDIA)
Khám phá các cơ chế ordering guarantees và consensus trong distributed systems: total order broadcast, 2PC, Raft consensus algorithm, và ZooKeeper.
Linearizability — Mô hình đồng nhất dữ liệu mạnh nhất (DDIA)
Linearizability là mô hình consistency mạnh nhất trong distributed systems. Tìm hiểu cách nó hoạt động, khi nào cần, và cái giá phải trả.
Unreliable Clocks & Byzantine Faults — Khi thời gian trong máy tính không còn đáng tin (DDIA)
Khám phá vấn đề đồng hồ không đáng tin và Byzantine faults trong distributed systems — hai thử thách lớn khi xây dựng hệ thống phân tán