Kafka ”恰好一次（Exactly-once）”的資料送達保證

摘要：

Apache Kafka 作為串流計算中普及率最高的底層訊息平台, 現在己經有愈來愈多 mission-critical 的應用程式或系統使用 Kafka 來做為訊息收集、處理或發佈的主要核心元件。因此原有 Kafka 的 ”至少一次(At-least once)” 的消息傳遞語義可能導致資料 duplicate 的現象持續被社群與企業用戶熱烈討論與企求改善。在這次演講中，我們介紹 Kafka 最近開始支援的 ”恰好一次（Exactly-once）” 消息傳遞語義，包括支持 Kafka Java client 的冪等(idempotence)和交易(transaction) API。主要關注點將是 Kafka 分佈式事務啟用的特定語義以及允許它們被有效擴展的底層機制。我們將討論 Kafka 在標準兩階段提交協議上的旋轉，如何維護和復制事務狀態以及如何處理不同的故障場景！這個場次超級~超級~geek (也很催眠) 的啦!

講者簡介：

緯創資通(Wistron)員工。在緯創創立「緯創IT先進技術實驗室(witlab)」、並於緯創協助導入 Elasticsearch、MQTT、Apache Spark、Apache Flink、Apache Kafka、Keras 與 Tensorflow ..等等在生產流程的應用及整合。

• ← The Apache Way: A Proven Way Toward Success
• What Makes a Modern Stream Processor: the Science behind Apache Flink →