具體描述
本書是涵蓋Apache Kafka各方麵的具有實踐指導意義的工具書和參考書。作者結閤典型的使用場景，對Kafka整個技術體係進行瞭較為全麵的講解，以便讀者能夠舉一反三，直接應用於實踐。同時，本書還對Kafka的設計原理及其流式處理組件進行瞭較深入的探討，並給齣瞭翔實的案例。 本書共分為10章：1章全麵介紹消息引擎係統以及Kafka的基本概念與特性，快速帶領讀者走進Kafka的世界；第2章簡要迴顧瞭Apache Kafka的發展曆史；第3章詳細介紹瞭Kafka集群環境的搭建；第4、5章深入探討瞭Kafka客戶端的使用方法；第6章帶領讀者一覽Kafka內部設計原理；第7~9章以實例的方式講解瞭Kafka集群的管理、監控與調優；10章介紹瞭Kafka新引入的流式處理組件。
第1章 認識Apache Kafka 1
1.1 Kafka快速入門 1
1.1.1 下載並解壓縮Kafka二進製代碼壓縮包文件 2
1.1.2 啓動服務器 3
1.1.3 創建topic 3
1.1.4 發送消息 4
1.1.5 消費消息 4
1.2 消息引擎係統 5
1.2.1 消息設計 6
1.2.2 傳輸協議設計 6
1.2.3 消息引擎範型 6
1.2.4 Java消息服務 8
1.3 Kafka概要設計 8
1.3.1 吞吐量/*時 8
1.3.2 消息*久化 11
1.3.3 負載均衡和故障轉移 12
1.3.4 伸縮性 13
1.4 Kafka基本概念與術語 13
1.4.1 消息 14
1.4.2 topic和partition 16
1.4.3 offset 17
1.4.4 replica 18
1.4.5 leader和follower 18
1.4.6 ISR 19
1.5 Kafka使用場景 20
1.5.1 消息傳輸 20
1.5.2 網站行為日誌追蹤 20
1.5.3 審計數據收集 20
1.5.4 日誌收集 20
1.5.5 Event Sourcing 21
1.5.6 流式處理 21
1.6 本章小結 21
第2章 Kafka發展曆史 22
2.1 Kafka的曆史 22
2.1.1 背景 22
2.1.2 Kafka橫空齣世 23
2.1.3 Kafka開源 24
2.2 Kafka版本變遷 25
2.2.1 Kafka的版本演進 25
2.2.2 Kafka的版本格式 26
2.2.3 新版本功能簡介 26
2.2.4 舊版本功能簡介 31
2.3 如何選擇Kafka版本 35
2.3.1 根據功能場景 35
2.3.2 根據客戶端使用場景 35
2.4 Kafka與Confluent 36
2.5 本章小結 37
第3章 Kafka綫上環境部署 38
3.1 集群環境規劃 38
3.1.1 操作係統的選型 38
3.1.2 磁盤規劃 40
3.1.3 磁盤容量規劃 42
3.1.4 內存規劃 43
3.1.5 CPU規劃 43
3.1.6 帶寬規劃 44
3.1.7 典型綫上環境配置 45
3.2 僞分布式環境安裝 45
3.2.1 安裝Java 46
3.2.2 安裝ZooKeeper 47
3.2.3 安裝單節點Kafka集群 48
3.3 多節點環境安裝 49
3.3.1 安裝多節點ZooKeeper集群 50
3.3.2 安裝多節點Kafka 54
3.4 驗證部署 55
3.4.1 測試topic創建與刪除 55
3.4.2 測試消息發送與消費 57
3.4.3 生産者吞吐量測試 58
3.4.4 消費者吞吐量測試 58
3.5 參數設置 59
3.5.1 broker端參數 59
3.5.2 topic級彆參數 62
3.5.3 GC參數 63
3.5.4 JVM參數 64
3.5.5 OS參數 64
3.6 本章小結 65
第4章 producer開發 66
4.1 producer概覽 66
4.2 構造producer 69
4.2.1 producer程序實例 69
4.2.2 producer主要參數 75
4.3 消息分區機製 80
4.3.1 分區策略 80
4.3.2 自定義分區機製 80
4.4 消息序列化 83
4.4.1 默認序列化 83
4.4.2 自定義序列化 84
4.5 producer攔截器 87
4.6 無消息丟失配置 90
4.6.1 producer端配置 91
4.6.2 broker端配置 92
4.7 消息壓縮 92
4.7.1 Kafka支持的壓縮算法 93
4.7.2 算法性能比較與調優 93
4.8 多綫程處理 95
4.9 舊版本producer 96
4.10 本章小結 98
第5章 consumer開發 99
5.1 consumer概覽 99
5.1.1 消費者（consumer） 99
5.1.2 消費者組（consumer group） 101
5.1.3 位移（offset） 102
5.1.4 位移提交 103
5.1.5 __consumer_offsets 104
5.1.6 消費者組重平衡（consumer group rebalance） 106
5.2 構建consumer 106
5.2.1 consumer程序實例 106
5.2.2 consumer腳本命令 111
5.2.3 consumer主要參數 112
5.3 訂閱topic 115
5.3.1 訂閱topic列錶 115
5.3.2 基於正則錶達式訂閱topic 115
5.4 消息輪詢 115
5.4.1 poll內部原理 115
5.4.2 poll使用方法 116
5.5 位移管理 118
5.5.1 consumer位移 119
5.5.2 新版本consumer位移管理 120
5.5.3 自動提交與手動提交 121
5.5.4 舊版本consumer位移管理 123
5.6 重平衡（rebalance） 123
5.6.1 rebalance概覽 123
5.6.2 rebalance觸發條件 124
5.6.3 rebalance分區分配 124
5.6.4 rebalance generation 126
5.6.5 rebalance協議 126
5.6.6 rebalance流程 127
5.6.7 rebalance監聽器 128
5.7 解序列化 130
5.7.1 默認解序列化器 130
5.7.2 自定義解序列化器 131
5.8 多綫程消費實例 132
5.8.1 每個綫程維護一個KafkaConsumer 133
5.8.2 單KafkaConsumer實例+多worker綫程 135
5.8.3 兩種方法對比 140
5.9 獨立consumer 141
5.10 舊版本consumer 142
5.10.1 概覽 142
5.10.2 high-level consumer 143
5.10.3 low-level consumer 147
5.11 本章小結 153
第6章 Kafka設計原理 154
6.1 broker端設計架構 154
6.1.1 消息設計 155
6.1.2 集群管理 166
6.1.3 副本與ISR設計 169
6.1.4 水印（watermark）和leader epoch 174
6.1.5 日誌存儲設計 185
6.1.6 通信協議（wire protocol） 194
6.1.7 controller設計 205
6.1.8 broker請求處理 216
6.2 producer端設計 219
6.2.1 producer端基本數據結構 219
6.2.2 工作流程 220
6.3 consumer端設計 223
6.3.1 consumer group狀態機 223
6.3.2 group管理協議 226
6.3.3 rebalance場景剖析 227
6.4 實現*確一次處理語義 230
6.4.1 消息交付語義 230
6.4.2 冪等性producer（idempotent producer） 231
6.4.3 事務（transaction） 232
6.5 本章小結 234
第7章 管理Kafka集群 235
... ...
用戶評價
評分
評分
評分
評分
評分
評分
評分
評分
相關圖書
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2025 book.tinynews.org All Rights Reserved. 静思书屋 版权所有