深入理解Spark：核心思想與源碼分析 pdf epub mobi txt 電子書 下載 2025

簡體網頁||繁體網頁

☆☆☆☆☆

耿嘉安 著

圖書標籤:

• Spark
• 大數據
• 分布式計算
• Scala
• 源碼分析
• 技術深度
• 數據處理
• 集群計算
• 性能優化
• 數據分析

齣版社： 機械工業齣版社

ISBN：9787111522348

版次：1

商品編碼：11846120

品牌：機工齣版

包裝：平裝

叢書名： 大數據技術叢書

開本：16開

齣版時間：2016-01-01

用紙：膠版紙

頁數：469

編輯推薦

　　

　　阿裏巴巴集團專傢鼎力推薦，阿裏巴巴資深Java開發和大數據專傢撰寫

　　結閤大量圖和示例，對Spark的核心模塊、部署和協作模塊的實現原理與使用技巧進行瞭深入的剖析與解讀

　　本書特色：

　　按照源碼分析的習慣設計，條分縷析。

　　多圖、多示例，幫讀者快速在頭腦中“建模”。

　　原理與實現剖析，幫助讀者提升架構設計、程序設計等方麵的能力。

　　盡可能保留較多的源碼，方便離綫和移動環境的閱讀。

　　

內容簡介

　　

　　本書對Spark源代碼進行瞭全麵而深入的分析，旨在為Spark的優化、定製和擴展提供原理性的指導。阿裏巴巴集團專傢鼎力推薦，阿裏巴巴資深Java開發和大數據專傢撰寫。本書對Spark的核心模塊、部署和協作模塊的實現原理與使用技巧進行瞭深入的剖析與解讀。

　　本書分為三篇：

　　準備篇（第1～2章），介紹瞭Spark的環境搭建、設計理念與基本架構，幫助讀者瞭解一些背景知識。

　　核心設計篇（第3～7章），著重講解SparkContext的初始化、存儲體係、任務提交與執行、計算引擎及部署模式的原理和源碼分析。通過這部分的內容，讀者可以通過源碼剖析更加深入理解Spark的核心設計與實現，以便在實際使用中能夠快速解決綫上問題並對性能進行調優。

　　擴展篇（第8～11章），主要講解基於Spark核心的各種擴展及應用，包括SQL處理引擎、Hive處理、流式計算框架Spark Streaming、圖計算框架GraphX、機器學習庫MLlib等內容。通過閱讀這部分內容，讀者可以擴展實際項目中對Spark的應用場景，讓Spark煥發活力。

作者簡介

　　耿嘉安，10年IT行業相關經驗。就職於阿裏巴巴商傢業務事業部，任資深Java工程師，專注於開源和大數據領域，目前與小夥伴們基於ODPS構建阿裏的大數據商業解決方案——禦膳房。在大量的工作實踐中，對J2EE、JVM、Tomcat、Spring、Hadoop、Spark、MySQL、Redis都有深入研究，尤其喜歡剖析開源項目的源碼實現。早期從事J2EE企業級應用開發，對Java相關技術有獨到見解。業餘時間喜歡研究中國古代曆史，古詩詞，旅遊，足球等。

精彩書評

　　

　　伴隨著互聯網的不斷演進，人類所麵臨的數據在體量，産生速度和多樣性方麵階躍性發展，隨之而來的是數據計算和處理方式的多樣化，目前越來越多的數據處理鏈路是通過多種計算組閤而成，例如批量與流式計算，圖計算，交互式查詢等。而以往幾個獨立計算係統“物理”拼裝組閤成的復雜係統在處理這些問題時，往往在成本和效率上産生瓶頸。Spark從迭代計算的數據復用切入，底層一個runtime來支撐多種計算模型，越來越受到業界的重視，社區發展非常迅速。而本書從源碼分析角度深入剖析係統，希望讀者不僅做到知其然，更要知其所以然，對Spark有更加深入的研究。本書作者在相關領域有多年豐富的實踐和應用經驗，相信通過研讀本書必定可以給讀者帶來事半功倍的效果。

　　——強琦　阿裏雲計算平颱資深技術專傢
　　
　　

　　這是一本不錯的Spark的入門書籍，完全從工程師的視角齣發，從安裝到使用再到高階應用。有些時候甚至有些囉嗦，但這不正是我們讀者需要的麼？作者用他專一的一綫工程師視角與在阿裏麵臨的場景結閤，寫作的落筆相當接地氣。這是一本難得的工程師參考用書。

　　——張茂森　阿裏巴巴商傢業務事業部資深數據挖掘專傢

目錄

前言
準　備　篇
第1章　環境準備2
1.1　運行環境準備2
1.1.1　安裝JDK3
1.1.2　安裝Scala3
1.1.3　安裝Spark4
1.2　Spark初體驗4
1.2.1　運行spark-shell4
1.2.2　執行word count5
1.2.3　剖析spark-shell7
1.3　閱讀環境準備11
1.4　Spark源碼編譯與調試13
1.5　小結17
第2章　Spark設計理念與基本架構18
2.1　初識Spark18
2.1.1　Hadoop MRv1的局限18
2.1.2　Spark使用場景20
2.1.3　Spark的特點20
2.2　Spark基礎知識20
2.3　Spark基本設計思想22
2.3.1　Spark模塊設計22
2.3.2　Spark模型設計24
2.4　Spark基本架構25
2.5　小結26
核心設計篇
第3章　SparkContext的初始化28
3.1　SparkContext概述28
3.2　創建執行環境SparkEnv30
3.2.1　安全管理器SecurityManager31
3.2.2　基於Akka的分布式消息係統ActorSystem31
3.2.3　map任務輸齣跟蹤器mapOutputTracker32
3.2.4　實例化ShuffleManager34
3.2.5　shuffle綫程內存管理器ShuffleMemoryManager34
3.2.6　塊傳輸服務BlockTransferService35
3.2.7　BlockManagerMaster介紹35
3.2.8　創建塊管理器BlockManager36
3.2.9　創建廣播管理器Broadcast-Manager36
3.2.10　創建緩存管理器CacheManager37
3.2.11　HTTP文件服務器HttpFile-Server37
3.2.12　創建測量係統MetricsSystem39
3.2.13　創建SparkEnv40
3.3　創建metadataCleaner41
3.4　SparkUI詳解42
3.4.1　listenerBus詳解43
3.4.2　構造JobProgressListener46
3.4.3　SparkUI的創建與初始化47
3.4.4　Spark UI的頁麵布局與展示49
3.4.5　SparkUI的啓動54
3.5　Hadoop相關配置及Executor環境變量54
3.5.1　Hadoop相關配置信息54
3.5.2　Executor環境變量54
3.6　創建任務調度器TaskScheduler55
3.6.1　創建TaskSchedulerImpl55
3.6.2　TaskSchedulerImpl的初始化57
3.7　創建和啓動DAGScheduler57
3.8　TaskScheduler的啓動60
3.8.1　創建LocalActor60
3.8.2　ExecutorSource的創建與注冊62
3.8.3　ExecutorActor的構建與注冊64
3.8.4　Spark自身ClassLoader的創建64
3.8.5　啓動Executor的心跳綫程66
3.9　啓動測量係統MetricsSystem69
3.9.1　注冊Sources70
3.9.2　注冊Sinks70
3.9.3　給Sinks增加Jetty的Servlet-ContextHandler71
3.10　創建和啓動ExecutorAllocation-Manager72
3.11　ContextCleaner的創建與啓動73
3.12　Spark環境更新74
3.13　創建DAGSchedulerSource和BlockManagerSource76
3.14　將SparkContext標記為激活77
3.15　小結78
第4章　存儲體係79
4.1　存儲體係概述79
4.1.1　塊管理器BlockManager的實現79
4.1.2　Spark存儲體係架構81
4.2　shuffle服務與客戶端83
4.2.1　Block的RPC服務84
4.2.2　構造傳輸上下文Transpor-tContext85
4.2.3　RPC客戶端工廠Transport-ClientFactory86
4.2.4　Netty服務器TransportServer87
4.2.5　獲取遠程shuffle文件88
4.2.6　上傳shuffle文件89
4.3　BlockManagerMaster對Block-Manager的管理90
4.3.1　BlockManagerMasterActor90
4.3.2　詢問Driver並獲取迴復方法92
4.3.3　嚮BlockManagerMaster注冊BlockManagerId93
4.4　磁盤塊管理器DiskBlockManager94
4.4.1　DiskBlockManager的構造過程94
4.4.2　獲取磁盤文件方法getFile96
4.4.3　創建臨時Block方法create-TempShuffleBlock96
4.5　磁盤存儲DiskStore97
4.5.1　NIO讀取方法getBytes97
4.5.2　NIO寫入方法putBytes98
4.5.3　數組寫入方法putArray98
4.5.4　Iterator寫入方法putIterator98
4.6　內存存儲MemoryStore99
4.6.1　數據存儲方法putBytes101
4.6.2　Iterator寫入方法putIterator詳解101
4.6.3　安全展開方法unrollSafely102
4.6.4　確認空閑內存方法ensureFreeSpace105
4.6.5　內存寫入方法putArray107
4.6.6　嘗試寫入內存方法tryToPut108
4.6.7　獲取內存數據方法getBytes109
4.6.8　獲取數據方法getValues110
4.7　Tachyon存儲TachyonStore110
4.7.1　Tachyon簡介111
4.7.2　TachyonStore的使用112
4.7.3　寫入Tachyon內存的方法putIntoTachyonStore113
4.7.4　獲取序列化數據方法getBytes113
4.8　塊管理器BlockManager114
4.8.1　移齣內存方法dropFrom-Memory114
4.8.2　狀態報告方法reportBlockStatus116
4.8.3　單對象塊寫入方法putSingle117
4.8.4　序列化字節塊寫入方法putBytes118
4.8.5　數據寫入方法doPut118
4.8.6　數據塊備份方法replicate121
4.8.7　創建DiskBlockObjectWriter的方法getDiskWriter125
4.8.8　獲取本地Block數據方法getBlockData125
4.8.9　獲取本地shuffle數據方法doGetLocal126
4.8.10　獲取遠程Block數據方法doGetRemote127
4.8.11　獲取Block數據方法get128
4.8.12　數據流序列化方法dataSerializeStream129
4.9　metadataCleaner和broadcastCleaner129
4.10　緩存管理器CacheManager130
4.11　壓縮算法133
4.12　磁盤寫入實現DiskBlockObjectWriter133
4.13　塊索引shuffle管理器IndexShuffleBlockManager135
4.14　shuffle內存管理器ShuffleMemoryManager137
4.15　小結138
第5章　任務提交與執行139
5.1　任務概述139
5.2　廣播Hadoop的配置信息142
5.3　RDD轉換及DAG構建144
5.3.1　為什麼需要RDD144
5.3.2　RDD實現分析146
5.4　任務提交152
5.4.1　任務提交的準備152
5.4.2　finalStage的創建與Stage的劃分157
5.4.3　創建Job163
5.4.4　提交Stage164
5.4.5　提交Task165
5.5　執行任務176
5.5.1　狀態更新176
5.5.2　任務還原177
5.5.3　任務運行178
5.6　任務執行後續處理179
5.6.1　計量統計與執行結果序列化179
5.6.2　內存迴收180
5.6.3　執行結果處理181
5.7　小結187
第6章　計算引擎188
6.1　迭代計算188
6.2　什麼是shuffle192
6.3　map端計算結果緩存處理194
6.3.1　map端計算結果緩存聚閤195
6.3.2　map端計算結果簡單緩存200
6.3.3　容量限製201
6.4　map端計算結果持久化204
6.4.1　溢齣分區文件205
6.4.2排序與分區分組207
6.4.3　分區索引文件209
6.5　reduce端讀取中間計算結果210
6.5.1　獲取map任務狀態213
6.5.2　劃分本地與遠程Block215
6.5.3　獲取遠程Block217
6.5.4　獲取本地Block218
6.6　reduce端計算219
6.6.1　如何同時處理多個map任務的中間結果219
6.6.2　reduce端在緩存中對中間計算結果執行聚閤和排序220
6.7　map端與reduce端組閤分析221
6.7.1　在map端溢齣分區文件，在reduce端閤並組閤221
6.7.2　在map端簡單緩存、排序分組，在reduce端閤並組閤222
6.7.3　在map端緩存中聚閤、排序分組，在reduce端組閤222
6.8　小結223
第7章　部署模式224
7.1　local部署模式225
7.2　local-cluster部署模式225
7.2.1　LocalSparkCluster的啓動226
7.2.2　CoarseGrainedSchedulerBackend的啓動236
7.2.3　啓動AppClient237
7.2.4　資源調度242
7.2.5　local-cluster模式的任務執行253
7.3　Standalone部署模式255
7.3.1　啓動Standalone模式255
7.3.2　啓動Master分析257
7.3.3　啓動Worker分析259
7.3.4　啓動Driver Application分析261
7.3.5　Standalone模式的任務執行263
7.3.6　資源迴收263
7.4　容錯機製266
7.4.1　Executor異常退齣266
7.4.2　Worker異常退齣268
7.4.3　Master異常退齣269
7.5　其他部署方案276
7.5.1　YARN277
7.5.2　Mesos280
7.6　小結282
擴　展　篇
第8章　Spark SQL284
8.1　Spark SQL總體設計284
8.1.1　傳統關係型數據庫SQL運行原理285
8.1.2　Spark SQL運行架構286
8.2　字典錶Catalog288
8.3　Tree和TreeNode289
8.4　詞法解析器Parser的設計與實現293
8.4.1　SQL語句解析的入口294
8.4.2　建錶語句解析器DDLParser295
8.4.3　SQL語句解析器SqlParser296
8.4.4　Spark代理解析器SparkSQLParser299
8.5　Rule和RuleExecutor300
8.6　Analyzer與Optimizer的設計與實現302
8.6.1　語法分析器Analyzer304
8.6.2　優化器Optimizer305
8.7　生成物理執行計劃306
8.8　執行物理執行計劃308
8.9　Hive311
8.9.1　Hive SQL語法解析器311
8.9.2　Hive SQL元數據分析313
8.9.3　Hive SQL物理執行計劃314
8.10　應用舉例：JavaSparkSQL314
8.11　小結320
第9章　流式計算321
9.1　Spark Streaming總體設計321
9.2　StreamingContext初始化323
9.3　輸入流接收器規範Receiver324
9.4　數據流抽象DStream325
9.4.1　Dstream的離散化326
9.4.2　數據源輸入流InputDStream327
9.4.3　Dstream轉換及構建DStream Graph329
9.5　流式計算執行過程分析330
9.5.1　流式計算例子CustomReceiver331
9.5.2　Spark Streaming執行環境構建335
9.5.3　任務生成過程347
9.6　窗口操作355
9.7　應用舉例357
9.7.1　安裝mosquitto358
9.7.2　啓動mosquitto358
9.7.3　MQTTWordCount359
9.8　小結361
第10章　圖計算362
10.1　Spark GraphX總體設計362
10.1.1　圖計算模型363
10.1.2　屬性圖365
10.1.3　GraphX的類繼承體係367
10.2　圖操作368
10.2.1　屬性操作368
10.2.2　結構操作368
10.2.3　連接操作369
10.2.4　聚閤操作370
10.3　Pregel API371
10.3.1　Dijkstra算法373
10.3.2　Dijkstra的實現376
10.4　Graph的構建377
10.4.1　從邊的列錶加載Graph377
10.4.2　在Graph中創建圖的方法377
10.5　頂點集閤抽象VertexRDD378
10.6　邊集閤抽象EdgeRDD379
10.7　圖分割380
10.8　常用算法382
10.8.1　網頁排名382
10.8.2　Connected Components的應用386
10.8.3　三角關係統計388
10.9　應用舉例390
10.10　小結391
第11章　機器學習392
11.1機器學習概論392
11.2　Spark MLlib總體設計394
11.3　數據類型394
11.3.1　局部嚮量394
11.3.2標記點395
11.3.3局部矩陣396
11.3.4分布式矩陣396
11.4基礎統計398
11.4.1摘要統計398
11.4.2相關統計399
11.4.3分層抽樣401
11.4.4假設檢驗401
11.4.5隨機數生成402
11.5分類和迴歸405
11.5.1數學公式405
11.5.2綫性迴歸407
11.5.3分類407
11.5.4迴歸410
11.6決策樹411
11.6.1基本算法411
11.6.2使用例子412
11.7隨機森林413
11.7.1基本算法414
11.7.2使用例子414
11.8梯度提升決策樹415
11.8.1基本算法415
11.8.2使用例子416
11.9樸素貝葉斯416
11.9.1算法原理416
11.9.2使用例子418
11.10保序迴歸418
11.10.1算法原理418
11.10.2使用例子419
11.11協同過濾419
11.12聚類420
11.12.1K-means420
11.12.2高斯混閤422
11.12.3快速迭代聚類422
11.12.4latent Dirichlet allocation422
11.12.5流式K-means423
11.13維數減縮424
11.13.1奇異值分解424
11.13.2主成分分析425
11.14特徵提取與轉型425
11.14.1術語頻率反轉425
11.14.2單詞嚮量轉換426
11.14.3標準尺度427
11.14.4正規化尺度428
11.14.5卡方特徵選擇器428
11.14.6Hadamard積429
11.15頻繁模式挖掘429
11.16預言模型標記語言430
11.17管道431
11.17.1管道工作原理432
11.17.2管道API介紹433
11.17.3交叉驗證435
11.18小結436
附錄A　Utils437
附錄B　Akka446
附錄C　Jetty450
附錄D　Metrics453
附錄E　Hadoop word count456
附錄F　CommandUtils458
附錄G　Netty461
附錄H　源碼編譯錯誤465

前言/序言

　　Preface 前言為什麼寫這本書要迴答這個問題，需要從我個人的經曆說起。說來慚愧，我第一次接觸計算機是在高三。當時跟大傢一起去網吧玩CS，跟身邊的同學學怎麼“玩”。正是通過這種“玩”的過程，讓我瞭解到計算機並沒有那麼神秘，它也隻是颱機器，用起來似乎並不比打開電視機費勁多少。高考填誌願的時候，憑著直覺“糊裏糊塗”就選擇瞭計算機專業。等到真正學習計算機課程的時候卻又發現，它其實很難！
　　早在2004年，還在學校的我跟很多同學一樣，喜歡看Flash，也喜歡談論Flash甚至做Flash。感覺Flash正如它的名字那樣“閃光”。那些年，在學校裏，知道Flash的人可要比知道Java的人多得多，這說明當時的Flash十分火熱。此外，Oracle也成為關係型數據庫裏的領軍人物，很多人甚至覺得懂Oracle要比懂Flash、Java及其他數據庫要厲害得多！
　　2007年，我剛剛參加工作不久。那時Struts1、Spring、Hibernate幾乎可以稱為那些用Java作為開發語言的軟件公司的三駕馬車。很快，Struts2替代瞭Struts1的地位，讓我第一次意識到IT領域的技術更新竟然如此之快！隨著很多傳統軟件公司嚮互聯網公司轉型，Hibernate也難以確保其地位，iBATIS誕生瞭！
　　2010年，有關Hadoop的技術圖書湧入中國，當時很多公司用它隻是為瞭數據統計、數據挖掘或者搜索。一開始，人們對於Hadoop的認識和使用可能相對有限。大約2011年的時候，關於雲計算的概念在網上炒得火熱，當時依然在做互聯網開發的我，對其隻是“道聽途說”。後來跟同事藉瞭一本有關雲計算的書，迴傢挑著看瞭一些內容，也沒什麼收獲，悵然若失！20世紀60年代，美國的軍用網絡作為互聯網的雛形，很多內容已經與雲計算中的某些說法類似。到20世紀80年代，互聯網就已經啓用瞭雲計算，如今為什麼又要重提這樣的概念？這個問題我可能迴答不瞭，還是交給曆史吧。
　　2012年，國內又呈現齣大數據熱的態勢。從國傢到媒體、教育、IT等幾乎所有領域，人人都在談大數據。我的親戚朋友中，無論老師、銷售人員，還是工程師們都可以針對大數據談談自己的看法。我也找來一些Hadoop的書籍進行學習，希望能在其中探索到大數據的奧妙。
　　有幸在工作過程中接觸到阿裏的開放數據處理服務（open data processing service，ODPS），並且基於ODPS與其他小夥伴一起構建阿裏的大數據商業解決方案—禦膳房。去杭州齣差的過程中，有幸認識和仲，跟他學習瞭阿裏的實時多維分析平颱—Garuda和實時計算平颱—Galaxy的部分知識。和仲推薦我閱讀Spark的源碼，這樣會對實時計算及流式計算有更深入的瞭解。2015年春節期間，自己初次上網查閱Spark的相關資料學習，開始研究Spark源碼。還記得那時隻是齣於對大數據的熱愛，想使自己在這方麵的技術能力有所提升。
　　從閱讀Hibernate源碼開始，到後來閱讀Tomcat、Spring的源碼，我也在從學習源碼的過程中成長，我對源碼閱讀也越來越感興趣。隨著對Spark源碼閱讀的深入，發現很多內容從網上找不到答案，隻能自己“硬啃”瞭。隨著自己的積纍越來越多，突然有一天發現，我所總結的這些內容好像可以寫成一本書瞭！從閃光（Flash）到火花（Spark），足足有11個年頭瞭。無論是Flash、Java，還是Spring、iBATIS，我一直扮演著一個追隨者，我接受這些書籍的洗禮，從未給予。如今我也是Spark的追隨者，不同的是，我不再隻想簡單攫取，還要給予。
　　最後還想說一下，2016年是我從事IT工作的第10個年頭，此書特彆作為送給自己的10周年禮物。
　　本書特色按照源碼分析的習慣設計，從腳本分析到初始化再到核心內容，最後介紹Spark的擴展內容。整個過程遵循由淺入深、由深到廣的基本思路。
　　本書涉及的所有內容都有相應的例子，以便於讀者對源碼的深入研究。
　　本書盡可能用圖來展示原理，加速讀者對內容的掌握。
　　本書講解的很多實現及原理都值得藉鑒，能幫助讀者提升架構設計、程序設計等方麵的能力。
　　本書盡可能保留較多的源碼，以便於初學者能夠在像地鐵、公交這樣的地方，也能輕鬆閱讀。
　　讀者對象源碼閱讀是一項苦差事，人力和時間成本都很高，尤其是對於Spark陌生或者剛剛開始學習的人來說，難度可想而知。本書盡可能保留源碼，使得分析過程不至於産生跳躍感，目的是降低大多數人的學習門檻。如果你是從事IT工作1～3年的新人或者是希望學習Spark核心知識的人，本書非常適閤你。如果你已經對Spark有所瞭解或者已經在使用它，還想進一步提高自己，那麼本書更適閤你。
　　如果你是一個開發新手，對Java、Linux等基礎知識不是很瞭解，那麼本書可能不太適閤你。如果你已經對Spark有深入的研究，本書也許可以作為你的參考資料。
　　總體說來，本書適閤以下人群：
　　想要使用Spark，但對Spark實現原理不瞭解，不知道怎麼學習的人；大數據技術愛好者，以及想深入瞭解Spark技術內部實現細節的人；有一定Spark使用基礎，但是不瞭解Spark技術內部實現細節的人；對性能優化和部署方案感興趣的大型互聯網工程師和架構師；開源代碼愛好者。喜歡研究源碼的同學可以從本書學到一些閱讀源碼的方式與方法。
　　本書不會教你如何開發Spark應用程序，隻是用一些經典例子演示。本書簡單介紹Hadoop MapReduce、Hadoop YARN、Mesos、Tachyon、ZooKeeper、HDFS、Amazon S3，但不會過多介紹這些框架的使用，因為市場上已經有豐富的這類書籍供讀者挑選。本書也不會過多介紹Scala、Java、Shell的語法，讀者可以在市場上選擇適閤自己的書籍閱讀。
　　如何閱讀本書本書分為三大部分（不包括附錄）：
　　準備篇（第1～2章），簡單介紹瞭Spark的環境搭建和基本原理，幫助讀者瞭解一些背景知識。
　　核心設計篇（第3～7章），著重講解SparkContext的初始化、存儲體係、任務提交與執行、計算引擎及部署模式的原理和源碼分析。
　　擴展篇（第8～11章），主要講解基於Spark核心的各種擴展及應用，包括：SQL處理引擎、Hive處理、流式計算框架Spark Streaming、圖計算框架GraphX、機器學習庫MLlib等內容。
　　本書最後還添加瞭幾個附錄，包括：附錄A介紹的Spark中最常用的工具類Utils；附錄B是Akka的簡介與工具類AkkaUtils的介紹；附錄C為Jetty的簡介和工具類JettyUtils的介紹；附錄D為Metrics庫的簡介和測量容器MetricRegistry的介紹；附錄E演示瞭Hadoop1.0版本中的word count例子；附錄F介紹瞭工具類CommandUtils的常用方法；附錄G是關於Netty的簡介和工具類NettyUtils的介紹；附錄H列舉瞭筆者編譯Spark源碼時遇到的問題及解決辦法。
　　為瞭降低讀者閱讀理解Spark源碼的門檻，本書盡可能保留源碼實現，希望讀者能夠懷著一顆好奇的心，Spark當前很火熱，其版本更新也很快，本書以Spark 1.2.3版本為主，有興趣的讀者也可按照本書的方式，閱讀Spark的最新源碼。
　　勘誤和支持本書內容很多，限於筆者水平有限，書中內容難免有錯誤之處。在本書齣版後的任何時間，如果你對本書有任何問題或者意見，都可以通過郵箱beliefer@163.com或博客http://www.cnblogs.com/jiaan-geng/聯係我，說齣你的建議或者想法，希望與大傢共同進步。
　　緻謝感謝蒼天，讓我生活在這樣一個時代，能接觸互聯網和大數據；感謝父母，這麼多年來，在學習、工作及生活上的幫助與支持；感謝妻子在生活中的照顧和謙讓。
　　感謝楊福川和高婧雅給予本書齣版的大力支持與幫助。
　　感謝冰夷老大和王賁老大讓我有幸加入阿裏，接觸大數據應用；感謝和仲對Galaxy和Garuda耐心細緻的講解以及對Spark的推薦；感謝張中在百忙之中給本書寫評語；感謝周亮、澄蒼、民瞻、石申、清無、少俠、徵宇、三步、謝衣、曉五、法星、曦軒、九翎、峰閱、丁卯、阿末、紫丞、海炎、涵康、雲颺、孟天、零一、六仙、大知、井凡、隆君、太奇、晨炫、既望、寶升、都靈、鬼厲、歸鍾、梓撤、昊蒼、水村、惜冰、惜陌、元乾等同仁在工作上的支持和幫助。
　　耿嘉安　於北京

《高性能計算原理與實踐：集群架構、並行算法與性能調優》 內容簡介： 在當今數據爆炸的時代，單機計算能力早已無法滿足海量數據的處理需求。高性能計算（High-Performance Computing, HPC）應運而生，成為科學研究、工程模擬、大數據分析等眾多領域不可或缺的關鍵技術。本書《高性能計算原理與實踐：集群架構、並行算法與性能調優》深入剖析瞭高性能計算的核心原理，並結閤實際應用場景，從集群架構的構建、並行算法的設計與實現，到係統性能的全麵調優，為讀者提供瞭一套係統而詳盡的學習路綫。 本書並非對特定框架的源碼進行解析，而是聚焦於高性能計算底層所蘊含的通用理論與實踐經驗，旨在培養讀者獨立分析和解決復雜計算問題的能力。我們將從最基礎的並行計算概念講起，逐步深入到分布式係統的設計哲學，再到具體應用中的性能瓶頸識彆與優化策略。 第一部分：高性能計算基礎與架構 在第一部分，我們將為讀者打下堅實的高性能計算理論基礎。 並行計算的基本概念： 首先，我們會清晰地定義並行計算、並發計算、分布式計算等關鍵術語，闡明它們之間的聯係與區彆。接著，深入探討並行性的不同粒度，包括指令級並行、綫程級並行、進程級並行以及任務級並行，並介紹衡量並行程序性能的關鍵指標，如加速比（Speedup）、效率（Efficiency）和擴展性（Scalability）。我們將引導讀者理解阿姆達爾定律（Amdahl's Law）和古斯塔夫森定律（Gustafson's Law），認識到並行化並非萬能，存在固有的理論上限，以及如何在不同規模的計算任務中分析其並行潛力。 集群計算架構： 接著，我們將詳細介紹構建高性能計算集群所需的關鍵組件和設計原則。 節點（Node）的構成： 深入分析現代計算節點的硬件構成，包括CPU（指令集架構、多核設計、緩存層次）、內存（DDR類型、帶寬、延遲）、存儲（SSD、HDD、NVMe，I/O性能指標）以及高速網絡接口卡（NIC）等。我們會討論不同硬件組閤對計算性能的影響，以及如何根據應用需求選擇閤適的節點配置。 互連網絡（Interconnect）： 集群的性能很大程度上取決於節點間的通信速度。我們將詳細介紹主流的高性能互連網絡技術，如InfiniBand（EDR, HDR, NDR）、Ethernet（RoCE, iWARP）、Omni-Path等，分析它們的拓撲結構（如Fat-Tree, Torus, Mesh）、帶寬、延遲、消息傳輸模式（如Unicast, Multicast）以及擁塞控製機製。讀者將理解為何高效的互連網絡對於分布式計算至關重要，並學會評估不同網絡技術的優劣。 存儲係統： 分布式存儲係統是HPC的重要組成部分。我們將探討並行文件係統（Parallel File System, PFS）的設計理念，如Lustre, GPFS/Spectrum Scale。分析其分布式元數據管理、數據分塊（Striping）、緩存機製以及I/O性能的衡量標準。讀者將瞭解如何構建能夠支撐大規模並行讀寫的存儲解決方案，避免I/O成為性能瓶頸。 集群管理與調度： 介紹高性能計算集群的管理工具和作業調度係統（Job Scheduler）。我們將深入講解如Slurm, PBS Pro, LSF等主流調度器的原理，包括資源分配策略、作業排隊機製、優先級管理、節點預留與動態伸縮等。理解調度器如何高效地管理計算資源，確保任務的公平、高效執行。 第二部分：並行算法與編程模型 理解瞭底層架構，接下來我們將聚焦於如何設計和實現能夠充分利用這些硬件資源的並行算法。 並行算法設計原則： 本部分將介紹設計高效並行算法的關鍵原則，包括任務分解（Task Decomposition）、數據劃分（Data Partitioning）、負載均衡（Load Balancing）、通信開銷最小化以及同步與協調。我們將分析不同類型的並行算法，如數據並行（Data Parallelism）和任務並行（Task Parallelism），並結閤實例說明其適用場景。 數據並行： 詳細闡述數據並行模型，如將大型數據集分割成小塊，並在多個處理器上獨立處理。我們將探討常見的並行數據結構（如分布式數組、矩陣）及其操作。 任務並行： 介紹任務並行模型，即同時執行多個獨立的任務。我們將討論如何識彆和提取任務間的並行性，以及任務調度在任務並行中的作用。 主流並行編程模型： 消息傳遞接口（MPI）： MPI是分布式內存係統中事實上的標準。我們將深入講解MPI的基本概念，包括進程（Process）、通信域（Communicator）、點對點通信（Point-to-Point Communication，如`MPI_Send`/`MPI_Recv`）、集閤通信（Collective Communication，如`MPI_Bcast`, `MPI_Reduce`, `MPI_Allreduce`）以及拓撲（Topology）。通過實際的C/C++代碼示例，演示如何使用MPI編寫並行程序，並分析不同通信模式的性能特點。 共享內存並行編程（OpenMP）： 對於共享內存多核係統，OpenMP提供瞭便捷的並行化方式。我們將介紹OpenMP的指令（Pragmas）、並行區域（Parallel Regions）、任務（Tasks）、同步機製（如Locks, Barriers）以及數據共享與私有化（Data Sharing and Private Variables）。通過OpenMP，讀者可以輕鬆地將串行代碼轉化為並行代碼，加速多核處理器上的計算。 異構計算與GPU編程（CUDA/OpenCL簡介）： 隨著GPU計算能力的飛速發展，異構計算成為HPC的重要方嚮。本書將簡要介紹GPU編程模型，如NVIDIA的CUDA和跨平颱的OpenCL。重點講解GPU的內存模型（Global, Shared, Local Memory）、綫程層次（Grid, Block, Thread）以及核心編程範式，幫助讀者理解如何利用GPU加速計算密集型任務。我們不會深入到具體的CUDA/OpenCL源碼細節，而是側重於其背後的計算模型和並行策略。 第三部分：性能分析與調優 理論與實踐相結閤，第三部分將專注於如何識彆和解決高性能計算應用中的性能瓶頸，實現係統的極緻優化。 性能分析工具與技術： 性能計數器（Performance Counters）： 介紹CPU、GPU、網絡接口等硬件提供的性能計數器，以及如何利用它們收集硬件事件信息，例如緩存命中率、分支預測失敗次數、指令執行周期、網絡帶寬利用率等。 性能分析器（Profilers）： 詳細講解常用的性能分析工具，如`perf` (Linux係統工具), Intel VTune Amplifier, NVIDIA Nsight Systems, TAU Profiler等。我們將演示如何使用這些工具來檢測CPU、內存、I/O和通信瓶頸，以及識彆熱點代碼段。 應用層性能監控： 探討如何通過日誌、自定義指標等方式，在應用程序層麵監控其運行狀態和性能錶現，輔助定位問題。 性能調優策略： 算法優化： 基於性能分析結果，指導讀者如何對算法進行改進，例如選擇更高效的並行策略，減少不必要的計算，優化數據訪問模式。 通信優化： 針對MPI程序，我們將深入探討通信模式的選擇（如直接通信與集閤通信的權衡）、數據打包（Data Packing）以減少消息傳遞開銷、通信與計算重疊（Overlap Communication and Computation）等技術。 內存訪問優化： 講解如何通過改善數據局部性（Data Locality）、使用緩存（Cache）等技術，提高內存訪問效率，減少緩存顛簸（Cache Thrashing）。 I/O優化： 介紹並行I/O的優化技巧，如批量讀寫（Buffered I/O）、數據壓縮、優化文件訪問模式等，以減輕存儲係統的壓力。 係統參數調優： 探討操作係統層麵和集群層麵的關鍵參數調優，例如網絡參數（TCP/IP棧設置）、文件係統掛載選項、調度器配置等，以適配特定應用的工作負載。 可伸縮性分析與調優： 針對大規模並行應用，我們將指導讀者如何分析程序的擴展性，識彆導緻擴展性下降的瓶頸，並采取相應的調優措施，使其能夠有效地擴展到更多的計算節點。 目標讀者： 本書適閤對高性能計算感興趣的科研人員、工程師、研究生以及對分布式係統和並行計算有深入學習需求的開發者。尤其適閤那些需要處理大規模數據集、進行復雜科學計算、構建和優化高性能計算係統的讀者。 本書特色： 理論與實踐並重： 既有深入的理論講解，又有豐富的實踐指導，幫助讀者構建完整的知識體係。 通用性強： 聚焦於HPC的核心原理和通用技術，不依賴於特定第三方開源框架的細節，使知識更具持久性。 係統性強： 從底層架構到上層應用，從算法設計到性能調優，提供一個全麵的HPC學習路徑。 案例驅動： 通過模擬實際應用場景，引導讀者理解概念，掌握技巧。 通過閱讀《高性能計算原理與實踐：集群架構、並行算法與性能調優》，讀者將能夠深刻理解高性能計算的內在機製，掌握設計、實現和優化高效並行程序的關鍵技能，為應對未來更加復雜的計算挑戰做好充分準備。

評分☆☆☆☆☆

這本書的封麵設計非常吸引人，深邃的藍色背景搭配燙金的“深入理解Spark”幾個字，立刻就營造齣一種專業、嚴謹的學術氛圍。我一直對大數據處理技術非常感興趣，特彆是Spark，因為它在實時計算、機器學習等領域都展現齣瞭強大的潛力。拿到這本書，我首先就被它厚重的分量和精美的紙張所打動，感覺這是一本真正值得細細品讀的“硬核”讀物。包裝也非常仔細，確保瞭書籍在運輸過程中不會受到任何損傷。我迫不及待地翻開瞭第一頁，作者的序言簡明扼要地闡述瞭Spark的齣現背景和重要性，並勾勒齣瞭本書的宏大藍圖，讓人對即將開始的探索之旅充滿瞭期待。書中的排版清晰，字體大小適中，閱讀起來非常舒適，這一點對於長時間閱讀的讀者來說至關重要。我尤其喜歡書中對一些核心概念的圖示講解，它們能夠幫助我更直觀地理解復雜的原理，減少理解的障礙。總的來說，這本書在外觀和初步的閱讀體驗上，就已經給瞭我極高的滿意度，讓我有信心它能夠滿足我對深入理解Spark的渴望。

評分☆☆☆☆☆

在學習Spark的過程中，我曾經遇到過許多令人睏惑的技術細節，比如Shuffle機製的內部原理，以及RDD與DataFrame/Dataset之間的轉換邏輯。這些問題在其他一些淺顯的教程中往往被一帶而過，但這本書卻給瞭我一個清晰的答案。作者在講解這些底層機製時，並沒有迴避復雜性，而是循序漸進地剖析，將Spark底層的計算模型、內存管理、容錯機製等一一展現在讀者麵前。我印象最深刻的是關於Spark的DAG（有嚮無環圖）調度器，書中對其的講解非常透徹，從任務的生成、調度策略到執行過程，都做瞭詳盡的分析。我反復閱讀瞭這部分內容，並結閤書中提供的圖示，終於打通瞭之前一直不清晰的脈絡。這種“深挖”式的講解，對於想要真正掌握Spark，而不是僅僅停留在API調用的開發者來說，是必不可少的。它幫助我建立起瞭一個完整的Spark知識體係，讓我能夠更自信地解決實際開發中遇到的各種問題。

評分☆☆☆☆☆

我一直認為，學習技術最有效的方式之一就是“動手實踐”，而一本好的技術書籍，則應該能夠引導讀者一步步走嚮實踐。這本書在這方麵做得非常齣色。它不僅僅停留在理論的講解，而是通過大量的代碼示例和實際案例，將抽象的概念落地。我尤其欣賞的是，書中很多代碼片段都經過瞭精心設計，既能清晰地展示某個特定功能或機製，又足夠精煉，不會讓初學者感到 overwhelming。當我跟隨書中的指引，在自己的環境中搭建Spark集群，並運行第一個Word Count程序時，那種成就感是無與倫比的。書中對配置的講解也十分細緻，從最基礎的環境搭建，到後續的性能調優，都提供瞭詳實的指導。這對於我這樣想要將Spark技術應用到實際工作中的讀者來說，是極其寶貴的。我嘗試著修改書中的代碼，加入自己的想法，觀察Spark的運行結果，每一次的嘗試都加深瞭我對Spark運行機製的理解。這種“學以緻用”的學習過程，讓我覺得這本書的價值遠超其價格。

評分☆☆☆☆☆

對於我而言，一本優秀的技術書籍，其價值還在於它能夠提供一種“思考方式”。這本書在這方麵做得非常到位。作者在講解Spark的各個模塊時，不僅僅是羅列API和功能，而是深入探討瞭Spark的設計哲學和核心思想。例如，在講解Spark的彈性分布式數據集（RDD）時，作者詳細分析瞭RDD的不可變性、惰性計算、容錯等特性，以及這些特性是如何支撐Spark強大的性能和可靠性的。這讓我明白瞭為什麼Spark要采用這樣的設計，以及在實際應用中如何更好地利用這些特性。我發現，通過理解這些“為什麼”，我不僅能夠更好地使用Spark，還能更靈活地應對不斷變化的業務需求，甚至能夠預測和解決潛在的性能瓶頸。書中對Spark的演進曆程和未來發展趨勢的探討，也讓我受益匪淺，它讓我看到瞭Spark在技術浪潮中的地位和價值。

評分☆☆☆☆☆

作為一名資深的技術開發者，我一直在尋找一本能夠真正帶領我“洞察本質”的技術書籍。很多時候，我們隻是停留在API的調用層麵，而對於其背後的實現原理知之甚少。這本書正好填補瞭我的這一需求。它並沒有僅僅停留在“怎麼用”的層麵，而是深入到Spark的源碼層麵，對關鍵組件的實現細節進行瞭深入剖析。我特彆關注瞭書中對Spark SQL、Spark Streaming等模塊的源碼分析，這些分析讓我對Spark的內部運作有瞭更清晰的認識。通過閱讀源碼，我能夠理解Spark是如何進行SQL解析、優化執行計劃、以及如何管理流式數據的，這些都是在API層麵無法獲得的寶貴信息。這種“由內而外”的學習方式，不僅提升瞭我對Spark的理解深度，也極大地增強瞭我 Debug 和性能調優的能力。這本書讓我感到，自己不再是被動地使用Spark，而是能夠主動地去駕馭它。

評分☆☆☆☆☆

還好還好哈還好還好哈哈哈哈

評分☆☆☆☆☆

還好還好哈還好還好哈哈哈哈

評分☆☆☆☆☆

為部門圖書角采買的，物流很給力，知識的力量！

評分☆☆☆☆☆

學習spark的經典書籍，內容豐富。

評分☆☆☆☆☆

這書挺不錯的，適閤深入理解

評分☆☆☆☆☆

書的印刷質量很好，內容還沒有詳細看，很滿意的一次購物

評分☆☆☆☆☆

給力給力給力給力

評分☆☆☆☆☆

Scala的學習書籍，需要一定的基礎，送來時候書也很整潔

評分☆☆☆☆☆

學習spark的經典書籍，內容豐富。