具體描述
産品特色
編輯推薦
為數不多全麵介紹Spark及Spark生態圈相關技術的技術書籍
俯覽未來大局，不失精細剖析，呈現一個現代大數據框架的架構原理和實現細節
透徹講解Spark原理和架構，以及部署模式、調度框架、存儲管理及應用監控等重要模塊
Spark生態圈深度檢閱：SQL處理Shark和Spark SQL、流式處理Spark Streaming、圖計算Graphx及內存文件係統Tachyon
內容簡介
《Spark大數據處理技術》是一本全麵介紹Spark及Spark生態圈相關技術的書籍，是國內首本深入介紹Spark原理和架構的技術書籍。主要內容有Spark基礎功能介紹及內部重要模塊分析，包括部署模式、調度框架、存儲管理以及應用監控；同時也詳細介紹瞭Spark生態圈中其他的軟件和模塊，包括SQL處理引擎Shark和Spark SQL、流式處理引擎Spark Streaming、圖計算框架Graphx以及分布式內存文件係統Tachyon。《Spark大數據處理技術》從概念和原理上對Spark核心框架和生態圈做瞭詳細的解讀，並對Spark的應用現狀和未來發展做瞭一定的介紹，旨在為大數據從業人員和Spark愛好者提供一個更深入學習的平颱。
《Spark大數據處理技術》適閤任何大數據、Spark領域的從業人員閱讀，同時也為架構師、軟件開發工程師和大數據愛好者展現瞭一個現代大數據框架的架構原理和實現細節。相信通過學習《Spark大數據處理技術》，讀者能夠熟悉和掌握Spark這一當前流行的大數據框架，並將其投入到生産實踐中去。
作者簡介
夏俊鸞，現任阿裏巴巴數據平颱部高級技術專傢，Apache Spark項目Committer，曾就職於英特爾亞太研發中心，微博賬號@Andrew-Xia。
劉旭暉，現任蘑菇街數據平颱資深架構師（花名天火），曾就職於英特爾亞太研發中心大數據軟件部，Spark/Hadoop/Hbase/Phoenix 等眾多大數據相關開源項目的積極貢獻者。樂於分享，著有CSDN博客 blog.csdn.net/colorant。
邵賽賽，英特爾亞太研發有限公司開發工程師，專注於大數據領域，開源愛好者，現從事Spark相關工作，Spark代碼貢獻者。
程浩，英特爾大數據技術團隊軟件工程師，Shark和Spark SQL活躍開發者，緻力於SQL on Big Data的性能調優與優化。
史鳴飛，英特爾亞太研發有限公司大數據軟件部工程師，專注於大數據領域，主要從事Spark及相關項目的開發及應用，Spark及Shark代碼貢獻者，現在主要投身於Tachyon項目的開發。
黃潔，目前就職於英特爾亞太研發中心大數據技術中心，擔任高級軟件工程師，緻力於大數據技術的性能優化及開發工作，涉及Hadoop、Spark、HBase等開源項目。在多年的工作過程中，積纍瞭一定的分布式大數據框架性能調優經驗，並且是Apache Chukwa項目的PMC成員和Committer。在此之前，畢業於上海交通大學並獲碩士及學士學位。
內頁插圖
精彩書評
★Spark的高速發展導緻瞭中文信息的脫節。這本書深入淺齣地介紹瞭Spark和Spark上多個重要計算框架，希望它的問世可以更好地在大中華地區普及Spark，增進華人Spark社區的發展。
——Databricks大數據公司聯閤創始人 Apache Spark PMC Member 辛湜
★Apache Spark對一體化大數據流水綫的搭建進行瞭前所未有的簡化。然而，在大數據領域固有的復雜性麵前，要交付高效穩定的數據産品，開發者仍有必要對框架細節有充分的瞭解。本書詳細介紹瞭Spark主體框架中為關鍵的執行流程，相信可以為讀者在基於Spark的大數據係統設計和調優方麵提供有效的指導。
——Databricks工程師 連城
★隨著大數據時代的到來，企業數據每天都在急劇快速膨脹，如何發掘這些數據的價值，需要一種高效而穩定的分布式計算框架和模型。Spark恰逢其時，應運而生。本書對Spark進行瞭詳細的闡述，包括核心模塊和各個子係統，能讓Spark初學者快速瞭解和上手Spark，是學習Spark的敲門磚。希望藉此書，能讓更多的讀者去深入發掘Spark之美。
——淘寶技術部數據挖掘與計算團隊負責人 黃明（明風）
★Apache Spark由於其基於內存的高性能計算模式以及豐富靈活的編程接口，得到瞭廣泛的支持和應用，大有逐漸取代Hadoop MapReduce成為新一代大數據計算引擎的趨勢。本書從源代碼角度深入淺齣地分析瞭Apache Spark及相關大數據技術的設計及實現，包含很多實戰經驗和使用心得。相信本書對於進行大數據、內存計算及分布式係統研究，Apache Spark的深入理解以及實際應用，都有很好的參考價值。
——英特爾亞太研發有限公司技術總監 段建剛
★大數據是行業熱點中的熱點，而Spark則是大數據相關技術中的明星。本書的幾位作者都是在Spark領域有著豐富一綫經驗的技術從業者，本書係統化地介紹瞭Spark相關知識，是學習Spark不可多得的優秀書籍。
——前淘寶技術部負責人、技術總監 曾憲傑
目錄
第1章 Spark係統概述
1.1 大數據處理框架
1.2 Spark大數據處理框架
1.2.1 RDD錶達能力
1.2.2 Spark子係統
1.3 小結
第2章 SparkRDD及編程接口
2.1 Spark程序“HelloWorld”
2.2 SparkRDD
2.2.1 RDD分區（partitions）
2.2.2 RDD優先位置（preferredLocations）
2.2.3 RDD依賴關係（dependencies）
2.2.4 RDD分區計算（compute）
2.2.5 RDD分區函數（partitioner）
2.3 創建操作
2.3.1 集閤創建操作
2.3.2 存儲創建操作
2.4 轉換操作
2.4.1 RDD基本轉換操作
2.4.2 鍵值RDD轉換操作
2.4.3 再論RDD依賴關係
2.5 控製操作（controloperation）
2.6 行動操作（actionoperation）
2.6.1 集閤標量行動操作
2.6.2 存儲行動操作
2.7 小結
第3章 Spark運行模式及原理
3.1 Spark運行模式概述
3.1.1 Spark運行模式列錶
3.1.2 Spark基本工作流程
3.1.3 相關基本類
3.2 Local模式
3.2.1 部署及程序運行
3.2.2 內部實現原理
3.3 Standalone模式
3.3.1 部署及程序運行
3.3.2 內部實現原理
3.4 Localcluster模式
3.4.1 部署及程序運行
……
第4章 Spark調度管理原理
第5章 Spark的存儲管理
第6章 Spark監控管理
第7章 Spark架構與安裝配置
第8章 SQL程序擴展
第9章 SparkSQL
第10章 SparkStreaming流數據處理框架
第11章 GraphX計算框架
第12章 Tachyon存儲係統
前言/序言
序
2009年的時候，Netflix公司舉辦瞭一個叫作Netflix Prize的推薦算法比賽。這個比賽匿名公布瞭Netflix五十萬用戶對近兩萬部電影的一億個評分數據，希望參賽者能夠開發齣更好的推薦算法，以提高推薦係統的質量。這個比賽的奬金有一百萬美元。一百萬美元看似很多，但是和一個更好的推薦算法給Netflix帶來的效益相比，實則九牛一毛。
高昂的奬金和Netflix提供的真實數據吸引瞭不少的參賽者，其中也包括瞭來自加州大學伯剋利分校（UC Berkeley）的博士生Lester Mackey。Lester師從機器學習領域泰鬥Michael Jordan，在一個叫作AMPLab的大數據實驗室裏進行博士研究。AMPLab和大多數學術界實驗室不同的地方在於實驗室內有多個教授和他們帶領的學生一起閤作。這些研究人員來自不同的領域，包括機器學習、數據庫、計算機網絡、分布式係統等。當時，要想提高算法研究迭代的效率，需要利用多颱機器的分布式建模。在嘗試瞭當時業界最流行的Hadoop MapReduce後，Lester發現自己的時間並不是花在提高算法效率上，而是耗費在MapReduce的編程模型和低效的執行模式上。這個時候，他嚮實驗室內部的另外一名進行分布式係統研究的學生Matei Zaharia求助。
當時年紀輕輕的Matei在業界已經小有名望。他在雅虎和Facebook實習期間做瞭很多Hadoop早期的奠基工作，包括現今Hadoop係統內應用最廣的fair scheduler調度算法。在和Lester的思維碰撞中，Matei總結瞭Hadoop MR的不足，開始設計瞭第一個版本的Spark。這個版本完全為瞭Lester定製，隻有幾百行的代碼，使得Lester可以高效率地進行分布式機器學習建模。
Lester所在的The Ensemble團隊最後和BellKor's Pragmatic Chaos設計瞭在效率上並列第一的算法，可惜因為晚瞭20分鍾提交，與一百萬美元奬金失之交臂。5年之後，Lester和Matei都變成瞭學術界和業界傑齣的人物。Lester成為瞭斯坦福大學計算機係的教授，帶領著自己的學生攻剋一個又一個機器學習和統計的難題。Matei成為瞭麻省理工計算機係的教授，也是Databricks公司的CTO。
2009年之後的4年裏麵，AMPLab以Spark為基礎展開瞭很多不同的學術研究項目，其中包括瞭我參與和主導的Shark和GraphX，還有Spark Streaming、MLlib等。4年裏隨著Hadoop的發展，Spark也逐漸從一個純學術研究項目發展到瞭開始有業界敢於吃螃蟹的用戶。
2013年，包括Matei和我在內的Spark核心人員共同創立瞭Databricks公司，立誌於提高Spark的發展速度。過去兩年，Spark的發展超越瞭我們所有人的想象。一年半以前Spark還是一個連監控界麵都不存在的係統，很難放進生産綫部署。而一年半後的今天，它已經變成瞭整個大數據生態圈和Apache Software Foundation內最活躍的項目，活躍程度遠遠超齣瞭曾經Spark隻能望其項背的Hadoop。
在從Hadoop轉嚮Spark的道路上，我個人感覺國內的速度甚至超越瞭國外的社區。一年以前我第一次在中國的大數據會議上宣講Spark，當時颱下的大多數人對這個新的項目還有很大的質疑，認為其隻會曇花一現。一年之後，Spark的每個新版本中都有不少華人貢獻的代碼，國內很多高科技和互聯網公司也都有瞭Spark的生産作業，不少用戶直接減少瞭在Hadoop MapReduce上的投資，把新的項目都轉移到瞭Spark上。
今天正好是Databricks公司成立一年半，也是Spark 1.2版本第一個release candidate發布的日期。Spark的高速發展導緻瞭中文信息的脫節。這本書深入淺齣地介紹瞭Spark和Spark上多個重要計算框架，希望它的問世可以更好地在大中華地區普及Spark，增進華人Spark社區的發展。
辛湜 Reynold Xin
2014年11月30號
Berkeley, CA
用戶評價
我一直對實時數據處理和流計算充滿好奇，而Spark Streaming（或Structured Streaming）正是這一領域的明星技術。因此，當我看到《Spark大數據處理技術》這本書時，我的目光立刻被吸引住瞭。我非常希望這本書能夠詳盡地闡述Spark Streaming的原理，包括其微批處理（micro-batching）模型，以及Structured Streaming的邏輯執行計劃和連續處理（continuous processing）的優勢。書中關於如何構建端到端流處理應用的示例，以及如何處理延遲、窗口操作、狀態管理等關鍵問題，是我最為關注的部分。我也期待瞭解如何將Spark Streaming與Kafka、Kinesis等消息隊列結閤使用，以及如何進行流式ETL、流式機器學習等高級應用。這本書的存在，讓我看到瞭掌握流計算技術的希望，我希望能從中獲得實際操作的經驗，從而能夠獨立設計和實現高性能的流處理解決方案。
評分作為一名剛剛接觸大數據領域的初學者，我對Spark這個名字已經耳熟能詳，但對其具體的應用和技術細節卻知之甚少。看到《Spark大數據處理技術》這本書，我感到非常振奮。它讓我看到瞭一個學習Spark的絕佳機會。我希望這本書能夠循序漸進地引導我入門，從Spark的基本概念和核心組件講起，例如Spark的分布式計算模型，以及如何通過Spark Core進行基本的批處理操作。我也期待書中能介紹如何使用Spark SQL進行數據分析，以及Spark MLlib在機器學習領域的應用。更重要的是，我希望能通過本書瞭解如何在實際項目中應用Spark，例如如何處理各種類型的數據源，如何構建ETL流程，以及如何監控和優化Spark作業的性能。這本書的齣現，為我打開瞭一扇通往大數據世界的大門，我渴望從中汲取知識，為未來的職業發展打下堅實的基礎。
評分這本書的封麵設計簡潔大氣，卻又不失專業感，讓我第一眼就感受到它所蘊含的深厚技術底蘊。我一直以來都在尋找一本能夠係統性梳理Spark大數據處理流程的教材，能夠從宏觀的架構到微觀的調優，提供一個完整的解決方案。從這本書的書名來看，它似乎正是滿足瞭我這樣的需求。我非常希望能在這本書中找到關於Spark集群的搭建與配置的詳細指南，包括各種模式（Standalone、Mesos、YARN）的優缺點分析，以及如何根據實際場景選擇最閤適的部署方式。同時，對於Spark的內存管理、任務調度、數據容錯機製等核心概念，我也希望能夠得到深入的闡釋，理解它們是如何協同工作，保證大數據處理的高效與穩定。我相信，掌握瞭這些底層原理，纔能更好地進行性能調優，解決可能齣現的各種復雜問題。這本書的齣現，對我來說，無疑是及時雨，將為我掃清在大數據處理道路上的不少迷霧。
評分第一眼看到這本書的名字，我就被深深吸引瞭。“Spark大數據處理技術”——這個名字本身就充滿瞭技術的力量感和對未來趨勢的把握。我一直對大數據領域抱有濃厚的興趣，也瞭解Spark在這個領域的重要性，但總覺得理論知識與實際操作之間存在一道鴻溝。這本書的齣現，仿佛就是為瞭填補我知識的空白，給我指明瞭一條通往精通Spark的清晰路徑。我尤其好奇書中會如何深入淺齣地講解Spark的分布式計算原理，例如RDD、DataFrame和Dataset的底層實現機製，以及它們在性能優化方麵各自的優勢與劣勢。此外，對於Spark SQL的強大查詢能力，以及Structured Streaming在實時數據處理方麵的應用，我也充滿期待。我相信，通過閱讀這本書，我能夠更深刻地理解Spark的架構設計，掌握其核心API，並能夠靈活運用Spark來解決實際的大數據處理難題，從而在我的工作中提升效率，甚至開闢新的技術視野。這本書不僅僅是一本技術書籍，在我看來，更是一份通往大數據領域前沿的通行證。
評分在如今這個數據爆炸的時代，掌握高效的大數據處理技術已經成為一項必備技能。我一直密切關注著技術的發展動態，Spark作為業界領先的分布式計算係統，其重要性不言而喻。看到《Spark大數據處理技術》這本書，我毫不猶豫地將它列入瞭我的必讀清單。我非常期待書中能夠深入探討Spark的演進曆程，分析Spark 1.x與Spark 2.x在架構和性能上的關鍵差異，以及Spark 3.x在GPU加速、AI集成等方麵的新特性。我也想瞭解Spark是如何與其他大數據生態係統（如Hadoop、Kafka、HDFS、Hive等）進行無縫集成的，並希望能看到一些實際的集成案例和最佳實踐。此外，對於Spark在特定領域的應用，比如在金融風控、電商推薦、日誌分析等場景下的具體實現，我也非常感興趣。這本書無疑將成為我深入理解Spark技術體係，拓展技術視野的寶貴資源。
評分Spark大數據處理技術
評分還可以，還不錯。。。
評分專門買來學習中醫的，拓寬的知識麵有益於自己的健康，建議有條件，全部買來好好看看呢，很有幫助
評分還不錯啊～～～～
評分好，不錯，不錯。…
評分（ '? ' ），內容裏代碼有些太多瞭。。
評分印刷質量可以，京東配送超級快！京東促銷活動的話實惠！
評分強烈推薦，分布式架構和算法講瞭很多，很多問題都是程序員必備的知識
評分還沒看，不知道怎麼樣
相關圖書
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2025 book.tinynews.org All Rights Reserved. 静思书屋 版权所有