分布式實時處理係統：原理、架構與實現 pdf epub mobi txt 電子書下載 2025

簡體網頁||繁體網頁

☆☆☆☆☆

盧譽聲著

圖書標籤:

分布式係統
實時處理
流處理
數據工程
架構設計
係統設計
大數據
雲計算
技術棧
高性能計算

下載連結在頁面底部

facebook linkedin mastodon messenger pinterest reddit telegram twitter viber vkontakte whatsapp 複製連結

想要找書就要到靜思書屋

book.idnshop.cc

立刻按 ctrl+D收藏本頁

你會得到大驚喜!!

齣版社：機械工業齣版社

ISBN：9787111539964

版次：1

商品編碼：11965338

品牌：機工齣版

包裝：平裝

開本：16開

齣版時間：2016-07-01

用紙：膠版紙

頁數：479

具體描述

編輯推薦

　　多位大數據專傢聯袂推薦，Autodesk資深係統研發工程師撰寫，參透大規模分布式實時處理係統

　　抽絲剝繭，從概念、原理到分布式實時計算框架實現，兼顧理論與實踐，帶領讀者逐步實現一個高性能、基於C++11的分布式實時處理係統

內容簡介

　　多位大數據專傢聯袂推薦，Autodesk資深係統研發工程師撰寫，參透大規模分布式實時處理係統。抽絲剝繭，從概念、原理到分布式實時計算框架實現，兼顧理論與實踐，帶領讀者逐步實現一個高性能、基於C++11的分布式實時處理係統Hurricane。

　　第1～5章，分布式實時處理基石。

　　這部分涵蓋分布式係統原理與特性，分布式係統通信基礎與高層抽象，C++11的高性能編程基礎與進階（內存資源管理、編碼解決方案、並發與異步處理、綫程模型等），以及Hadoop與Storm基本模型和可靠消息處理的基本思想。同時結閤所講知識帶領讀者開發公告牌服務、留言闆係統等，加深理解。

　　第6～11章，動手時間！

　　這部分是本書重點，帶領大傢實現一個基於C++11的高性能分布式實時處理框架，對讀者日後的框架理解、開發與定製能力大有裨益。涵蓋實時處理係統的總體架構設計，實時處理係統中各接口、服務組件、管理服務組件、可靠消息處理方案，以及底層數據傳輸層及高性能網絡庫Meshy（實現可靠的TCP/IP傳輸和消息隊列，提供底層網絡傳輸基礎）的設計與實現。

　　第12～14章，高級技能get！

　　這部分介紹一些實用的高級技能。涵蓋事務性拓撲實現方案，多語言接口與優化方案，以及高級抽象元語、DRPC的*佳實踐。

　　第15～17章，用起來！

　　這部分給齣瞭框架的應用案例，進一步加強讀者實踐技能。涵蓋基於Hurricane開發的日誌流處理實例、頻繁二項集挖掘係統，以及在AWS和阿裏雲上部署Hurricane。??

作者簡介

　　盧譽聲，Autodesk係統軟件研發工程師，從事平颱架構方麵的研發工作。在此之前，他曾在思科係統（中國）研發中心雲産品研發部工作多年，並參與瞭大規模分布式係統的服務器後端、前端以及SDK的設計與研發工作，在分布式係統設計與實現、性能調優、高可用性和自動化等方麵積纍瞭豐富的敏捷實踐與開發經驗。他主要從事C/C++開發工作，緻力於高性能平颱架構的研究與開發。此外，對JavaScript、Lua以及移動開發平颱等也有一定研究。譯有《Storm實時數據處理》《高級C/C++編譯技術》《JavaScript編程精解（原書第2版）》。

精彩書評

　　本書不但講解高性能分布式實時處理係統編程的原理，特彆是對於內存資源管理、編碼解決方案、並發與異步處理、綫程模型、批處理與實時處理的區彆、消息隊列、動態裝載等作瞭詳細介紹，還深入分析瞭實時處理係統的架構以及內部實現，最後詳細分析瞭怎麼樣實現一套分布式實時處理係統Hurricane。本書非常適閤大數據開發人員和架構師閱讀，同時可以解決性能優化的很多問題。

　　——盧億雷AdMaster技術副總裁兼總架構師

　　分布式係統可以追溯到20世紀60年代的ARPANET。隨著物聯網、邊緣計算和其他相關領域的蓬勃發展，對高性能分布式實時處理係統的需求日益增多。這本技術專著著眼於實際分布式框架的編程應用，將助力有誌於該領域的軟件開發人員。

　　——安寜Oracle空間數據部門首席工程師

　　本書將對自己的C++編程、分布式存儲係統、分布式計算框架、分布式通信等知識進行洗禮，不知不覺間就提升瞭自己的層次，期待閱讀本書之後，也可以構建一個全新的分布式實時處理係統，變成分布式實時計算領域的貢獻者。

　　——於俊科大訊飛大數據專傢

　　本書由淺到深，從基礎的分布式係統的概念、網絡通信和C++11高性能編程，到流處理中的消息、消息源、處理單元、收集器、計算拓撲等重要抽象的實現，到日誌處理、頻繁組閤等典型應用，深入研究瞭一個典型分布式流處理係統的各個重要方麵，推薦。

　　——蔡斌騰訊科技高級工程師

前言/序言

　　Praise本書贊譽

　　本書不但講解高性能分布式實時處理係統編程的原理，特彆對內存資源管理、編碼解決方案、並發與異步處理、綫程模型、批處理與實時處理的區彆、消息隊列、動態裝載等作瞭詳細介紹，還深入分析瞭實時處理係統的架構以及內部實現，最後詳細分析瞭怎樣實現一套分布式實時處理係統Hurricane。本書非常適閤大數據開發人員和架構師閱讀，同時可以解決性能優化的很多問題。

　　——盧億雷，AdMaster技術副總裁兼總架構師

　　——安寜，Oracle空間數據部門首席工程師、IEEE高級會員和ACM終身會員

　　本書不僅僅是一部講授代碼編寫的書籍，還是一個開源社區的星星火種，我特彆推薦所有對實時大數據分析感興趣的同業中人閱讀此書，並以此作為邁入下一個開源大時代的第一步。

　　——徐立冰，思科係統高級客戶經理

　　通常來說，在互聯網+、大數據時代盛行拿來主義；有開源的Spark、Strom，絕對不會動自己構建分布式係統的心思。但是作者不然，深厚的C++功底以及對分布式計算框架的深度理解，構建瞭高性能分布式、實時處理係統Hurricane，進入瞭更高層次的追求。

　　靜下心來，這本書將對自己的C++編程、分布式存儲係統、分布式計算框架、分布式通信等知識進行瞭洗禮，不知不覺間就提升瞭自己的層次，期待閱讀本書之後，也可以構建一個全新的分布式實時處理係統，變成分布式實時計算領域的貢獻者。

　　路已鋪好，如何貢獻，那是追求。

　　——於俊，科大訊飛大數據專傢

　　“天下武功，無堅不摧，唯快不破”，如果說以MapReduce、Spark等為代錶的批處理方式，是數據處理的“堅”，則Storm、Hurricane等流處理係統，充分體現瞭數據處理的“快”。本書由淺到深，從基礎的分布式係統的概念、網絡通信和C++11高性能編程，到流處理中的消息、消息源、處理單元、收集器、計算拓撲等重要抽象的實現，到日誌處理、頻繁組閤等典型應用，深入研究瞭一個典型分布式流處理係統的各個重要方麵，推薦。

　　——蔡斌，騰訊科技高級工程師

　　分布式實時處理係統，難就難在把分布式和實時處理結閤起來。本文從拆解留言闆係統開始節節升級，直至推齣Hurricane實時處理係統，旁徵博引，綱舉目張。充分體現瞭分布式構建和實時處理的細節考慮。

　　——彭敏，思科係統（中國）研發有限公司服務器與平颱架構部門研發經理

　　作者以他參與Cisco和Autodesk諸多大型係統開發時所積纍的經驗以及對開源技術多年的鑽研鑄就本書。本書由理論到應用，由實現到優化，由淺入深，抽絲剝繭地把這麼浩繁的概念在本書中講得十分清晰。

　　——張洋，Autodesk（中國）研發中心平颱架構研發部門經理

　　正如“如何閱讀本書”中說的一樣，“本書從最基本概念作為引子，逐步引入高性能分布式實時處理係統編程所需要的方方麵麵，抽絲剝繭把實時處理係統的架構以及實現娓娓道來”，有概念、有理論，有本身知識體係的交代，也有周邊必要知識內容的說明，有實戰、有案例，不空談，能落地，是一本不可多得的學習分布式實時架構的好書。

　　——賈鋒，知名大數據布道者和踐行者

　　前言Preface

　　為什麼要寫這本書

　　雲計算與大數據為計算機科學領域注入瞭前所未有的活力，而大數據的實時處理更是為海量數據處理和數據挖掘帶來瞭嶄新的契機。從某種意義上講，傳統大數據的批處理方式已經一定程度上解決瞭我們所麵臨的問題，由MapReduce、BulkSynchronousParallel以及其他計算範式衍生而來的大規模計算集群已經廣泛運用於生産環境中。然而，客戶的要求是永不滿足的。他們想要更多的數據、服務、價值以及更多的便利。隨著數據量的增加，對實時響應時間的需求也在提高，原本承載著海量數據處理任務的批處理係統在實時計算處理方麵越發顯得乏力。這麼說的原因很簡單，像Hadoop使用的MapReduce這樣的數據批處理技術，其設計初衷並不是為瞭滿足實時計算的需求。數據批處理係統與實時處理係統在需求上存在著本質的區彆。要做到實時性，不僅需要及時地推送數據以便處理，還要將數據劃分成盡可能小的單位，而像HDFS存儲推送數據的能力已經遠不能滿足實時性的需求。

　　雖然目前ApacheSpark等新平颱和框架越來越為流行，同時極大提升瞭批處理的性能，但是由於這些傳統批處理係統的運行機製本身，無法從根本上解決實時計算的問題。

　　因此，隨著業務數據規模的爆炸式增長，對數據實時處理能力的需求也越來越大。專注於實時性、規模化的計算平颱新時代已經悄然來臨。

　　ApacheStorm的齣現扭轉瞭傳統數據批處理係統的劣勢，成為瞭真正意義上的實時數據處理係統。Storm實時處理係統實現瞭一個可靠的、高容錯性的實時分布式處理平颱，那麼這些聽起來十分抽象的概念到底是如何實現的呢？這其實就是筆者寫作本書的目的之一。當筆者深入研究和學習瞭Storm的內部結構和代碼實現之後，就在思考有沒有什麼辦法讓其他更多的人少走彎路，並能在實踐中對這個看似“神秘”的實時處理係統的設計與實現融會貫通呢？

　　本書特色

　　本書是一本由淺入深並詳細講解編寫一套全新的基於C/C++的實時處理係統的編程實戰書。本書從基礎知識開始，到實時數據係統的架構設計，到代碼的實際編寫，逐步實現一個完整的實時數據處理係統。本書把這套全新的高性能分布式實時處理係統命名為Hurricane，該單詞與Storm涵義類似，但略有不同，其中維基百科對Hurricane的解釋是“Astormthathasverystrongfastwindsandthatmovesoverwater”，即“在水麵高速移動的颶風（storm）”。

　　同時，為瞭支持高性能的實時處理係統，我們必須提供高性能的網絡層，能夠支持大量的並發，因此本書設計實現瞭一套跨平颱的網絡庫Meshy，並將其作為Hurricane實時處理係統的傳輸層。

　　為瞭編寫更清晰、易於移植、易於維護的現代化C++代碼，我們在書中大量使用瞭C++11的特性，從一些小的語法點（如auto、override）到C++11中新增加的庫（如thread、chrono、functional）到一些翻天覆地的語法特性（如統一初始化、Lambda錶達式）都有所涉及。每當遇到新的C++11知識時，我們都會著重嚮讀者介紹。由於目前C++14還不夠普及成熟，因此在本書中暫不考慮C++14的特性。

　　為此，本書一開始將會花費大量篇幅介紹分布式計算存儲的概念以及網絡通信的基礎知識。接著闡述和分布式計算存儲相關的網絡高層抽象知識，為構建分布式網絡應用打下堅實基礎。接著集中介紹本書需要運用的C++相關知識，包括C++11的語言特性以及需要瞭解的底層知識。之後就開始介紹Hurricane實時處理係統的設計方案，並引導讀者一步步自己實現Hurricane實時處理係統。

　　完成Hurricane實時處理係統的主體功能部分後，我們轉而介紹Meshy，闡述如何實現Meshy這一跨平颱的網絡框架，並與Hurricane實時處理係統進行對接。為瞭實現跨平颱的高性能網絡通信庫，我們必須學習使用epoll、IOCP等與平颱密切相關的技術來保證係統性能。同時，我們也要學會如何編寫管理一個需要考慮移植和平颱兼容性的係統的技巧與實踐方法。最後輔以實戰用例講解如何將該係統應用於實際的生産環境中。

　　總之，Hurricane實時處理係統是一個使用C++11編寫的，以高性能為關注點的分布式實時計算框架，使用流模型作為計算模型，同時提供更易於理解的高層接口。

　　希望讀者能夠從本書中或多或少學到點新的知識，能夠對C++語言以及網絡通信有更加深入的認識，瞭解如何構建一個可應用於生産環境的分布式實時處理係統。

　　如何閱讀本書

　　本書以最基本的雲計算與大數據概念作為引子，逐步引入高性能分布式實時處理係統編程所需要的知識，抽絲剝繭地把有關實時處理係統的架構以及內部實現娓娓道來。

　　第1章介紹分布式係統的一些基本概念，以及開發實時處理係統所需要具備的一些重要知識點。

　　第2章介紹分布式係統通信基礎，包括TCP/IP以及Socket方麵的基本概念，為後續開發網絡庫Meshy做知識儲備。

　　第3章介紹分布式係統通信所需的高層抽象，包括RPC遠程過程調用、RESTful、消息隊列等常用的通信模型。同時介紹基本的序列化概念與解決方案，並使用Thrift開發簡單的公告牌服務，為Hurricane的開發建立通信抽象與框架上的基礎概念。

　　第4章介紹C++高性能編程所需的基礎與進階知識，包括C++中的內存資源管理、編碼解決方案、並發與異步處理以及內存管理技巧，以及C++11中與內存管理、編碼處理、綫程模型相關的內容。

　　第5章介紹分布式處理係統的基本概念，包括批處理與實時處理的區彆，Hadoop與Storm的基本介紹及基本模型。最後介紹可靠消息處理的基本思想。

　　第6章介紹實時處理係統的總體架構與接口設計，包括消息源、消息處理器、數據收集器、元組以及序列化接口。

　　第7章介紹服務組件的設計與實現，包括Executor及其消息隊列、動態裝載以及Task的設計與實現等。

　　第8章介紹管理服務的設計與實現，其中包括集群管理器President以及節點管理器Manager的架構設計與編程實現。