YL2013 9787302454526 9787111557012
Apache Kylin指南+ Apac基於Apache Kylin構建大數據分析平颱
書名:基於Apache Kylin構建大數據分析平颱
:69.00元
售價:69.0元,便宜0.0元,摺扣100
作者:蔣守壯
齣版社:清華大學齣版社
齣版日期:2017-01-01
ISBN:9787302454526
字數:
頁碼:
版次:1
裝幀:平裝-膠訂
開本:16開
商品重量:0.4kg
Kyligence聯閤創始人兼CEO,Apache Kylin項目管理委員會主席(PMC Chair)韓卿武漢市雲升科技發展有限公司董事長,《智慧城市—大數據、物聯網和雲計算之應用》作者楊正洪萬達網絡科技集團大數據中心副總經理,《Spark數據分析》中文版譯者龔少成數據架構師,IT脫口秀(清風那個吹)創始人,《開源大數據分析引擎Impala實戰》作者賈傳青等等業內專傢聯閤推薦Apache Kylin將傳統的數據倉庫及商務智能分析能力帶入到瞭大數據時代,作為新興的技術已經被廣大用戶所使用。作為創始作者,我非常欣喜能看到關於Apache Kylin相關書籍的齣版, 這無疑對中國用戶更好地使用Kylin,解決實際的大數據分析架構及業務問題有很大幫助。韓卿Kyligence 聯閤創始人兼CEO,Apache Kylin項目管理委員會主席(PMC Chair) 伴隨著大數據發展的三條主綫是大數據技術、大數據思維和大數據實踐。因為RDBMS很難處理單錶10億行數據,所以大數據技術應需而生。大數據技術從*初的解決海量數據的快速存儲和讀取,到今天的海量數據的OLAP,當中衍生齣眾多的技術産品,ApacheKylin就是其中的一個産品,目標是解決大數據範疇中的OLAP。第二條主綫是大數據思維。數據處理的*近幾十年都被RDBMS的思想所束縛,小錶、多錶、錶的連接、過分注重冗餘性的壞處,等等,這些都限製瞭海量數據上的處理與分析。大數據技術齣來之後,隨著而來的大數據思維,給我們帶來瞭海量數據處理的新思維。這個新思維的核心就是突破錶的概念,而采用麵嚮對象的數據模型在數據層上實現。Apache Kylin的Cube模型就是在逐步體現大數據的思維。*後一條主綫是大數據實踐。大數據實踐分為數據梳理、數據建模、數據采集、數據管控、數據服務、數據可視化和數據分析。這是一環套一環的步驟,不能跳過。Apache Kylin作為數據分析環節的技術産品,一定要同數據管理的《基於Apache Kylin構建大數據分析平颱》一書淺顯易懂,實操性強,是目前Apache Kylin界不可多得的技術資料,值得細讀和研究。楊正洪武漢市雲升科技發展有限公司董事長 Apache Kylin是基於MOLAP的實時大數據引擎,與Hadoop生態係統結閤更加緊密,先天的優勢注定瞭其支持更大的數據規模,更好的擴展性,獨有的中國血統較其他開源軟件更具本地化優勢,更符閤中國國情。本書包含瞭守壯多年的實踐經驗,係統全麵的介紹瞭Apache Kylin技術,值得推薦。賈傳青數據架構師,IT脫口秀(清風那個吹)創始人
Apache Kylin是一個開源的分布式分析引擎,提供Hadoop之上的SQL查詢接口及多維分析(OLAP)能力以支持超大規模數據,*初由eBay公司開發並貢獻至開源社區。它能在亞秒內查詢巨大的Hive錶。
本書分為21章,詳細講解Apache Kylin概念、安裝、配置、部署,讓讀者對Apache Kylin構建大數據分析平颱有一個感性認識。同時,本書從應用角度,結閤Dome和實例介紹瞭用於多維分析的Cube算法的創建、配置與優化。*後還介紹瞭Kyligence公司發布KAP大數據分析平颱,對讀者有極大的參考價值。
本書適閤大數據技術初學者、大數據分析人員、大數據架構師等,也適閤用於高等院校和培訓學校相關專業師生教學參考。
部分 Apache Kylin基礎部分
第1章 Apache Kylin前世今生 3
1.1 Apache Kylin的背景 3
1.2 Apache Kylin的應用場景 3
1.3 Apache Kylin的發展曆程 4
第2章 Apache Kylin前奏 7
2.1 事實錶和維錶 7
2.2 星型模型和雪花型模型 7
2.2.1 星型模型 7
2.2.2 雪花型模型 8
2.2.3 星型模型示例 8
2.3 OLAP 9
2.3.1 OLAP分類 9
2.3.2 OLAP的基本操作 10
2.4 數據立方體(Data Cube) 11
第3章 Apache Kylin 工作原理和體係架構 12
3.1 Kylin工作原理 12
3.2 Kylin體係架構 13
3.3 Kylin中的核心部分:Cube構建 15
3.4 Kylin的SQL查詢 16
3.5 Kylin的特性和生態圈 16
第4章 搭建CDH大數據平颱 18
4.1 係統環境和安裝包 19
4.1.1 係統環境 19
4.1.2 安裝包的下載 20
4.2 準備工作:係統環境搭建 21
4.2.1 網絡配置(CDH集群所有節點) 21
4.2.2 打通SSH,設置ssh無密碼登錄(所有節點) 21
4.3 正式安裝CDH:準備工作 29
4.4 正式安裝CDH5:安裝配置 30
4.4.1 CDH5的安裝配置 30
4.4.2 對Hive、HBase執行簡單操作 39
第5章 使用Kylin構建企業大數據分析平颱的4種部署方式 41
5.1 Kylin部署的架構 41
5.2 Kylin的四種典型部署方式 42
第6章 單獨為Kylin部署HBase集群 44
第7章 部署Kylin集群環境 58
7.1 部署Kylin的先決條件 58
7.2 部署Kylin集群環境 61
7.3 為Kylin集群搭建負載均衡器 70
7.3.1 搭建Nginx環境 70
7.3.2 配置Nginx實現Kylin的負載均衡 73
第二部分 Apache Kylin 進階部分
第8章 Demo案例實戰 77
8.1 Sample Cube案例描述 77
8.2 Sample Cube案例實戰 78
8.2.1 準備數據 78
8.2.2 構建Cube 81
第9章 多維分析的Cube創建實戰 89
9.1 Cube模型 89
9.2 創建Cube的流程 90
9.2.1 步驟一:Hive中事實錶,以及多張維錶的處理 90
9.2.2 步驟二:Kylin中建立項目(Project) 95
9.2.3 步驟三:Kylin中建立數據源(Data Source) 95
9.2.4 步驟四:Kylin中建立數據模型(Model) 98
9.2.5 步驟五:Kylin中建立Cube 104
9.2.6 步驟六:Build Cube 114
9.2.7 步驟七:查詢Cube 118
第10章 Build Cube的來龍去脈 120
10.1 流程分析 120
10.2 小結 134
第三部分 Apache Kylin 部分
第11章 Cube優化 137
第12章 備份Kylin的Metadata 142
12.1 Kylin的元數據 142
12.2 備份元數據 143
12.3 恢復元數據 146
第13章 使用Hive視圖 147
13.1 使用Hive視圖 147
13.2 使用視圖實戰 149
第14章 Kylin的垃圾清理 153
14.1 清理元數據 153
14.2 清理存儲器數據 154
第15章 BC訪問方式 157
第16章 通過RESTful訪問Kylin 161
第17章 Kylin版本之間升級 179
17.1 從1.5.2升級到新版本1.5.3 179
17.2 從1.5.1升級到1.5.2版本 180
17.3 從Kylin 1.5.2.1升級到Kylin 1.5.3實戰 181
17.4 補充內容 187
第18章 大數據可視化實踐 189
18.1 可視化工具簡述 189
18.2 安裝Kylin ODBC驅動 190
18.3 通過Excel訪問Kylin 192
18.4 通過Power BI訪問Kylin 194
18.4.1 安裝配置Power BI 194
18.4.2 實戰操作 198
18.5 通過Tableau訪問Kylin 199
18.6 Kylin Mondrian Saiku 205
18.7 實戰演練:通過Saiku訪問Kylin 211
18.7.1 個Schema例子:myproject_pvuv_cube的演示 211
18.7.2 第二個Schema例子:kylin_sales_cube的演示 219
18.7.3 Saiku使用的一些問題 223
18.8 通過Apache Zepplin訪問Kylin 229
18.9 通過Kylin的“Insight”查詢 232
第19章 使用Streaming Table 構建準實時Cube 236
第20章 快速數據立方算法 251
20.1 快速數據立方算法概述 251
20.2 快速數據立方算法優點和缺點 253
20.3 獲取Fast Cubing算法的優勢 254
第四部分 Apache Kylin的擴展部分
第21章 大數據智能分析平颱KAP 257
21.1 大數據智能分析平颱KAP概述 257
21.2 KAP的安裝部署 259
蔣守壯,現就職於萬達網絡科技集團有限公司,大數據工程師,大數據實踐者。曾任平安科技大數據分析師和架構師,CSDN社區專傢,知識庫特邀編輯。目前專注於Docker、Kuberes、Mesos、Hadoop、Spark和Kylin等技術領域。
書名:Apache Kylin指南
:49.00元
售價:35.8元,便宜13.2元,摺扣73
作者:Apache Kylin核心團隊
齣版社:機械工業齣版社
齣版日期:2017-01-01
ISBN:9787111557012
字數:188000
頁碼:188
版次:1
裝幀:平裝-膠訂
開本:16開
商品重量:0.4kg
本書第1章介紹ApacheKylin的曆史、技術原理和産品定位,幫助用戶瞭解何時和為何使用Kylin。第2章通過一個具體的案例快速入門,講解Kylin核心概念、Cube建模和SQL連接查詢這些基本使用。第3、4章講解增量構建和進一步的流式構建,是大多數案例典型配置。第5、6章是針對查詢和可視化、Cube調優的兩個專門章節,適閤較的用戶。第7章是一係列有行業特點的具體案例分析,貫穿之前的所有概念。第8、9章講ApacheKylin的擴展和企業級功能,技術性較強,會有較多的代碼示例。第10章講運維管理,從安裝配置、監控維護到常見的問題和修復。全書後兩章談ApacheKylin開源社區和項目發展規劃。
推薦序推薦序二推薦序三推薦序四前言第1章Apache Kylin概述1.1背景和曆史1.2ApacheKyin的使命1.3 ApacheKylin的工作原理1.3.1維度和度量簡介1.3.2 Cube和Cuboid1.3.3工作原理 。1.4 ApacheKylin的技術架構1.5 ApacheKylin的主要特點1.5.1標準SQL接口1.5.2支持超大數據集1.5.3亞秒級響應1.5.4可伸縮性和高吞吐率1.5.5 BI及可視化工具集成1.6與其他開源産品比較1.7小結第2章快速入門2.1核心概念2.1.1數據倉庫、OLAP與BI2.1.2維度和度量2.1.3事實錶和維度錶2.1.4 Cube、Cuboid和Cube Segment2.2在Hive中準備數據2.2.1星形模型2.2.2維度錶的設計2.2.3 Hive錶分區2.2.4瞭解維度的基數2.2.5 SampleData2.3設計Cube2.3.1導入Hive錶定義2.3.2創建數據模型2.3.3創建CubP 2.4構建Cube第3章增量構建第4章流式構建第5章查詢和可視化第6章Cube優化第7章應用案例分析第8章擴展Apache Kyin第9章Apache Kyin的企業級功能第10章運維管理第11章參與開源第12章Apache Kyin的未來
本書將由李揚為首的麒麟技術團隊撰寫。團隊是Apache Kylin的主創團隊,是瞭解麒麟技術的一個團隊。李揚是大數據架構師和工程師,專注大數據分析技術。他是Apache Kylin管理委員會成員,也是Kyligence Inc.(一傢專業提供大數據商務智能服務的創業公司)創始人之一。李揚是Apache Kylin主創團隊的架構師和技術負責人,在eBay期間從2014年開始開發Kylin項目。之前,李揚在IBM工作8年,在摩根士丹利工作2年。在IBM期間,他是“傑齣技術貢獻奬”的獲奬者,曾擔任InfoSphere BigInsights的技術負責人,負責Hadoop開源産品架構。在摩根士丹利期間,李揚擔任副總裁,負責全球監管報錶基礎架構。
作為一名數據分析師,我一直緻力於尋找更高效的數據探索和分析工具,以滿足日益增長的業務需求。當我在市麵上搜尋相關資料時,無意中發現瞭這本《Apache Kylin指南+ Apac基於Apache Kylin構建大數據分析平颱》,它的齣現無疑給我帶來瞭驚喜。書中的內容組織非常有條理,從 Apache Kylin 的基本概念介紹,到如何構建和優化 Cube,再到如何將其集成到現有的數據分析流程中,環環相扣,邏輯清晰。我特彆欣賞書中對 Cube 設計哲學的闡述,它不僅僅是技術上的堆砌,更是對數據價值挖掘的深刻理解。作者通過生動的案例,展示瞭如何利用 Kylin 快速生成各種報錶和儀錶盤,從而幫助業務部門做齣更明智的決策。例如,書中關於如何根據用戶畫像進行精準營銷分析的章節,讓我眼前一亮,它清晰地展示瞭 Kylin 如何通過預聚閤能力,快速響應復雜的多維度查詢,從而挖掘齣潛在的營銷機會。同時,書中還涉及瞭如何與其他大數據組件,如Hadoop、Spark等進行集成,這使得 Kylin 能夠更好地融入現有的技術棧,發揮更大的價值。這本書不僅教會瞭我如何使用 Kylin,更重要的是,它讓我看到瞭利用 Kylin 構建強大、敏捷的大數據分析平颱的可能性,這對於我未來的工作將産生深遠的影響。
評分我最近閱讀瞭《Apache Kylin指南+ Apac基於Apache Kylin構建大數據分析平颱》,這本書的內容對於我這樣正在嘗試搭建企業級大數據分析平颱的人來說,簡直是一場及時雨。書中對於 Apache Kylin 的講解,非常接地氣,從理論到實踐,都做瞭詳細的梳理。我尤其關注書中關於“多維數據建模”的部分,它不僅僅是羅列瞭一些技術名詞,而是深入剖析瞭為什麼需要多維模型,以及如何根據業務場景進行閤理的維度和度量選擇,這對於避免模型設計的“坑”至關重要。作者在書中詳細介紹瞭 Cube 構建的各種策略,比如全量構建、增量構建,以及如何根據數據量和更新頻率來選擇最優的構建方式,這對於控製資源消耗和保證數據時效性非常有幫助。此外,書中還對 Kylin 的查詢優化做瞭深入的探討,包括如何理解查詢計劃,如何通過調整 Cube 和索引來提升查詢性能,這些細節對於實際運維中的性能調優非常有指導意義。我最喜歡的是書中關於“性能調優”的章節,它深入淺齣地分析瞭各種常見的性能瓶頸,並提供瞭切實可行的解決方案,這讓我對如何構建一個穩定、高效的大數據分析平颱有瞭更清晰的認識。這本書就像一個經驗豐富的技術導師,在我的大數據探索之路上給予瞭我寶貴的指導。
評分說實話,在翻閱《Apache Kylin指南+ Apac基於Apache Kylin構建大數據分析平颱》之前,我對“預計算”這個概念雖然有所耳聞,但對其在實際大數據分析平颱中的價值和實現方式,一直處於模糊的狀態。這本書的齣現,徹底改變瞭我的認知。它用一種非常係統化的方式,將 Apache Kylin 的強大功能和核心價值展現在我麵前。我尤其 impressed 於書中對於“Cube”設計的精妙之處,它不僅僅是一個數據結構,更是對業務需求的一種抽象和預處理。作者通過生動的圖示和案例,詳細講解瞭如何構建高效的 Cube,包括維度選擇、度量聚閤、索引配置等,這些都是直接影響最終查詢性能的關鍵。我注意到書中還專門用瞭一個章節來講解如何將 Kylin 集成到已有的數據生態係統中,比如與 Hadoop 生態中的 HDFS、Hive、Spark 等組件的整閤,這對於希望在現有環境中引入 Kylin 的組織來說,無疑是極大的便利。更讓我驚喜的是,書中還對 Kylin 的部署、配置、監控和運維等方麵進行瞭深入的探討,提供瞭一係列實用的建議和技巧,這對於保證平颱的穩定運行非常有幫助。讀完這本書,我感覺自己對如何構建一個高性能、可擴展的大數據分析平颱,有瞭更加清晰的認識,並且充滿瞭信心去實踐。
評分我懷著極大的興趣翻開瞭《Apache Kylin指南+ Apac基於Apache Kylin構建大數據分析平颱》,這確實是一本能夠解決實際痛點的著作。作為一名大數據開發工程師,我深知在大數據時代,如何快速、準確地從海量數據中提取有價值的信息是至關重要的。以往我主要依賴於傳統的SQL查詢,但在數據量急劇增長的情況下,其性能已經難以滿足業務需求。這本書的齣現,恰好填補瞭我在這方麵的知識空白。作者深入淺齣地介紹瞭Apache Kylin的核心架構和原理,讓我理解瞭其能夠實現亞秒級查詢的秘訣——預計算。書中詳細闡述瞭如何設計和構建“Cube”,這是 Kylin 的核心概念,它通過對數據進行多維度預聚閤,極大地縮短瞭查詢時間。我尤其喜歡書中關於“維度建模”的章節,它提供瞭一套清晰的思路,幫助讀者理解如何根據業務場景來設計高效的 Cube 模型,避免瞭不必要的維度和度量,從而優化存儲和計算資源。此外,書中還分享瞭許多在實際項目部署和運維中遇到的問題及解決方案,例如集群的擴容、容災策略、數據一緻性保障等,這些實戰經驗對於初學者來說,無疑是寶貴的財富。通過學習這本書,我不僅掌握瞭 Apache Kylin 的使用方法,更重要的是,我學會瞭如何從整體上構建一個高效、可擴展的大數據分析平颱,這對於提升我個人的技術能力和解決實際問題的能力非常有幫助。
評分這本《Apache Kylin指南+ Apac基於Apache Kylin構建大數據分析平颱》讓我對大數據分析的構建過程有瞭全新的認識,特彆是書中對Apache Kylin在實際場景中的應用講解,細緻入微。我之前在工作中遇到過一些性能瓶頸,尤其是在處理海量數據時的查詢響應速度,一直是個頭疼的問題。讀完這本書,我纔意識到,僅僅是把數據存儲起來,並不能解決問題,關鍵在於如何有效地對其進行預計算和優化。書中關於 Kylin 的 Cube 設計理念,比如預聚閤、多維模型、維度建模等,讓我豁然開朗。它不僅僅是講解瞭一個工具的使用,更是傳授瞭一種構建高性能大數據分析平颱的思維方式。書中對各種常見場景的案例分析,從數據源的接入,到 Cube 的構建策略,再到最終查詢的優化,每一個步驟都講解得非常透徹,並且提供瞭可操作的代碼示例和配置建議。特彆是關於如何根據業務需求選擇閤適的維度和度量,以及如何平衡 Cube 的構建時間和查詢性能,這些都是在實際工作中非常寶貴的經驗。我尤其欣賞書中關於性能調優的部分,它深入剖析瞭導緻性能問題的常見原因,並提供瞭多種行之有效的解決方案,比如增量構建、數據分層、索引優化等,這對於我日後在實際工作中優化 Kylin 集群的性能非常有指導意義。總的來說,這本書為我打開瞭一扇通往高效大數據分析世界的大門,讓我能夠更自信地應對復雜的數據挑戰。
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等
© 2025 book.tinynews.org All Rights Reserved. 静思书屋 版权所有