簡體網頁||繁體網頁

☆☆☆☆☆

王雪迎（美）卡普廖洛 著

圖書標籤:

• Hadoop
• Hive
• 數據倉庫
• 大數據
• 數據庫
• 數據分析
• 大數據技術
• Hive編程
• 數據管理
• 實戰

店鋪： 榮豐通達圖書專營店

齣版社： 清華大學齣版社

ISBN：9787302469803

商品編碼：26957784511

YL6894  9787302469803 9787115333834

 Hadoop構建數據倉庫實踐
>

本書講述在流行的大數據分布式存儲和計算平颱Hadoop上設計實現數據倉庫，將傳統數據倉庫建模與SQL開發的簡單性與大數據技術相結閤，快速、高效地建立可擴展的數據倉庫及其應用。 本書內容包括數據倉庫、Hadoop及其生態圈的相關概念，使用Sqoop從關係數據庫全量或增量抽取數據，使用HIVE進行數據轉換和裝載處理，使用Oozie調度作業周期性執行，使用Impala進行快速聯機數據分析，使用Hue將數據可視化，以及數據倉庫中的漸變維（SCD）、代理鍵、角色扮演維度、層次維度、退化維度、無事實的事實錶、遲到的事實、纍積的度量等常見問題在Hadoop上的處理等。本書適閤數據庫管理員、大數據技術人員、Hadoop技術人員、數據倉庫技術人員，也適閤高等院校和培訓機構相關**的師生教學參考。
>

第1章 數據倉庫簡介

1.1 什麼是數據倉庫 1

1.1.1 數據倉庫的定義 1

1.1.2 建立數據倉庫的原因 3

1.2 操作型與分析型 5

1.2.1 操作型 5

1.2.2 分析型 8

1.2.3 操作型和分析型對比 9

1.3 數據倉庫架構 10

1.3.1 基本架構 10

1.3.2 主要數據倉庫架構 12

1.3.3 操作數據存儲 16

1.4 抽取-轉換-裝載 17

1.4.1 數據抽取 17

1.4.2 數據轉換 19

1.4.3 數據裝載 20

1.4.4 開發ETL的方法 21

1.4.5 常見ETL工具 21

1.5 數據倉庫需求 22

1.5.1 基本需求 22

1.5.2 數據需求 23

 1.6 小結 24

第2章 數據倉庫設計基礎

2.1 關係數據模型 25

2.1.1 關係數據模型中的結構 25

2.1.2 關係完整性 28

2.1.3 規範化 30

2.1.4 關係數據模型與數據倉庫 33

2.2 維度數據模型 34

2.2.1 維度數據模型建模過程 35

2.2.2 維度規範化 36

2.2.3 維度數據模型的特點 37

2.2.4 星型模式 38

2.2.5 雪花模式 40

2.3 Data Vault模型 42

2.3.1 Data Vault模型簡介 42

2.3.2 Data Vault模型的組成部分 43

2.3.3 Data Vault模型的特點 44

2.3.4 Data Vault模型的構建 44

2.3.5 Data Vault模型實例 46

2.4 數據集市 49

2.4.1 數據集市的概念 50

2.4.2 數據集市與數據倉庫的區彆 50

2.4.3 數據集市設計 50

2.5 數據倉庫實施步驟 51

2.6 小結 54

第3章 Hadoop生態圈與數據倉庫

3.1 大數據定義 55

3.2 Hadoop簡介 56

3.2.1 Hadoop的構成 57

3.2.2 Hadoop的主要特點 58

3.2.3 Hadoop架構 58

3.3 Hadoop基本組件 59

3.3.1 HDFS 60

3.3.2 MapReduce 65

3.3.3 YARN 72

3.4 Hadoop生態圈的其他組件 77

3.5 Hadoop與數據倉庫 81

3.5.1 關係數據庫的可擴展性瓶頸 82

3.5.2 CAP理論 84

3.5.3 Hadoop數據倉庫工具 85

3.6 小結 88

第4章 安裝Hadoop

4.1 Hadoop主要發行版本 89

4.1.1 Cloudera Distribution for Hadoop（CDH） 89

4.1.2 Hortonworks Data Platform（HDP） 90

4.1.3 MapR Hadoop 90

4.2 安裝Apache Hadoop 91

4.2.1 安裝環境 91

4.2.2 安裝前準備 92

4.2.3 安裝配置Hadoop 93

4.2.4 安裝後配置 97

4.2.5 初始化及運行 97

4.3 配置HDFS Federation 99

4.4 離綫安裝CDH及其所需的服務 104

4.4.1 CDH安裝概述 104

4.4.2 安裝環境 106

4.4.3 安裝配置 106

4.4.4 Cloudera Manager許可證管理 114

4.5 小結 115.........

Hive編程指南
>

　　《Hive編程指南》是一本Apache Hive的編程指南，旨在介紹如何使用Hive的SQL方法HiveQL來匯總、查詢和分析存儲在Hadoop分布式文件上的大數據集閤。全書通過大量的實例，首先介紹如何在用戶環境下安裝和配置Hive，並對Hadoop和MapReduce進行詳盡闡述，*終演示Hive如何在Hadoop生態進行工作。

　　《Hive編程指南》適閤對大數據感興趣的愛好者以及正在使用Hadoop的數據庫管理員閱讀使用。
>

第1章　基礎知識　
1.1　Hadoop和MapReduce綜述　
1.2　Hadoop生態中的Hive　
1.2.1　Pig　
1.2.2　HBase　
1.2.3　Cascading、Crunch及其他　
1.3　Java和Hive：詞頻統計算法　
1.4　後續事情　

第2章　基礎操作　
2.1　安裝預先配置好的虛擬機　
2.2　安裝詳細步驟　
2.2.1　裝Java　
2.2.2　安裝Hadoop　
2.2.3　本地模式、僞分布式模式和分布式模式　
2.2.4　測試Hadoop　
2.2.5　安裝Hive　
2.3　Hive內部是什麼　
2.4　啓動Hive　
2.5　配置Hadoop環境　
2.5.1　本地模式配置　
2.5.2　分布式模式和僞分布式模式配置　
2.5.3　使用JDBC連接元數據　
2.6　Hive命令　
2.7　命令行界麵　
2.7.1　CLI 選項　
2.7.2　變量和屬性　
2.7.3　Hive中“一次使用”命令　
2.7.4　從文件中執行Hive查詢　
2.7.5　hiverc文件　
2.7.6　使用Hive CLI的更多介紹　
2.7.7　查看操作命令曆史　
2.7.8　執行shell命令　
2.7.9　在Hive內使用Hadoop的dfs命令　
2.7.10　Hive腳本中如何進行注釋　
2.7.11　顯示字段名稱　

第3章　數據類型和文件格式　
3.1　基本數據類型　
3.2　集閤數據類型　
3.3　文本文件數據編碼　
3.4　讀時模式　

第4章　HiveQL：數據定義　
4.1　Hive中的數據庫　
4.2　修改數據庫　
4.3　創建錶　
4.3.1　管理錶　
4.3.2　外部錶　
4.4　分區錶、管理錶　
4.4.1　外部分區錶　
4.4.2　自定義錶的存儲格式　
4.5　刪除錶　
4.6　修改錶　
4.6.1　錶重命名　
4.6.2　增加、修改和刪除錶分區　
4.6.3　修改列信息　
4.6.4　增加列　
4.6.5　刪除或者替換列　
4.6.6　修改錶屬性　
4.6.7　修改存儲屬性　
4.6.8　眾多的修改錶語句　

第5章　HiveQL：數據操作　
5.1　嚮管理錶中裝載數據　
5.2　通過查詢語句嚮錶中插入數據　
5.3　單個查詢語句中創建錶並加載數據　
5.4　導齣數據　

第6章　HiveQL：查詢　
6.1　SELECT…FROM語句　
6.1.1　使用正則錶達式來指定列　
6.1.2　使用列值進行計算　
6.1.3　算術運算符　
6.1.4　使用函數　
6.1.5　LIMIT語句　
6.1.6　列彆名　
6.1.7　嵌套SELECT語句　
6.1.8　CASE…WHEN…THEN 句式　
6.1.9　什麼情況下Hive可以避免進行MapReduce　
6.2　WHERE語句　
6.2.1　謂詞操作符　
6.2.2　關於浮點數比較　
6.2.3　LIKE和RLIKE　
6.3　GROUP BY 語句　
6.4　JOIN語句　
6.4.1　INNER JOIN　
6.4.2　JOIN優化　
6.4.3　LEFT OUTER JOIN　
6.4.4　OUTER JOIN　
6.4.5　RIGHT OUTER JOIN　
6.4.6　FULL OUTER JOIN　
6.4.7　LEFT SEMI-JOIN　
6.4.8　笛卡爾積JOIN　
6.4.9　map-side JOIN　
6.5　ORDER BY和SORT BY　
6.6　含有SORT BY 的DISTRIBUTE BY　
6.7　CLUSTER BY　
6.8　類型轉換　
6.9　抽樣查詢　
6.9.1　數據塊抽樣　
6.9.2　分桶錶的輸入裁剪　
6.10　UNION ALL　..........

大數據處理的基石：深度解析分布式存儲與計算原理 隨著數據量的爆炸式增長，傳統的數據處理方式已顯得捉襟見肘。在這個信息洪流的時代，如何有效地存儲、管理和分析海量數據，成為瞭企業和技術人員麵臨的重大挑戰。本書將帶領您深入探索大數據技術的核心，為您揭示支撐起整個大數據生態係統的基石——分布式存儲與計算的奧秘。我們將聚焦於那些引領大數據革命的開源項目，從底層原理齣發，為您構建起一個清晰、係統且深入的認知框架。 一、 分布式存儲的藝術：HDFS的架構與實踐 在構建任何大數據解決方案之前，首要解決的問題是如何存儲海量數據。單颱服務器的存儲能力終將觸及天花闆，而將數據分散存儲到多颱機器上，並保證其可靠性、可訪問性和高吞吐量，正是分布式存儲的精髓所在。本書將以Apache Hadoop的分布式文件係統（HDFS）為切入點，對其進行詳盡的剖析。 HDFS的整體架構： 我們將從HDFS的基本概念入手，理解其為何被設計成分布式存儲的典範。您將學習到NameNode（主節點）和DataNode（數據節點）的角色分工，它們如何協同工作，以及HDFS的讀寫流程是怎樣的。我們將深入探討NameNode的職責，包括命名空間管理、文件元數據存儲、以及對DataNode的狀態監控。同時，您將瞭解DataNode如何存儲實際的數據塊，以及它們如何響應NameNode的指令。 數據塊與副本機製： HDFS的核心思想是將大文件分割成固定大小的數據塊（Block），並將這些數據塊分布存儲在集群中的多個DataNode上。我們將詳細講解數據塊的存儲策略，以及HDFS如何通過數據副本機製來保證數據的容錯性和可用性。理解副本策略（如奇偶校驗）對於確保數據安全至關重要，我們將討論不同副本策略的優劣，以及如何根據實際需求進行配置。 NameNode的高可用性（HA）： 對於任何關鍵的係統而言，單點故障都是一個巨大的風險。本書將深入探討HDFS NameNode的高可用性設計。您將瞭解Active/Standby NameNode模式，以及ZooKeeper在 NameNode 故障轉移（Failover）中的關鍵作用。我們將講解Shared Edits Directory、JournalNode等組件如何協同工作，確保在NameNode發生故障時，係統能夠快速、平滑地切換到備用節點，最大限度地減少服務中斷。 HDFS的讀寫流程詳解： 從客戶端發起讀寫請求到數據塊的實際傳輸，整個過程充滿瞭精巧的設計。本書將一步步拆解HDFS的讀寫流程，讓您清晰地理解數據是如何被讀取和寫入的。我們將關注數據塊的定位、客戶端如何與NameNode和DataNode進行交互，以及數據傳輸的效率和可靠性是如何保障的。 HDFS的管理與調優： 僅僅瞭解架構是不夠的，實際應用中還需要對HDFS進行有效的管理和性能調優。本書將為您提供實用的建議，包括如何監控HDFS的健康狀況、如何處理磁盤故障、如何優化數據塊大小、以及如何進行容量規劃等。通過這些實操性的指導，您將能夠更好地駕馭HDFS，使其發揮最大的效能。 二、 分布式計算的引擎：MapReduce的編程模型與執行機製 數據存儲隻是第一步，如何高效地對這些海量數據進行計算和分析，纔是大數據處理的真正價值所在。Apache Hadoop的MapReduce框架，作為分布式計算的先驅，為我們提供瞭一種簡單而強大的編程模型，讓開發者能夠輕鬆地並行處理大規模數據集。 MapReduce編程模型： MapReduce的核心思想是將復雜的計算任務分解為兩個主要階段：Map（映射）和Reduce（規約）。本書將詳細講解Map和Reduce函數的定義、輸入輸齣格式，以及它們之間的數據流轉。您將通過具體的示例，學習如何設計Map函數來處理原始數據，如何將Map的輸齣轉化為適閤Reduce階段的鍵值對，以及如何設計Reduce函數來聚閤和總結數據。 Shuffle與Sort過程： MapReduce作業中最具挑戰性和技術含量的部分之一便是Shuffle與Sort過程。我們將深入剖析這個過程，理解Map輸齣的數據是如何被分區（Partition）、排序（Sort）和歸並（Combine）的。您將瞭解到Combiner的作用，它如何優化Map輸齣，減少網絡傳輸量，以及Partitioner如何決定Map輸齣的鍵值對會被發送到哪個Reduce任務。 MapReduce的執行流程： 從JobTracker（或YARN中的ResourceManager）的調度到TaskTracker（或YARN中的NodeManager）的執行，MapReduce作業的執行過程是一個復雜而有序的流程。本書將詳細介紹MapReduce作業的提交、調度、任務執行、任務失敗處理以及結果的輸齣。您將理解JobTracker如何管理和監控所有Map和Reduce任務，以及TaskTracker如何負責實際的任務執行。 YARN：新一代資源管理與作業調度： 隨著大數據生態係統的發展，MapReduce已不再是唯一的計算框架。YARN（Yet Another Resource Negotiator）的齣現，將Hadoop的資源管理和作業調度從MapReduce中分離齣來，成為瞭一個通用的分布式應用程序平颱。本書將重點介紹YARN的架構，包括ResourceManager、NodeManager、ApplicationMaster等核心組件。您將瞭解YARN如何實現多框架的兼容性，例如Spark、Flink等計算引擎如何在YARN上運行，以及YARN如何提供更精細化的資源管理和調度能力。 MapReduce的優化與調優： 為瞭提升MapReduce作業的性能，需要進行一係列的優化。本書將探討各種MapReduce調優技巧，包括如何選擇閤適的數據序列化格式、如何調整JVM參數、如何優化Map和Reduce任務的並行度、如何利用Map-side Join和Reduce-side Join來優化數據關聯操作，以及如何處理數據傾斜問題。 三、 構建數據倉庫的理論與實踐 在掌握瞭分布式存儲和計算的基石之後，我們就可以著手構建真正意義上的數據倉庫。本書將為您梳理數據倉庫的設計理念，並介紹如何利用大數據技術來實現這些理念。 數據倉庫的設計原則： 瞭解數據倉庫的本質，理解維度建模、事實錶、維度錶等核心概念。我們將探討如何根據業務需求進行數據模型的設計，如何構建清晰、可擴展的數據倉庫架構。您將學習到數據一緻性、數據質量、數據安全等數據倉庫設計的關鍵要素。 ETL（Extract, Transform, Load）流程： 將原始數據從各個數據源抽取齣來，經過清洗、轉換、整閤，最終加載到數據倉庫，是ETL的核心任務。本書將介紹如何設計和實現高效的ETL流程。您將瞭解各種數據抽取策略，數據清洗和轉換的常用技術，以及數據加載的方法，包括批量加載和增量加載。 數據倉庫的性能優化： 隨著數據量的增加，數據倉庫的查詢性能變得至關重要。本書將探討數據倉庫的性能優化策略，包括閤理的數據分區、索引的應用、物化視圖的使用，以及如何進行SQL查詢優化。 四、 展望與挑戰 大數據技術正在飛速發展，新的技術和工具層齣不窮。本書的最後，我們將對大數據領域的最新趨勢進行展望，例如流式計算、機器學習在數據分析中的應用、以及數據湖與數據倉庫的融閤等。同時，我們也將探討在大數據實踐中可能遇到的挑戰，例如數據隱私與安全、數據治理、人纔培養等，並為讀者提供應對這些挑戰的思路和建議。 通過對本書的學習，您將不僅能夠深入理解大數據技術的核心原理，更重要的是，能夠掌握如何將這些技術應用於實際的數據倉庫構建和數據分析工作中，為您的職業生涯和技術發展奠定堅實的基礎。

評分☆☆☆☆☆

坦白說，我之前對大數據領域的認知主要停留在一些零散的概念上，比如MapReduce、HDFS，但總感覺缺乏一個係統的認識。《Hadoop構建數據倉庫實踐》這本書，它真的幫我構建起瞭一個完整的大數據知識框架。我喜歡它從Hadoop的核心組件開始，循序漸進地介紹其工作原理，而且不僅僅是理論，還穿插瞭大量的實際配置和操作指導。最讓我印象深刻的是，它詳細闡述瞭如何基於Hadoop來構建一個真正可用、可擴展的數據倉庫，這正是我們團隊目前麵臨的最大挑戰。書中關於數據建模、ETL流程的設計思路，以及如何利用Hadoop生態係統中的其他工具（如Sqoop、Flume、Oozie等）來支撐整個數據倉庫的運作，都給我帶來瞭很多啓發。而《Hive編程指南》則是我在實際操作中的得力助手。Hive作為Hadoop上最常用的數據查詢工具，這本書對其進行瞭全方位的解析，從基礎語法到高級特性，再到性能優化，都講解得非常到位。我尤其喜歡書中關於窗口函數和用戶定義函數（UDF）的講解，這讓我能夠處理更復雜的數據分析場景。這兩本書的結閤，為我深入理解和實踐大數據技術提供瞭堅實的基礎。

評分☆☆☆☆☆

作為一名渴望提升技術能力的數據分析師，我一直在尋找能夠幫助我從海量數據中挖掘價值的書籍。《Hadoop構建數據倉庫實踐》這本書，它為我打開瞭一扇通往大數據世界的大門。它並沒有將Hadoop作為一個獨立的工具來介紹，而是著眼於如何利用Hadoop來構建一個真正有價值的數據倉庫，這恰恰是我最需要解決的問題。書中關於數據倉庫的生命周期管理、不同類型數據的存儲策略、以及如何進行高效的數據集成和ETL流程設計，都給我留下瞭深刻的印象。它讓我明白，構建數據倉庫不僅僅是技術的堆砌，更需要深入的業務理解和閤理的設計。而《Hive編程指南》這本書，則是我在實踐中不可或缺的夥伴。Hive作為Hadoop上最常用的數據查詢和分析工具，這本書對其進行瞭詳盡的講解。從Hive的基本查詢語法，到復雜的數據處理技巧，再到性能優化的方法，都覆蓋得非常全麵。我特彆喜歡書中關於如何編寫高效HiveQL的建議，這對於處理PB級彆的數據來說至關重要。這兩本書的結閤，讓我不僅理解瞭大數據倉庫的宏觀設計，也掌握瞭在實際操作中處理和分析數據的具體方法。

評分☆☆☆☆☆

一直以來，我對數據庫管理和數據倉庫的概念都有些模糊，總覺得是高深莫測的學問。直到我開始閱讀《Hadoop構建數據倉庫實踐》和《Hive編程指南》這套書，我纔茅塞頓開！《Hadoop構建數據倉庫實踐》這本書，它不僅僅是關於Hadoop本身，更重要的是它將Hadoop與數據倉庫的概念緊密結閤起來，讓我看到瞭如何利用Hadoop這個強大的平颱來構建現代化、可擴展的數據倉庫。書中對數據倉庫的架構設計、數據生命周期管理、以及如何集成各種數據源的講解，都非常係統和深入。我特彆欣賞它對數據倉庫在企業中的作用和價值的闡述，讓我理解瞭為什麼構建一個高效的數據倉庫如此重要。而《Hive編程指南》則為我提供瞭一把解鎖數據倉庫中海量數據的鑰匙。通過學習Hive，我學會瞭如何用SQL風格的語言去查詢和分析存儲在Hadoop中的各種結構化和半結構化數據。這本書的實踐性非常強，通過大量的代碼示例，我不僅學會瞭如何編寫Hive查詢，還學會瞭如何進行數據清洗、轉換和聚閤。這兩本書配閤起來，形成瞭一個完整的知識體係，讓我從零開始，一步步掌握瞭構建和管理大數據倉庫的核心技能。

評分☆☆☆☆☆

這套書簡直是為我量身定做的！最近公司正在大力推進大數據項目，我之前的基礎比較薄弱，一直想找一套既能講解原理又能指導實踐的書籍。當我在書店看到這套《Hadoop構建數據倉庫實踐》和《Hive編程指南》的時候，簡直是眼睛一亮！《Hadoop構建數據倉庫實踐》這本書，我翻瞭幾頁就愛上瞭。它不像有些書那樣乾巴巴地介紹概念，而是非常注重實際操作，從Hadoop的基礎架構到數據倉庫的搭建，一步步都講得非常清楚。特彆是它裏麵關於HDFS、MapReduce、YARN的講解，結閤瞭大量的圖示和代碼示例，讓我這個初學者也能很快理解那些復雜的概念。而且，書中還詳細介紹瞭如何設計和構建一個典型的大數據倉庫，包括數據建模、ETL流程、以及如何利用Hadoop生態係統中的各種工具來實現這些目標。最讓我驚喜的是，它還涉及瞭一些高級話題，比如數據治理、數據安全等，這些都是在實際工作中非常重要但又容易被忽略的方麵。整本書的邏輯非常流暢，從宏觀到微觀，從理論到實踐，層層遞進，讀起來一點也不費力。我個人感覺，有瞭這本書，我在搭建和維護公司的大數據平颱方麵，信心倍增！

評分☆☆☆☆☆

說實話，我剛拿到這套書的時候，覺得《Hive編程指南》可能隻是《Hadoop構建數據倉庫實踐》的補充，但讀完之後，我纔意識到它簡直是一顆隱藏的寶石！這本書對於想深入掌握Hive這門大數據查詢語言的人來說，絕對是必不可少的。它從Hive的基本語法、數據類型講起，一直到復雜的數據處理、窗口函數、UDF的開發，幾乎涵蓋瞭Hive的所有重要特性。我特彆喜歡它對SQL和HiveQL的對比分析，幫助我理解瞭Hive的獨特之處，以及如何將SQL的思維方式遷移到Hive中。書中大量的實際案例，讓我能夠立刻上手，嘗試不同的查詢語句，解決實際數據分析問題。而且，它還深入講解瞭Hive的優化技巧，比如謂詞下推、分區、分桶等，這些對於提升查詢效率至關重要。在工作中，我經常需要從Hadoop集群中提取數據進行分析，而Hive就是我們最常用的工具。這本書讓我對Hive的理解上升到瞭一個新的層次，不僅能寫齣基本的查詢，還能寫齣高效、優化的查詢，大大提升瞭我的工作效率。可以說，這本書讓我徹底擺脫瞭“隻會寫簡單SQL”的階段，真正成為瞭一個Hive高手！