要把關係型數據庫應用遷移到Hadoop上,你該何去何從?本書介紹瞭Apache Hive,它是基於Hadoop的數據倉庫架構。通過本書,讀者可以很快學會如何使用Hive的SQL方言——HiveQL來匯總、查詢和分析存儲在Hadoop分布式文件係統上的大型數據集。 卡普廖洛、萬普勒、盧森格林編著的《Hive編程指南》以實際案例為主綫,詳細介紹如何在用戶環境下安裝和配置Hive,並對Hadoop和MapReduce的各項技術進行概要介紹,同時演示Hive在Hadoop生態係統中是如何工作的。在本書中,讀者還可以看到眾多的實際使用場景,包括企業如何使用Hive解決瞭涉及PB級數據的問題。
卡普廖洛、萬普勒、盧森格林編著的《Hive編程 指南》是一本ApacheHive的編程指南,旨在介紹如何 使用Hive的SQL方法——HiveQL來匯總、查詢和分析 存儲在Hadoop分布式文件係統上的大數據集閤。
《Hive編程指南》通過大量的實例,首先介紹如何在 用戶環境下安裝和配置Hive,並對Hadoop和 MapReduce進行詳盡闡述,*終演示Hive如何在 Hadoop生態係統進行工作。
《Hive編程指南》適閤對大數據感興趣的愛好者 以及正在使用Hadoop係統的數據庫管理員閱讀使用。
Edward Capriolo,Media6degrees公司係統管理員,他是Apache軟件基金會成員,還是Hadoop—Hive項目成員。 Dean Wampler,Think Big Analytics公司總顧問,對大數據問題以及Hadoop和機器學習有專門的研究。 Jason Rutherglen,Think Big Analytics公司軟件架構師,對大數據、Hadoop、搜索和安全有專門的研究。
**章 基礎知識
1.1 Hadoop和MapReduce綜述
1.2 Hadoop生態係統中的Hive
1.2.1 Pig
1.2.2 HBase
1.2.3 Cascading、Crunch及其他
1.3 Java和Hive:詞頻統計算法
1.4 後續事情
第2章 基礎操作
2.1 安裝預先配置好的虛擬機
2.2 安裝詳細步驟
2.2.1 裝Java
2.2.2 安裝Hadoop
2.2.3 本地模式、僞分布式模式和分布式模式
2.2.4 測試Hadoop
2.2.5 安裝Hive
2.3 Hive內部是什麼
2.4 啓動Hive
2.5 配置Hadoop環境
2.5.1 本地模式配置
2.5.2 分布式模式和僞分布式模式配置
2.5.3 使用JDBC連接元數據
2.6 Hive命令
2.7 命令行界麵
2.7.1 CLI 選項
2.7.2 變量和屬性
2.7.3 Hive中“一次使用”命令
2.7.4 從文件中執行Hive查詢
2.7.5 hiverc文件
2.7.6 使用Hive CLI的*多介紹
2.7.7 查看操作命令曆史
2.7.8 執行shell命令
2.7.9 在Hive內使用Hadoop的dfs命令
2.7.10 Hive腳本中如何進行注釋
2.7.11 顯示字段名稱
第3章 數據類型和文件格式
3.1 基本數據類型
3.2 集閤數據類型
3.3 文本文件數據編碼
3.4 讀時模式
第4章 HiveQL:數據定義
4.1 Hive中的數據庫
4.2 修改數據庫
4.3 創建錶
4.3.1 管理錶
4.3.2 外部錶
4.4 分區錶、管理錶
4.4.1 外部分區錶
4.4.2 自定義錶的存儲格式
4.5 刪除錶
4.6 修改錶
4.6.1 錶重命名
4.6.2 增加、修改和刪除錶分區
4.6.3 修改列信息
4.6.4 增加列
4.6.5 刪除或者替換列
4.6.6 修改錶屬性
4.6.7 修改存儲屬性
4.6.8 眾多的修改錶語句
第5章 HiveQL:數據操作
5.1 嚮管理錶中裝載數據
5.2 通過查詢語句嚮錶中插入數據
5.3 單個查詢語句中創建錶並加載數據
5.4 導齣數據
第6章 HiveQL:查詢
6.1 SELECT…FROM語句
6.1.1 使用正則錶達式來指定列
6.1.2 使用列值進行計算
6.1.3 算術運算符
6.1.4 使用函數
6.1.5 LIMIT語句
6.1.6 列彆名
6.1.7 嵌套SELECT語句
6.1.8 CASE…WHEN…THEN 句式
6.1.9 什麼情況下Hive可以避免進行MapReduce
6.2 WHERE語句
6.2.1 謂詞操作符
6.2.2 關於浮點數比較
6.2.3 LIKE和RLIKE
6.3 GROUP BY 語句
6.4 JOIN語句
6.4.1 INNER JOIN
6.4.2 JOIN優化
6.4.3 LEFT OUTER JOIN
6.4.4 OUTER JOIN
6.4.5 RIGHT OUTER JOIN
6.4.6 FULL OUTER JOIN
6.4.7 LEFT SEMI-JOIN
6.4.8 笛卡爾積JOIN
6.4.9 map-side JOIN
6.5 ORDER BY和SORT BY
6.6 含有SORT BY 的DISTRIBUTE BY
6.7 CLUSTER BY
6.8 類型轉換
6.9 抽樣查詢
6.9.1 數據塊抽樣
6.9.2 分桶錶的輸入裁剪
6.10 UNION ALL
第7章 HiveQL:視圖
7.1 使用視圖來降低查詢復雜度
7.2 使用視圖來限製基於條件過濾的數據
7.3 動態分區中的視圖和map類型
7.4 視圖零零碎碎相關的事情
第8章 HiveQL:索引
8.1 創建索引
8.2 重建索引
8.3 顯示索引
8.4 刪除索引
8.5 實現一個定製化的索引處理器
第9章 模式設計
9.1 按天劃分的錶
9.2 關於分區
9.3 **鍵和標準化
9.4 同一份數據多種處理
9.5 對於每個錶的分區
9.6 分桶錶數據存儲
9.7 為錶增加列
9.8 使用列存儲錶
9.8.1 重復數據
9.8.2 多列
9.9 (幾乎)總是使用壓縮
**0章 調優
10.1 使用EXPLAIN
10.2 EXPLAIN EXTENDED
10.3 限製調整
10.4 JOIN優化
10.5 本地模式
10.6 並行執行
10.7 嚴格模式
10.8 調整mapper和reducer個數
10.9 JVM重用
10.10 索引
10.11 動態分區調整
10.12 推測執行
10.13 單個MapReduce中多個GROUP BY
10.14 虛擬列
**1章 其他文件格式和壓縮方法
11.1 確定安裝編解碼器
11.2 選擇一種壓縮編/解碼器
11.3 開啓中間壓縮
11.4 *終輸齣結果壓縮
11.5 sequence file存儲格式
11.6 使用壓縮實踐
11.7 存檔分區
11.8 壓縮:包紮
**2章 開發
12.1 修改Log4J屬性
12.2 連接Java調試器到Hive
12.3 從源碼編譯Hive
12.3.1 執行Hive測**例
12.3.2 執行hook
12.4 配置Hive和Eclipse
12.5 Maven工程中使用Hive
12.6 Hive中使用hive_test進行單元測試
12.7 新增的插件開發工具箱(PDK)
**3章 函數
13.1 發現和描述函數
13.2 調用函數
13.3 標準函數
13.4 聚閤函數
13.5 錶生成函數
13.6 一個通過日期計算其星座的UDF
13.7 UDF與GenericUDF
13.8 不變函數
13.9 用戶自定義聚閤函數
13.10 用戶自定義錶生成函數
13.10.1 可以産生多行數據的UDTF
13.10.2 可以産生具有多個字段的單行數據的UDTF
13.10.3 可以模擬復雜數據類型的UDTF
13.11 在 UDF中訪問分布式緩存
13.12 以函數的方式使用注解
13.12.1 定數性(deterministic)標注
13.12.2 狀態性(stateful)標注
13.12.3 **性
13.13 宏命令
**4章 Streaming
14.1 恒等變換
14.2 改變類型
14.3 投影變換
14.4 操作轉換
14.5 使用分布式內存
14.6 由一行産生多行
14.7 使用streaming進行聚閤計算
14.8 CLUSTER BY、DISTRIBUTE BY、SORT BY
14.9 GenericMR Tools for Streaming to Java
14.10 計算cogroup
**5章 自定義Hive文件和記錄格式
15.1 文件和記錄格式
15.2 闡明CREATE TABLE句式
15.3 文件格式
15.3.1 SequenceFile
15.3.2 RCfile
15.3.3 示例自定義輸入格式:DualInputFormat
15.4 記錄格式:SerDe
15.5 CSV和TSV SerDe
15.6 ObjectInspector
15.7 Thing Big Hive Reflection ObjectInspector
15.8 XML UDF
15.9 XPath相關的函數
15.10 JSON SerDe
15.11 Avro Hive SerDe
15.11.1 使用錶屬性信息定義Avro Schema
15.11.2 從指定URL中定義Schema
15.11.3 進化的模式
15.12 二進製輸齣
**6章 Hive的Thrift服務
16.1 啓動Thrift Server
16.2 配置Groovy使用HiveServer
16.3 連接到HiveServer
16.4 獲取集群狀態信息
16.5 結果集模式
16.6 獲取結果
16.7 獲取執行計劃
16.8 元數據存儲方法
16.9 管理HiveServer
16.9.1 生産環境使用HiveServer
16.9.2 清理
16.10 Hive ThriftMetastore
16.10.1 ThriftMetastore 配置
16.10.2 客戶端配置
**7章 存儲處理程序和NoSQL
17.1 Storage Handler Background
17.2 HiveStorageHandler
17.3 HBase
17.4 Cassandra
17.4.1 靜態列映射(Static Column Mapping)
17.4.2 為動態列轉置列映射
17.4.3 Cassandra SerDe Properties
17.5 DynamoDB
**8章 安全
18.1 和Hadoop安全功能相結閤
18.2 使用Hive進行驗證
18.3 Hive中的權限管理
18.3.1 用戶、組和角色
18.3.2 Grant 和 Revoke權限
18.4 分區級彆的權限
18.5 自動授權
**9章 鎖
19.1 Hive結閤Zookeeper支持鎖功能
19.2 顯式鎖和獨占鎖
第20章 Hive和Oozie整閤
20.1 Oozie提供的多種動作(Action)
20.2 一個隻包含兩個查詢過程的工作流示例
20.3 Oozie 網頁控製颱
20.4 工作流中的變量
20.5 獲取輸齣
20.6 獲取輸齣到變量
第21章 Hive和***網絡服務係統(AWS)
21.1 為什麼要彈性MapReduce
21.2 實例
21.3 開始前的注意事項
21.4 管理自有EMR Hive集群
21.5 EMR Hive上的Thrift Server服務
21.6 EMR上的實例組
21.7 配置EMR集群
21.7.1 部署hive-site.xml文件
21.7.2 部署.hiverc腳本
21.7.3 建立一個內存密集型配置
21.8 EMR上的持久層和元數據存儲
21.9 EMR集群上的HDFS和S
21.10 在S3上部署資源、配置和輔助程序腳本
21.11 S3上的日誌
21.12 現買現賣
21.13 安全組
21.14 EMR和EC2以及Apache Hive的比較
21.15 包裝
第22章 HCatalog
22.1 介紹
22.2 MapReduce
22.2.1 讀數據
22.2.2 寫數據
22.3 命令行
22.4 安全模型
22.5 架構
第23章 案例研究
23.1 m6d.com(Media6Degrees)
23.1.1 M 6D的數據科學,使用Hive和R
23.1.2 M6D UDF僞隨機
23.1.3 M6D如何管理多MapReduce集群間的Hive數據訪問
23.2 Outbrain
23.2.1 站內綫上身份識彆
23.2.2 計算復雜度
23.2.3 會話化
23.3 NASA噴氣推進實驗室
23.3.1 區域氣候模型評價係統
23.3.2 我們的經驗:為什麼使用Hive
23.3.3 解決這些問題我們所麵臨的挑戰
23.4 Photobucket
23.4.1 Photobucket 公司的大數據應用情況
23.4.2 Hive所使用的硬件資源信息
23.4.3 Hive提供瞭什麼
23.4.4 Hive支持的用戶有哪些
23.5 SimpleReach
23.6 Experiences and Needs from the Customer Trenches
23.6.1 介紹
23.6.2 Customer Trenches的用例
術語詞匯錶
這本書的封麵設計就足夠吸引人瞭,深邃的藍色搭配著簡潔卻有力的銀色字體,給人一種沉穩、專業的感覺,仿佛它本身就蘊含著知識的寶藏。在拿到這本書的那一刻,我就被它散發齣的質感所吸引。翻開扉頁,清晰的排版和適中的字號讓閱讀變得輕鬆愉快,沒有那些花哨的裝飾,一切都聚焦於內容的呈現。我尤其喜歡書中對每一個知識點的講解方式,總是循序漸進,從最基礎的概念入手,然後逐步深入到更復雜的主題。這種結構安排非常適閤我這樣初學者,能夠讓我建立起紮實的理解基礎,而不至於在茫茫的知識海洋中迷失方嚮。而且,書中穿插的那些案例和示例,更是將抽象的概念變得具體可感,讓我能夠清晰地看到Hive在實際應用中的威力。我一直對大數據處理充滿好奇,而這本書似乎就是為我量身打造的。我迫不及待地想深入其中,去探索Hive的奧秘,瞭解它如何能夠高效地處理海量數據,為我的學習和工作帶來新的可能性。我確信,這本書將是我通往大數據世界的絕佳起點。
評分我一直以來對數據分析和數據倉庫技術都有著濃厚的興趣,而Hive作為Hadoop生態係統中至關重要的組成部分,自然是我學習的重點。這本書的質量,可以說遠遠超齣瞭我的預期。從宏觀的架構設計,到微觀的SQL函數應用,它幾乎涵蓋瞭Hive開發和管理的方方麵麵。讓我印象深刻的是,書中對Hive性能優化的講解,它並沒有僅僅停留在理論層麵,而是提供瞭大量具體的優化策略和實踐案例,例如如何通過閤理的分區和分桶來提升查詢效率,如何通過壓縮和序列化來減少存儲成本,等等。這些內容對於我這樣需要在實際項目中應用Hive的人來說,簡直是無價之寶。我曾經因為性能問題而頭疼不已,但讀完這本書,我感覺自己仿佛擁有瞭一本“武林秘籍”,能夠運用各種技巧來駕馭Hive,讓它在我的數據處理任務中發揮齣最大的潛力。這本書的價值,在於它能夠真正地幫助我解決實際問題,提升我的工作效率。
評分毫不誇張地說,這本書為我打開瞭一個全新的視角。在閱讀之前,我總覺得Hive僅僅是一個將SQL“翻譯”成MapReduce的工具,但這本書讓我看到瞭Hive更深層次的價值和可能性。它不僅詳細闡述瞭Hive的語法和功能,更重要的是,它引導我去思考如何更有效地利用Hive來解決復雜的業務問題。書中對Hive與其他Hadoop組件(如HDFS, MapReduce, Spark等)的結閤運用,進行瞭深入的探討,讓我能夠更全麵地理解Hive在整個大數據生態係統中的地位和作用。我特彆喜歡書中關於UDF(用戶自定義函數)開發的章節,它不僅介紹瞭如何編寫UDF,還提供瞭許多實用的UDF示例,這讓我看到瞭Hive在處理特定業務邏輯方麵的強大擴展能力。總而言之,這本書不僅僅是關於Hive的“是什麼”,更是關於Hive的“怎麼做”以及“為什麼這麼做”。它讓我從一個被動的學習者,轉變為一個主動的思考者,去探索Hive更廣闊的應用前景。
評分拿到這本書之後,我立刻被它精煉的文字和嚴謹的邏輯所摺服。這不是一本簡單的“百科全書”,而更像是一位經驗豐富的大師在循循善誘。書中對於Hive的每一個功能模塊,都進行瞭細緻入微的剖析,從最基礎的SQL語法,到高級的性能調優技巧,無不涵蓋。我最看重的是書中對Hive底層原理的講解,它並沒有迴避技術細節,而是深入淺齣地解釋瞭Hive是如何將SQL查詢轉化為MapReduce(或者Spark)作業的,這對於我理解Hive的性能瓶頸以及如何優化查詢至關重要。作者在講解過程中,總是能夠預見讀者可能會遇到的睏惑,並提前給齣清晰的解答。這種“先知先覺”式的寫作風格,極大地減少瞭我的學習阻力。我感覺,與其說我是在閱讀一本書,不如說我是在與一位資深的Hive工程師進行一對一的交流,他的每一個建議都充滿瞭實踐的價值。我尤其喜歡書中關於數據傾斜的章節,那裏的講解非常到位,讓我茅塞頓開,解決瞭睏擾我很久的問題。
評分這本書的齣現,簡直是我近期學習生涯中的一道曙光。在接觸Hive之前,我一直覺得大數據處理是一件遙不可及的事情,充滿瞭復雜的算法和晦澀的代碼。然而,這本書徹底改變瞭我的看法。它用一種非常親切、易懂的語言,將Hive的核心概念娓娓道來。我特彆欣賞作者在解釋一些復雜邏輯時,所使用的比喻和類比,它們總是那麼貼切,能夠瞬間點亮我腦海中的盲點。舉個例子,關於Hive的數據模型,作者通過一個圖書館的類比,讓我一下子就理解瞭錶、分區、桶等概念之間的關係,而不再是枯燥的理論陳述。更讓我驚喜的是,書中並沒有止步於理論,而是提供瞭大量實用的代碼片段和操作指南。這些內容不僅僅是簡單的命令堆砌,而是充滿瞭作者的實踐經驗和智慧,指導我如何一步一步地去構建、查詢和優化Hive數據倉庫。我曾經在實際操作中遇到的一些棘手問題,在這本書中似乎都找到瞭解決的答案。它讓我感受到,學習Hive並非是枯燥的,而是一個充滿探索和發現的有趣過程。
評分好。。。。。。。。。。。。。。。
評分一直在深入
評分不錯不錯不錯不錯不錯不錯
評分挺好的?。。。。。。。。。
評分不錯不錯不錯不錯不錯不錯
評分書不錯正在看,實用性很強
評分書很好
評分正版不賴
評分不錯的,好評!
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等
© 2025 book.tinynews.org All Rights Reserved. 静思书屋 版权所有