YL2013 9787302454526 9787111557012
Apache Kylin指南+ Apac基于Apache Kylin构建大数据分析平台
书名:基于Apache Kylin构建大数据分析平台
:69.00元
售价:69.0元,便宜0.0元,折扣100
作者:蒋守壮
出版社:清华大学出版社
出版日期:2017-01-01
ISBN:9787302454526
字数:
页码:
版次:1
装帧:平装-胶订
开本:16开
商品重量:0.4kg
Kyligence联合创始人兼CEO,Apache Kylin项目管理委员会主席(PMC Chair)韩卿武汉市云升科技发展有限公司董事长,《智慧城市—大数据、物联网和云计算之应用》作者杨正洪万达网络科技集团大数据中心副总经理,《Spark数据分析》中文版译者龚少成数据架构师,IT脱口秀(清风那个吹)创始人,《开源大数据分析引擎Impala实战》作者贾传青等等业内专家联合推荐Apache Kylin将传统的数据仓库及商务智能分析能力带入到了大数据时代,作为新兴的技术已经被广大用户所使用。作为创始作者,我非常欣喜能看到关于Apache Kylin相关书籍的出版, 这无疑对中国用户更好地使用Kylin,解决实际的大数据分析架构及业务问题有很大帮助。韩卿Kyligence 联合创始人兼CEO,Apache Kylin项目管理委员会主席(PMC Chair) 伴随着大数据发展的三条主线是大数据技术、大数据思维和大数据实践。因为RDBMS很难处理单表10亿行数据,所以大数据技术应需而生。大数据技术从*初的解决海量数据的快速存储和读取,到今天的海量数据的OLAP,当中衍生出众多的技术产品,ApacheKylin就是其中的一个产品,目标是解决大数据范畴中的OLAP。第二条主线是大数据思维。数据处理的*近几十年都被RDBMS的思想所束缚,小表、多表、表的连接、过分注重冗余性的坏处,等等,这些都限制了海量数据上的处理与分析。大数据技术出来之后,随着而来的大数据思维,给我们带来了海量数据处理的新思维。这个新思维的核心就是突破表的概念,而采用面向对象的数据模型在数据层上实现。Apache Kylin的Cube模型就是在逐步体现大数据的思维。*后一条主线是大数据实践。大数据实践分为数据梳理、数据建模、数据采集、数据管控、数据服务、数据可视化和数据分析。这是一环套一环的步骤,不能跳过。Apache Kylin作为数据分析环节的技术产品,一定要同数据管理的《基于Apache Kylin构建大数据分析平台》一书浅显易懂,实操性强,是目前Apache Kylin界不可多得的技术资料,值得细读和研究。杨正洪武汉市云升科技发展有限公司董事长 Apache Kylin是基于MOLAP的实时大数据引擎,与Hadoop生态系统结合更加紧密,先天的优势注定了其支持更大的数据规模,更好的扩展性,独有的中国血统较其他开源软件更具本地化优势,更符合中国国情。本书包含了守壮多年的实践经验,系统全面的介绍了Apache Kylin技术,值得推荐。贾传青数据架构师,IT脱口秀(清風那个吹)创始人
Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,*初由eBay公司开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
本书分为21章,详细讲解Apache Kylin概念、安装、配置、部署,让读者对Apache Kylin构建大数据分析平台有一个感性认识。同时,本书从应用角度,结合Dome和实例介绍了用于多维分析的Cube算法的创建、配置与优化。*后还介绍了Kyligence公司发布KAP大数据分析平台,对读者有极大的参考价值。
本书适合大数据技术初学者、大数据分析人员、大数据架构师等,也适合用于高等院校和培训学校相关专业师生教学参考。
部分 Apache Kylin基础部分
第1章 Apache Kylin前世今生 3
1.1 Apache Kylin的背景 3
1.2 Apache Kylin的应用场景 3
1.3 Apache Kylin的发展历程 4
第2章 Apache Kylin前奏 7
2.1 事实表和维表 7
2.2 星型模型和雪花型模型 7
2.2.1 星型模型 7
2.2.2 雪花型模型 8
2.2.3 星型模型示例 8
2.3 OLAP 9
2.3.1 OLAP分类 9
2.3.2 OLAP的基本操作 10
2.4 数据立方体(Data Cube) 11
第3章 Apache Kylin 工作原理和体系架构 12
3.1 Kylin工作原理 12
3.2 Kylin体系架构 13
3.3 Kylin中的核心部分:Cube构建 15
3.4 Kylin的SQL查询 16
3.5 Kylin的特性和生态圈 16
第4章 搭建CDH大数据平台 18
4.1 系统环境和安装包 19
4.1.1 系统环境 19
4.1.2 安装包的下载 20
4.2 准备工作:系统环境搭建 21
4.2.1 网络配置(CDH集群所有节点) 21
4.2.2 打通SSH,设置ssh无密码登录(所有节点) 21
4.3 正式安装CDH:准备工作 29
4.4 正式安装CDH5:安装配置 30
4.4.1 CDH5的安装配置 30
4.4.2 对Hive、HBase执行简单操作 39
第5章 使用Kylin构建企业大数据分析平台的4种部署方式 41
5.1 Kylin部署的架构 41
5.2 Kylin的四种典型部署方式 42
第6章 单独为Kylin部署HBase集群 44
第7章 部署Kylin集群环境 58
7.1 部署Kylin的先决条件 58
7.2 部署Kylin集群环境 61
7.3 为Kylin集群搭建负载均衡器 70
7.3.1 搭建Nginx环境 70
7.3.2 配置Nginx实现Kylin的负载均衡 73
第二部分 Apache Kylin 进阶部分
第8章 Demo案例实战 77
8.1 Sample Cube案例描述 77
8.2 Sample Cube案例实战 78
8.2.1 准备数据 78
8.2.2 构建Cube 81
第9章 多维分析的Cube创建实战 89
9.1 Cube模型 89
9.2 创建Cube的流程 90
9.2.1 步骤一:Hive中事实表,以及多张维表的处理 90
9.2.2 步骤二:Kylin中建立项目(Project) 95
9.2.3 步骤三:Kylin中建立数据源(Data Source) 95
9.2.4 步骤四:Kylin中建立数据模型(Model) 98
9.2.5 步骤五:Kylin中建立Cube 104
9.2.6 步骤六:Build Cube 114
9.2.7 步骤七:查询Cube 118
第10章 Build Cube的来龙去脉 120
10.1 流程分析 120
10.2 小结 134
第三部分 Apache Kylin 部分
第11章 Cube优化 137
第12章 备份Kylin的Metadata 142
12.1 Kylin的元数据 142
12.2 备份元数据 143
12.3 恢复元数据 146
第13章 使用Hive视图 147
13.1 使用Hive视图 147
13.2 使用视图实战 149
第14章 Kylin的垃圾清理 153
14.1 清理元数据 153
14.2 清理存储器数据 154
第15章 BC访问方式 157
第16章 通过RESTful访问Kylin 161
第17章 Kylin版本之间升级 179
17.1 从1.5.2升级到新版本1.5.3 179
17.2 从1.5.1升级到1.5.2版本 180
17.3 从Kylin 1.5.2.1升级到Kylin 1.5.3实战 181
17.4 补充内容 187
第18章 大数据可视化实践 189
18.1 可视化工具简述 189
18.2 安装Kylin ODBC驱动 190
18.3 通过Excel访问Kylin 192
18.4 通过Power BI访问Kylin 194
18.4.1 安装配置Power BI 194
18.4.2 实战操作 198
18.5 通过Tableau访问Kylin 199
18.6 Kylin Mondrian Saiku 205
18.7 实战演练:通过Saiku访问Kylin 211
18.7.1 个Schema例子:myproject_pvuv_cube的演示 211
18.7.2 第二个Schema例子:kylin_sales_cube的演示 219
18.7.3 Saiku使用的一些问题 223
18.8 通过Apache Zepplin访问Kylin 229
18.9 通过Kylin的“Insight”查询 232
第19章 使用Streaming Table 构建准实时Cube 236
第20章 快速数据立方算法 251
20.1 快速数据立方算法概述 251
20.2 快速数据立方算法优点和缺点 253
20.3 获取Fast Cubing算法的优势 254
第四部分 Apache Kylin的扩展部分
第21章 大数据智能分析平台KAP 257
21.1 大数据智能分析平台KAP概述 257
21.2 KAP的安装部署 259
蒋守壮,现就职于万达网络科技集团有限公司,大数据工程师,大数据实践者。曾任平安科技大数据分析师和架构师,CSDN社区专家,知识库特邀编辑。目前专注于Docker、Kuberes、Mesos、Hadoop、Spark和Kylin等技术领域。
书名:Apache Kylin指南
:49.00元
售价:35.8元,便宜13.2元,折扣73
作者:Apache Kylin核心团队
出版社:机械工业出版社
出版日期:2017-01-01
ISBN:9787111557012
字数:188000
页码:188
版次:1
装帧:平装-胶订
开本:16开
商品重量:0.4kg
本书第1章介绍ApacheKylin的历史、技术原理和产品定位,帮助用户了解何时和为何使用Kylin。第2章通过一个具体的案例快速入门,讲解Kylin核心概念、Cube建模和SQL连接查询这些基本使用。第3、4章讲解增量构建和进一步的流式构建,是大多数案例典型配置。第5、6章是针对查询和可视化、Cube调优的两个专门章节,适合较的用户。第7章是一系列有行业特点的具体案例分析,贯穿之前的所有概念。第8、9章讲ApacheKylin的扩展和企业级功能,技术性较强,会有较多的代码示例。第10章讲运维管理,从安装配置、监控维护到常见的问题和修复。全书后两章谈ApacheKylin开源社区和项目发展规划。
推荐序推荐序二推荐序三推荐序四前言第1章Apache Kylin概述1.1背景和历史1.2ApacheKyin的使命1.3 ApacheKylin的工作原理1.3.1维度和度量简介1.3.2 Cube和Cuboid1.3.3工作原理 。1.4 ApacheKylin的技术架构1.5 ApacheKylin的主要特点1.5.1标准SQL接口1.5.2支持超大数据集1.5.3亚秒级响应1.5.4可伸缩性和高吞吐率1.5.5 BI及可视化工具集成1.6与其他开源产品比较1.7小结第2章快速入门2.1核心概念2.1.1数据仓库、OLAP与BI2.1.2维度和度量2.1.3事实表和维度表2.1.4 Cube、Cuboid和Cube Segment2.2在Hive中准备数据2.2.1星形模型2.2.2维度表的设计2.2.3 Hive表分区2.2.4了解维度的基数2.2.5 SampleData2.3设计Cube2.3.1导入Hive表定义2.3.2创建数据模型2.3.3创建CubP 2.4构建Cube第3章增量构建第4章流式构建第5章查询和可视化第6章Cube优化第7章应用案例分析第8章扩展Apache Kyin第9章Apache Kyin的企业级功能第10章运维管理第11章参与开源第12章Apache Kyin的未来
本书将由李扬为首的麒麟技术团队撰写。团队是Apache Kylin的主创团队,是了解麒麟技术的一个团队。李扬是大数据架构师和工程师,专注大数据分析技术。他是Apache Kylin管理委员会成员,也是Kyligence Inc.(一家专业提供大数据商务智能服务的创业公司)创始人之一。李扬是Apache Kylin主创团队的架构师和技术负责人,在eBay期间从2014年开始开发Kylin项目。之前,李扬在IBM工作8年,在摩根士丹利工作2年。在IBM期间,他是“杰出技术贡献奖”的获奖者,曾担任InfoSphere BigInsights的技术负责人,负责Hadoop开源产品架构。在摩根士丹利期间,李扬担任副总裁,负责全球监管报表基础架构。
这本《Apache Kylin指南+ Apac基于Apache Kylin构建大数据分析平台》让我对大数据分析的构建过程有了全新的认识,特别是书中对Apache Kylin在实际场景中的应用讲解,细致入微。我之前在工作中遇到过一些性能瓶颈,尤其是在处理海量数据时的查询响应速度,一直是个头疼的问题。读完这本书,我才意识到,仅仅是把数据存储起来,并不能解决问题,关键在于如何有效地对其进行预计算和优化。书中关于 Kylin 的 Cube 设计理念,比如预聚合、多维模型、维度建模等,让我豁然开朗。它不仅仅是讲解了一个工具的使用,更是传授了一种构建高性能大数据分析平台的思维方式。书中对各种常见场景的案例分析,从数据源的接入,到 Cube 的构建策略,再到最终查询的优化,每一个步骤都讲解得非常透彻,并且提供了可操作的代码示例和配置建议。特别是关于如何根据业务需求选择合适的维度和度量,以及如何平衡 Cube 的构建时间和查询性能,这些都是在实际工作中非常宝贵的经验。我尤其欣赏书中关于性能调优的部分,它深入剖析了导致性能问题的常见原因,并提供了多种行之有效的解决方案,比如增量构建、数据分层、索引优化等,这对于我日后在实际工作中优化 Kylin 集群的性能非常有指导意义。总的来说,这本书为我打开了一扇通往高效大数据分析世界的大门,让我能够更自信地应对复杂的数据挑战。
评分说实话,在翻阅《Apache Kylin指南+ Apac基于Apache Kylin构建大数据分析平台》之前,我对“预计算”这个概念虽然有所耳闻,但对其在实际大数据分析平台中的价值和实现方式,一直处于模糊的状态。这本书的出现,彻底改变了我的认知。它用一种非常系统化的方式,将 Apache Kylin 的强大功能和核心价值展现在我面前。我尤其 impressed 于书中对于“Cube”设计的精妙之处,它不仅仅是一个数据结构,更是对业务需求的一种抽象和预处理。作者通过生动的图示和案例,详细讲解了如何构建高效的 Cube,包括维度选择、度量聚合、索引配置等,这些都是直接影响最终查询性能的关键。我注意到书中还专门用了一个章节来讲解如何将 Kylin 集成到已有的数据生态系统中,比如与 Hadoop 生态中的 HDFS、Hive、Spark 等组件的整合,这对于希望在现有环境中引入 Kylin 的组织来说,无疑是极大的便利。更让我惊喜的是,书中还对 Kylin 的部署、配置、监控和运维等方面进行了深入的探讨,提供了一系列实用的建议和技巧,这对于保证平台的稳定运行非常有帮助。读完这本书,我感觉自己对如何构建一个高性能、可扩展的大数据分析平台,有了更加清晰的认识,并且充满了信心去实践。
评分我怀着极大的兴趣翻开了《Apache Kylin指南+ Apac基于Apache Kylin构建大数据分析平台》,这确实是一本能够解决实际痛点的著作。作为一名大数据开发工程师,我深知在大数据时代,如何快速、准确地从海量数据中提取有价值的信息是至关重要的。以往我主要依赖于传统的SQL查询,但在数据量急剧增长的情况下,其性能已经难以满足业务需求。这本书的出现,恰好填补了我在这方面的知识空白。作者深入浅出地介绍了Apache Kylin的核心架构和原理,让我理解了其能够实现亚秒级查询的秘诀——预计算。书中详细阐述了如何设计和构建“Cube”,这是 Kylin 的核心概念,它通过对数据进行多维度预聚合,极大地缩短了查询时间。我尤其喜欢书中关于“维度建模”的章节,它提供了一套清晰的思路,帮助读者理解如何根据业务场景来设计高效的 Cube 模型,避免了不必要的维度和度量,从而优化存储和计算资源。此外,书中还分享了许多在实际项目部署和运维中遇到的问题及解决方案,例如集群的扩容、容灾策略、数据一致性保障等,这些实战经验对于初学者来说,无疑是宝贵的财富。通过学习这本书,我不仅掌握了 Apache Kylin 的使用方法,更重要的是,我学会了如何从整体上构建一个高效、可扩展的大数据分析平台,这对于提升我个人的技术能力和解决实际问题的能力非常有帮助。
评分我最近阅读了《Apache Kylin指南+ Apac基于Apache Kylin构建大数据分析平台》,这本书的内容对于我这样正在尝试搭建企业级大数据分析平台的人来说,简直是一场及时雨。书中对于 Apache Kylin 的讲解,非常接地气,从理论到实践,都做了详细的梳理。我尤其关注书中关于“多维数据建模”的部分,它不仅仅是罗列了一些技术名词,而是深入剖析了为什么需要多维模型,以及如何根据业务场景进行合理的维度和度量选择,这对于避免模型设计的“坑”至关重要。作者在书中详细介绍了 Cube 构建的各种策略,比如全量构建、增量构建,以及如何根据数据量和更新频率来选择最优的构建方式,这对于控制资源消耗和保证数据时效性非常有帮助。此外,书中还对 Kylin 的查询优化做了深入的探讨,包括如何理解查询计划,如何通过调整 Cube 和索引来提升查询性能,这些细节对于实际运维中的性能调优非常有指导意义。我最喜欢的是书中关于“性能调优”的章节,它深入浅出地分析了各种常见的性能瓶颈,并提供了切实可行的解决方案,这让我对如何构建一个稳定、高效的大数据分析平台有了更清晰的认识。这本书就像一个经验丰富的技术导师,在我的大数据探索之路上给予了我宝贵的指导。
评分作为一名数据分析师,我一直致力于寻找更高效的数据探索和分析工具,以满足日益增长的业务需求。当我在市面上搜寻相关资料时,无意中发现了这本《Apache Kylin指南+ Apac基于Apache Kylin构建大数据分析平台》,它的出现无疑给我带来了惊喜。书中的内容组织非常有条理,从 Apache Kylin 的基本概念介绍,到如何构建和优化 Cube,再到如何将其集成到现有的数据分析流程中,环环相扣,逻辑清晰。我特别欣赏书中对 Cube 设计哲学的阐述,它不仅仅是技术上的堆砌,更是对数据价值挖掘的深刻理解。作者通过生动的案例,展示了如何利用 Kylin 快速生成各种报表和仪表盘,从而帮助业务部门做出更明智的决策。例如,书中关于如何根据用户画像进行精准营销分析的章节,让我眼前一亮,它清晰地展示了 Kylin 如何通过预聚合能力,快速响应复杂的多维度查询,从而挖掘出潜在的营销机会。同时,书中还涉及了如何与其他大数据组件,如Hadoop、Spark等进行集成,这使得 Kylin 能够更好地融入现有的技术栈,发挥更大的价值。这本书不仅教会了我如何使用 Kylin,更重要的是,它让我看到了利用 Kylin 构建强大、敏捷的大数据分析平台的可能性,这对于我未来的工作将产生深远的影响。
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等
© 2025 book.idnshop.cc All Rights Reserved. 静思书屋 版权所有