| 书[0名0]: | Greenplum企业应用实战[按需印刷]|3770631 |
| 图书定价: | 69元 |
| 图书作者: | 何勇;陈晓峰 |
| 出版社: | [1机1] 械工业出版社 |
| 出版日期: | 2014-10-01 0:00:00 |
| ISBN号: | 9787111481003 |
| 开本: | 16开 |
| 页数: | 332 |
| 版次: | 1-1 |
| 作者简介 |
| 何勇资深数据库专家和软件架构师,对Greenplum、Oracle、Teradata、MySQL以及各种[0No0]SQL都有非常深入的研究,实战经验丰富。曾就职于阿里巴巴和盛[0大0],从事数据库系统架构、软件架构和数据中心相关的工作.熟悉Peri、Python、Java、C,以及移动开发。现为杭州遥指科技有限公司联合创始人兼CTO。陈晓峰资深数据库专家和高级开发工程师,对Greenplum和PostgresQL等数据库以及Hadoop和Storm等[0大0]数据技术有非常深入的研究和丰富的实践经验。曾就职于阿里巴巴数据平台事业部,负责数据仓库Greenplum计算集群、报表集群的维护及调[0优0],担任RTDC项目和天罡项目的技术负责人,以及负责的交易直播间项目;还曾就职于阿里巴巴小微金服集团保险事业部,负责保险事业部所有险种的核保核赔;现就职于深圳前海微众银行。熟悉Java、C、C++、Python,以及数据挖掘和数据分析相关技术。 |
| 内容简介 |
| 这是[0国0]内[0首0]本Greenplum著作,[0国0]内早开始使用Greenp,um的企业是阿里巴巴,本书的两位作者是阿里巴巴早负责使用和维护Greenplum的技术工程师,性毋庸置疑。本书完全立足于阿里巴巴的企业应用实践,不仅系统介绍Greenplum的功能特性、使用方[0法0]、高级应用,而且还详细讲解 Greenplum的系统架构、运维管理、性能[0优0]化和各种技巧。重要的是,包含[0大0]量企业级应用案例,并且对每个案例都进行了详尽的讲解和实操指导。 全书一共15章,分为三个部分:基础篇([0第0] 1-3章)[0首0]先介绍了Greenplum的应用场景、功能特性以及与PostgreSQL的关系,然后讲解了 Greenplum的安装配置、语[0法0]以及相关操作,后通过两个具体的数据仓库ETL案例加强读者对 Greenplum的功能特性的了解和操作能力;进阶篇([0第0]4-7章)围绕数据字典、执行计划、系统架构、高级特性等主题对Greenplum进行了更深入的讲解,不仅能让读者更深入理解Greenplum的工作原理,也能让读者游刃有余地应对各种日常操作;管理篇([0第0]8-15章)从运维和管理的角度讲解了 Greenplum的线上部署、数据库管理、脚本维护、监控、[0权0]限控制、容灾/扩容、备份恢复、性能调[0优0]、常用技巧和常见问题等。 |
| 目录 |
《Greenplum企业应用实战》 前言 上篇 基 础 篇 [0第0]1章 Greenplum简介 2 1.1 Greenplum的起源和发展历程 2 1.2 OLTP与OLAP 3 1.3 PostgreSQL与Greenplum的关系 3 1.3.1 PostgreSQL 3 1.3.2 Greenplum 5 1.4 Greenplum特性及应用场景 6 1.4.1 Greenplum特性 6 1.4.2 Greenplum应用场景 7 1.5 小结 8 [0第0]2章 Greenplum快速入门 9 2.1 软件安装及数据库初始化 9 2.1.1 Greenplum架构 9 2.1.2 环境搭建 11 2.1.3 Greenplum安装 13 2.1.4 创建数据库 20 2.1.5 数据库启动与关闭 20 2.2 安装Greenplum的常见问题 22 2.2.1 /etc/hosts配置错误 22 2.2.2 MASTER_DATA_DIRECTORY设置错误 24 2.3 [0畅0]游Greenplum 25 2.3.1 如何访问Greenplum 25 2.3.2 数据库整体概况 27 2.3.3 基本语[0法0]介绍 28 2.3.4 常用数据类型 35 2.3.5 常用函数 37 2.3.6 分析函数 43 2.3.7 分区表 46 2.3.8 外部表 49 2.3.9 COPY命令 51 2.4 小结 52 [0第0]3章 Greenplum实战 53 3.1 历[0史0]拉链表 53 3.1.1 应用场景描述 53 3.1.2 原理及步骤 54 3.1.3 表结构 55 3.1.4 Demo数据准备 57 3.1.5 数据加载 58 3.1.6 数据刷新 61 3.1.7 分区裁剪 64 3.1.8 数据导出 64 3.2 日志分析 65 3.2.1 应用场景描述 65 3.2.2 数据Demo 65 3.2.3 日志分析实战 66 3.3 数据分布 68 3.3.1 数据分散情况查看 69 3.3.2 数据加载速度影响 69 3.3.3 数据查询速度影响 72 3.4 数据压缩 73 3.4.1 数据加载速度影响 73 3.4.2 数据查询速度影响 74 3.5 索引 75 3.6 小结 75 中篇 进 阶 篇 [0第0]4章 数据字典详解 78 4.1 oid无处不在 78 4.2 数据库集群信息 80 4.2.1 Gp_configuration和gp_segment_configuration 80 4.2.2 Gp_id 82 4.2.3 Gp_configuration_history 84 4.2.4 pg_filespace_entry 84 4.2.5 集群配置信息表转化 84 4.3 常用数据字典 85 4.3.1 pg_class 85 4.3.2 pg_attribute 88 4.3.3 gp_distribution_policy 89 4.3.4 pg_statistic和pg_stats 90 4.4 分区表信息 90 4.4.1 如何实现分区表 91 4.4.2 pg_partition 91 4.4.3 pg_partition_rule 92 4.4.4 pg_partitions视图及其[0优0]化 93 4.5 自定义类型以及类型转换 94 4.6 主、备节点同步的相关数据字典 95 4.7 数据字典应用示例 96 4.7.1 获取表的字段信息 96 4.7.2 获取表的分布键 96 4.7.3 获取一个视图的定义 97 4.7.4 查询comment(备注信息) 98 4.7.5 获取数据库建表语句 99 4.7.6 查询表上的视图 103 4.7.7 查询表的数据文件创建时间 104 4.7.8 分区表总[0大0]小 106 4.7.9 如何分析数据字典变化 108 4.7.10 获取数据库锁信息 111 4.8 Gp_toolkit介绍 112 4.9 小结 114 [0第0]5章 执行计划详解 115 5.1 执行计划入门 115 5.1.1 什么是执行计划 115 5.1.2 查看执行计划 116 5.2 分布式执行计划概述 116 5.2.1 架构 116 5.2.2 重分布与广播 117 5.2.3 Greenplum Master的工作 119 5.3 Greenplum执行计划中的术语 120 5.3.1 数据扫描方式 120 5.3.2 分布式执行 121 5.3.3 两种聚合方式 122 5.3.4 关联 123 5.3.5 SQL消耗 126 5.3.6 其他术语 126 5.4 数据库统计信息收集 128 5.4.1 Analyze分析 128 5.4.2 固定执行计划 129 5.5 控制执行计划的参数介绍 130 5.6 规划器开销的计算方[0法0] 131 5.7 各种执行计划原理分析 133 5.7.1 详解关联的广播与重分布 133 5.7.2 HashAggregate与GroupAggregate 137 5.7.3 Nestloop Join 、 Hash Join 与Merge Join 141 5.7.4 分析函数:开窗函数和grouping sets 142 5.8 案例 144 5.8.1 关联键强制类型转换,导致重分布 144 5.8.2 统计信息过期 145 5.8.3 执行计划出错 145 5.8.4 分布键选择不恰[0当0] 147 5.8.5 计算distinct 148 5.8.6 union与union [0all0] 150 5.8.7 子查询[0no0]t in 152 5.8.8 聚合函数太多导致内存不足 154 5.9 小结 155 [0第0]6章 Greenplum高级应用 156 6.1 Appendonly表与压缩表 157 6.1.1 应用场景及语[0法0]介绍 157 6.1.2 压缩表的性能差异 157 6.1.3 Appendonly表特性 158 6.1.4 相关数据字典 164 6.2 列存储 165 6.2.1 应用场景 165 6.2.2 数据文件存储特性 166 6.2.3 如何使用列存储 166 6.2.4 性能比较 166 6.3 外部表高级应用 168 6.3.1 外部表实现原理 168 6.3.2 可写外部表 171 6.3.3 HDFS外部表 173 6.3.4 可执行外部表 177 6.4 自定义函数—各个编程接口 179 6.4.1 pl/pgsql 180 6.4.2 C语言接口 182 6.4.3 plpython 185 6.5 Greenplum MapReduce 187 6.6 小结 193 [0第0]7章 Greenplum架构介绍 195 7.1 并行和分布式计算 195 7.2 并行数据库 197 7.3 Greenplum架构分析 198 7.4 冗余与故障切换 199 7.5 数据分布及负载均衡 200 7.6 跨库关联 202 7.7 分布式事务 203 7.8 其他[0大0]数据分析方案 205 7.9 小结 208 下篇 管 理 篇 [0第0]8章 Greenplum线上环境部署 210 8.1 服务器硬件选型 210 8.1.1 CPU 211 8.1.2 内存 211 8.1.3 磁盘及硬盘接口 211 8.1.4 网络 213 8.2 服务器系统参数调整 213 8.2.1 Solaris参数修改 214 8.2.2 Linux参数修改 216 8.2.3 系统参数及性能验证 217 8.3 计算节点分配技巧 221 8.4 数据库参数介绍 221 8.5 数据库集群基准测试 225 8.6 小结 227 [0第0]9章 数据库管理 228 9.1 用户及[0权0]限管理 228 9.1.1 Greenplum数据库逻辑结构 228 9.1.2 Grant语[0法0] 229 9.2 登录[0权0]限控制 231 9.3 资源队列及并发控制 232 9.4 Greenplum锁 [1机1] 制 236 9.5 数据目录结构 238 9.6 数据文件存储分布 240 9.7 表空间管理 241 9.8 小结 244 [0第0]10章 数据库监控及调[0优0] 245 10.1 Linux监控工具介绍 245 10.1.1 监控磁盘 245 10.1.2 监控网络 246 10.1.3 监控CPU 247 10.1.4 监控内存 247 10.2 安装Performance Monitor 248 10.3 监控Segment是否正常 252 10.4 VACUUM系统表 253 10.5 数据倾斜排查 255 10.6 查看子节点的SQL运行状态 258 10.7 自动加分区 261 10.8 自动赋[0权0] 266 10.9 清理过期数据 266 10.10 小结 267 [0第0]11章 解读Greenplum维护脚本 268 11.1 添加Greenplum Contrib模块 268 11.2 启动和关闭脚本gpstart和gpstop 270 11.3 初始化系统脚本gpinitsystem 272 11.4 集群操作脚本gpssh和gpscp 274 11.5 数据库状态检查脚本gpstate 275 11.6 数据库升级脚本gpmigrate 276 11.7 参数修改脚本gpconfig 281 11.8 数据库一致性检查脚本gpcheckcat 282 11.9 小结 284 [0第0]12章 备份及恢复策略 286 12.1 Greenplum 3.x 286 12.2 Greenplum 4.x 287 12.3 gp_dump和pg_dump 290 12.4 Greenplum Master备份策略 294 12.4.1 增加Standby Master 295 12.4.2 重新同步Standby Master 296 12.4.3 启用Standby Master 296 12.5 小结 297 [0第0]13章 数据库扩容 299 13.1 迁移计算节点 299 13.1.1 两种备份方案 300 13.1.2 数据迁移实战 301 13.2 增加计算节点 306 13.3 小结 311 [0第0]14章 基于Greenplum的海量数据实时分析服务平台 312 14.1 需求概述 312 14.2 典型方案 313 14.2.1 [0No0]SQL 313 14.2.2 分布式数据库/集群 314 14.2.3 分表分库 315 14.2.4 方案[0优0]劣分析 316 14.3 基于Greenplum的混合架构 316 14.3.1 架构分析 317 14.3.2 实施要点 317 14.4 小结 318 [0第0]15章 使用Greenplum的常见报错及小技巧 319 15.1 分析常见报错 319 15.1.1 找不到类型705对应的操作符 319 15.1.2 SQL占用的资源[0超0]过了资源队列限制 321 15.1.3 自定义函数不能在Segment上执行 321 15.1.4 子查询没有加别[0名0] 322 15.1.5 字段[0名0]有歧义 322 15.1.6 字段重[0名0] 323 15.1.7 gpfdist错误:无[0法0]读取文件 323 15.1.8 事务被中止 324 15.1.9 网络异常错误 324 15.1.10 无[0法0]删除表 324 15.1.11 内存不足 325 15.1.12 文件[0名0]在pg_class中已存在 325 15.1.13 不能对分布键执行Update 325 15.1.14 网络错误 326 15.1.15 无[0法0]找到数据文件 326 15.2 常见问题及解决办[0法0] 326 15.3 常用的一些小技巧 329 15.3.1 显示SQL执行的时间 330 15.3.2 获取某个schema下所有的表或视图 330 15.3.3 查找分区多的表 330 15.3.4 连接Segment节点 331 15.3.5 psql默认密码登录 331 15.3.6 查看数据库启动时间 331 15.3.7 查看在psql中d到底查询了哪些数据字典 331 15.4 小结 332 |
| 编辑推荐 |
| 阿里巴巴资深技术工程师撰写,完全展现阿里巴巴的Greenplum企业实战经验; 系统介绍Greenplum的功能特性、使用方[0法0]、高级应用;详细讲解Greenplum的系统架构、运维管理、性能[0优0]化和各种技巧;包含[0大0]量企业级应用案例和实操指导。 更多精彩,点击进入华章[0品0]牌店查阅>> |
这本书的封面设计得非常吸引人,那种深邃的蓝色背景搭配着简洁有力的白色字体,一看就知道是面向技术读者的专业书籍。我拿到手的时候,首先被它厚实的质感所吸引,感觉内容一定非常扎实。拆开塑封膜后,那种油墨混合着纸张的特有气味扑面而来,让人精神为之一振,仿佛已经预示着一场深入的知识探索之旅即将开始。这本书的排版也做得相当出色,字体大小适中,行距合理,即使是阅读一些复杂的代码片段,也能保持清晰的视觉体验,这对于长时间的深度学习来说,无疑是一个巨大的加分项。我特别留意了目录结构,逻辑层次分明,从基础概念的梳理到高级特性的剖析,再到实际案例的演示,循序渐进,让人感觉作者对 Greenplum 这一技术的理解是极其透彻和系统的,准备工作已经做得很到位了。
评分初翻阅内页,我立刻被作者在讲解核心架构部分所展现出来的细腻和耐心所折服。他没有采用那种晦涩难懂的教科书式语言,而是用一种近乎“手把手”的指导口吻来阐述 Greenplum 分布式存储和查询优化的底层原理。比如,在解析数据倾斜问题时,作者不仅指出了问题所在,还结合了多个企业级场景的虚拟数据模型进行可视化分析,对比了不同优化策略带来的性能差异,这种对比分析非常直观有力,大大降低了理解复杂分布式系统的门槛。我尤其欣赏他对“为什么”的深入挖掘,很多同类书籍仅仅停留在“是什么”和“怎么做”,而这本书却花了不少篇幅去解释背后的设计哲学和权衡取舍,这对于一个想要精通而非仅仅停留在应用层面的工程师来说,是极其宝贵的财富。
评分对于我这种已经使用 Greenplum 一段时间的用户来说,这本书的高级特性和扩展性介绍部分更是亮点频出。它深入探讨了Greenplum与其他大数据生态组件(如Hadoop、Kafka)的集成策略,特别是关于资源队列(Resource Queue)和工作负载管理(Workload Management)的精妙配置,提供了非常多关于如何在高并发、多租户环境下实现资源隔离和SLA保障的独家技巧。书中关于存储过程和UDF(用户定义函数)的编写规范和性能陷阱分析,也极大地拓宽了我的开发视野,让我意识到过去自己写的一些自定义函数可能存在性能隐患。作者在这些“进阶”内容的处理上,显示出一种对系统工程的深刻洞察力,确保了读者的技术栈能够真正覆盖到企业级部署的深度和广度。
评分这本书在实战案例部分的呈现方式简直是教科书级别的范本。它不是那种空泛地罗列功能,而是构建了一系列具有高度代表性的行业应用场景,比如大规模日志分析、实时BI报表生成,甚至是金融风控模型的数据基础支撑。每个案例的切入点都非常精准,从需求分析、环境搭建(连同具体的配置参数都一一列出),到数据建模、SQL编写优化,再到最终的性能调优和监控指标的选取,整个流程描述得如同一个完整的项目实施文档。我特别喜欢它对性能瓶颈排查的章节,作者列出了一个详尽的故障排查清单(Checklist),涵盖了从操作系统层面到数据库内部的各个环节,这种经验总结是书籍出版时最精华的部分,它直接浓缩了作者多年一线踩坑的教训。
评分总的来说,这本书的价值远超出了一个简单的技术参考手册。它更像是一位资深架构师将自己多年来的实战经验和深刻思考系统化、结构化地呈现出来的一份珍贵资料。它的语言风格在保持严谨性的同时,又充满了实战的热情,让人在学习技术细节的同时,也能感受到一种对数据仓库技术的热爱和追求极致的态度。阅读这本书的过程,与其说是学习新的知识点,不如说是在不断地进行一次自我知识体系的重构和查漏补缺。对于任何一个负责或计划负责 Greenplum 集群的 DBA、数据工程师或架构师而言,这本书绝对是案头必备的、值得反复研读的深度指南,它将成为加速团队技术成熟度的催化剂,投资回报率极高。
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等
© 2025 book.idnshop.cc All Rights Reserved. 静思书屋 版权所有