大规模分布式存储系统：原理解析与架构实战 epub pdf mobi txt 电子书 下载 2024

大规模分布式存储系统：原理解析与架构实战 epub pdf mobi txt 电子书 下载 2024

大规模分布式存储系统：原理解析与架构实战 epub pdf mobi txt 电子书 下载 2024

编辑推荐

阿里巴巴高级技术专家（OceanBase核心开发人员）撰写，阳振坤、章文嵩、杨卫华、汪源、余锋（褚霸）、赖春波等来自阿里、新浪、网易和百度的资深技术专家联袂推荐。
　　系统讲解构建大规模存储系统的核心技术和原理，详细分析Google、Microsoft和阿里巴巴的大规模分布式存储系统的原理。
　　实战性强，通过对阿里巴巴的分布式数据库OceanBase的实现细节进行深入分析，完整讲解了大规模分布式存储系统的架构方法与应用实践。

内容简介

　　《大规模分布式存储系统：原理解析与架构实战》是分布式系统领域的经典著作，由阿里巴巴高级技术专家“阿里日照”（OceanBase核心开发人员）撰写，阳振坤、章文嵩、杨卫华、汪源、余锋（褚霸）、赖春波等来自阿里、新浪、网易和百度的专业技术专家联袂推荐。理论方面，不仅讲解了大规模分布式存储系统的核心技术和基本原理，而且对谷歌、微软和阿里巴巴等国际型大互联网公司的大规模分布式存储系统进行了分析；实战方面，首先通过对阿里巴巴的分布式数据库OceanBase的实现细节的深入剖析完整地展示了大规模分布式存储系统的架构与设计过程，然后讲解了大规模分布式存储技术在云计算和大数据领域的实践与应用。
　　《大规模分布式存储系统：原理解析与架构实战》内容分为四个部分：基础篇--分布式存储系统的基础知识，包含单机存储系统的知识，如数据模型、事务与并发控制、故障恢复、存储引擎、压缩/解压缩等；分布式系统的数据分布、复制、一致性、容错、可扩展性等。范型篇--介绍谷歌、微软、阿里巴巴等知名互联网公司的大规模分布式存储系统架构，涉及分布式文件系统、分布式键值系统、分布式表格系统以及分布式数据库技术等。实践篇--以阿里巴巴的分布式数据库OceanBase为例，详细介绍分布式数据库内部实现，以及实践过程中的经验。专题篇--介绍分布式系统的主要应用：云存储和大数据，这些是近年来的热门领域，本书介绍了云存储平台、技术与安全，以及大数据的概念、流式计算、实时分析等。

作者简介

　　杨传辉，阿里巴巴高级技术专家，花名日照，OceanBase核心开发人员，对分布式系统的理论和工程实践有深刻理解。曾在百度作为核心成员参与类MapReduce系统、类Bigtable系统和百度分布式消息队列等底层基础设施架构工作。热衷于分布式存储和计算系统设计，乐于分享，有技术博客NosqlNotes。

内页插图

精彩书评

　　★本书覆盖的信息量及知识点非常全面，是了解分布式存储不可多得的书籍，对指导分布式领域开发也具有重要参考价值。
　　—— 杨卫华，新浪微博首席架构师

　　★分布式存储这个领域面宽水深，无论是分布式理论、存储还是案例，铺开写都是卷帙浩繁。本书一是胜在围绕颇具广泛实用价值的基于通用硬件构建大规模分布式存储系统这一核心进行了很好的材料组织选取；二是胜在对OceanBase实现机制的深度剖析。本书作者是OceanBase的核心开发人员，对分布式存储系统身体力行，自然有很多独特的洞见。因此，本书实用性和独特性俱佳，必须入手一读。
　　—— 汪源，网易杭州研究院副院长

　　★分布式系统固有的复杂性加上大规模存储系统的工程挑战，让真正理解这个体系变得非常困难。作者在相关领域拥有多年一线开发经验，从实践工作中将相关知识萃取出来，清晰地呈现给读者。因此，我愿意将此书推荐给真正想了解分布式存储系统原理并勇于实践的读者。
　　—— 余锋，阿里巴巴专业技术专家，花名褚霸

　　★作者先后在百度、阿里巴巴等公司长期致力于大规模存储和分布式等技术的研究，对BigTable、Dynamo等业界知名存储系统也有深入的了解，同时在Pyramid、OceanBase等系统的架构、设计和开发上有过大量的实践工作。大规模存储是互联网和云计算产业的基石，而作者的这些技术是能真正应用在工业系统中的。难能可贵的是，作者将这些技术细节和系统如此有条理地展现出来，无论对大规模存储和分布式领域的初学者还是进阶者，都有巨大的帮助。
　　—— 赖春波，百度架构师，分布式存储技术负责人

目录

前言

第1章　概述
1.1　分布式存储概念
1.2　分布式存储分类

第一篇　基础篇

第2章　单机存储系统
2.1　硬件基础
2.1.1　CPU架构
2.1.2　IO总线
2.1.3　网络拓扑
2.1.4　性能参数
2.1.5　存储层次架构
2.2　单机存储引擎
2.2.1　哈希存储引擎
2.2.2　B树存储引擎
2.2.3　LSM树存储引擎
2.3　数据模型
2.3.1　文件模型
2.3.2　关系模型
2.3.3　键值模型
2.3.4　SQL与NoSQL
2.4　事务与并发控制
2.4.1　事务
2.4.2　并发控制
2.5　故障恢复
2.5.1　操作日志
2.5.2　重做日志
2.5.3　优化手段
2.6　数据压缩
2.6.1　压缩算法
2.6.2　列式存储

第3章　分布式系统
3.1　基本概念
3.1.1　异常
3.1.2　一致性
3.1.3　衡量指标
3.2　性能分析
3.3　数据分布
3.3.1　哈希分布
3.3.2　顺序分布
3.3.3　负载均衡
3.4　复制
3.4.1　复制的概述
3.4.2　一致性与可用性
3.5　容错
3.5.1　常见故障
3.5.2　故障检测
3.5.3　故障恢复
3.6　可扩展性
3.6.1　总控节点
3.6.2　数据库扩容
3.6.3　异构系统
3.7　分布式协议
3.7.1　两阶段提交协议
3.7.2　Paxos协议
3.7.3　Paxos与2PC
3.8　跨机房部署

第二篇　范型篇

第4章　分布式文件系统
4.1　Google文件系统
4.1.1　系统架构
4.1.2　关键问题
4.1.3　Master设计
4.1.4　ChunkServer设计
4.1.5　讨论
4.2　Taobao File System
4.2.1　系统架构
4.2.2　讨论
4.3　Facebook Haystack
4.3.1　系统架构
4.3.2　讨论
4.4　内容分发网络
4.4.1　CDN架构
4.4.2　讨论

第5章　分布式键值系统
5.1　Amazon Dynamo
5.1.1　数据分布
5.1.2　一致性与复制
5.1.3　容错
5.1.4　负载均衡
5.1.5　读写流程
5.1.6　单机实现
5.1.7　讨论
5.2　淘宝Tair
5.2.1　系统架构
5.2.2　关键问题
5.2.3　讨论

第6章　分布式表格系统
6.1　Google Bigtable
6.1.1　架构
6.1.2　数据分布
6.1.3　复制与一致性
6.1.4　容错
6.1.5　负载均衡
6.1.6　分裂与合并
6.1.7　单机存储
6.1.8　垃圾回收
6.1.9　讨论
6.2　Google Megastore
6.2.1　系统架构
6.2.2　实体组
6.2.3　并发控制
6.2.4　复制
6.2.5　索引
6.2.6　协调者
6.2.7　读取流程
6.2.8　写入流程
6.2.9　讨论
6.3　Windows Azure Storage
6.3.1　整体架构
6.3.2　文件流层
6.3.3　分区层
6.3.4　讨论

第7章　分布式数据库
7.1　数据库中间层
7.1.1　架构
7.1.2　扩容
7.1.3　讨论
7.2　Microsoft SQL Azure
7.2.1　数据模型
7.2.2　架构
7.2.3　复制与一致性
7.2.4　容错
7.2.5　负载均衡
7.2.6　多租户
7.2.7　讨论
7.3　Google Spanner
7.3.1　数据模型
7.3.2　架构
7.3.3　复制与一致性
7.3.4　TrueTime
7.3.5　并发控制
7.3.6　数据迁移
7.3.7　讨论

第三篇　实践篇

第8章　OceanBase架构初探
8.1　背景简介
8.2　设计思路
8.3　系统架构
8.3.1　整体架构图
8.3.2　客户端
8.3.3　RootServer
8.3.4　MergeServer
8.3.5　ChunkServer
8.3.6　UpdateServer
8.3.7　定期合并&数据分发
8.4　架构剖析
8.4.1　一致性选择
8.4.2　数据结构
8.4.3　可靠性与可用性
8.4.4　读写事务
8.4.5　单点性能
8.4.6　SSD支持
8.4.7　数据正确性
8.4.8　分层结构

第9章　分布式存储引擎
9.1　公共模块
9.1.1　内存管理
9.1.2　基础数据结构
9.1.3　锁
9.1.4　任务队列
9.1.5　网络框架
9.1.6　压缩与解压缩
9.2　RootServer实现机制
9.2.1　数据结构
9.2.2　子表复制与负载均衡
9.2.3　子表分裂与合并
9.2.4　UpdateServer选主
9.2.5　RootServer主备
9.3　UpdateServer实现机制
9.3.1　存储引擎
9.3.2　任务模型
9.3.3　主备同步
9.4　ChunkServer实现机制
9.4.1　子表管理
9.4.2　SSTable
9.4.3　缓存实现
9.4.4　IO实现
9.4.5　定期合并&数据分发
9.4.6　定期合并限速
9.5　消除更新瓶颈
9.5.1　读写优化回顾
9.5.2　数据旁路导入
9.5.3　数据分区

第10章　数据库功能
10.1　整体结构
10.2　只读事务
10.2.1　物理操作符接口
10.2.2　单表操作
10.2.3　多表操作
10.2.4　SQL执行本地化
10.3　写事务
10.3.1　写事务执行流程
10.3.2　多版本并发控制
10.4　OLAP业务支持
10.4.1　并发查询
10.4.2　列式存储
10.5　特色功能
10.5.1　大表左连接
10.5.2　数据过期与批量删除

第11章　质量保证、运维及实践
11.1　质量保证
11.1.1　RD开发
11.1.2　QA测试
11.1.3　试运行
11.2　使用与运维
11.2.1　使用
11.2.2　运维
11.3　应用
11.3.1　收藏夹
11.3.2　天猫评价
11.3.3　直通车报表
11.4　最佳实践
11.4.1　系统发展路径
11.4.2　人员成长
11.4.3　系统设计
11.4.4　系统实现
11.4.5　使用与运维
11.4.6　工程现象
11.4.7　经验法则

第四篇　专题篇

第12章　云存储
12.1　云存储的概念
12.2　云存储的产品形态
12.3　云存储技术
12.4　云存储的核心优势
12.5　云平台整体架构
12.5.1　Amazon云平台
12.5.2　Google云平台
12.5.3　Microsoft云平台
12.5.4　云平台架构
12.6　云存储技术体系
12.7　云存储安全

第13章　大数据
13.1　大数据的概念
13.2　MapReduce
13.3　MapReduce扩展
13.3.1　Google Tenzing
13.3.2　Microsoft Dryad
13.3.3　Google Pregel
13.4　流式计算
13.4.1　原理
13.4.2　Yahoo S4
13.4.3　Twitter Storm
13.5　实时分析
13.5.1　MPP架构
13.5.2　EMC Greenplum
13.5.3　HP Vertica
13.5.4　Google Dremel
参考资料

精彩书摘

　　第1章　概　　述
　　Google、Amazon、Alibaba等互联网公司的成功催生了云计算和大数据两大热门领域。无论是云计算、大数据还是互联网公司的各种应用，其后台基础设施的主要目标都是构建低成本、高性能、可扩展、易用的分布式存储系统。
　　虽然分布式系统研究了很多年，但是，直到近年来，互联网大数据应用的兴起才使得它大规模地应用到工程实践中。相比传统的分布式系统，互联网公司的分布式系统具有两个特点：一个特点是规模大，另一个特点是成本低。不同的需求造就了不同的设计方案，可以这么说，Google等互联网公司重新定义了大规模分布式系统。本章介绍大规模分布式系统的定义与分类。
　　1.1　分布式存储概念
　　大规模分布式存储系统的定义如下：
　　“分布式存储系统是大量普通PC服务器通过Internet互联，对外作为一个整体提供存储服务。”
　　分布式存储系统具有如下几个特性：
　　可扩展。分布式存储系统可以扩展到几百台甚至几千台的集群规模，而且，随着集群规模的增长，系统整体性能表现为线性增长。
　　低成本。分布式存储系统的自动容错、自动负载均衡机制使其可以构建在普通PC机之上。另外，线性扩展能力也使得增加、减少机器非常方便，可以实现自动运维。
　　高性能。无论是针对整个集群还是单台服务器，都要求分布式存储系统具备高性能。
　　易用。分布式存储系统需要能够提供易用的对外接口，另外，也要求具备完善的监控、运维工具，并能够方便地与其他系统集成，例如，从Hadoop云计算系统导入数据。
　　分布式存储系统的挑战主要在于数据、状态信息的持久化，要求在自动迁移、自动容错、并发读写的过程中保证数据的一致性。分布式存储涉及的技术主要来自两个领域：分布式系统以及数据库，如下所示：
　　数据分布：如何将数据分布到多台服务器才能够保证数据分布均匀？数据分布到多台服务器后如何实现跨服务器读写操作？
　　一致性：如何将数据的多个副本复制到多台服务器，即使在异常情况下，也能够保证不同副本之间的数据一致性？
　　容错：如何检测到服务器故障？如何自动将出现故障的服务器上的数据和服务迁移到集群中其他服务器？
　　负载均衡：新增服务器和集群正常运行过程中如何实现自动负载均衡？数据迁移的过程中如何保证不影响已有服务？
　　事务与并发控制：如何实现分布式事务？如何实现多版本并发控制？
　　易用性：如何设计对外接口使得系统容易使用？如何设计监控系统并将系统的内部状态以方便的形式暴露给运维人员？
　　压缩/解压缩：如何根据数据的特点设计合理的压缩/解压缩算法？如何平衡压缩算法节省的存储空间和消耗的CPU计算资源？
　　分布式存储系统挑战大，研发周期长，涉及的知识面广。一般来讲，工程师如果能够深入理解分布式存储系统，理解其他互联网后台架构不会再有任何困难。
　　1.2　分布式存储分类
　　分布式存储面临的数据需求比较复杂，大致可以分为三类：
　　非结构化数据：包括所有格式的办公文档、文本、图片、图像、音频和视频信息等。
　　结构化数据：一般存储在关系数据库中，可以用二维关系表结构来表示。结构化数据的模式（Schema，包括属性、数据类型以及数据之间的联系）和内容是分开的，数据的模式需要预先定义。
　　半结构化数据：介于非结构化数据和结构化数据之间，HTML文档就属于半结构化数据。它一般是自描述的，与结构化数据最大的区别在于，半结构化数据的模式结构和内容混在一起，没有明显的区分，也不需要预先定义数据的模式结构。
　　不同的分布式存储系统适合处理不同类型的数据，本书将分布式存储系统分为四类：分布式文件系统、分布式键值（Key-Value）系统、分布式表格系统和分布式数据库。
　　1．分布式文件系统
　　互联网应用需要存储大量的图片、照片、视频等非结构化数据对象，这类数据以对象的形式组织，对象之间没有关联，这样的数据一般称为Blob（Binary Large Object，二进制大对象）数据。
　　分布式文件系统用于存储Blob对象，典型的系统有Facebook Haystack以及Taobao File System（TFS）。另外，分布式文件系统也常作为分布式表格系统以及分布式数据库的底层存储，如谷歌的GFS （Google File System，存储大文件）可以作为分布式表格系统Google Bigtable的底层存储，Amazon的EBS（Elastic Block Store，弹性块存储）系统可以作为分布式数据库（Amazon RDS）的底层存储。
　　总体上看，分布式文件系统存储三种类型的数据：Blob对象、定长块以及大文件。在系统实现层面，分布式文件系统内部按照数据块（chunk）来组织数据，每个数据块的大小大致相同，每个数据块可以包含多个Blob对象或者定长块，一个大文件也可以拆分为多个数据块，如图1-1所示。分布式文件系统将这些数据块分散到存储集群，处理数据复制、一致性、负载均衡、容错等分布式系统难题，并将用户对Blob对象、定长块以及大文件的操作映射为对底层数据块的操作。
　　图1-1　数据块与Blob对象、定长块、大文件之间的关系
　　2．分布式键值系统
　　分布式键值系统用于存储关系简单的半结构化数据，它只提供基于主键的CRUD（Create/Read/Update/Delete）功能，即根据主键创建、读取、更新或者删除一条键值记录。
　　典型的系统有Amazon Dynamo以及Taobao Tair。从数据结构的角度看，分布式键值系统与传统的哈希表比较类似，不同的是，分布式键值系统支持将数据分布到集群中的多个存储节点。分布式键值系统是分布式表格系统的一种简化实现，一般用作缓存，比如淘宝 Tair以及Memcache。一致性哈希是分布式键值系统中常用的数据分布技术，因其被Amazon DynamoDB系统使用而变

大规模分布式存储系统：原理解析与架构实战 epub pdf mobi txt 电子书 下载 2024

技术研究用，还没有看，很期待。

本来以为大牛写的东西有很多干货，没想到很多地方也只是简单的提提而已，收货不大。

京东送货速度慢的一比，送货的地方跟仓库在同一座城市，8天时间都送不到，差评

好书

刚收到的书，外层塑料薄膜是破的、书角都已经折掉了，换作是你，会满意吗？看来买书还是得找亚马逊，京东不专业

包装完好 物流速度快

来自阿里的砖家写的。对原理进行了详细的解析，同时对oceanbase进行了深入分析。

!!!!!!!!!!!!!!!!!

存储这块也有在做，研究一下实现细节