大数据技术丛书《大规模分布式系统架构与设计实战》
文章 最 下 方 都有资源获取方法
大数据技术丛书《数据挖掘实用案例分析》
每日一书《JAVA学习指南 第四版 下册》
每日一书《JAVA学习指南 上册》
每日一书《Java Web开发详解》
每日一书《Java Web 开发实战1200例(第一卷)》附源码
每日一书《JAVA开发实战1200例》第二卷
2018/1/22
电子书名称
大规模分布式系统架构与设计实战
内容介绍:
本书从作者的实战经验出发,深入浅出地讲解了如何建立一个Hadoop那样的分布式系统,实现对多台计算机CPU、内存、硬盘的统一利用,从而获取强大计算能力去解决复杂问题。一般互联网企业的分布式存储计算系统都是个大平台,系统复杂、代码庞大,而且只适合公司的业务,工程师很难下载安装到自己的电脑里学习和吃透。本书对分布式核心技术进行了大量归纳和总结,并从中抽取出一套简化的框架和编程API进行讲解,方便工程师了解分布式系统的主要技术实现。这不是一本空谈概念、四处摘抄的书,这本书包含了大量精炼示例,手把手教你掌握分布式核心技术。
本书主要内容
?分布式并行计算的基本原理解剖;
?分布式协调的实现,包括如何实现公共配置管理,如何实现分布式锁,如何实现集群管理等;
?分布式缓存的实现,包括如何提供完整的分布式缓存来利用多机内存能力;
?消息队列的实现,包括如何实现发送和接收模式;
?分布式文件系统的实现,包括如何像操作本地文件一样操作远程文件,并利用多机硬盘存储能力;
?分布式作业调度平台的实现,包括资源隔离、资源调度等。
目 录
第1章概述1
1.1分布式计算、并行计算、云计算概述1
1.2分布式产品Hadoop、ZooKeeper、HBase概述6
1.3Fourinone的产生背景12
第2章分布式并行计算的原理与实践14
2.1分布式并行计算模式14
2.1.1最初想到的master-slave结构14
2.1.2“包工头-职介所-手工仓库-工人”模式15
2.1.3基于消息中枢的计算模式17
2.1.4基于网状直接交互的计算模式18
2.1.5并行结合串行模式22
2.1.6包工头内部批量多阶段处理模式23
2.1.7计算集群模式和兼容遗留计算系统24
2.1.8工人计算的服务化模式26
2.2跟Hadoop的区别28
2.3关于分布式的一些概念与产品30
2.4配置文件和核心API介绍35
2.5实践与应用36
2.5.1一个简单的示例36
点击空白处查看完整目录
2.5.2工头工人计算模式更完整的示例39
2.5.3工人合并互相say hello的示例44
2.5.4 实现Hadoop经典实例Word Count48
2.5.5分布式多机部署的示例52
2.5.6分布式计算自动部署的示例53
2.5.7计算过程中的故障和容灾处理57
2.5.8计算过程中的相关时间属性设置60
2.5.9如何在一台计算机上一次性启动多个进程63
2.5.10如何调用C/C++程序实现68
2.5.11如何中止工人计算和超时中止68
2.5.12使用并行计算大幅提升递归算法效率73
2.5.13使用并行计算求圆周率π81
2.5.14从赌钱游戏看PageRank算法86
2.5.15使用并行计算实现上亿排序96
2.5.16工人服务化模式应用示例104
2.6实时流计算107
第3章分布式协调的实现111
3.1协调架构原理简介111
3.2核心API113
3.3权限机制115
3.4相对于ZooKeeper的区别116
3.5与Paxos算法的区别117
3.6实践与应用119
3.6.1如何实现公共配置管理119
3.6.2如何实现分布式锁126
3.6.3如何实现集群管理129
3.6.4多节点权限操作示例134
3.6.5领导者选举相关属性设置137
第4章分布式缓存的实现139
4.1小型网站或企业应用的缓存实现架构139
4.2大型分布式缓存系统实现过程140
4.3一致性哈希算法的原理、改进和实现147
4.4解决任意扩容的问题152
4.5解决扩容后数据均匀的问题153
4.6分布式Session的架构设计和实现154
4.7缓存容量的相关属性设置156
4.8缓存清空的相关属性设置158
第5章消息队列的实现162
5.1闲话中间件与MQ162
5.2JMS的两种经典模式163
5.3如何实现发送接收的队列模式164
5.4如何实现主题订阅模式168
第6章分布式文件系统的实现173
6.1FTTP架构原理解析 174
6.2搭建配置FttpAdapter环境177
6.3访问集群文件根目录179
6.4访问和操作远程文件181
6.5集群内文件复制和并行复制184
6.6读写远程文件187
6.7解析远程文件189
6.8并行读写远程文件191
6.9批量并行读写远程文件和事务补偿处理194
6.10如何进行整型读写198
6.11基于整型读写的上亿排序205
第7章分布式作业调度平台的实现219
7.1调度平台的设计与实现219
7.2资源隔离的实现224
7.3资源调度算法226
7.4其他作业调度平台简介227
7.4.1其他MPI作业资源调度技术227
7.4.2Mesos和Yarn简介229
---------END---------
打开支付宝扫码领红包!
复制本条信息打开支付宝,领取最高99元现金红包,1DSI2S37BP(长按可复制)
微信公众号|javabaiwen
小编微信号|646448081
关注JAVA公众号,轻松获取海量资源、最新资讯、粉丝福利等等等等
长按识别二维码,发送暗号 大规模分布式系统架构与设计实战即可
- 股票技术指标分析:MACD形态操作策略
- 股票技术分析:如何判断庄家是否吸筹和确认主力吸筹
- 英镑:多头反攻!对决美元升破1.4000胜势沙场!技术面给出关键位
- 美一波强劲数据袭来美元反弹 黄金将抵达关键位面临变盘
- 我在非洲当“老师”,这位技术男让山东制造走出国门
- 2018年,新的生物技术将带给我们哪些惊喜?
- 金市展望:美元跌势未完结 黄金技术面出现两大重磅信号
- 技术分析:黄金来到关键节点 多头正寻求最终击破1366美元关键水
- 全国各大城市最新房价地图,你的家乡什么价?!
- 技术分析:美元 、欧元、日元及黄金下周前景展望及操作策略