博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Why Hadoop2
阅读量:7112 次
发布时间:2019-06-28

本文共 631 字,大约阅读时间需要 2 分钟。

自从Hadoop2出现之后,其迅速代替了Hadoop1的地位,并丰富了Hadoop的应用场景。假设如今有公司使用Hadoop的话,往往直接採用Hadoop2了。

Hadoop2能被如此广泛的使用,肯定有其自身的优势,本文将对其进行梳理

支持很多其它的计算框架

Hadoop1採用的计算框架是MapReduce,MapReduce是批处理计算框架,适合做海量数据的离线处理。为了让Hadoop能支持到很多其它的应用场合,很多其它的计算框架,YARN应运而生,它极大的拓展了Hadoop的使用场合。
採用YARN框架后,会带来另外一个优点。为了让集群能满足企业的需求,企业往往将不同的计算框架部署到不同的集群上,在採用YARN后,企业能够将这些计算框架部署在一个集群上,极大的提升了集群的利用率,而且降低了运维成本

集群拓展性更强

Hadoop1仅仅能支持数千台计算机的容量,这是由于NameNode和JobTracker的内存容量有限导致的。在HDFS2採用Federation,Hadoop将jobtracker的逻辑拆分后,Hadoop集群的拓展性得到了质的提升。

集群资源利用率更高

以下两张图是twitter分别採用Hadoop1和Hadoop2时,集群资源利用率的对照

HDFS和RM单点故障的解决

在Hadoop1上,HDFS和JobTracker是存在单点故障的,主节点崩溃后,集群也随之崩溃,而在Hadoop2上,当採用HA机制后,单点故障攻克了。
你可能感兴趣的文章
windows IOCP入门的一些资料
查看>>
1142 - show view command denied to user
查看>>
042医疗项目-模块四:采购单模块—采购单明细添加查询,并且把数据添加到数据库中...
查看>>
[php] set the language of netbeans
查看>>
关于Visual Studio无法连接到Visual Studio 的Localhost Web服务器问题
查看>>
Linux档案属性与权限控制
查看>>
利用PIL库截屏的一个小例子
查看>>
VS2011最新版本 新功能 新增特性 简介Visual Studio 2011
查看>>
HTTP2.0之战
查看>>
Python 深究readline()
查看>>
ref and out in C++/CLI
查看>>
SQLServer With(NoLock)
查看>>
C语言中不定参数函数的使用
查看>>
Ubuntu - No space left on device Is it a lie or have I run out of inodes
查看>>
解决Agent admitted failure to sign using the kye with ssh
查看>>
Linux Doxygen的安装和使用
查看>>
android adb介绍
查看>>
【SQL】SQL中笛卡尔积、内连接、外连接的数据演示
查看>>
HTTP解析
查看>>
MemCache超详细解读
查看>>