Hadoop实战培训教程13_Hadoop集群环境搭建配置_HBase安装配置

教程发布:风哥 教程分类:ITPUX技术网 更新日期:2022-02-12 浏览学习:30

Hadoop实战培训教程13_Hadoop集群环境搭建配置_HBase安装配置

——HBase简介及安装1、HBase简介HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。HBase是Google Bigtable的开源实现,但是也有很多不同之处。比如:Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Google Bigtable利用 Chubby作为协同服务,HBase利用Zookeeper作为对应。1181上图描述了Hadoop EcoSystem中的各层系统,其中HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持,Hadoop MapReduce为HBase提供了高性能的计算能力,Zookeeper为HBase提供了稳定服务和failover机制。此外,Pig和Hive还为HBase提供了高层语言支持,使得在HBase上进行数据统计处理变的非常简单。 Sqoop则为HBase提供了方便的RDBMS数据导入功能,使得传统数据库数据向HBase中迁移变的非常方便。另外,HBase存储的是松散型数据。具体来说,HBase存储的数据介于映射(key/value)和关系型数据之间。进一步讲,HBase存储的数据可以理解为一种key和value的映射关系,但又不是简简单单的映射关系。除此之外它还有许多其他的特性。HBase存储的数据从逻辑上来看就像一张很大的表,并且它的数据列可以根据需要动态增加。除此之外,每个cell(由行和列所确定的位置)中的数据又可以具有多个版本(通过时间戳来区别)。
2、HBase体系结构HBase的服务器体系结构遵从简单的主从服务器架构,它由HRegin服务器(HRegion Server)群和HBase Master服务器(HBase Master Server)构成。HBase Master服务器负责管理所有的HRegion服务器,而HBase中所有的服务器都是通过ZooKeeper来进行协调,并处理HBase服务器运行期间可能遇到的错误。HBase Master Server本身并不存储HBase中的任何数据,HBase逻辑上的表可能会被划分成多个HRegion,然后存储到HRegion Server群中。HBase Master Server中存储的是从数据到HRegion Server的映射。

本文标签:
网站声明:本文由风哥整理发布,转载请保留此段声明,本站所有内容将不对其使用后果做任何承诺,请读者谨慎使用!
【上一篇】
【下一篇】