- 当前位置：首页 >域名 >HBase完全分布式集群部署
HBase完全分布式集群部署
发布时间：2025-11-04 00:13:53 来源：云智核 作者：域名
1.简介
HBase是全分一个分布式的、面向列的布式部署开源数据库，它不同于一般的集群关系数据库,是一个适合于非结构化数据存储的数据库。另一个不同的全分是HBase基于列的而不是基于行的模式。HBase使用和 BigTable非常相同的布式部署数据模型。用户存储数据行在一个表里。集群一个数据行拥有一个可选择的全分键和任意数量的列，一个或多个列组成一个ColumnFamily，布式部署一个Fmaily下的集群列位于一个HFile中，易于缓存数据。全分表是布式部署疏松的存储的，因此用户可以给行定义各种不同的集群列。在HBase中数据按主键排序，全分同时表按主键划分为多个Region。布式部署
在分布式的IT技术网集群生产环境中，HBase 需要运行在 HDFS 之上，以 HDFS 作为其基础的存储设施。HBase 上层提供了访问的数据的 Java API 层，供应用访问存储在 HBase 的数据。在 HBase 的集群中主要由 Master 和 Region Server 组成，以及 Zookeeper，具体模块如下图所示：
简单介绍一下 HBase 中相关模块的作用：
Master
HBase Master用于协调多个Region Server，侦测各个RegionServer之间的状态，并平衡RegionServer之间的负载。HBaseMaster还有一个职责就是负责分配Region给RegionServer。HBase允许多个Master节点共存，但是这需要Zookeeper的帮助。不过当多个Master节点共存时，只有一个Master是提供服务的，其他的Master节点处于待命的状态。当正在工作的Master节点宕机时，免费源码下载其他的Master则会接管HBase的集群。
Region Server
对于一个RegionServer而言，其包括了多个Region。RegionServer的作用只是管理表格，以及实现读写操作。Client直接连接RegionServer，并通信获取HBase中的数据。对于Region而言，则是真实存放HBase数据的地方，也就说Region是HBase可用性和分布式的基本单位。如果当一个表格很大，并由多个CF组成时，那么表的数据将存放在多个Region之间，并且在每个Region中会关联多个存储的单元（Store）。
Zookeeper
对于 HBase 而言，Zookeeper的作用是至关重要的。首先Zookeeper是作为HBase Master的HA解决方案。站群服务器也就是说，是Zookeeper保证了至少有一个HBase Master 处于运行状态。并且Zookeeper负责Region和Region Server的注册。其实Zookeeper发展到目前为止，已经成为了分布式大数据框架中容错性的标准框架。不光是HBase，几乎所有的分布式大数据相关的开源框架，都依赖于Zookeeper实现HA。
HBase集群建立在hadoop集群基础之上，所以在搭建HBase集群之前需要把Hadoop集群搭建起来，并且要考虑二者的兼容性。
2.环境准备
（1）各服务器其修改主机名，添加hosts文件，关闭防火墙
[root@c7001 ~]# cat >> /etc/hosts << EOF 192.168.16.135 c7001 192.168.16.80 c7002 192.168.16.95 c7003 192.168.16.97 c7004 192.168.16.101 c7005 EOF（2）c7001配置ssh免密登陆，用于启动集群
ssh-keygen -t rsa sh-copy-id -i ~/.ssh/id_rsa.pub c7001 ssh-copy-id -i ~/.ssh/id_rsa.pub c7002 ssh-copy-id -i ~/.ssh/id_rsa.pub c7003 ssh-copy-id -i ~/.ssh/id_rsa.pub c7004 ssh-copy-id -i ~/.ssh/id_rsa.pub c7005(3) 各服务器配置jdk1.7+
[root@c7001 ~]# tar zxf jdk-8u171-linux-x64.tar.gz -C /opt/ [root@c7001 opt]# mv jdk1.8.0_171/ jdk1.8 [root@c7001 opt]# vim /etc/profile export JAVA_HOME=/opt/jdk1.8 export PATH=$PATH:$JAVA_HOME/bin [root@c7001 ~] source /etc/profile [root@c7001 opt]# java -version java version "1.8.0_1713.安装hbase
c7003 c7004 c7005 [root@c7003 opt]# tar zxf /usr/src/hbase-1.3.0-bin.tar.gz -C /opt/修改配置文件
[root@c7003 hbase-1.3.0]# vim conf/hbase-env.sh #修改jdk变量 JAVA_HOME=export JAVA_HOME=/opt/jdk1.8.0_121 #关闭HBase自带的Zookeeper,使用Zookeeper集群： export HBASE_MANAGES_ZK=false编辑hbase-site.xml ，添加配置文件：
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://c7001:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>c7003,c7004,c7005</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/opt/hbase-1.3.0/tmp/zk/data</value> </property> </configuration> vi regionservers #加入如下内容： c7004 c7005把Hbase复制到其他机器
[root@c7003 opt]$ scp -r hbase-1.3.0 root@c7004:/opt/ [root@c7003 opt]$ scp -r hbase-1.3.0 root@c7005:/opt/启动集群
[root@c7003 hbase-1.3.0]$ bin/start-hbase.shweb访问 ip:16010
各节点进程（The picture is replicating）
- Copyright © 2025 Powered by HBase完全分布式集群部署,云智核 滇ICP备2023006006号-28sitemap