分布式存储软件(分布式存储软件架构)

　　大数据0基础怎么学习？科多大数据带你快速了解HBase。

　　1. HBase介绍

　　Hbase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利用Hadoop HDFS 作为其文件存储系统；Google 运行MapReduce 来处理Bigtable中的海量数据， HBase 同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable 利用Chubby作为协同服务， HBase 利用Zookeeper作为对应。

　　HBase特点：

　　1. 大：一个表可以有数十亿行，上百万列。

　　2. 无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列；

　　3. 面向列：面向列（族）的存储和权限控制，列（族）独立检索

　　4. 稀疏：空（null）列并不占用存储空间，表可以设计的非常稀疏

　　5. 数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳

　　6. 数据类型单一：Hbase中的数据都是字符串，没有类型。

　　2. HBase 设计模型

　　HBase 中的每一张表就是所谓的 BigTable。BigTable 会存储一系列的行记录，行记录有三个基本类型的定义：Row Key、Time Stamp、Column。

　　1. Row Key 是行在 BigTable 中的唯一标识。

　　2. Time Stamp 是每次数据操作对应关联的时间戳，可以看做 SVN 的版本。

　　3. Column 定义为< family>:< label>，通过这两部分可以指定唯一的数据的存储列，family 的定义和修改需要 对 HBase 进行类似于 DB 的 DDL 操作，而 label ，不需要定义直接可以使用，这也为动态定制列提供了一种手段 。family 另一个作用体现在物理存储优化读写操作上，同 family 的数据物理上保存的会比较临近，因此在业务设计的过程中可以利用这个特性。

　　3. HBase 存储架构

　　从HBase的架构图上可以看出，HBase中的存储包括HMaster、HRegionServer、HRegion、Store、MemStore、StoreFile、HFile、HLog等， 以下是 HBase 存储架构图:

　　4. Hbase 的部署安装步骤

　　1. 节点信息

　　名称

　　IP地址

　　用户名

　　密码

　　进程

　　master

　　192.168.80.130

　　hadoop

　　admin@123

　　HMaster

　　host2

　　192.168.80.131

　　hadoop

　　admin@123

　　HMaster,HRegionServer

　　host3

　　192.168.80.132

　　hadoop

　　admin@123

　　HRegionServer

　　2. 上apache管网下载HBase1.2.4压缩包 3. 解压压缩包 cd /usr/local sudo tar -zvxf ~/下载/hbase-1.2.4-bin.tar.gz suod chown -R hadoop hbase-1.2.4

　　4. 编辑hbase-env.sh文件

　　vim hbase-env.sh #设置JDK路径 export JAVA_HOME=/usr/lib/jdk1.7.0_51/ #告诉hbase使用外部的zk export HBASE_MANAGES_ZK=false

　　5. 编辑hbase-site.xml

　　vi hbase-site.xml <configuration> <!-- 指定hbase在HDFS上存储的路径 --> <property> <name>hbase.rootdir</name> <value>hdfs://hadoop-ha/hbase</value> </property> <!-- http服务端口 --> <property> <name>hbase.master.info.port</name> <value>60010</value> </property> <!-- 指定hbase是分布式的 --> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <!-- 指定zk的地址，多个用“,”分割 --> <property> <name>hbase.zookeeper.quorum</name> <value>master:2181,host2:2181,host3:2181</value> </property> </configuration>

　　6. 编辑regionservers vi regionservers host2 host3

　　7. 编辑backup-masters host2 8. 将Hbase路径信息增加到环境变量中

　　vi ~/.bashrc export HBASE_HOME=/usr/local/hbase-1.2.4 export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/ *** in:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$HBASE_HOME/bin:$PATH source ~/.bashrc

　　9. 将master节点上的hbase-1.2.4拷贝到其他节点的相同目 //将hbase目录拷贝到host2节点 sudo scp -r hbase-1.2.4 hadoop@host2:~/下载 ssh host2 sudo mv -r hbase-1.2.4 /usr/local vi ~.bashrc export HBASE_HOME=/usr/local/hbase-1.2.4 export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/ *** in:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$HBASE_HOME/bin:$PATH source ~/bashrc exit //将hbase目录拷贝到host3节点 sudo scp -r hbase-1.2.4 hadoop@host3:~/下载 ssh host3 sudo mv -r hbase-1.2.4 /usr/local vi ~.bashrc export HBASE_HOME=/usr/local/hbase-1.2.4 export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/ *** in:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$HBASE_HOME/bin:$PATH source ~/bashrc exit

　　10. 启动hbase 在启动hadoop后启动hbase,在master节点上启动 start-hbase.sh 11. 在hbase中新建一个表member --进入hbase命令行 hbase shell --创建表'member' create 'member','member_id','address','info'

　　-- 查看新建的表 list 12. Web查看Hbase信息 主Master

　　现在还不清楚自己是否适合学习大数据的小伙伴们可以点击以下链接或者扫描二维码测试一下哦~

　　https://www.101test.com/cand/index?paperId=IPBAKU