基于hadoop下的hbase安装

简介

        HBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

        HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

HBase的特点有：

        稀疏：HBase的列理论上是允许无限扩展的，对于成百万的列来说，会有大量的空值，如果使用null填充的策略，势必会造成大量空间的浪费，因此，稀疏性是HBase无限扩展的一个重要条件。
        排序：构成HBase的kv在同一文件中都是有序的，首先是rowkey（行键）升序排序，rowkey相同则column key（列族和修饰符）升序排序，rowkey、column key相同则timestamp（时间戳）降序排序。
        分布式：构成HBase的map都不在某台机器上，而是分布在整个集群中。

HBase的缺点有：

    HBase不支持条件查询，只支持按照Row key来查询。这意味着用户需要预先知道查询条件，否则无法进行查询。
    HBase暂时不能支持Master server的故障切换，当Master宕机后，整个存储系统就会挂掉。这可能会对系统稳定性造成一定影响。
    HBase的数据类型只有简单的字符类型，所有的类型都是交由用户自己处理，它只保存字符串。相比之下，关系数据库有丰富的类型和存储方式。
    HBase只有很简单的插入、查询、删除、清空等操作，表和表之间是分离的，没有复杂的表和表之间的关系，而传统数据库通常有各式各样的函数和连接操作。

HBase数据模型的核心概念。


（1）表
HBase是一种列式存储的分布式数据库，其核心概念是表（Table）。与传统关系型数据库一样，HBase的表也是由行和列组成，但HBase同一列可以存储不同时刻的值，同时多个列可以组成一个列簇（Column Family），这种组织形式主要基于存取性能。
（2）行键
        RowKey既是HBase表的行键，也是HBase表的主键。HBase表中的记录是按照RowKey的字典顺序进行存储的。在HBase中，为了高效地检索数据，需要设计良好的RowKey来提高查询性能。首先RowKey被冗余存储，所以长度不宜过长，RowKey过长将会占用大量的存储空间，同时会降低检索效率；其次RowKey应该尽量均匀分布，避免产生热点问题（大量用户访问集中在一个或极少数节点，造成单台节点超出自身承受能力）；另外需要保证RowKey的唯一性。
（3）列簇
        HBase表中的每个列都归属于某个列簇，一个列簇中的所有列成员有着相同的前缀。比如，列anchor:cnnsi.com和anchor:my.look.ca都是列簇anchor的成员。列簇是表的Schema的一部分，必须在使用表之前定义列簇，但列却不是必需的，写数据时可以动态加入。一般将经常一起查询的列放在一个列簇中，合理划分列簇将减少查询时加载到缓存的数据，提高查询效率，但也不能有太多的列簇，因为跨列簇访问是非常低效的。
（4）单元格
        HBase中通过Row和Column确定的一个存储单元称为单元格（Cell）。每个单元格都保存着同一份数据的多个版本，不同时间版本的数据按照时间顺序倒序排序，最新时间的数据排在最前面，时间戳是64位的整数，可以由客户端在写入数据时赋值，也可以由RegionServer自动赋值。为了避免数据存在过多版本造成的管理（包括存储和索引）负担，HBase提供了两种数据版本回收方式。一是保存数据的最后n个版本；二是保存最近一段时间内的数据版本，比如最近7天。用户可以针对每个列簇进行设置。

安装准备

       zookeeper安装

        Hadoop安装

        Hbase安装

通过官网下载，hbase-2.5.6-bin.tar.gz 包

##可能使用网页下载会更快，然后再上传到虚拟机中
wget https://dlcdn.apache.org/hbase/2.5.6/hbase-2.5.6-bin.tar.gz
##解压缩
tar -zxvf hbase-2.5.6-bin.tar.gz
##挂载软连接
ln -s hbase-2.5.6/   hbase

配置文件设置

        HBase的conf目录下的文件进行配置。通过设置hbase-site.xml配置文件进行个性化配置，从而覆盖默认的hbase-default.xml配置内容；通过设置hbase-en.sh文件，添加HBase启动时使用到的环境变量；通过设置RegionServers文件，使得HBase能启动所有Region服务器进程；通过设置backup-masters文件，可以实现HBase HMaster的高可用。

        hbase-site.xml文件配置

        hbase-site.xml 是 HBase 运行和对外服务的基本环境配置文件。

vim  hbase/conf/hbase-site.xml

        所有节点均采用以下配置内容 

<configuration>
  <!--

    HBase will refuse to run in such an environment. Setting
    `hbase.unsafe.stream.capability.enforce` to `false` overrides this behavior,
    permitting operation. This configuration is for the developer workstation
    only and __should not be used in production!__

    See also https://hbase.apache.org/book.html#standalone_dist
  -->
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>./tmp</value>
  </property>
 <property>
    <name>hbase.zookeeper.quorum</name>
    <value>vm02,vm03,vm04</value>
  </property> 
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/hadoop/data/zookeeper</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://mycluster/hbase</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>true</value>
  </property>
</configuration>

参数解释：

  • <property><name>hbase.cluster.distributed</name><value>true</value></property>：设置 HBase 集群模式为分布式模式，即启用分布式功能。
  • <property><name>hbase.tmp.dir</name><value>./tmp</value></property>：设置 HBase 临时数据目录路径，用于存储一些临时数据，如 regionserver 等工作数据。
  • <property><name>hbase.zookeeper.quorum</name><value>vm02,vm03,vm04</value></property>：设置 ZooKeeper 集群的地址，多个地址间使用逗号分隔，默认端口为 2181。
  • <property><name>hbase.zookeeper.property.dataDir</name><value>/home/hadoop/data/zookeeper</value></property>：设置 ZooKeeper 的数据目录路径，用于保存 ZooKeeper 数据信息。
  • <property><name>hbase.zookeeper.property.clientPort</name><value>2181</value></property>：设置客户端连接 ZooKeeper 的端口号。
  • <property><name>hbase.rootdir</name><value>hdfs://mycluster/hbase</value></property>：设置 HBase 的根目录，即数据存储的根目录，本例中设置为 HDFS 上的路径。
  • <property><name>hbase.unsafe.stream.capability.enforce</name><value>true</value></property>：设置是否启用 HBase 流式 API 安全检查，如果设置为 true，HBase 将会禁止使用本地优化器和排序机制，对于非常大的数据量场景可能会影响性能。

      进入HBase根目录下的conf文件夹，修改regionServers配置文件,regionServers配置文件是指定hbase集群的hostname。路径下默认是有一个空内容的该文件。

        所有节点均采用以下配置内容 

vim RegionServers
[hadoop@vm02 conf]$ vim regionServers

vm02
vm03
vm04

backup-masters文件配置

        该文件指定备节点为vm03,所有节点均采用以下配置内容 

[hadoop@vm02 conf]$ vim backup-masters

vm03

hbase-env.sh文件配置

        HBase 的环境变量配置文件是运行的基础运行变量文件。进入HBase根目录下的conf文件夹，修改hbase-env.sh配置文件。
        自带的该文件中有很多变量已做注释，可以通过AI得到对这些变量的理解，本文只设置两个值，其余值采用默认值。
        所有节点均采用以下配置内容 

export JAVA_HOME=/jdk/jdk1.8.0_144/
export HBASE_MANAGES_ZK=false

环境变量配置

        使用root用户编辑/etc/profile文件的环境变量。环境变量的命名中${JAVA_HOME}和$JAVA_HOME等同的，由于博主JDK以前设置的问题，以及安装了和Hadoop无关的postgresql数据库，设置了postgresql的相关变量。这里不做统一标准化处理了。读者了解即可。所有节点均采用以下配置内容

export JAVA_HOME=/jdk/jdk1.8.0_144/
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:/home/postgres/pg/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$PATH
export ZOOKEEPER_HOME=/home/hadoop/zookeeper
export PGDATA=/home/postgres/pg/data


#HADOOP_HOME
export HADOOP_HOME=/home/hadoop/hadoop
export HBASE_HOME=/home/hadoop/hbase
export JAVA_HOME CLASSPATH PATH HADOOP_HOME ZOOKEEPER_HOME HBASE_HOME

#加载环境变量
source /etc/profile
##切换到hadoop用户下
su  - hadoop 
##编辑本用户环境变量添加source /etc/profile
[hadoop@vm02 ~]$ vim .bash_profile 

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/.local/bin:$HOME/bin
source /etc/profile
export PATH
~

 Hbase启动

        所有节点启动zookeeper

 zkServer.sh start
 zkServer.sh status

 

        主节点vm02启动hdfs，hbase

##打命令的时候使用tab键会有联想功能，如果没有联想成功，说明环境变量配置有问题
start-all.sh
start-hbase.sh

        使用jps在所有节点 

hbase客户端访问 

        客户端访问命令

hbase shell

        

        附加

hbase的性能变量

        hbase是基于jvm上运行的数据库，所以在性能有空间的情况下可以对其运行性能放大（jvm上运行的相关程序多数都有这方面的设置，这里以Hbase举例说明）。

export $HBASE_OPT ="$HBASE_OPT -Xmx9g -Xms8g -Xmn128M -XX:+UseParNewGC -XX:+UseConMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 --verbose:gc-XLoggc:${HBASE_HOME}/log/gc-hbase.log

各个参数的含义如下：

        -Xmx9g: 这个参数设置JVM的堆内存最大值为9GB。
        -Xms8g: 这个参数设置JVM的堆内存初始值为8GB。
        -Xmn128M: 这个参数设置年轻代（Young Generation）的大小为128MB。年轻代是Java堆内存中的一部分，主要存放新创建的对象。
        -XX:+UseParNewGC: 这个参数启用并行收集器（Parallel GC），并行收集器主要用于服务端，具有高吞吐量，适合后台应用。
        -XX:+UseConcMarkSweepGC: 这个参数启用CMS收集器（CMS GC），CMS收集器主要用于服务端，低停顿，但并发能力比不上并行收集器。
        -XX:CMSInitiatingOccupancyFraction=70: 这个参数设置CMS收集器的初始占有比例为70%。
        --verbose:gc: 这个参数启用GC的详细日志记录。
        -Xloggc:${HBASE_HOME}/log/gc-hbase.log: 这个参数设置GC的日志文件路径，用于记录GC的详细日志信息。
除了以上参数，还有很多其他的参数可以设置，这取决于你的需求和环境。例如，你可以设置其他的JVM参数，如-XX:MaxPermSize、-XX:+UseG1GC等。你也可以设置HBase的特定参数（不推荐），$HBASE_OPT变量重点还是指定JVM相关运行参数。

        注：博主对这个变量不感兴趣，不做举例说明。生产环境中需要根据服务器实际使用情况配置该变量，将其设置在每一个节点的环境变量文件中便可。

端口信息查看

        hadoop中相关组件和中间件比较多，在整个安装过程中都已经忘了哪些是对外服务的端口信息，这里记住两个查看端口号的指令

#查看对外开放的端口号
netstat -tuln

ss -tulpn

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/208991.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Python批量Git Pull,对文件夹批量进行Pull操作

Python批量Git Pull,对文件夹批量进行Pull操作

效果展示 说明 本来是想写的完善一些&#xff0c;但由于是自用&#xff0c;所以写出来后发现已经解决了自己的问题&#xff0c;所有 2和3功能没有写。 执行的话&#xff0c;需要 cmd 之后 直接 Python BatchGitPull.py 运行下面代码即可。 里面同时涉及到其他Pyhon知识点(写给…
阅读更多...
SSM项目实战-mapper实现

SSM项目实战-mapper实现

1、SysUserMapper.java package com.atguigu.schedule.mapper; import com.atguigu.schedule.pojo.SysUser; import org.springframework.stereotype.Repository; Repository public interface SysUserMapper {SysUser getSysUser(SysUser sysUser); }2、ScheduleMapper.java p…
阅读更多...
“超越摩尔定律”，存内计算走在爆发的边缘

“超越摩尔定律”，存内计算走在爆发的边缘

过去几十年来&#xff0c;在摩尔定律的推动下&#xff0c;处理器的性能有了显著提高。然而&#xff0c;传统的计算架构将数据的处理和存储分离开来&#xff0c;随着以数据为中心的计算&#xff08;如机器学习&#xff09;的发展&#xff0c;在这两个物理分离的单元之间传输数据…
阅读更多...
3D云参观红色革命纪念馆允许更多人在线交流、体验

3D云参观红色革命纪念馆允许更多人在线交流、体验

生活在和平年代的新一代青少年&#xff0c;可能对革命先烈英勇事迹难以有很深的体会&#xff0c;无法切实感受到中国共产党无畏牺牲、誓死保家卫国的红色精神&#xff0c;因此借助VR虚拟现实制作技术&#xff0c;让参观者们走近革命先烈中&#xff0c;感受老一辈无产阶级革命家…
阅读更多...
YOLOv8 第Y7周 水果识别

YOLOv8 第Y7周 水果识别

1.创建文件夹&#xff1a; YOLOv8开源地址 -- ultralytics-main文件下载链接&#xff1a;GitHub - ultralytics/ultralytics: NEW - YOLOv8 &#x1f680; in PyTorch > ONNX > OpenVINO > CoreML > TFLite 其余文件由代码生成。 数据集下载地址&#xff1a;Frui…
阅读更多...
CF1877 E. Autosynthesis 基环树dp

CF1877 E. Autosynthesis 基环树dp

传送门:CF [前题提要]:一道基环树dp,但是题目有点绕,当时卡了我整整半天,到了第二天换了和清醒的脑子然后和别人讨论才整明白,故记录一下 题目很绕,故不再介绍. 首先对于这种下标和值有关系的题目.其实不难想到建图(CF上有大量这种 t r i c k trick trick),随便举个类似的题…
阅读更多...
HarmonyOs 4 (一) 认识HarmonyOs

HarmonyOs 4 (一) 认识HarmonyOs

目录 一 HarmonyOs 背景1.1 发展时间线1.2 背景分析1.2.1 新场景1.2.2 新挑战1.2.3 鸿蒙生态迎接挑战 二 HarmonyOS简介2.1 OpenHarmony2.2 HarmonyOS Connect2.3 HarmonyOS Next**2.4 ArkTS &#xff08;重点掌握&#xff09;****2.5 ArkUI** 三 鸿蒙生态应用核心技术理念**3.…
阅读更多...
Gavin Wood：财库保守主义偏离了初心，应探索 Fellowship 等更有效的资金部署机制

Gavin Wood：财库保守主义偏离了初心，应探索 Fellowship 等更有效的资金部署机制

波卡创始人 Gavin Wood 博士最近接受了 The Kusamarian 的采访&#xff0c;分享了他的过往经历、对治理的看法&#xff0c;还聊到了 AI、以太坊、女巫攻击、财库等话题。本文整理自 PolkaWorld 对专访编译的部分内容&#xff0c;主要包含了 Gavin 对治理、财库提案、生态资金分…
阅读更多...
re:Invent大会，亚马逊云科技为用户提供端到端的AI服务

re:Invent大会，亚马逊云科技为用户提供端到端的AI服务

11月末&#xff0c;若是你降落在拉斯维加斯麦卡伦国际机场&#xff0c;或许会在大厅里看到一排排AI企业和云厂商相关的夸张标语。走向出口的路上&#xff0c;你的身边会不断穿梭过穿着印有“AI21Lab”“Anthropic”等字样的AI企业员工。或许&#xff0c;你还会被机场工作人员主…
阅读更多...
PyQt基础_014_对话框类控件QFileDialog

PyQt基础_014_对话框类控件QFileDialog

基本操作 import sys from PyQt5.QtCore import * from PyQt5.QtGui import * from PyQt5.QtWidgets import *class filedialogdemo(QWidget):def __init__(self, parentNone):super(filedialogdemo, self).__init__(parent)layout QVBoxLayout()self.btn QPushButton("…
阅读更多...
【Linux】cp 命令使用

【Linux】cp 命令使用

cp 命令 cp&#xff08;英文全拼&#xff1a;copy file&#xff09;命令主要用于复制文件或目录。 著者 由Torbjorn Granlund、David MacKenzie和Jim Meyering撰写。 语法 cp [选项]... [-T] 源文件 目标文件或&#xff1a;cp [选项]... 源文件... 目录或&#xff1a;cp [选…
阅读更多...
SpringBoot 集成 ChatGPT，实战附源码

SpringBoot 集成 ChatGPT，实战附源码

1 前言 在本文中&#xff0c;我们将探索在 Spring Boot 应用程序中调用 OpenAI ChatGPT API 的过程。我们的目标是开发一个 Spring Boot 应用程序&#xff0c;能够利用 OpenAI ChatGPT API 生成对给定提示的响应。 您可能熟悉 ChatGPT 中的术语“提示”。在 ChatGPT 或类似语…
阅读更多...
UDS诊断服务

UDS诊断服务

UDS诊断服务 什么是UDS&#xff1f; UDS – Unified diagnostic services (统一诊断服务) 俗称14229. 形象的说&#xff1a;就是使用一套仪器&#xff0c;对当前汽车出现的问题进行分析。而这套仪器与汽车交谈所使用的语言就是UDS&#xff08;不是唯一的方法&#xff09;。 …
阅读更多...
【Linux系统化学习】揭秘 命令行参数 | 环境变量

【Linux系统化学习】揭秘 命令行参数 | 环境变量

个人主页点击直达&#xff1a;小白不是程序媛 Linux专栏&#xff1a;Linux系统化学习 代码仓库&#xff1a;Gitee 目录 命令行参数 环境变量 PATH 查看PATH $PWD 查看环境变量PWD $HOME 查看系统支持的环境变量 获取环境变量 命令行参数 在C/C编程语言中我们有一个…
阅读更多...
domjudge题目配置和开比赛

domjudge题目配置和开比赛

系统使用的是7.3.3&#xff0c;domjudge配置的方法请参考前文 domjudge配置-CSDN博客 题目导入 传统比较 首先可以去domjudge中随便下载一个题目&#xff0c;下载下来的压缩包应该是这样的 │ domjudge-problem.ini │ problem.pdf │ problem.yaml │ └─data└─sec…
阅读更多...
西南科技大学（数据结构A）期末自测练习五

西南科技大学（数据结构A）期末自测练习五

一、选择题&#xff08;每空 1 分&#xff0c;共 5 分&#xff09; 1、下面关于图的叙述中&#xff0c;正确的是&#xff08; &#xff09;。 (1)&#xff0e;回路是简单路径 (2)&#xff0e;存稀疏矩阵&#xff0c;用邻接矩阵比邻接表更省空间 (3)&#xff0e;若有像图中存在…
阅读更多...
网页开发 JS基础

网页开发 JS基础

目录 JS概述 基本语法 数据类型内置方法 DOM对象 查找标签 绑定事件 操作标签 jQuery 查找标签 绑定事件 操作标签 Ajax请求 数据接口 前后端分离 ajax的使用 JS概述 一门弱类型的编程语言,属于基于对象和基于原型的脚本语言. 1 直接编写<script>console…
阅读更多...
numpy知识库：深入理解numpy的repeat函数和numpy数组的repeat方法

numpy知识库：深入理解numpy的repeat函数和numpy数组的repeat方法

前言 numpy中的repeat函数顾名思义&#xff0c;可以将给定的数组沿着指定的轴重复多次&#xff0c;生成一个新的数组。但具体如何重复呢&#xff1f;本次博文就来探讨并试图回答这个问题&#xff0c;感兴趣的小伙伴可以继续阅读下去&#xff0c;希望对你有所启示~ numpy中的r…
阅读更多...
Linux基本指令（后篇）

Linux基本指令（后篇）

目录 14.时间指令date 15.Cal指令 16.find指令(非常重要) 17.grep指令 18.打包压缩指令zip和tar以及解压指令unzip和tar 14.时间指令date date(显示当前时间) 1.在显示方面&#xff0c;使用者可以设定欲显示的格式&#xff0c;格式设定为一个加号后接数个标记&#xff0c;其中…
阅读更多...
企业存货库存综合分析全流程图

企业存货库存综合分析全流程图

上期我们谈到了 诊断存货管理的4大维度&#xff0c;今天我们进一步全方位、全周期的分析企业内存货的问题。 企业存货是企业用于生产或销售的货品&#xff0c;是企业价值增值变现的载体&#xff0c;但是如果一旦没有产生交易&#xff0c;存货就很有可能带来损失。存货伴随着企业…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站