Hbas简介：数据模型和概念、物理视图

文章目录

  • 说明
  • 零 BigTable
  • 一 Hbase简介
  • 二 HBase 访问接口简介
  • 三 行式&列式存储
  • 四 HBase 数据模型
    • 4.1 HBase 列族数据模型
    • 4.2 数据模型的相关概念
    • 4.3 数据坐标
  • 五 概念&物理视图

说明

  • 本文参考自林子雨老师的大数据技术原理与应用(第三版)教材内容，仅供学习和交流

零 BigTable

  • Google Bigtable是一种高度可扩展的分布式数据库，旨在处理海量数据并提供高吞吐量和低延迟的访问。它是谷歌公司为其内部使用而开发的，并在2004年首次公开发表。

  • 它利用谷歌提出的 MapReduce 分布式并行计算模型来处理海量数据，使用谷歌分布式文件系统 GFS 作为其底层数据存储方式，通过自动分片和负载均衡来实现数据在集群中的分布和访问，并采用 Chubby 提供协同管理服务，可以扩展到 PB 级别的数据和上千台机器，具备 广泛应用性、可扩展性、高性能和高可用性 等特点。

  • Bigtable还提供了强大的数据一致性和持久性保证。数据在写入时会被复制到多个地理位置的存储节点，以确保数据的可靠性和冗余备份。此外，Bigtable还支持强一致性和事务操作，使得应用程序可以进行复杂的数据操作和查询。

  • Google Bigtable是一种高度可扩展、具有高性能和可靠性的分布式数据库，适用于处理大规模数据集和高并发访问的场景。 BigTable 具备以下特性：支持大规模海量数据，分布式并发数据处理效率极高，易于扩展且支持动态伸缩，适用于廉价设备，适合读操作不适合写操作。

一 Hbase简介

  • HBase 是谷歌 BigTable 的开源实现，是一个高可靠、高性能、面向列、可伸缩的分布式非关系型数据库，主要用来存储非结构化和半结构化的松散数据，并提供高吞吐量和低延迟的数据访问能力。

  • HBase的架构是基于Hadoop生态系统的，它使用HDFS作为底层存储系统；并利用 Hadoop MapReduce来处理 HBase 中的海量数据，实现高性能计算；利用 ZooKeeper 作为协同服务，实现稳定服务和失败恢复。

  • Sqoop 为 HBase 提供了高效、便捷的关系数据库管理系统（Relational DataBase Management System，RDBMS）数据导人功能，Pig 和 Hive为 HBase 提供了高层语言支持。
    在这里插入图片描述

  • HBase 和 BigTable 的底层技术对应关系

项目BigTableHBase
文件存储系统GFSHDFS
海量数据处理MapReduceHadoop
协同服务管理ChubbyZooKeeper

二 HBase 访问接口简介

  • HBase 提供了 Native Java API、HBase Shell、Thrift Gateway、REST Gateway、Pig、Hive 等多种访问方式
类型特点使用场合
Native Java API常规和高效的访问方式适合 Hadoop MapReduce 作业并行批处理 HBase 表数据
HBase ShellHBase 的命令行工具，最简单的接口适合 HBase 管理
Thrift Gateway利用 Thrift 序列化技术，支持 C++、PHP、Python 等多种语言适合其他异构系统在线访问 HBase 表数据
REST Gateway解除语言限制支持 REST 风格的 HTTP API 访问 HBase
Pig使用 Pig Latin 流式编程语言来处理HBase 中的数据适合数据统计
Hive简单以类似 SQL 的方式来访问 HBase

三 行式&列式存储

  • 传统的关系数据库采用的是面向行的存储，被称为“行式数据库”。而HBase 是面向列的存储，也就是说，HBase 是一个“列式数据库”。
    在这里插入图片描述
  • 行式数据库使用行存储模型（N-ary Storage Model，NSM），一个元组（或行）会被连续地存储在磁盘页中。数据是一行一行被存储的，第一行写入后，再继续写入第二行，以此类推。在读取数据时，需要顺序扫描每个元组的完整内容，然后从每个元组中筛选出查询所需要的属性。如果每个元组只有少量属性的值对于查询是有用的，那么 NSM 就会浪费许多磁盘空间和内存带宽。
  • 列式数据库采用列存储模型（Decomposition Storage Model，DSM），目的是最小化无用的 I/O。DSM 采用不同于 NSM 的思路，对于采用 DSM 的关系数据库，DSM会对关系进行垂直分解，并为每个属性分配一个子关系。因此，一个具有 n 个属性的关系会被分解成 n 个子关系，每个子关系单独存储，每个子关系只有当其相应的属性被请求时才会被访问。
  • DSM 以关系数据库中的属性或列为单位进行存储，关系中多个元组的同一属性值（或同一列值）会被存储在一起，而一个元组中不同属性值通常会被分别存放于不同的磁盘页中。
    在这里插入图片描述
  • 行式数据库主要适合小批量的数据处理，如联机事务型数据处理， Oracle 和MySQL 等关系数据库都属于行式数据库。
  • 列式数据库主要适合批量数据处理和即席查询（Ad-Hoc Query），用于数据挖掘、决策支持和地理信息系统等查询密集型系统中。
    • DSM优点：降低 I/O 开销；支持大量并发用户查询；数据处理速度快；具有较高的数据压缩比
    • DSM 的缺陷是：执行连接操作时需要昂贵的元组重构代价。因为一个元组的不同属性被分散到不同磁盘页中存储，当需要一个完整的元组时，就要从多个磁盘页中读取相应字段的值来重新组合得到原来的一个元组。
  • 如果严格从关系数据库的角度来看，HBase 并不是一个列式存储的数据库，毕竟HBase 是以列族为单位进行分解的（列族当中可以包含多个列），而不是每个列都单独存储，但是HBase 借鉴和利用了磁盘上的这种列存储格式，所以，从这个角度来说，HBase 可以被视为列式数据库。

四 HBase 数据模型

4.1 HBase 列族数据模型

  • HBase 是一个稀疏、多维度、排序的映射表，索引包括行键、列族、列限定符和时间戳。每个值是一个未经解释的字符串，没有数据类型。
  • 在表中存储数据，每一行都有一个可排序的行键和任意多的列。表在水平方向由一个或者多个列族组成，一个列族中可以包含任意多个列，同一个列族里面的数据存储在一起。列族支持动态扩展，可以很轻松地添加一个列族或列，无须预先定义列的数量以及类型，所有列均以字符串形式存储，用户需要自行进行数据类型转换。由于同一张表里面的每一行数据都可以有截然不同的列，因此对于整个映射表的每行数据而言，有些列的值是空的，所以说 HBase 是稀疏的。
  • HBase执行更新操作时，保留旧版本的数据，同时生成一个新版本的数据。HBase 可以对允许保留的版本的数量进行设置。客户端可以选择获取距离某个时间最近的版本，或者一次获取所有版本。在存储的时候，数据会按照时间戳排序，如果在查询的时候不提供时间戳，会返回最新版本的数据。
  • HBase 提供了两种数据版本回收方式：一是保存数据的最后 n 个版本；二是保存最近一段时间内的版本（如最近 7 天）。

4.2 数据模型的相关概念

  • HBase 实际上就是一个稀疏、多维、持久化存储的映射表，它采用行键（Row Key）、列族（Column Family）、列限定符（Column Qualifier）和时间戳（Timestamp）进行索引，每个值都是未经解释的字节数组 byte[]
    在这里插入图片描述
  1. 表：HBase 采用表来组织数据，表由行和列组成，列划分为若干个列族
  2. 行键：每个 HBase 表都由若干行组成，每个行由行键（Row Key）来标识。
    • 访问表中的行只有 3 种方式：通过单个行键访问；通过一个行键的区间来访问；全表扫描。
    • 行键可以是任意字符串（最大长度是 64 KB）。在 HBase 内部，行键保存为字节数组。
    • 存储时，数据按照行键的字典序存储（将经常一起读取的行存储在一起）
  3. 列族：一个 HBase 表被分组成许多“列族”的集合，它是基本的访问控制单元
    • 列族需要在表创建时就定义好，数量不能太多，而且不能频繁修改
    • 存储在一个列族当中的所有数据，通常都属于同一种数据类型（数据具有较高的压缩率）
    • 表中的每个列都归属于某个列族，数据可以被存放到列族的某个列下面，但是在把数据存放到这个列族的某个列下面之前，必须首先创建这个列族。在创建完列族以后，就可以使用同一个列族当中的列。列名都以列族作为前缀。例如，courses:history 和 courses:math 这两个列都属于 courses 这个列族
  4. 列限定符：列族里的数据通过列限定符（或列）来定位。列限定符不用事先定义，也不需要在不同行之间保持一致。列限定符没有数据类型，总被视为字节数组 byte[]
  5. 单元格 ：在 HBase 表中，通过行键、列族和列限定符确定一个“单元格”（Cell）。单元格中存储的数据没有数据类型，总被视为字节数组 byte[]。每个单元格中可以保存一个数据的多个版本，每个版本对应一个不同的时间戳
  6. 时间戳：每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引。
    • 每次对一个单元格执行操作（新建、修改、删除）时，HBase 都会隐式地自动生成并存储一个时间戳。一个单元格的不同版本根据时间戳降序存储，确保最新的版本可以被最先读取。

4.3 数据坐标

  • HBase 使用坐标来定位表中的数据。HBase 中需要根据行键、列族、列限定符和时间戳来确定一个单元格，因此可以视为一个“四维坐标”，即［"行键", "列族", "列限定符", "时间戳"］
    在这里插入图片描述
    在这里插入图片描述

五 概念&物理视图

  • 在一个 HBase 表的概念视图中，每个行都包含相同的列族，尽管行不需要在每个列族里存储数据.从这个角度来说，HBase表是一个稀疏的映射关系，即里面存在很多空的单元格
  • HBase 存储数据的概念视图
    在这里插入图片描述
  • 物理视图：在物理存储层面，它采用基于列的存储方式，而不是像传统关系数据库那样采用基于行的存储方式。
  • 表 4-4 的概念视图在物理存储的时候，会存成表 4-5 中的两个小片段。HBase 表会按照 contents 和 anchor 这两个列族分别存放，属于同一个列族的数据保存在一起，同时和每个列族一起存放的还包括行键和时间戳。
    在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/343448.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

特斯联携手华为发布联合解决方案，助力京津冀千行百业智能升级

特斯联携手华为发布联合解决方案，助力京津冀千行百业智能升级

近日，特斯联受邀出席了由廊坊市人民政府主办，廊坊经济技术开发区管委会联合华为技术有限公司协办的河北人工智能计算中心上线仪式暨新一代信息技术高端论坛，在论坛上，华为携手特斯联等伙伴共同发布了河北人工智能计算中心联合解决…
阅读更多...
Git--基本操作介绍(2)

Git--基本操作介绍(2)

Git 常用的是以下 6 个命令：git clone、git push、git add 、git commit、git checkout、git pull. 说明： workspace：工作区staging area：暂存区/缓存区local repository：版本库或本地仓库remote repository&#xf…
阅读更多...
VS2019查看文件编码格式

VS2019查看文件编码格式

文件->高级保存选项 在这里可以看见现在的编码格式也可以修改编码格式 如果没有高级保存选项的话可以参考这篇博客进行设置
阅读更多...
人大金仓数据库授权文件过期解决

人大金仓数据库授权文件过期解决

一台用于测试的人大金仓数据库访问失败。 登录后发现服务停了。 使用命令行启动，提示服务过期。 查网上资料，说替换原有文件可以解决。 于是去官网下载一个新的，替换掉原来的授权文件。 再次启动数据库，还是提示授权文件过期。…
阅读更多...
leetcode:最接近的三数之和---(双指针，排序，数组)

leetcode:最接近的三数之和---(双指针，排序，数组)

题目： 给你一个长度为 n 的整数数组 nums 和 一个目标值 target。请你从 nums 中选出三个整数，使它们的和与 target 最接近。 返回这三个数的和。 假定每组输入只存在恰好一个解。 示例： 示例 1： 输入：nums [-1…
阅读更多...
第一堂复试

第一堂复试

1.数据结构的基本概念 数据元素 相当于一个类 数据对象是数据元素的集合 数据项：具体的属性 2.数据结构三要素 1.一般线性表相当于数组，2.栈先进后出，3.队列先进先出 非线性结构一般是一对多 线性结构一般是一对一 3.数据的存储结构 4.算…
阅读更多...
通过curl访问k8s集群获取证书或token的方式

通过curl访问k8s集群获取证书或token的方式

K8S安全控制框架主要由下面3个阶段进行控制，每一个阶段都支持插件方式，通过API Server配置来启用插件。 1. Authentication（认证） 2. Authorization（授权） 3. Admission Control（准入控制&#…
阅读更多...
解决router重复push报错

解决router重复push报错

vue-router重复push报错解决 一、报错情况二、解决1、重写push方法2、代码解释（来自讯飞星火AI） 一、报错情况 情况复现：使用router跳转时，router会有一个历史记录栈，当新的push元素和上一次最后push的元素一致&#…
阅读更多...
对于超低延迟SSD，IO调度器已经过时了吗？-part2

对于超低延迟SSD，IO调度器已经过时了吗？-part2

为了进行这项研究，他们设计了一套严谨的实验方法论，包括在配备了高速Intel Optane P4801X Series NVMe SSD的服务器上执行一系列微观和宏观基准测试，同时监测系统能耗情况。这些测试涵盖了多种工作负载场景，从单一进程提交大量请求…
阅读更多...
php基础学习之数据类型

php基础学习之数据类型

php数据类型的基本概念 数据类型：data type，在PHP中指的是数据本身的类型，而不是变量的类型。 PHP 是一种弱类型语言，变量本身没有数据类型。 把变量类比成一个杯子（容器），杯子可以装雪碧、可…
阅读更多...
E - Souvenir(图论典型例题)

E - Souvenir(图论典型例题)

思路&#xff1a;对于有很多询问的题&#xff0c;一般都是先初始化。我们求出每个点到其他点的最短路径以及相同路径下最大的价值和即可。 代码&#xff1a; #include <bits/stdc.h> #define pb push_back #define a first #define b second using namespace std; type…
阅读更多...
C++面试：跳表

C++面试：跳表

目录 跳表介绍 跳表的特点&#xff1a; 跳表的应用场景&#xff1a; C 代码示例&#xff1a; 跳表的特性 跳表示例 总结 跳表&#xff08;Skip List&#xff09;是一种支持快速搜索、插入和删除的数据结构&#xff0c;具有相对简单的实现和较高的查询性能。下面是跳表…
阅读更多...
排序（插入排序）

排序（插入排序）

现在&#xff0c;我们学习了之前数据结构的部分内容&#xff0c;即将进入一个重要的领域&#xff1a;排序&#xff0c;这是一个看起来简单&#xff0c;但是想要理清其中逻辑并不简单的内容&#xff0c;让我们一起加油把&#xff01; 排序的概念及其运用 排序的概念 排序&…
阅读更多...
激光雷达行业梳理1-概述、市场、技术路线

激光雷达行业梳理1-概述、市场、技术路线

激光雷达作为现代精确测距和感知技术的关键组成部分&#xff0c;在近几年里取得了令人瞩目的发展。作为自动驾驶感知层面的重要一环&#xff0c;相较摄像头、毫米波雷达等其他传感器具有“ 精准、快速、高效作业”的巨大优势&#xff0c;已成为自动驾驶的主传感器之一&#xff…
阅读更多...
CVHub|AI标注神器 X-AnyLabeling-v2.3.0 发布！支持YOLOv8旋转目标检测、EdgeSAM、RTMO等热门模型！

CVHub|AI标注神器 X-AnyLabeling-v2.3.0 发布！支持YOLOv8旋转目标检测、EdgeSAM、RTMO等热门模型！

本文来源公众号“CVHub”&#xff0c;仅用于学术分享&#xff0c;侵权删&#xff0c;干货满满。 原文链接&#xff1a;AI标注神器 X-AnyLabeling-v2.3.0 发布&#xff01;支持YOLOv8旋转目标检测、EdgeSAM、RTMO等热门模型&#xff01; 今天主要为大家详细介绍 X-AnyLabeling …
阅读更多...
NQA测试机制—UDP Jitter测试

NQA测试机制—UDP Jitter测试

概念 UDP Jitter是以UDP报文为承载&#xff0c;通过记录在报文中的时间戳信息来统计时延、抖动、丢包的一种测试方法。Jitter&#xff08;抖动时间&#xff09;是指相邻两个报文的接收时间间隔减去这两个报文的发送时间间隔。 UDP Jitter测试的过程如下&#xff1a; 1. 源端&a…
阅读更多...
【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化

【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化

集群搭建、合并文件与数据统计可视化 实验目的任务一&#xff1a;任务二&#xff1a; 实验平台实验内容及步骤任务一&#xff1a;搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建 Slave 节点修改主机名编辑 hosts 文件生成密钥免认证登录修改 hadoop 的配置文件编…
阅读更多...
软件测试面试题（完整版）

软件测试面试题（完整版）

1、B/S架构和C/S架构区别 B/S 只需要有操作系统和浏览器就行&#xff0c;可以实现跨平台&#xff0c;客户端零维护&#xff0c;维护成本低&#xff0c;但是个性化能力低&#xff0c;响应速度较慢 C/S响应速度快&#xff0c;安全性强&#xff0c;一般应用于局域网中&#xff0c…
阅读更多...
DFT计算杂谈调查问卷

DFT计算杂谈调查问卷

为更好了解公众号受众对于DFT计算的了解情况以及目标需求&#xff0c;目的以更好更准确并实用地推送给公众号受众所需要的文章&#xff0c;所以本次推送发布调查问卷并收集填写者相关信息。 调查问卷调查内容仅与公众号运营和DFT计算相关&#xff0c;所收集信息仅用作公众号受众…
阅读更多...
== 和 equals：对象相等性比较的细微差别

== 和 equals：对象相等性比较的细微差别

和 equals&#xff1a;对象相等性比较的细微差别 既要脚踏实地于现实生活&#xff0c;又要不时跳出现实到理想的高台上张望一眼。在精神世界里建立起一套丰满的体系&#xff0c;引领我们不迷失不懈怠。待我们一觉醒来&#xff0c;跌落在现实中的时候&#xff0c;可以毫无怨言地…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站