mysql原理--InnoDB的表空间

1.概述
通过前边儿的内容大家知道, 表空间 是一个抽象的概念。
对于系统表空间来说,对应着文件系统中一个或多个实际文件;对于每个独立表空间来说,对应着文件系统中一个名为 表名.ibd 的实际文件。可以把表空间想象成被切分为许许多多个 页 的池子,当我们想为某个表插入一条记录的时候,就从池子中捞出一个对应的页来把数据写进去。

2.回忆一些旧知识

2.1.页面类型
InnoDB也为了不同的目的设计了若干种不同类型的页面。

类型名称十六进制描述
FIL_PAGE_TYPE_ALLOCATED0x0000最新分配,还没使用
FIL_PAGE_UNDO_LOG0x0002Undo日志页
FIL_PAGE_INODE0x0003段信息节点
FIL_PAGE_IBUF_FREE_LIST0x0004Insert Buffer空闲列表
FIL_PAGE_IBUF_BITMAP0x0005Insert Buffer位图
FIL_PAGE_TYPE_SYS0x0006系统页
FIL_PAGE_TYPE_TRX_SYS0x0007事务系统数据
FIL_PAGE_TYPE_FSP_HDR0x0008表空间头部信息
FIL_PAGE_TYPE_XDES0x0009扩展描述页
FIL_PAGE_TYPE_BLOB0x000ABLOB页
FIL_PAGE_INDEX0x45BF索引页,也就是我们所说的 数据页

因为页面类型前边都有个 FIL_PAGE 或者 FIL_PAGE_TYPE 的前缀,为简便起见我们后边唠叨页面类型的时候就把这些前缀省略掉了,比方说 FIL_PAGE_TYPE_ALLOCATED 类型称为 ALLOCATED 类型。

2.2.页面通用部分
我们前边说过数据页,也就是 INDEX 类型的页由7个部分组成,其中的两个部分是所有类型的页面都通用的。任何类型的页面都有下边这种通用的结构:
在这里插入图片描述
从上图中可以看出,任何类型的页都会包含这两个部分:
(1). File Header :记录页面的一些通用信息
(2). File Trailer :校验页是否完整,保证从内存到磁盘刷新时内容的一致性。

强调这么几点:
(1). 表空间中的每一个页都对应着一个页号,也就是 FIL_PAGE_OFFSET ,这个页号由4个字节组成,也就是32个比特位,所以一个表空间最多可以拥有2³²个页,如果按照页的默认大小16KB来算,一个表空间最多支持64TB的数据。表空间的第一个页的页号为0,之后的页号别是1,2,3...依此类推
(2). 某些类型的页可以组成链表,链表中的页可以不按照物理顺序存储,而是根据 FIL_PAGE_PREVFIL_PAGE_NEXT 来存储上一个页和下一个页的页号。需要注意的是,这两个字段主要是为了 INDEX 类型的页,也就是我们之前一直说的数据页建立 B+ 树后,为每层节点建立双向链表用的,一般类型的页是不使用这两个字段的。
(3). 每个页的类型由 FIL_PAGE_TYPE 表示,比如像数据页的该字段的值就是 0x45BF ,我们后边会介绍各种不同类型的页,不同类型的页在该字段上的值是不同的。

3.独立表空间结构
我们知道 InnoDB 支持许多种类型的表空间,本章重点关注独立表空间和系统表空间的结构。它们的结构比较相似,但是由于系统表空间中额外包含了一些关于整个系统的信息,所以我们先挑简单一点的独立表空间来唠叨,稍后再说系统表空间的结构。

3.1.区(extent)的概念
表空间中的页实在是太多了,为了更好的管理这些页面,设计 InnoDB 的大叔们提出了 区 (英文名: extent )的概念。对于16KB的页来说,连续的64个页就是一个 区 ,也就是说一个区默认占用1MB空间大小。不论是系统表空间还是独立表空间,都可以看成是由若干个区组成的,每256个区被划分成一组。画个图表示就是这样:
在这里插入图片描述
其中 extent 0 ~ extent 255256个区算是第一个组, extent 256 ~ extent 511256个区算是第二个组, extent 512 ~ extent 767256个区算是第三个组(上图中并未画全第三个组全部的区,请自行脑补),依此类推可以划分更多的组。这些组的头几个页面的类型都是类似的,就像这样:
在这里插入图片描述
从上图中我们能得到如下信息:
(1). 第一个组最开始的3个页面的类型是固定的,也就是说 extent 0 这个区最开始的3个页面的类型是固定的,分别是:
a. FSP_HDR 类型:这个类型的页面是用来登记整个表空间的一些整体属性以及本组所有的 区 ,也就是 extent 0 ~ extent 255256个区的属性,稍后详细唠叨。需要注意的一点是,整个表空间只有一个 FSP_HDR 类型的页面。
b. IBUF_BITMAP 类型:这个类型的页面是存储本组所有的区的所有页面关于 INSERT BUFFER 的信息。后续详细介绍。
c. INODE 类型:这个类型的页面存储了许多称为 INODE 的数据结构。后续详细介绍。

(2). 其余各组最开始的2个页面的类型是固定的,也就是说 extent 256extent 512 这些区最开始的2个页面的类型是固定的,分别是:
a. XDES 类型:全称是 extent descriptor ,用来登记本组256个区的属性,也就是说对于在 extent 256 区中的该类型页面存储的就是 extent 256 ~ extent 511 这些区的属性,对于在 extent 512 区中的该类型页面存储的就是 extent 512 ~ extent 767 这些区的属性。上边介绍的 FSP_HDR 类型的页面其实和 XDES 类型的页面的作用类似,只不过 FSP_HDR 类型的页面还会额外存储一些表空间的属性。
b. IBUF_BITMAP 类型:上边介绍过了。

3.2.段(segment)的概念
从理论上说,不引入 区 的概念只使用 页 的概念对存储引擎的运行并没啥影响,但是我们来考虑一下下边这个场景:
我们每向表中插入一条记录,本质上就是向该表的聚簇索引以及所有二级索引代表的 B+ 树的节点中插入数据。而 B+ 树的每一层中的页都会形成一个双向链表,如果是以 页 为单位来分配存储空间的话,双向链表相邻的两个页之间的物理位置可能离得非常远。我们介绍 B+ 树索引的适用场景的时候特别提到范围查询只需要定位到最左边的记录和最右边的记录,然后沿着双向链表一直扫描就可以了,而如果链表中相邻的两个页物理位置离得非常远,就是所谓的 随机I/O 。再一次强调,磁盘的速度和内存的速度差了好几个数量级, 随机I/O 是非常慢的,所以我们应该尽量让链表中相邻的页的物理位置也相邻,这样进行范围查询的时候才可以使用所谓的 顺序I/O

所以,所以才引入了 区 ( extent )的概念,一个区就是在物理位置上连续的64个页。在表中数据量大的时候,为某个索引分配空间的时候就不再按照页为单位分配了,而是按照 区 为单位分配,甚至在表中的数据十分非常特别多的时候,可以一次性分配多个连续的区。虽然可能造成一点点空间的浪费(数据不足填充满整个区),但是从性能角度看,可以消除很多的随机 I/O ,功大于过嘛!

我们提到的范围查询,其实是对 B+ 树叶子节点中的记录进行顺序扫描,而如果不区分叶子节点和非叶子节点,统统把节点代表的页面放到申请到的区中的话,进行范围扫描的效果就大打折扣了。所以设计 InnoDB 的大叔们对 B+ 树的叶子节点和非叶子节点进行了区别对待,也就是说叶子节点有自己独有的 区 ,非叶子节点也有自己独有的 区 。存放叶子节点的区的集合就算是一个 段 ( segment ),存放非叶子节点的区的集合也算是一个 段 。也就是说一个索引会生成2个段,一个叶子节点段,一个非叶子节点段。

默认情况下一个使用 InnoDB 存储引擎的表只有一个聚簇索引,一个索引会生成2个段,而段是以区为单位申请存储空间的,一个区默认占用1M存储空间,所以默认情况下一个只存了几条记录的小表也需要2M的存储空间么?

现在为了考虑以完整的区为单位分配给某个段对于数据量较小的表太浪费存储空间的这种情况,设计 InnoDB 的大叔们提出了一个碎片(fragment)区的概念,也就是在一个碎片区中,并不是所有的页都是为了存储同一个段的数据而存在的,而是碎片区中的页可以用于不同的目的,比如有些页用于段A,有些页用于段B,有些页甚至哪个段都不属于。

碎片区直属于表空间,并不属于任何一个段。所以此后为某个段分配存储空间的策略是这样的:
(1). 在刚开始向表中插入数据的时候,段是从某个碎片区以单个页面为单位来分配存储空间的。
(2). 当某个段已经占用了32个碎片区页面之后,就会以完整的区为单位来分配存储空间。

所以现在段不能仅定义为是某些区的集合,更精确的应该是某些零散的页面以及一些完整的区的集合。除了索引的叶子节点段和非叶子节点段之外, InnoDB 中还有为存储一些特殊的数据而定义的段,比如回滚段等等。

3.3.区的分类
通过上边一通唠叨,大家知道了表空间的是由若干个区组成的,这些区大体上可以分为4种类型:
(1). 空闲的区:现在还没有用到这个区中的任何页面。
(2). 有剩余空间的碎片区:表示碎片区中还有可用的页面。
(3). 没有剩余空间的碎片区:表示碎片区中的所有页面都被使用,没有空闲页面。
(4). 附属于某个段的区。每一个索引都可以分为叶子节点段和非叶子节点段,除此之外InnoDB还会另外定义一些特殊作用的段,在这些段中的数据量很大时将使用区来作为基本的分配单位。

4种类型的区也可以被称为区的4种状态( State ),设计 InnoDB 的大叔们为这4种状态的区定义了特定的名词儿:

状态名含义
FREE空闲的区
FREE_FRAG有剩余空间的碎片区
FULL_FRAG没有剩余空间的碎片区
FSEG附属于某个段的区

需要再次强调一遍的是,处于 FREEFREE_FRAG 以及 FULL_FRAG 这三种状态的区都是独立的,算是直属于表空间;
而处于 FSEG 状态的区是附属于某个段的。

为了方便管理这些区,设计 InnoDB 的大叔设计了一个称为 XDES Entry 的结构(全称就是Extent Descriptor Entry),每一个区都对应着一个 XDES Entry 结构,这个结构记录了对应的区的一些属性。我们先看图来对这个结构有个大致的了解:
在这里插入图片描述
从图中我们可以看出, XDES Entry 是一个40个字节的结构,大致分为4个部分,各个部分的释义如下:
(1). Segment ID8字节)
每一个段都有一个唯一的编号,用ID表示,此处的 Segment ID 字段表示就是该区所在的段。当然前提是该区已经被分配给某个段了,不然的话该字段的值没啥意义。
(2). List Node12字节)
这个部分可以将若干个 XDES Entry 结构串联成一个链表,大家看一下这个 List Node 的结构:
在这里插入图片描述
如果我们想定位表空间内的某一个位置的话,只需指定页号以及该位置在指定页号中的页内偏移量即可。所以:
a. Pre Node Page NumberPre Node Offset 的组合就是指向前一个 XDES Entry 的指针
b. Next Node Page NumberNext Node Offset 的组合就是指向后一个 XDES Entry 的指针。

(3). State4字节)
这个字段表明区的状态。可选的值就是我们前边说过的那4个,分别是: FREEFREE_FRAGFULL_FRAGFSEG

(4). Page State Bitmap16字节)
这个部分共占用16个字节,也就是128个比特位。我们说一个区默认有64个页,这128个比特位被划分为64个部分,每个部分2个比特位,对应区中的一个页。比如 Page State Bitmap 部分的第1和第2个比特位对应着区中的第1个页面,第3和第4个比特位对应着区中的第2个页面,依此类推, Page State Bitmap 部分的第127128个比特位对应着区中的第64个页面。这两个比特位的第一个位表示对应的页是否是空闲的,第二个比特位还没有用。

3.3.1.XDES Entry链表
现在我们知道向表中插入数据本质上就是向表中各个索引的叶子节点段、非叶子节点段插入数据,也知道了不同的区有不同的状态,再回到最初的起点,捋一捋向某个段中插入数据的过程:
(1). 当段中数据较少的时候,首先会查看表空间中是否有状态为 FREE_FRAG 的区,也就是找还有空闲空间的碎片区,如果找到了,那么从该区中取一些零碎的页把数据插进去;否则到表空间下申请一个状态为 FREE 的区,也就是空闲的区,把该区的状态变为 FREE_FRAG ,然后从该新申请的区中取一些零碎的页把数据插进去。之后不同的段使用零碎页的时候都会从该区中取,直到该区中没有空闲空间,然后该区的状态就变成了FULL_FRAG

现在的问题是你怎么知道表空间里的哪些区是 FREE 的,哪些区的状态是 FREE_FRAG 的,哪些区是FULL_FRAG 的?要知道表空间的大小是可以不断增大的,当增长到GB级别的时候,区的数量也就上千了,我们总不能每次都遍历这些区对应的 XDES Entry 结构吧?
这时候就是 XDES Entry 中的 List Node 部分发挥奇效的时候了,我们可以通过 List Node 中的指针,做这么三件事:
a. 把状态为 FREE 的区对应的 XDES Entry 结构通过 List Node 来连接成一个链表,这个链表我们就称之为 FREE 链表。
b. 把状态为 FREE_FRAG 的区对应的 XDES Entry 结构通过 List Node 来连接成一个链表,这个链表我们就称之为 FREE_FRAG 链表。
c. 把状态为 FULL_FRAG 的区对应的 XDES Entry 结构通过 List Node 来连接成一个链表,这个链表我们就称之为 FULL_FRAG 链表。

这样每当我们想找一个 FREE_FRAG 状态的区时,就直接把 FREE_FRAG 链表的头节点拿出来,从这个节点中取一些零碎的页来插入数据,当这个节点对应的区用完时,就修改一下这个节点的 State 字段的值,然后从 FREE_FRAG 链表中移到 FULL_FRAG 链表中。同理,如果 FREE_FRAG 链表中一个节点都没有,那么就直接从 FREE 链表中取一个节点移动到 FREE_FRAG 链表,并修改该节点的 STATE 字段值为 FREE_FRAG ,然后从这个节点对应的区中获取零碎的页就好了。

(2). 当段中数据已经占满了32个零散的页后,就直接申请完整的区来插入数据了。

设计 InnoDB 的大叔们为每个段中的区对应的 XDES Entry 结构建立了三个链表:
a. FREE 链表:同一个段中,所有页面都是空闲的区对应的 XDES Entry 结构会被加入到这个链表。注意和直属于表空间的 FREE 链表区别开了,此处的 FREE 链表是附属于某个段的。
b. NOT_FULL 链表:同一个段中,仍有空闲空间的区对应的 XDES Entry 结构会被加入到这个链表。
c. FULL 链表:同一个段中,已经没有空闲空间的区对应的 XDES Entry 结构会被加入到这个链表。

再次强调一遍,每一个索引都对应两个段,每个段都会维护上述的3个链表,比如下边这个表:

CREATE TABLE t (
 c1 INT NOT NULL AUTO_INCREMENT,
 c2 VARCHAR(100),
 c3 VARCHAR(100),
 PRIMARY KEY (c1),
 KEY idx_c2 (c2)
)ENGINE=InnoDB;

这个表 t 共有两个索引,一个聚簇索引,一个二级索引 idx_c2 ,所以这个表共有4个段,每个段都会维护上述3个链表,总共是12个链表,加上我们上边说过的直属于表空间的3个链表,整个独立表空间共需要维护15个链表。所以段在数据量比较大时插入数据的话,会先获取 NOT_FULL 链表的头节点,直接把数据插入这个头节点对应的区中即可,如果该区的空间已经被用完,就把该节点移到 FULL 链表中。

3.3.2.链表基节点
设计 InnoDB 的大叔设计了一个叫 List Base Node 的结构。这个结构中包含了链表的头节点和尾节点的指针以及这个链表中包含了多少节点的信息,我们画图看一下这个结构的示意图:
在这里插入图片描述

我们上边介绍的每个链表都对应这么一个 List Base Node 结构,其中:
a. List Length 表明该链表一共有多少节点。
b. First Node Page NumberFirst Node Offset 表明该链表的头节点在表空间中的位置。
c. Last Node Page NumberLast Node Offset 表明该链表的尾节点在表空间中的位置。

3.3.3.链表小结
综上所述,表空间是由若干个区组成的,每个区都对应一个 XDES Entry 的结构,直属于表空间的区对应的 XDES Entry 结构可以分成 FREEFREE_FRAGFULL_FRAG3个链表;隶属于段的区也按性质用链表组织,每个段中的区对应的 XDES Entry 结构可以分成 FREENOT_FULLFULL 这3个链表。每个链表都对应一个 List Base Node 的结构,这个结构里记录了链表的头、尾节点的位置以及该链表中包含的节点数。

3.4.段的结构
我们前边说过,段其实不对应表空间中某一个连续的物理区域,而是一个逻辑上的概念,由若干个零散的页面以及一些完整的区组成。像每个区都有对应的 XDES Entry 来记录这个区中的属性一样,设计 InnoDB 的大叔为每个段都定义了一个 INODE Entry 结构来记录一下段中的属性。
在这里插入图片描述
它的各个部分释义如下:
(1). Segment ID
就是指这个 INODE Entry 结构对应的段的编号(ID)。
(2). NOT_FULL_N_USED
这个字段指的是在 NOT_FULL 链表中已经使用了多少个页面。下次从 NOT_FULL 链表分配空闲页面时可以直接根据这个字段的值定位到。而不用从链表中的第一个页面开始遍历着寻找空闲页面。
(3). 3List Base Node
分别为段的 FREE 链表、 NOT_FULL 链表、 FULL 链表定义了 List Base Node ,这样我们想查找某个段的某个链表的头节点和尾节点的时候,就可以直接到这个部分找到对应链表的 List Base Node
(4). Magic Number
这个值是用来标记这个 INODE Entry 是否已经被初始化了(初始化的意思就是把各个字段的值都填进去了)。如果这个数字是值的 97937874 ,表明该 INODE Entry 已经初始化,否则没有被初始化。
(5). Fragment Array Entry
我们前边强调过无数次段是一些零散页面和一些完整的区的集合,每个 Fragment Array Entry 结构都对应着一个零散的页面,这个结构一共4个字节,表示一个零散页面的页号。

3.5.各类型页面详细情况
3.5.1.FSP_HDR 类型
首先看第一个组的第一个页面,当然也是表空间的第一个页面,页号为 0 。这个页面的类型是 FSP_HDR ,它存储了表空间的一些整体属性以及第一个组内256个区的对应的 XDES Entry 结构,直接看这个类型的页面的示意图:
在这里插入图片描述

从图中可以看出,一个完整的 FSP_HDR 类型的页面大致由5个部分组成,各个部分的具体释义如下表:

名称中文名占用空间大小简单描述
File Header文件头部38 字节页的一些通用信息
File Space Header表空间头部112 字节表空间的一些整体属性信息
XDES Entry区描述信息10240 字节存储本组256个区对应的属性信息
Empty Space尚未使用空间5986 字节用于页结构的填充,没啥实际意义
File Trailer文件尾部8 字节校验页是否完整

(1). File Space Header部分
从名字就可以看出来,这个部分是用来存储表空间的一些整体属性的,废话少说,看图:
在这里插入图片描述

名称占用空间大小描述
Space ID4 字节表空间的ID
Not Used4 字节这4个字节未被使用,可以忽略
Size4 字节当前表空间占有的页面数
FREE Limit4 字节尚未被初始化的最小页号,大于或等于这个页号的区对应的XDES Entry结构都没有被加入FREE链表
Space Flags4 字节表空间的一些占用存储空间比较小的属性
FRAG_N_USED4 字节FREE_FRAG链表中已使用的页面数量
List Base Node for FREE List16 字节FREE链表的基节点
List Base Node for FREE_FRAG List16 字节FREE_FREG链表的基节点
List Base Node for FULL_FRAG List16 字节FULL_FREG链表的基节点
Next Unused Segment ID8 字节当前表空间中下一个未使用的 Segment ID
List Base Node for SEG_INODES_FULL List16 字节SEG_INODES_FULL链表的基节点
List Base Node for SEG_INODES_FREE List16 字节SEG_INODES_FREE链表的基节点

a. List Base Node for FREE ListList Base Node for FREE_FRAG ListList Base Node for FULL_FRAG List
这三个大家看着太亲切了,分别是直属于表空间的 FREE 链表的基节点、 FREE_FRAG 链表的基节点、FULL_FRAG 链表的基节点,这三个链表的基节点在表空间的位置是固定的,就是在表空间的第一个页面(也就是 FSP_HDR 类型的页面)的 File Space Header 部分。
b. FRAG_N_USED
这个字段表明在 FREE_FRAG 链表中已经使用的页面数量,方便之后在链表中查找空闲的页面。
c. FREE Limit
我们知道表空间都对应着具体的磁盘文件,一开始我们创建表空间的时候对应的磁盘文件中都没有数据,所以我们需要对表空间完成一个初始化操作,包括为表空间中的区建立 XDES Entry 结构,为各个段建立 INODE Entry 结构,建立各种链表吧啦吧啦的各种操作。我们可以一开始就为表空间申请一个特别大的空间,但是实际上有绝大部分的区是空闲的,我们可以选择把所有的这些空闲区对应的 XDES Entry 结构加入 FREE 链表,也可以选择只把一部分的空闲区加入 FREE 链表,等啥时候空闲链表中的 XDES Entry 结构对应的区不够使了,再把之前没有加入 FREE 链表的空闲区对应的 XDES Entry 结构加入 FREE 链表,中心思想就是啥时候用到啥时候初始化,设计 InnoDB 的大叔采用的就是后者,他们为表空间定义了 FREE Limit 这个字段,在该字段表示的页号之前的区都被初始化了,之后的区尚未被初始化。
d. Next Unused Segment ID
表中每个索引都对应2个段,每个段都有一个唯一的ID,那当我们为某个表新创建一个索引的时候,就意味着要创建两个新的段。设计 InnoDB 的大叔们提出了这个名叫 Next Unused Segment ID 的字段,该字段表明当前表空间中最大的段ID的下一个ID,这样在创建新段的时候赋予新段一个唯一的ID值就so easy啦,直接使用这个字段的值就好了。
e. Space Flags
表空间对于一些布尔类型的属性,或者只需要寥寥几个比特位搞定的属性都放在了这个 Space Flags 中存储,虽然它只有4个字节,32个比特位大小,却存储了好多表空间的属性,详细情况如下表:

标志名称占用的空间(单位:bit)描述
POST_ANTELOPE1表示文件格式是否大于 ANTELOPE
ZIP_SSIZE4表示压缩页面的大小
ATOMIC_BLOBS1表示是否自动把值非常长的字段放到BLOB页里
PAGE_SSIZE4页面大小
DATA_DIR1表示表空间是否是从默认的数据目录中获取的
SHARED1是否为共享表空间
TEMPORARY1是否为临时表空间
ENCRYPTION1表空间是否加密
UNUSED18没有使用到的比特位

f. List Base Node for SEG_INODES_FULL ListList Base Node for SEG_INODES_FREE List
每个段对应的 INODE Entry 结构会集中存放到一个类型为 INODE 的页中,如果表空间中的段特别多,则会有多个 INODE Entry 结构,可能一个页放不下,这些 INODE 类型的页会组成两种列表:
f.1. SEG_INODES_FULL 链表,该链表中的 INODE 类型的页面都已经被 INODE Entry 结构填充满了,没空闲空间存放额外的 INODE Entry 了。
f.2. SEG_INODES_FREE 链表,该链表中的 INODE 类型的页面都已经仍有空闲空间来存放 INODE Entry 结构。

(2). XDES Entry部分
我们知道一个 XDES Entry 结构的大小是 40 字节,但是一个页面的大小有限,只能存放有限个 XDES Entry 结构,所以我们才把 256 个区划分成一组,在每组的第一个页面中存放 256XDES Entry 结构。

3.5.2. XDES 类型
每一个 XDES Entry 结构对应表空间的一个区,虽然一个 XDES Entry 结构只占用40字节,但你抵不住表空间的区的数量也多啊。在区的数量非常多时,一个单独的页可能就不够存放足够多的 XDES Entry 结构,所以我们把表空间的区分为了若干个组,每组开头的一个页面记录着本组内所有的区对应的 XDES Entry 结构。由于第一个组的第一个页面有些特殊,因为它也是整个表空间的第一个页面,所以除了记录本组中的所有区对应的 XDES Entry 结构以外,还记录着表空间的一些整体属性,这个页面的类型就是我们刚刚说完的 FSP_HDR 类型,整个表空间里只有一个这个类型的页面。除去第一个分组以外,之后的每个分组的第一个页面只需要记录本组内所有的区对应的 XDES Entry 结构即可,不需要再记录表空间的属性了,为了和 FSP_HDR 类型做区别,我们把之后每个分组的第一个页面的类型定义为 XDES ,它的结构和 FSP_HDR 类型是非常相似的:
在这里插入图片描述
FSP_HDR 类型的页面对比,除了少了 File Space Header 部分之外,也就是除了少了记录表空间整体属性的部分之外,其余的部分是一样一样的。

3.5.3.IBUF_BITMAP
对比前边介绍表空间的图,每个分组的第二个页面的类型都是 IBUF_BITMAP ,这种类型的页里边记录了一些有关 Change Buffer 的东东,Change Buffer 的相关知识放到后边的章节。

3.5.4.INODE 类型
再次对比前边介绍表空间的图,第一个分组的第三个页面的类型是 INODE 。我们前边说过设计 InnoDB 的大叔为每个索引定义了两个段,而且为某些特殊功能定义了些特殊的段。为了方便管理,他们又为每个段设计了一个 INODE Entry 结构,这个结构中记录了关于这个段的相关属性。而我们这会儿要介绍的这个 INODE 类型的页就是为了存储 INODE Entry 结构而存在的。好了,废话少说,直接看图:
在这里插入图片描述

名称中文名占用空间大小简单描述
File Header文件头部38 字节页的一些通用信息
List Node for INODE Page List通用链表节点12 字节存储上一个INODE页面和下一个INODE页面的指针
INODE Entry段描述信息16128 字节
Empty Space尚未使用空间6 字节用于页结构的填充,没啥实际意义
File Trailer文件尾部8 字节校验页是否完整

因为一个表空间中可能存在超过85个段,所以可能一个 INODE 类型的页面不足以存储所有的段对应的 INODE Entry 结构,所以就需要额外的 INODE 类型的页面来存储这些结构。还是为了方便管理这些 INODE 类型的页面,设计 InnoDB 的大叔们将这些 INODE 类型的页面串联成两个不同的链表:
a. SEG_INODES_FULL 链表:该链表中的 INODE 类型的页面中已经没有空闲空间来存储额外的 INODE Entry 结构了。
b. SEG_INODES_FREE 链表:该链表中的 INODE 类型的页面中还有空闲空间来存储额外的 INODE Entry 结构了。

想必大家已经认出这两个链表了,我们前边提到过这两个链表的基节点就存储在 File Space Header 里边,也就是说这两个链表的基节点的位置是固定的,所以我们可以很轻松的访问到这两个链表。以后每当我们新创建一个段(创建索引时就会创建段)时,都会创建一个 INODE Entry 结构与之对应,存储 INODE Entry 的大致过程就是这样的:
a. 先看看 SEG_INODES_FREE 链表是否为空,如果不为空,直接从该链表中获取一个节点,也就相当于获取到一个仍有空闲空间的 INODE 类型的页面,然后把该 INODE Entry 结构放到该页面中。当该页面中无剩余空间时,就把该页放到 SEG_INODES_FULL 链表中。
b. 如果 SEG_INODES_FREE 链表为空,则需要从表空间的 FREE_FRAG 链表中申请一个页面,修改该页面的类型为 INODE ,把该页面放到 SEG_INODES_FREE 链表中,与此同时把该 INODE Entry 结构放入该页面。

3.6.Segment Header 结构的运用
我们知道一个索引会产生两个段,分别是叶子节点段和非叶子节点段,而每个段都会对应一个 INODE Entry 结构,那我们怎么知道某个段对应哪个 INODE Entry 结构呢?
INDEX 类型的页时有一个 Page Header 部分

名称占用空间大小描述
PAGE_BTR_SEG_LEAF10 字节B+树叶子段的头部信息,仅在B+树的根页定义
PAGE_BTR_SEG_TOP10 字节B+树非叶子段的头部信息,仅在B+树的根页定义

其中的 PAGE_BTR_SEG_LEAF 和 PAGE_BTR_SEG_TOP 都占用10个字节,它们其实对应一个叫 Segment Header 的结构,该结构图示如下:
在这里插入图片描述

名称占用字节数描述
Space ID of the INODE Entry4INODE Entry结构所在的表空间ID
Page Number of the INODE Entry4INODE Entry结构所在的页面页号
Byte Offset of the INODE Ent2INODE Entry结构在该页面中的偏移量

PAGE_BTR_SEG_LEAF 记录着叶子节点段对应的 INODE Entry 结构的地址是哪个表空间的哪个页面的哪个偏移量, PAGE_BTR_SEG_TOP 记录着非叶子节点段对应的 INODE Entry 结构的地址是哪个表空间的哪个页面的哪个偏移量。

需要注意的一点是,因为一个索引只对应两个段,所以只需要在索引的根页面中记录这两个结构即可

3.7.真实表空间对应的文件大小
.ibd 文件是自扩展的,随着表中数据的增多,表空间对应的文件也逐渐增大。

4.系统表空间
系统表空间的结构和独立表空间基本类似,只不过由于整个MySQL进程只有一个系统表空间,在系统表空间中会额外记录一些有关整个系统信息的页面,所以会比独立表空间多出一些记录这些信息的页面。因为这个系统表空间最牛逼,相当于是表空间之首,所以它的 表空间 ID (Space ID)是 0 。

4.1.系统表空间的整体结构
系统表空间与独立表空间的一个非常明显的不同之处就是在表空间开头有许多记录整个系统属性的页面,如图:
在这里插入图片描述
可以看到,系统表空间和独立表空间的前三个页面(页号分别为 0 、 1 、 2 ,类型分别是 FSP_HDR 、IBUF_BITMAP 、 INODE )的类型是一致的,只是页号为 3 ~ 7 的页面是系统表空间特有的,我们来看一下这些多出来的页面都是干啥使的:

页号页面类型英文描述描述
3SYSInsert Buffer Header存储Insert Buffer的头部信息
4INDEXInsert Buffer Root存储Insert Buffer的根页面
5TRX_SYSTransction System事务系统的相关信息
6SYSFirst Rollback Segment第一个回滚段的页面
7SYSData Dictionary Header数据字典头部信息

除了这几个记录系统属性的页面之外,系统表空间的 extent 1 和 extent 2 这两个区,也就是页号从 64 ~ 191 这128个页面被称为 Doublewrite buffer ,也就是双写缓冲区。

4.1.1. InnoDB数据字典
我们平时使用 INSERT 语句向表中插入的那些记录称之为用户数据,MySQL只是作为一个软件来为我们来保管这些数据,提供方便的增删改查接口而已。但是每当我们向一个表中插入一条记录的时候,MySQL先要校验一下插入语句对应的表存不存在,插入的列和表中的列是否符合,如果语法没有问题的话,还需要知道该表的聚簇索引和所有二级索引对应的根页面是哪个表空间的哪个页面,然后把记录插入对应索引的 B+ 树中。

所以说,MySQL除了保存着我们插入的用户数据之外,还需要保存许多额外的信息,比方说:
(1). 某个表属于哪个表空间,表里边有多少列
(2). 表对应的每一个列的类型是什么
(3). 该表有多少索引,每个索引对应哪几个字段,该索引对应的根页面在哪个表空间的哪个页面
(4). 该表有哪些外键,外键对应哪个表的哪些列
(5). 某个表空间对应文件系统上文件路径是什么
(6). balabala … 还有好多,不一一列举了

上述这些数据并不是我们使用 INSERT 语句插入的用户数据,实际上是为了更好的管理我们这些用户数据而不得已引入的一些额外数据,这些数据也称为 元数据 。InnoDB存储引擎特意定义了一些列的内部系统表(internal system table)来记录这些这些 元数据 :

表名描述
SYS_TABLES整个InnoDB存储引擎中所有的表的信息
SYS_COLUMNS整个InnoDB存储引擎中所有的列的信息
SYS_INDEXES整个InnoDB存储引擎中所有的索引的信息
SYS_FIELDS整个InnoDB存储引擎中所有的索引对应的列的信息
SYS_FOREIGN整个InnoDB存储引擎中所有的外键的信息
SYS_FOREIGN_COLS整个InnoDB存储引擎中所有的外键对应列的信息
SYS_TABLESPACES整个InnoDB存储引擎中所有的表空间信息
SYS_DATAFILES整个InnoDB存储引擎中所有的表空间对应文件系统的文件路径信息
SYS_VIRTUAL整个InnoDB存储引擎中所有的虚拟生成列的信息

这些系统表也被称为 数据字典 ,它们都是以 B+ 树的形式保存在系统表空间的某些页面中,其中 SYS_TABLES 、 SYS_COLUMNS 、 SYS_INDEXES 、 SYS_FIELDS 这四个表尤其重要,称之为基本系统表(basic system tables),我们先看看这4个表的结构:
(1). SYS_TABLES表

列名描述
NAME表的名称
IDInnoDB存储引擎中每个表都有一个唯一的ID
N_COLS该表拥有列的个数
TYPE表的类型,记录了一些文件格式、行格式、压缩等信息
MIX_ID已过时,忽略
MIX_LEN表的一些额外的属性
CLUSTER_ID未使用,忽略
SPACE该表所属表空间的ID

这个 SYS_TABLES 表有两个索引:
a. 以 NAME 列为主键的聚簇索引
b. 以 ID 列建立的二级索引

(2). SYS_COLUMNS表

列名描述
TABLE_ID该列所属表对应的ID
POS该列在表中是第几列
NAME该列的名称
MTYPEmain data type,主数据类型,就是那堆INT、CHAR、VARCHAR、FLOAT、DOUBLE之类的东东
PRTYPEprecise type,精确数据类型,就是修饰主数据类型的那堆东东,比如是否允许NULL值,是否允许负数啥的
LEN该列最多占用存储空间的字节数
PREC该列的精度,不过这列貌似都没有使用,默认值都是0

这个 SYS_COLUMNS 表只有一个聚集索引:
a. 以 (TABLE_ID, POS) 列为主键的聚簇索引

(3). SYS_INDEXES表

列名描述
TABLE_ID该索引所属表对应的ID
IDInnoDB存储引擎中每个索引都有一个唯一的ID
NAME该索引的名称
N_FIELDS该索引包含列的个数
TYPE该索引的类型,比如聚簇索引、唯一索引、更改缓冲区的索引、全文索引、普通的二级索引等等各种类型
SPACE该索引根页面所在的表空间ID
PAGE_NO该索引根页面所在的页面号
MERGE_THRESHOLD如果页面中的记录被删除到某个比例,就把该页面和相邻页面合并,这个值就是这个比例

这个 SYS_INEXES 表只有一个聚集索引:
a. 以 (TABLE_ID, ID) 列为主键的聚簇索引

(4). SYS_FIELDS表

列名描述
INDEX_ID该索引列所属的索引的ID
POS该索引列在某个索引中是第几列
COL_NAME该索引列的名称

这个 SYS_INEXES 表只有一个聚集索引:
a. 以 (INDEX_ID, POS) 列为主键的聚簇索引

(5). Data Dictionary Header页面
只要有了上述4个基本系统表,也就意味着可以获取其他系统表以及用户定义的表的所有元数据。比方说我们想看看 SYS_TABLESPACES 这个系统表里存储了哪些表空间以及表空间对应的属性,那就可以:
a. 到 SYS_TABLES 表中根据表名定位到具体的记录,就可以获取到 SYS_TABLESPACES 表的 TABLE_ID
b. 使用这个 TABLE_ID 到 SYS_COLUMNS 表中就可以获取到属于该表的所有列的信息。
c. 使用这个 TABLE_ID 还可以到 SYS_INDEXES 表中获取所有的索引的信息,索引的信息中包括对应的INDEX_ID ,还记录着该索引对应的 B+ 数根页面是哪个表空间的哪个页面。
d. 使用 INDEX_ID 就可以到 SYS_FIELDS 表中获取所有索引列的信息。

也就是说这4个表是表中之表,那这4个表的元数据去哪里获取呢?没法搞了,只能把这4个表的元数据,就是它们有哪些列、哪些索引等信息硬编码到代码中,然后设计 InnoDB 的大叔又拿出一个固定的页面来记录这4个表的聚簇索引和二级索引对应的 B+树 位置,这个页面就是页号为 7 的页面,类型为 SYS ,记录了 Data Dictionary Header ,也就是数据字典的头部信息。除了这4个表的5个索引的根页面信息外,这个页号为 7 的页面还记录了整个InnoDB存储引擎的一些全局属性,说话太啰嗦,直接看这个页面的示意图:
在这里插入图片描述

名称中文名占用空间大小简单描述
File Header文件头部38 字节页的一些通用信息
Data Dictionary Header数据字典头部信息56 字节记录一些基本系统表的根页面位置以及InnoDB存储引擎的一些全局信息
Segment Header段头部信息10 字节记录本页面所在段对应的INODE Entry位置信息
Empty Space尚未使用空间16272 字节用于页结构的填充,没啥实际意义
File Trailer文件尾部8 字节校验页是否完整

可以看到这个页面里竟然有 Segment Header 部分,意味着设计InnoDB的大叔把这些有关数据字典的信息当成一个段来分配存储空间,我们就姑且称之为 数据字典段 吧。由于目前我们需要记录的数据字典信息非常少(可以看到 Data Dictionary Header 部分仅占用了56字节),所以该段只有一个碎片页,也就是页号为 7 的这个页。

接下来我们需要细细唠叨一下 Data Dictionary Header 部分的各个字段:
a. Max Row ID
我们说过如果我们不显式的为表定义主键,而且表中也没有 UNIQUE 索引,那么 InnoDB 存储引擎会默认为我们生成一个名为 row_id 的列作为主键。因为它是主键,所以每条记录的 row_id 列的值不能重复。原则上只要一个表中的 row_id 列不重复就可以了,也就是说表a和表b拥有一样的 row_id 列也没啥关系,不过设计InnoDB的大叔只提供了这个 Max Row ID 字段,不论哪个拥有 row_id 列的表插入一条记录时,该记录的 row_id 列的值就是 Max Row ID 对应的值,然后再把 Max Row ID 对应的值加1,也就是说这个 Max Row ID 是全局共享的。
b. Max Table ID
InnoDB存储引擎中的所有的表都对应一个唯一的ID,每次新建一个表时,就会把本字段的值作为该表的ID,然后自增本字段的值。
c. Max Index ID
InnoDB存储引擎中的所有的索引都对应一个唯一的ID,每次新建一个索引时,就会把本字段的值作为该索引的ID,然后自增本字段的值。
d. Max Space ID
InnoDB存储引擎中的所有的表空间都对应一个唯一的ID,每次新建一个表空间时,就会把本字段的值作为该表空间的ID,然后自增本字段的值。
e. Mix ID Low(Unused)
这个字段没啥用,跳过。
f. Root of SYS_TABLES clust index
本字段代表 SYS_TABLES 表聚簇索引的根页面的页号。
g. Root of SYS_TABLE_IDS sec index
本字段代表 SYS_TABLES 表为 ID 列建立的二级索引的根页面的页号。
h. Root of SYS_COLUMNS clust index
本字段代表 SYS_COLUMNS 表聚簇索引的根页面的页号。
i. Root of SYS_INDEXES clust index
本字段代表 SYS_INDEXES 表聚簇索引的根页面的页号。
j. Root of SYS_FIELDS clust index
本字段代表 SYS_FIELDS 表聚簇索引的根页面的页号。
k. Unused
这4个字节没用,跳过。

(6). information_schema系统数据库
需要注意一点的是,用户是不能直接访问 InnoDB 的这些内部系统表的,除非你直接去解析系统表空间对应文件系统上的文件。不过设计InnoDB的大叔考虑到查看这些表的内容可能有助于大家分析问题,所以在系统数据库 information_schema 中提供了一些以 innodb_sys 开头的表:
在这里插入图片描述

在 information_schema 数据库中的这些以 INNODB_SYS 开头的表并不是真正的内部系统表(内部系统表就是我们上边唠叨的以 SYS 开头的那些表),而是在存储引擎启动时读取这些以 SYS 开头的系统表,然后填充到这些以INNODB_SYS 开头的表中。以 INNODB_SYS 开头的表和以 SYS 开头的表中的字段并不完全一样,但供大家参考已经足矣。

5.总结图
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/252599.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

navicat连接mysql报错过程以及解决

1.刚开始报错如下图 于是我利用这段报错信息(2059 - Authentication plugin caching sha2 password cannot be loaded)百度。 1.1上面报错的原因和解决过程 百度说是mysql的加密方式不对,如下图 所以这里进入数据库,修改mysql这…

【C++数据结构 | 哈希表速通】哈希表完成英汉词典增删改查 | 哈希表实现类型unordered_map详解

哈希表 by.Qin3Yu ps.本文的哈希表特指unordered_map实现类型 文中所有代码默认已使用std命名空间且已导入部分头文件&#xff1a; #include <iostream> #include <unordered_map> using namespace std;概念速览 什么是键值对&#xff1f; 所谓 键值对&#xf…

图扑物联 | WEB组态可视化软件

什么是组态&#xff1f; 组态的概念来自于20世纪70年代中期出现的第一代集散控制系统&#xff08;Distributed Control System&#xff09;&#xff0c;可理解为“配置”、“设置”等&#xff0c;是指通过人机开发界面&#xff0c;用类似“搭积木”的简单方式来搭建软件功能&a…

数据可视化---饼图、环形图、雷达图

类别内容导航机器学习机器学习算法应用场景与评价指标机器学习算法—分类机器学习算法—回归机器学习算法—聚类机器学习算法—异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱…

云服务器部署vue/node项目

此处以阿里云服务器为例&#xff0c;配置的是LNMP环境 vue部署云服务器&#xff1a; 以阿里云服务为例&#xff0c;端口自定义99 1、在 /usr/share/nginx/html/ 该目录下新建文件夹&#xff0c;该文件夹是部署的打好包的前端项目 例&#xff1a; 2、进入nginx目录配置相关配…

html+css+javascript实现渐隐轮播

实现效果&#xff1a; 图片自动轮播&#xff0c;点击左右按钮会操作图片向前或向后&#xff0c;图片与小圆点相互呼应&#xff0c;具有交互效果。 编写思想&#xff1a; 实现交互时使用了排他思想&#xff0c;同选项卡的功能&#xff1b; 自动轮播采用了setInterval()&#…

C++ summary 工具 Insights: 源码工具:应用篇 inline函数

介绍篇 在线执行 悬停&#xff0c;显示帮助 右键&#xff0c;查看文档 template example_1 int main(){int a 123;return 0; }(gdb) disas Dump of assembler code for function main():0x0000555555555129 <0>: endbr64 0x000055555555512d <4>: push …

2023年【陕西省安全员C证】新版试题及陕西省安全员C证复审模拟考试

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 陕西省安全员C证新版试题参考答案及陕西省安全员C证考试试题解析是安全生产模拟考试一点通题库老师及陕西省安全员C证操作证已考过的学员汇总&#xff0c;相对有效帮助陕西省安全员C证复审模拟考试学员顺利通过考试。…

C#有望成为2023年的编程语言之王

前言 TIOBE 2023年12月编程语言指数头条新闻&#xff1a;C#有望成为2023年的编程语言之王。 TIOBE是什么&#xff1f; 访问地址&#xff1a;https://www.tiobe.com/tiobe-index/ TIOBE是一个编程社区指数&#xff0c;用于衡量不同编程语言的受欢迎程度。TIOBE指数基于全球范围…

接口自动化测试框架【AIM】

最近在做公司项目的自动化接口测试&#xff0c;在现有几个小框架的基础上&#xff0c;反复研究和实践&#xff0c;搭建了新的测试框架。利用业余时间&#xff0c;把框架总结了下来。 AIM框架介绍 AIM&#xff0c;是Automatic Interface Monitoring的简称&#xff0c;即自动化…

pytest之allure测试报告02:allure具体使用方法

一、allure包含的方法 二、allure使用教程 &#xff08;1&#xff09;用例中写入allure方法 allure.epic("数据进制项目epic") allure.feature("手机号模块feature") class TestMobile:allure.story("杭州的手机号story")allure.title("测…

桌面概率长按键盘无法连续输入问题

问题描述&#xff1a;概率性长按键盘无法连续输入文本 问题定位&#xff1a; 系统按键流程分析 图一 系统按键流程 按键是由X Server接收的&#xff0c;这一点只要明白了X Window的工作机制就不难理解了。X Server在接收到按键后&#xff0c;会转发到相应程序的窗口中。在窗…

单片机——通信协议(UART协议解析篇)

一、引言 在嵌入式系统设计中&#xff0c;UART通信是一种广泛使用的串行通信协议&#xff0c;它通过两条信号线实现全双工的数据传输和接收。UART通信协议以其简单、灵活和易于集成的特点&#xff0c;在嵌入式设备之间以及与外部设备进行通信时发挥着重要作用。本文将详细介绍U…

VS Code连接远程Linux服务器调试C程序

1.在 VS Code 上安装扩展 C/C 2.通过 VS Code 连接远程 Linux 服务器 3.通过 VS Code 在远程 Linux 服务器上安装扩展 C/C 4.打开远程 Linux 服务器上的文件夹 【注】本文以 /root/ 为例。 5.创建项目文件夹&#xff0c;并在项目文件夹下创建C程序 6.按 F5&#xff0c;选…

浅显易懂 @JsonIgnore 的作用

1.JsonIgnore作用   在json序列化/反序列化时将java bean中使用了该注解的属性忽略掉 2.这个注解可以用在类/属性上   例如&#xff1a;在返回user对象时&#xff0c;在pwd属性上使用这个注解&#xff0c;返回user对象时会直接去掉pwd这个字段&#xff0c;不管这个属性有没…

Linux Shell——(脚本参数传递)

脚本参数传递 一、参数传值二、脚本文件中特殊的变量 总结 最近学习了shell脚本&#xff0c;记录一下shell脚本参数传递相关语法 一、参数传值 执行脚本的时候&#xff0c;可以向脚本传递参数&#xff0c;脚本内获取参数的格式为$n n位置从1开始&#xff0c;$0 是脚本的文件名…

(代码详解)绘制气泡图+详细讲解图例设置+如何正确理解气泡图+气泡大小、颜色+调参

目录 气泡图简介&#xff1a; 一、导入库 二、准备数据 三、画气泡图--基础版 四、画气泡图--进阶版一 (控制气泡大小) 解读气泡图&#xff1a; 五、画气泡图--进阶版二(控制气泡颜色) (一)用参数c控制气泡颜色 (二)用for循环的方法控制气泡颜色 (三)给气泡分配指定的颜…

FFmpeg——在Vue项目中使用FFmpeg(安装、配置、使用、SharedArrayBuffer、跨域隔离、避坑...)

个人简介 &#x1f440;个人主页&#xff1a; 前端杂货铺 &#x1f64b;‍♂️学习方向&#xff1a; 主攻前端方向&#xff0c;正逐渐往全干发展 &#x1f4c3;个人状态&#xff1a; 研发工程师&#xff0c;现效力于中国工业软件事业 &#x1f680;人生格言&#xff1a; 积跬步…

Kali Linux安装Xrdp远程桌面工具结合内网穿透实现远程访问Kali桌面

文章目录 前言1. Kali 安装Xrdp2. 本地远程Kali桌面3. Kali 安装Cpolar 内网穿透4. 配置公网远程地址5. 公网远程Kali桌面连接6. 固定连接公网地址7. 固定地址连接测试 前言 Kali远程桌面的好处在于&#xff0c;它允许用户从远程位置访问Kali系统&#xff0c;而无需直接物理访…

韩顺平学java第二阶段之BS框架002

这边讲了php都可以&#xff0c;反正就是打通双方的间隔就行了∑(っД;)っ卧槽&#xff0c;不见了
最新文章