第一章：存储基础知识

40~70年代，主机+硬盘；

70~80年代，DAS出现，无法共享；

SAN出现，支持数据块的数据传输和数据共享等；

应用软件访问存储介质，需要通过文件系统；

NAS出现，支持数据访问和共享服务，并支持多种协议，如NFS、CIFS、FTP等；

集群NAS出现，海量数据存储；

SAN+NAS===》统一存储；

第二章：存储的基本概念

2.1存储是什么？

存储硬件（磁盘阵列、存储控制器、磁盘柜、磁带库等）、存储软件（管理软件、快照、复制、多路径等）、存储网络（HBA卡、光纤交换机和线缆等）、存储解决方案（集中存储、归档、备份、容灾等）

存储是企业数据的家，，数据产生、数据处理、数据管理（根据数据访问的频率区分）等

2.2存储的应用场景

数据集中管理、数据备份、数据容灾等

2.3存储的硬件结构

存储阵列是由很多硬盘、控制器、扩展框等组成，数据以条带化（striping）的方式存储，以保证可靠性和更好的空间利用率；

存储阵列系统方式1（盘控分离）：控制框+硬盘扩展框，特点：成本较高，扩展性好，适用于中高端；

存储阵列系统方式2（盘控一体）：控制器模块+硬盘框，特点：成本较低，扩展性差，适用于中低端；

双控制器架构，写入数据在双控CACHE中各存一份，避免单控故障导致数据丢失；每个控制板的后端分别接入物理硬盘的环路，业务负载均衡，提升系统整体性能；

2.4存储的软件架构

架构分类：存储单元端软件、文件引擎软件、应用服务器端软件和管理客户端软件等。

功能分类：

• 管理类：配置、管理、维护和监控等
• 数据保护类：快照、克隆、LUN拷贝、远程复制等
• 可靠性提升类：提高应用服务器和存储设备之间的数据传输可靠性，如多路径UltraPath等
• 效率提升类：如QoS、Motion等；

2.5存储设备的性能参数和计算方法

性能指标：

• IOPS（Input/Output Operations Per Second）,即存储每秒能处理的IO个数，用于衡量存储的快速响应能力；（小IO）
• 带宽（吞吐量），表示存储每秒能处理的数据总量；带宽=IOPS*平均IO；（大IO）
• 时延，处理IO所消耗的时间，用于衡量存储设备处理的速度，时延分为主机侧时延和存储侧时延，主机侧时延包含存储侧时延，也是用户关注的时延；

性能评估：

• IOPS：IO的顺序和随机特性、CACHE命中率、磁盘单盘IOPS等；对于存储系统的最大IOPS，最主要的瓶颈是CPU的处理能力；
• 带宽：需要考虑的是IO的大小，磁盘单盘带宽、存储硬件带宽等，对于存储系统的最大带宽，最主要的瓶颈是前后端通道带宽和镜像带宽；

第三章：存储阵列关键技术

3.1硬盘介绍

硬盘分类：

• 介质：机械硬盘（HDD）和固态硬盘（SSD）
• 盘径：主流的有2.5寸和3.5寸
• 接口：IDE、SATA、SCSI、SAS、FC等
• 功能：桌面级和企业级，主要区别是容量大小，性能高低，以及可靠性方面；

主流硬盘：

• SATA HDD：转速7200、串行、MTBF约120万小时，年故障率（AFR，Acceptable Failure Rate）约2%；
• SAS HDD：转速10000或15000、串行、MTBF约160万小时，年故障率（AFR）约小于2%；
• NL-SAS,：指标与SATA类似；
• SSD：不涉及转速、串行、MTBF约200万小时，年故障率（AFR）约2%；

硬盘关键指标：

• 硬盘容量，单位MB或GB;
• 转速，RPM(Rotation Per Minute), 一般硬盘5400或7200，SCSI接口硬盘可达10000~15000；
• 平均访问时间，平均寻道时间+平均等待时间；
• 数据传输率，单位MB/s；
• IOPS，关键指标；
• 数据吞吐量

3.2RAID技术

RAID，Redundant Array of Independent Disks，即独立磁盘冗余阵列，RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而提高了硬盘的读写性能和数据安全性。

RAID级别：

• RAID 0，数据条带化，无校验；
• RAID 1，数据镜像，无校验；
• RAID 3，数据条带化读写，校验信息存放在专用硬盘；
• RAID 5，数据条带化，校验信息分布式存放；
• RAID 6，数据条带化，分布式校验并提供两级冗余；

RAID组合：

• RAID 01，先RAID 0 后RAID 1，同时提供数据条带化和镜像；

• RAID10，先RAID 1 后RAID 0；

• RAID 50，先RAID 5 后RAID 0，有效提升RAID 5 性能；

RAID基本概念：

• 分块：将一个磁盘分区分成多个大小相等、地址相邻的数据块；
• 条带：同一磁盘阵列中的多个驱动器上的相同“位置”（编号）的分块组成一个条带；
• 热备：HotSpare，当RAID组中某个硬盘故障时，在不干扰当前RAID系统正常使用的情况下，用RAID系统中的另外一个正常的备用盘自动顶替故障硬盘，以保障RAID系统的可靠性，，热备分为全局共享式和专用独占式；
• 重构，新盘数据的恢复，通过其他数据盘和校验盘XOR的方式重新获得，一般重构时间较长（小时级别），有一定的可靠性风险；
• LUN，Logic Unit Number，在RAID基础上，按照指定容量创建一个或多个逻辑卷，类似个人PC的电脑分区；

RAID原理：

• RAID 0 没有容错设计，数据以条带形式均匀存储在各个硬盘中，多个数据盘可以同时工作，效率较高；——无法接受坏一块盘
• RAID 1，数据同时一致写到主硬盘和镜像硬盘，可靠性高，磁盘利用率低，成本较高；——可以接受坏一块盘
• RAID 3，有一个专用校验盘，通过XOR的方式恢复数据，，如果任意数据盘发生变化，校验盘都要不断工作，成为性能瓶颈；——可以接受坏一块盘
• RAID 5，与RAID 3类似，但是去掉了专用的校验盘，数据块和对应的校验信息分布式保存在不同的硬盘上，，RAID 5是最常用的RAID方式；——可以接受坏一块盘
• RAID 6，是RAID 5的扩展，采用奇偶校验方式（横向校验盘和斜向校验盘），需要N+2个磁盘构成阵列，用于数据可靠性和可用性要求极高的应用场景；——可以接受坏两块盘
• RAID组合，RAID10和RAID50，RAID10的第一级是RAID 1第二级是RAID 0，RAID10也是应用较为广泛的RAID级别，，RAID50的第一级是RAID 5，第二级是RAID 0；

RAID级别比较

RAID典型应用场景

3.3RAID2.0技术

产生背景：市场需要安全可信的RAID技术、市场需要更具弹性高效的存储规划方式

某厂RAID 2.0技术，就是由原来的固定管理模式升级为两层虚拟化管理模式，即在原本传统的数据块级虚拟化（融合磁盘）基础上再做LUN虚拟化（融合卷），以实现存储资源的高效管理；

某厂RAID 2.0技术原理：

硬盘—>Chunk(64MB)—>CKG（ Chunk Group）—>Extent(512KB~64MB)—>Volume(多个extent组成Volume)—>LUN（主机可见）

某厂RAID 2.0技术特点：

• 特点1：低故障率，因为数据在存储池中自动均衡分布自动负载均衡，避免了硬盘的冷热（忙闲度）不均，从而降低了存储系统整体的年故障率（AFR）；
• 特点2：快速精简重构，改善双盘失效率；（1T容量为例，重构时长仅为1/20）

第四章：存储网络技术

4.1存储网络概述

单磁盘具有诸多问题，如：容量小、可靠性差，空间利用率低，数据分散等；

DAS通过RAID技术、JBOD和存储控制器等技术解决了原本单磁盘的容量小、可靠性差、硬盘成为系统性能瓶颈等问题；

SAN和NAS通过文件系统和RAID技术，在DAS的基础上，解决了空间利用率低和数据分散无法共享的问题；

注意：①SAN存储的文件系统在应用服务器上；②NAS存储的文件系统在磁盘阵列上。

统一存储——NAS和SAN的融合，既支持基于文件的NAS存储，也支持基于块的SAN存储，这样可以同时支持多种传输协议，模块化的架构、灵活配置、轻松扩容，低TCO等；

4.2存储网络协议

• SCSI协议：Small Computer System Interface，用于主机与外部设备之间的连接，SCSI-3是所有存储协议的基础。优点：与主机无关、多设备并行、高带宽。缺点：允许链接的设备数量少，链接距离十分有限；
• FC协议：Fiber Channel，光纤通道，用于服务器与共享存储设备的连接，存储控制器和驱动器之间的内部连接，是一种高性能的串行连接标准，传输速率有4Gbps和8Gbps等，传输介质可以是铜缆或者光纤，传输距离较远，成本较高；
• iSCSI协议：Internet Small Computer System Interface，或者SCSI over IP，提供高速、低价、长距离的存储解决方案，iSCSI将SCSI命令封装到TCP/IP的数据包中，使得I/O数据可以通过IP网络传输；
• SAS协议：Serial Attached SCSI，SCSI总线协议的串行标准，即串行连接SCSI；具备高扩展性，兼容SATA，传输速率最高可达3Gbps、6Gbps和12Gbps等，支持全双工模式；

存储网络协议对比

4.3存储网络形态

• DAS，Direct Attached Storage，产生于70年代，满足数据量增多的需求，通常采用SCSI方式直接连接，速率较低（20MB/s、40MB/s、80MB/s），提供快照和备份等功能；
• NAS，Network Attached Storage，产生于90年代初，满足大量数据共享和交换的需求，文件系统位于后端存储设备，后端NAS存储通过CIFS协议（Windows系统）和NFS协议（Linux系统）共享给前端主机，支持对同一目录或文件进行并发读写，速率（1Gbps或10Gbps）；
• FC-SAN，Fiber Channel Storage Area Network，产生于90年代中后期，主要解决DAS扩展性差的问题，可以同时连接百台服务器，需要专用的FC交换机通过FC光纤连接，速率（2Gbps或4Gbps），提供快照和容灾等数据保护功能；
• IP-SAN，IP Storage Area Network，产生于2001年，主要解决FC-SAN价格高管理复杂等问题，且只需要以太网交换机通过网线连接，速率（1Gbps或10Gbps），也提供快照和容灾等数据保护功能；

存储网络形态比较

注意：SAN和NAS并不是竞争的关系，更是互补的关系，越来越多的数据中心采用NAS+SAN的方式实现数据整合、高性能访问和数据共享等，即通过SAN实现海量的面向数据块的数据传输，通过NAS提供文件级的数据访问和共享服务。

第五章：服务器如何使用存储

5.1服务器概述

与个人PC相比，构成基本一致（多了RAID卡等附加硬件设备），特点是稳定性、可靠性、安全性、管理运维等方面较好，服务器包括塔式服务器、机架服务器和刀片服务器等；

主机操作系统：

• Windows：Windows 2008等
• Linux操作系统：Redhat和Suse等发行版
• VMware ESX：云市场入口
• AIX小型机系统
• Solars系统
• HP-UNIX系统

5.2服务器如何使用存储

通过建立启动器和目标器的连接

启动器：应用服务器；

目标器：存储系统；

主机接口（卡）模块类型：iSCSI、FC、FCoE、TOE等；

线缆类型：网线或光纤；

iSCSI网络：通过“端口+IP地址”识别；

FC网络：通过“端口+WWN号”识别；

使用方式：

硬盘—>硬盘域(性能层-cache和容量层)—>存储池（数据区和热备区）—>LUN组(注意：LUN是应用服务器能够识别的最小存储逻辑单元)—>映射视图(主机组和LUN组之间的映射视图)—>主机组（主机与应用服务器之间建立逻辑关系）—>应用服务器（将逻辑硬盘视为本地硬盘一样进行读写操作）

5.3主机多路径技术

未安装多路径软件时，会给主机看到两道物理LUN的错觉，到时数据混乱；按照多路径软件后，主机只能看到一个物理LUN，而且支持线缆和控制器等中间路径的故障切换和恢复，具体见下图。