K8s 使用 Ceph RBD 作为后端存储（静态供给、动态供给）

一、K8s 使用 Ceph RBD

Ceph RBD（Rados Block Device）是 Ceph 存储集群中的一个重要组件，它提供了块级别的存储访问。RBD 允许用户创建虚拟块设备，并将其映射到客户端系统中，就像本地磁盘一样使用。

首先所有 k8s 节点都需要安装 ceph-common 工具：

yum -y install epel-release ceph-common

二、静态供给方式

静态供给方式需要提前创建好 RBD Image 给到 K8s 使用。

2.1 在 Ceph 中创建 RBD Image 和 授权用户

RBD 需要绑定一个存储池，创建一个名为 rbd-static-pool 的存储池：

ceph osd pool create rbd-static-pool 8

在这里插入图片描述

指定存储池的特性为 RBD，并初始化该存储池给 RBD 使用：

# 指定类型
ceph osd pool application enable rbd-static-pool rbd
# 初始化
rbd pool init -p rbd-static-pool

在这里插入图片描述

创建 RBD Image：

# 创建
rbd create rbd-static-volume -s 5G -p rbd-static-pool
# 关闭特征 ，格式 {pool name}/{image name}
rbd feature disable rbd-static-pool/rbd-static-volume object-map fast-diff deep-flatten

创建用户 rbd-static-user 并授权存储池 rbd-static-pool

ceph auth get-or-create client.rbd-static-user mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=rbd-static-pool' -o ceph.client.rbd-static-user.keyring

查看 rbd-static-user 用户的秘钥：

ceph auth get-key client.rbd-static-user

在这里插入图片描述

2.2 k8s 创建 secret 配置上面的 key

export RBD_STATIC_USER_SECRET='AQA1xyBmIxD/LxAAByBhiw68kiiWKclYyjfU8A=='

kubectl create secret generic rbd-static-user-secret --type="kubernetes.io/rbd" \
--from-literal=key=$RBD_STATIC_USER_SECRET \
--namespace=default

在这里插入图片描述

2.3 pod 直接使用 RBD 存储

vi rbd-test-pod.yml

apiVersion: v1
kind: Pod
metadata:
  name: rbd-test-pod
spec:
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: data-volume
      mountPath: /usr/share/nginx/html/
  volumes:
  - name: data-volume
    rbd:
      monitors: ["11.0.1.140:6789"]
      pool: rbd-static-pool
      image: rbd-static-volume
      user: rbd-static-user
      secretRef:
        name: rbd-static-user-secret
      fsType: ext4

kubectl apply -f rbd-test-pod.yml

查看 pod ：

kubectl get pods

在这里插入图片描述
可以进到 pod 中查看磁盘情况：

kubectl exec -it rbd-test-pod -- /bin/bash

lsblk

在这里插入图片描述

2.4 创建 PV 使用 RBD 存储

vi rbd-test-pv.yml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: rbd-test-pv
spec:
  accessModes: ["ReadWriteOnce"]
  capacity:
    storage: 2Gi
  persistentVolumeReclaimPolicy: Retain
  rbd:
    monitors: ["11.0.1.140:6789"]
    pool: rbd-static-pool
    image: rbd-static-volume
    user: rbd-static-user
    secretRef:
      name: rbd-static-user-secret
    fsType: ext4

kubectl apply -f rbd-test-pv.yml

在这里插入图片描述

创建 PVC 绑定 PV ：

vi rbd-test-pvc.yml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rbd-test-pvc
spec:
  accessModes: ["ReadWriteOnce"]
  resources:
    requests:
      storage: 2Gi

kubectl apply -f rbd-test-pvc.yml

查看 pvc 和 pv ：

kubectl get pvc

kubectl get pv

在这里插入图片描述

测试 pod 挂载 pvc：

vi rbd-test-pod1.yml

apiVersion: v1
kind: Pod
metadata:
  name: rbd-test-pod1
spec:
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: data-volume
      mountPath: /usr/share/nginx/html/
  volumes:
  - name: data-volume
    persistentVolumeClaim:
      claimName: rbd-test-pvc
      readOnly: false

kubectl apply -f rbd-test-pod1.yml

查看 pod ：

kubectl get pods

在这里插入图片描述

三、动态供给方式

使用动态存储时 controller-manager 需要使用 rbd 命令创建 image，但是官方controller-manager镜像里没有rbd命令，所以在开始前需要安装 rbd-provisioner 插件：

vi external-storage-rbd-provisioner.yml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: rbd-provisioner
  namespace: kube-system
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: rbd-provisioner
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
  - apiGroups: [""]
    resources: ["services"]
    resourceNames: ["kube-dns"]
    verbs: ["list", "get"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: rbd-provisioner
subjects:
  - kind: ServiceAccount
    name: rbd-provisioner
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: rbd-provisioner
  apiGroup: rbac.authorization.k8s.io

---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: rbd-provisioner
  namespace: kube-system
rules:
- apiGroups: [""]
  resources: ["secrets"]
  verbs: ["get"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: rbd-provisioner
  namespace: kube-system
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: rbd-provisioner
subjects:
- kind: ServiceAccount
  name: rbd-provisioner
  namespace: kube-system
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: rbd-provisioner
  namespace: kube-system
spec:
  selector:
    matchLabels:
      app: rbd-provisioner
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: rbd-provisioner
    spec:
      containers:
      - name: rbd-provisioner
        image: "registry.cn-chengdu.aliyuncs.com/ives/rbd-provisioner:v2.0.0-k8s1.11"
        env:
        - name: PROVISIONER_NAME
          value: ceph.com/rbd
      serviceAccount: rbd-provisioner

kubectl apply -f external-storage-rbd-provisioner.yml

查看 pod：

kubectl get pods -n kube-system

在这里插入图片描述

3.1 在 ceph 创建存储池 和 授权用户

由于 k8s 会自动创建 rbd 这就仅仅创建存储池即可：

ceph osd pool create dynamics-pool 8

在这里插入图片描述

创建 k8s 访问用户：

ceph auth get-or-create client.dynamics-user mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=dynamics-pool' -o ceph.client.dynamics-user.keyring

查看 dynamics-user 的秘钥：

ceph auth get-key client.dynamics-user

在这里插入图片描述

k8s 动态供给还需要 admin 用户的秘钥：

ceph auth get-key client.admin

在这里插入图片描述

3.2 在 k8s 中创建 secret

export ADMIN_USER_SECRET='AQDdUB9mcTI3LRAAOBpt3e7AH5v9fiMtHKQpqA=='

kubectl create secret generic ceph-admin-secret --type="kubernetes.io/rbd" \
--from-literal=key=$ADMIN_USER_SECRET \
--namespace=kube-system


export DYNAMICS_USER_SECRET='AQAtuyBmi3w6AhAADEU3mKkFRSqDyRLs46aSXA=='

kubectl create secret generic ceph-dynamics-user-secret --type="kubernetes.io/rbd" \
--from-literal=key=$DYNAMICS_USER_SECRET \
--namespace=default

在这里插入图片描述

3.3 创建 StorageClass

vi ceph-sc.yml

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: dynamic-ceph-rdb
provisioner: ceph.com/rbd
parameters:
  monitors: 11.0.1.140:6789
  adminId: admin
  adminSecretName: ceph-admin-secret
  adminSecretNamespace: kube-system
  pool: dynamics-pool
  userId: dynamics-user
  userSecretName: ceph-dynamics-user-secret
  fsType: ext4
  imageFormat: "2"
  imageFeatures: "layering"

kubectl apply -f ceph-sc.yml

查看 SC：

kubectl get sc

在这里插入图片描述

3.4 测试创建 PVC

vi test-pvc.yml

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: rbd-pvc1
spec:
  accessModes:     
    - ReadWriteOnce
  storageClassName: dynamic-ceph-rdb
  resources:
    requests:
      storage: 2Gi

kubectl apply -f test-pvc.yml

查看 pvc：

kubectl get pvc

在这里插入图片描述

创建 pod 使用上面 pvc ：

vi rbd-test-pod2.yml

apiVersion: v1
kind: Pod
metadata:
  name: rbd-test-pod2
spec:
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: data-volume
      mountPath: /usr/share/nginx/html/
  volumes:
  - name: data-volume
    persistentVolumeClaim:
      claimName: rbd-pvc1
      readOnly: false

kubectl apply -f rbd-test-pod2.yml

查看 pod ：

kubectl get pods

在这里插入图片描述

3.5 测试使用 volumeClaimTemplates 动态创建 pv 和 pvc

vi mysql.yml

# headless service 
apiVersion: v1
kind: Service
metadata:
  name: mysql-hl
  namespace: mysql
  labels:
    app: mysql-hl
spec:
  clusterIP: None
  ports:
  - name: mysql-port
    port: 3306
  selector:
    app: mysql

---
# NodePort service 
apiVersion: v1
kind: Service
metadata:
  name: mysql-np
  namespace: mysql
  labels:
    app: mysql-np
spec:
  clusterIP: 
  ports:
  - name: master-port
    port: 3306
    nodePort: 31306
    targetPort: 3306
  selector:
    app: mysql
  type: NodePort
  target-port:
  externalTrafficPolicy: Cluster 
  
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mysql
spec:
  serviceName: "mysql-hl"
  replicas: 1
  selector: 
    matchLabels: 
      app: mysql
  template:
    metadata:
      labels:
        app: mysql
    spec:
      containers:
      - name: mysql
        image: mysql:8.0.20
        ports:
        - containerPort: 3306
          name: master-port
        env:
        - name: MYSQL_ROOT_PASSWORD
          value: "root"
        - name: TZ
          value: "Asia/Shanghai"
        volumeMounts:                           
        - name: mysql-data
          mountPath: /var/lib/mysql 
  volumeClaimTemplates:
    - metadata:
        name: mysql-data
      spec:
        accessModes: ["ReadWriteOnce"]
        storageClassName: dynamic-ceph-rdb
        resources:
          requests:
            storage: 2Gi

kubectl apply -f mysql.yml

查看 pod ：

在这里插入图片描述

查看 pvc ：

在这里插入图片描述

查看 pv：

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/579074.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【算法学习】线段树基础版

【算法学习】线段树基础版

一 线段树 1.概念 线段树可以理解为一个二叉树，如果是利用线段树求区间的和，那么每个结点的权值维护的是结点所维护区间的和，再将该区间一分为二，分别交由左右儿子维护。 拿区间1 - 4的和来举例子， 根结点维护的是区…
阅读更多...
嵌入式Linux学习——Ubantu初体验

嵌入式Linux学习——Ubantu初体验

Ubuntu 和Windows 的最大差别 Windows中的每一个分区都对应着一个盘符，盘符下可以存放目录与文件，而在Ubantu中没有盘符的概念，只有目录结构。实际上不同的目录可能挂载在不同的分区之下，如果想要查看当前目录位于磁盘的哪个分区…
阅读更多...
IDEA：运行 Tomcat 报错 “1099”

IDEA：运行 Tomcat 报错 “1099”

1、报错的结果 报错 就很明显啊 localhost:1099 端口号被使用了 2、报错原因 tomcat的端口已经被使用，与运行的起了冲突。强制结束项目，但端口号没有被释放短时间内频繁运行tomcat服务器。 3、解决方法 win R 输入 cmd 打开命令框 黑窗口输…
阅读更多...
个人学习-前端相关（2）:ECMAScript 6-箭头函数、rest、spread

个人学习-前端相关（2）:ECMAScript 6-箭头函数、rest、spread

ES6的箭头函数 ES6允许使用箭头函数，语法类似java中的lambda表达式 let fun1 function(){} //普通的函数声明 let fun2 ()>{} //箭头函数声明 let fun3 (x) >{return x1} let fun4 x >{return x1} //参数列表中有且只有一个参数，()可…
阅读更多...
纯血鸿蒙APP实战开发——预渲染实现Web页面瞬开效果

纯血鸿蒙APP实战开发——预渲染实现Web页面瞬开效果

介绍 为了便于大家在使用本案例集时能够更详细的了解各个案例，本案例基于Web预渲染实现了案例介绍功能，即应用右下角的问号icon。 效果图预览 使用说明 因为直接加载的线上README，因此本功能需联网使用点击icon，即会弹出对应案…
阅读更多...
Docker容器部署overleaf

Docker容器部署overleaf

overleaf在线版限制很多，好在开源，准备在本地Docker部署，网上翻了翻，似乎本地部署并非易事，我也尝试了一下，发现直接使用docker-compose拉官方最新镜像部署的确问题很多，不过最终还是完美解决。…
阅读更多...
如何借模板助力小程序开发

如何借模板助力小程序开发

不论是奶茶店还是其他行业，想要开发小程序，乔拓云都为你提供了便捷的方案。无需复杂的编程技术，通过套用模板的方式，即可快速打造专属小程序。 在线访问乔拓云官方网站，免费注册账号后，即可进入商城小程序的…
阅读更多...
C语言学习/复习36

C语言学习/复习36

一、程序的环境与预处理 二、翻译环境与执行环境 三、运行环境 四、预编译(预处理)详解
阅读更多...
Docker从无到有

Docker从无到有

主要为windows下docker的安装与使用~ 初始Docker Docker理解 对于docker的加简介，我们可以官网获取它的概念，接下来就从什么是docker、为什么要使用docker以及它的作用来进行一个快速入门 前提：项目在发布时，不仅需要其jar包同…
阅读更多...
Open-Sora 升级技术报告解读

Open-Sora 升级技术报告解读

最新功能概览 开源地址：https://github.com/hpcaitech/Open-Sora 技术报告：Open-Sora/docs/report_02.md at main hpcaitech/Open-Sora GitHub技术报告： 支持长视频生成；视频生成分辨率最高可达 720p；单模型支持任…
阅读更多...
SOL跟单机器人是什么？

SOL跟单机器人是什么？

SOL跟单机器人是什么？ 顾名思义，就是对方买什么我们买什么。。 solana跟单机器人，炒土狗新思路 跟聪明地址买入及卖出 1.跟随目标地址买入代币，比目标地址慢1-2秒内上链 2.上链稳定，采用jito路径，防止被夹 …
阅读更多...
【视频打架行为数据集】打斗场景视频数据集简要介绍

【视频打架行为数据集】打斗场景视频数据集简要介绍

一、UBI-Fight（异常事件检测数据集） 介绍 UBI-Fights 数据集是一个独特的全新大型数据集，涉及特定的异常检测并仍然在打斗场景中提供广泛的多样性，该数据集包含 80 小时的视频，在帧级别进行了完全注释。由 1000 个视…
阅读更多...
三款数据可视化工具深度解析：Tableau、ECharts与山海鲸可视化

三款数据可视化工具深度解析：Tableau、ECharts与山海鲸可视化

在数字化时代，数据可视化工具成为了企业和个人进行数据分析和决策的重要助手。市面上众多数据可视化工具各具特色，本文将为您介绍三款热门的数据可视化工具，帮助您更好地理解和利用数据。 首先，让我们来认识Tableau。Tableau是一款…
阅读更多...
opencv4.8 系列一环境搭搭建

opencv4.8 系列一环境搭搭建

open 运行环境&#xff1a; vs2017 下载地址&#xff1a;https://www.123pan.com/s/cVyRVv-ydPWh.html 一&#xff1a;新建项目 二&#xff1a;核心代码&#xff1a; 在这里插入代码片 #include<opencv2/opencv.hpp>int main(int argc,char** argv) {cv::Mat src cv…
阅读更多...
windows服务启动提示‘服务没有响应控制功能’（mysql启动报错）

windows服务启动提示‘服务没有响应控制功能’（mysql启动报错）

在安装mysql的时候&#xff0c;在windows服务项启动 或 使用命令net start mysql 时启动是报错&#xff0c;提示 服务没有响应控制功能 发生原因&#xff1a; Windows10 x64 或 更高的操作系统&#xff0c;有些系统缺少一些组件 解决办法&#xff1a; 1、下载最新的 Microsoft …
阅读更多...
Mybatis入门-----（1）

Mybatis入门-----（1）

Mybaits入门 一、Mybaits框架特点 支持定制化SQL、存储过程、基本路线以及高级映射避免了几乎所有JDBC代码中手动设置参数以及获取结果集支持注解式开发、XML开发 二、开发我第一个MYbatis程序 ①打包方式jar ②引入依赖 mybatis依赖mysql驱动 前面两步的pom.xml文件<?…
阅读更多...
如何在自己的网站页面中嵌入一个【悬浮音乐播放器】

如何在自己的网站页面中嵌入一个【悬浮音乐播放器】

如何嵌入【悬浮音乐播放器】 前言正文1.打开网易云网页版2.设置自己想要的高度和宽度看注意事项 3.选择是否为自动播放4.在header.php文件中</head>标签前插入下面代码5.在heard.php 中<body>标签后边增加一个 div层6.复制播放器代码到\<div>标签的里边7.保存…
阅读更多...
AD修改元器件的引脚长度

AD修改元器件的引脚长度

这个地方的两个引脚长度不一样 双击其中的一个引脚。 修改这个位置就好了。
阅读更多...
Docker学习（二十五）构建 Arthas 基础镜像

Docker学习（二十五）构建 Arthas 基础镜像

目录 一、简介二、构建基础镜像2.1 下载 Arthas2.2 编写 Dockerfile2.3 构建镜像2.4 创建容器2.5 测试 一、简介 Arthas 是一款由 阿里巴巴 开发的 线上监控诊断工具。通过全局视角实时查看应用负载、内存、GC、线程等信息&#xff0c;能在不修改代码的情况下&#xff0c;对业…
阅读更多...
SUPIR图像放大模型介绍与实际测试

SUPIR图像放大模型介绍与实际测试

✨背景 正如&#xff0c;最顶级的料理只需要最简单的烹饪方法一样&#xff0c;图像放大&#xff0c;是设计领域里边最常面对的一个问题&#xff0c;在AI绘画里边也是很常见的一个课题。虽然现在放大算法、放大模型有很多&#xff0c;但是真的能实现的比较好的&#xff0c;并不…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站