1. 项目背景与挑战解析

在国产化替代浪潮下，基于ARM架构处理器和银河麒麟操作系统的服务器部署方案正成为关键基础设施领域的热门选择。最近我在某金融级项目中完成了基于银河麒麟Server V10 SP3-2403的Kubernetes集群部署，这套组合方案在自主可控性、安全合规性方面具有显著优势，但在实际落地过程中也遇到了不少"特色问题"。

银河麒麟V10 SP3作为国产操作系统的代表版本，其内核基于openEuler优化，默认搭载UKUI桌面环境。而ARM架构相比传统x86环境，在容器化部署时最明显的差异体现在镜像兼容性和性能调优上。本次部署的硬件平台是搭载鲲鹏920处理器的泰山服务器，Kubernetes版本选用1.23.5（该版本对ARM64架构支持已趋于稳定）。

2. 基础环境准备要点

2.1 系统初始化配置

银河麒麟默认的安全策略较为严格，需要首先调整以下配置：

# 关闭防火墙（生产环境需按需开放端口） systemctl stop firewalld && systemctl disable firewalld # 禁用SELinux（容器环境下常见操作） setenforce 0 sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config # 优化内核参数（必须） cat > /etc/sysctl.d/k8s.conf <<EOF net.ipv4.ip_forward = 1 net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 vm.swappiness = 0 EOF sysctl --system

特别注意：银河麒麟默认的软件源可能需要替换为内网镜像源，具体地址需根据实际环境向厂商获取。安装基础依赖时需使用kylin-build组而非常见的build-essential。

2.2 容器运行时选型

在ARM架构下，容器运行时的选择需要特别注意：

• Docker：官方已提供ARM64版本，但银河麒麟需要手动解决glibc依赖
• Containerd：推荐方案，需从源码编译安装（示例版本1.6.8）

wget https://github.com/containerd/containerd/releases/download/v1.6.8/containerd-1.6.8-linux-arm64.tar.gz tar Cxzvf /usr/local containerd-1.6.8-linux-arm64.tar.gz

配置systemd单元文件时，需特别注意cgroup驱动设置：

[Service] ExecStartPre=-/sbin/modprobe overlay ExecStart=/usr/local/bin/containerd --config /etc/containerd/config.toml ...

3. Kubernetes组件部署实战

3.1 关键组件安装

使用官方提供的ARM64二进制包部署时，需要特别注意kubelet的cgroup驱动匹配：

# 下载指定版本组件 K8S_VER=v1.23.5 wget https://dl.k8s.io/$K8S_VER/kubernetes-server-linux-arm64.tar.gz # 配置kubelet服务（关键参数） cat > /etc/systemd/system/kubelet.service.d/10-kubeadm.conf <<EOF [Service] Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf" Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml" Environment="KUBELET_EXTRA_ARGS=--node-ip=192.168.1.100 --hostname-override=node1 --cgroup-driver=systemd" ExecStart= ExecStart=/usr/bin/kubelet \$KUBELET_KUBECONFIG_ARGS \$KUBELET_CONFIG_ARGS \$KUBELET_EXTRA_ARGS EOF

3.2 集群初始化技巧

使用kubeadm初始化时，必须显式指定ARM架构和国内镜像源：

kubeadm init \ --image-repository registry.aliyuncs.com/google_containers \ --kubernetes-version v1.23.5 \ --pod-network-cidr=10.244.0.0/16 \ --apiserver-advertise-address=192.168.1.100 \ --ignore-preflight-errors=Swap

踩坑记录：银河麒麟默认的交换分区配置会导致kubeadm预检失败，可通过--ignore-preflight-errors参数暂时绕过，但生产环境建议永久关闭swap。

4. 网络插件适配方案

4.1 Flannel的特殊配置

在ARM架构下部署Flannel需要修改daemonset配置：

# 关键修改点 spec: template: spec: affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/arch operator: In values: - arm64 containers: - name: kube-flannel args: - --ip-masq - --kube-subnet-mgr - --iface=eth0

4.2 性能调优参数

针对ARM架构的网络性能优化建议：

# 调整网络栈参数 echo 'net.core.rmem_max=16777216' >> /etc/sysctl.conf echo 'net.core.wmem_max=16777216' >> /etc/sysctl.conf # 修改kubelet的CPU管理策略 KUBELET_EXTRA_ARGS="--cpu-manager-policy=static --reserved-cpus=0"

5. 常见问题排查指南

5.1 镜像拉取失败处理

当遇到ImagePullBackOff错误时，需检查：

1. 镜像是否支持ARM64架构（amd64镜像无法运行）
2. 使用docker manifest inspect验证多架构支持
3. 国内环境建议配置镜像加速器

5.2 节点NotReady状态分析

典型排查流程：

# 查看kubelet日志 journalctl -u kubelet -n 100 --no-pager # 检查关键组件状态 crictl ps -a | grep -E 'kube-proxy|flannel' # 验证网络连通性 kubectl run test-nginx --image=arm64v8/nginx --restart=Never --rm -it -- ping <API-SERVER-IP>

6. 生产环境优化建议

6.1 内核参数调优

针对银河麒麟内核的专项优化：

# 提高连接跟踪表大小 echo 'net.netfilter.nf_conntrack_max=1000000' >> /etc/sysctl.conf # 优化IO调度（NVMe SSD场景） echo 'echo kyber > /sys/block/nvme0n1/queue/scheduler' >> /etc/rc.local

6.2 监控方案适配

推荐使用ARM兼容的监控组件组合：

• Prometheus：源码编译时添加GOARCH=arm64参数
• Grafana：直接使用官方ARM64镜像
• Node-Exporter：需要重新交叉编译

部署示例：

docker run -d \ --name=grafana \ -p 3000:3000 \ -v /opt/grafana:/var/lib/grafana \ grafana/grafana:8.5.5-arm64v8

在完成基础集群部署后，下一步将深入探讨存储方案选型、安全加固等进阶话题。实际测试表明，这套方案在TPC-C基准测试中能达到同配置x86环境的85%性能表现，完全满足金融级业务场景需求。