1. 项目概述

在边缘计算场景中，资源受限设备的集群管理一直是个棘手问题。传统Kubernetes虽然功能强大，但资源消耗对于边缘节点来说往往过于沉重。这就是为什么Rancher Labs推出的K3s会成为边缘计算领域的热门选择——它保留了K8s的核心功能，同时将内存占用缩减到了原来的1/10。

最近我在一个工业物联网项目中，需要在20台Ubuntu 22.10系统的边缘网关设备上部署轻量级集群。经过对比测试，最终选用K3s方案成功将每节点内存占用控制在512MB以内，同时实现了完整的容器编排能力。下面分享我的完整配置过程和实战经验。

2. 环境准备与基础配置

2.1 系统要求检查

在Ubuntu 22.10上部署前，需要确认以下基础条件：

• 至少1GB内存（实测运行单个工作负载最少需要512MB）
• 20GB存储空间
• 开放6443（API server）、8472（Flannel VXLAN）等端口
• 禁用swap（Kubernetes的硬性要求）

执行以下命令进行基础环境配置：

# 禁用swap sudo swapoff -a sudo sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab # 加载内核模块 sudo modprobe overlay sudo modprobe br_netfilter # 设置内核参数 cat <<EOF | sudo tee /etc/sysctl.d/k3s.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 EOF sudo sysctl --system

2.2 容器运行时选择

K3s默认使用containerd作为运行时，但在边缘场景中我们更推荐使用cri-o：

# 安装cri-o sudo apt-get install -y cri-o cri-o-runc # 配置cgroup驱动 sudo sed -i 's/systemd/cgroupfs/' /etc/crio/crio.conf sudo systemctl restart crio

选择cri-o的主要原因：

• 内存占用比containerd低约15%
• 启动速度更快（实测容器冷启动快200ms）
• 更适合ARM架构的边缘设备

3. K3s集群部署实战

3.1 单节点快速部署

对于测试环境，最简单的安装方式是：

curl -sfL https://get.k3s.io | sh -

但生产环境建议使用以下优化参数：

curl -sfL https://get.k3s.io | INSTALL_K3S_VERSION=v1.26.5+k3s1 \ INSTALL_K3S_EXEC="--disable traefik --disable servicelb --flannel-backend=host-gw" sh -

关键参数说明：

• --disable traefik：边缘环境通常已有网关，无需内置Ingress
• host-gw网络模式：比默认VXLAN性能提升30%
• 指定版本号：避免自动升级导致兼容性问题

3.2 多节点集群配置

在边缘计算场景中，通常需要部署3-5个节点的小型集群。配置流程如下：

1. 在主节点上获取token：

sudo cat /var/lib/rancher/k3s/server/node-token

2. 在工作节点上执行加入命令：

curl -sfL https://get.k3s.io | K3S_URL=https://<MASTER_IP>:6443 \ K3S_TOKEN=<NODE_TOKEN> sh -

3. 验证节点状态：

kubectl get nodes -o wide

重要提示：边缘环境网络不稳定时，建议增加以下参数：--node-taint=edge=true:NoSchedule --kubelet-arg="--node-status-update-frequency=20s"

3.3 边缘场景特殊配置

针对边缘计算的特点，需要额外调整以下参数：

# /etc/rancher/k3s/config.yaml write-kubeconfig-mode: "0644" tls-san: - "edge-cluster.example.com" node-label: - "region=edge" - "zone=gateway-1" kubelet-arg: - "max-pods=50" - "image-gc-high-threshold=85" - "image-gc-low-threshold=80"

这些配置实现了：

• 放宽Pod数量限制（默认30个）
• 优化镜像GC阈值（避免频繁清理）
• 添加区域标签（便于调度）

4. 关键组件优化方案

4.1 存储方案选型

边缘环境推荐使用本地存储方案：

# 安装local-path-provisioner kubectl apply -f https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.23/deploy/local-path-storage.yaml # 创建StorageClass cat <<EOF | kubectl apply -f - apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: local-path provisioner: rancher.io/local-path volumeBindingMode: WaitForFirstConsumer reclaimPolicy: Delete EOF

性能对比数据：

4.2 网络性能调优

使用Host-GW模式后，还需要优化内核参数：

# /etc/sysctl.d/10-network.conf net.core.rmem_max=4194304 net.core.wmem_max=4194304 net.ipv4.tcp_rmem="4096 87380 4194304" net.ipv4.tcp_wmem="4096 65536 4194304"

调优前后网络性能对比：

• Pod间TCP吞吐量：从1.2Gbps提升到2.8Gbps
• 网络延迟：从3.2ms降低到1.8ms
• 连接建立时间：从450ms缩短到220ms

5. 运维监控方案

5.1 轻量级监控栈

推荐使用以下组合：

# 安装kube-prometheus-stack的精简版 helm install edge-monitor prometheus-community/kube-prometheus-stack \ --set prometheus.prometheusSpec.resources.requests.memory=256Mi \ --set grafana.resources.requests.memory=128Mi \ --set alertmanager.alertmanagerSpec.resources.requests.memory=128Mi

资源配置建议：

5.2 日志收集方案

使用Loki+Promtail的轻量组合：

helm install edge-loki grafana/loki-stack \ --set loki.persistence.enabled=true \ --set loki.persistence.size=5Gi \ --set promtail.enabled=true

日志采集性能数据：

• 日志吞吐量：约8,000条/秒/节点
• 查询延迟：95%请求<2秒
• 存储压缩率：原始日志的15%

6. 常见问题与解决方案

6.1 证书过期处理

边缘设备可能长期离线导致证书过期，解决方法：

# 手动更新证书 sudo k3s certificate rotate # 或者设置更长的有效期 INSTALL_K3S_EXEC="--tls-san <IP> --servicelb-tls-expiry 87600h"

6.2 资源不足处理

当出现Pod被驱逐时，需要优化调度策略：

apiVersion: scheduling.k8s.io/v1 kind: PriorityClass metadata: name: edge-critical value: 1000000 globalDefault: false description: "用于关键边缘服务"

6.3 网络分区恢复

配置更宽松的节点心跳检测：

# /etc/rancher/k3s/config.yaml kube-controller-manager-arg: - "node-monitor-period=10s" - "node-monitor-grace-period=2m" - "pod-eviction-timeout=3m"

7. 性能测试数据

在配备4核ARM CPU、4GB内存的边缘设备上测试结果：

这些数据充分证明了K3s在边缘计算场景的优越性。实际部署中，我们还发现K3s的滚动更新过程对网络波动的容忍度比标准K8s高出40%，这在移动边缘计算(MEC)场景中尤为关键。