离线K8s环境部署DolphinScheduler与SeaTunnel实战-三亩地-编程学习日记

1. 项目背景与核心挑战

在传统企业IT架构向云原生转型的过程中，Kubernetes（k8s）已成为事实上的容器编排标准。然而在实际生产环境中，由于安全合规要求，大量企业需要在内网隔离环境下部署云原生应用套件。本次要解决的正是这样一个典型场景：在完全离线的k8s集群中部署DolphinScheduler工作流调度系统和SeaTunnel数据集成工具。

这个组合方案特别适合需要处理以下需求的企业：

存在严格网络安全隔离要求的金融、政务等行业
需要自动化调度异构数据源ETL流程的场景
希望利用声明式配置管理整个数据流水线的团队

关键难点提示：离线环境意味着所有依赖镜像、charts包、系统组件都需要预先下载并完成内部仓库的搭建，任何遗漏都可能导致部署过程中断。

2. 离线环境准备工作

2.1 基础设施规划建议

建议采用以下节点规格作为基准（可根据实际负载调整）：

节点类型	CPU	内存	磁盘	数量
Master	4核	16G	100G	3
Worker	8核	32G	200G	至少2

网络方面需要确保：

所有节点间网络延迟<2ms
节点间带宽≥1Gbps
提前规划好Pod CIDR和Service CIDR

2.2 离线资源打包清单

需要预先准备的离线资源包括：

基础组件包：
- k8s各节点所需系统依赖（conntrack、socat等）
- 容器运行时（推荐containerd 1.6+）
- Helm 3.10+二进制文件

镜像仓库方案：

# 搭建Harbor私有仓库示例 helm repo add harbor https://helm.goharbor.io helm fetch harbor/harbor --version 1.10.0

应用镜像清单：
- DolphinScheduler 3.2.1全套镜像（含web、api、worker等）
- SeaTunnel 2.3.2引擎镜像
- 相关中间件镜像（ZooKeeper、MySQL等）

Helm charts包：

helm repo add dolphinscheduler https://dolphinscheduler.apache.org helm pull dolphinscheduler/dolphinscheduler --version 3.2.1

3. 核心组件部署实战

3.1 DolphinScheduler部署要点

3.1.1 数据库初始化

建议使用独立的MySQL实例（非k8s内部署）：

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8mb4; CREATE USER 'ds_user'@'%' IDENTIFIED BY 'StrongPass@123'; GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'ds_user'@'%';

3.1.2 Helm定制化配置

关键values.yaml配置项：

postgresql: enabled: false # 禁用内置PG externalDatabase: type: "mysql" host: "mysql.internal" port: "3306" username: "ds_user" password: "StrongPass@123" registry: type: "harbor" url: "harbor.internal" repository: "library/dolphinscheduler"

部署命令：

helm install dolphinscheduler ./dolphinscheduler-3.2.1.tgz \ -n ds --create-namespace \ -f values.yaml

3.2 SeaTunnel集成方案

3.2.1 引擎部署模式选择

推荐使用Spark on k8s模式：

spark: master: "k8s://https://kubernetes.default.svc" deployMode: "cluster" image: "harbor.internal/library/seatunnel-spark:2.3.2"

3.2.2 任务配置示例

典型JDBC源到HDFS的作业配置：

env { execution.parallelism = 3 } source { JdbcSource { url = "jdbc:mysql://mysql.internal:3306/source_db" username = "etl_user" password = "EtlPass@456" query = "SELECT * FROM orders WHERE update_time > '${last_update}'" } } transform { Sql { query = "SELECT user_id, SUM(amount) AS total FROM orders GROUP BY user_id" } } sink { Hdfs { path = "hdfs://namenode:8020/data/orders_agg" file_format = "parquet" } }

4. 生产环境调优指南

4.1 性能关键参数

DolphinScheduler工作节点配置建议：

worker: resources: limits: cpu: "2" memory: "4Gi" requests: cpu: "1" memory: "2Gi" env: - name: TASK_EXECUTE_THREADS value: "10" # 根据CPU核数调整

4.2 高可用保障措施

为关键组件配置Pod反亲和性：

affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: app.kubernetes.io/component operator: In values: ["master-server"] topologyKey: "kubernetes.io/hostname"

配置合理的健康检查：

livenessProbe: httpGet: path: /actuator/health port: 12345 initialDelaySeconds: 30 periodSeconds: 10

5. 典型问题排查手册

5.1 镜像拉取失败

现象：Pod状态为ImagePullBackOff 解决方案：

确认harbor证书已添加到各个节点

mkdir -p /etc/docker/certs.d/harbor.internal cp harbor-ca.crt /etc/docker/certs.d/harbor.internal/ca.crt

检查secret配置是否正确

kubectl create secret docker-registry harbor-secret \ --docker-server=harbor.internal \ --docker-username=admin \ --docker-password=Harbor12345 \ -n ds

5.2 权限相关问题

现象：SeaTunnel任务报Permission denied 处理方法：

为Spark Driver配置合适的安全上下文

securityContext: runAsUser: 1000 fsGroup: 1000

在HDFS端配置ACL：

hdfs dfs -setfacl -R -m user:spark:rwx /data

6. 监控与运维建议

6.1 指标采集方案

推荐使用Prometheus Operator采集指标：

DolphinScheduler暴露的指标端点：
```
metrics: enabled: true port: 12345
```

对应的ServiceMonitor配置：

apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: labels: release: prometheus name: dolphinscheduler-monitor spec: endpoints: - port: metrics selector: matchLabels: app.kubernetes.io/instance: dolphinscheduler

6.2 日志收集策略

建议采用Filebeat + ELK方案：

filebeatConfig: filebeat.yml: | filebeat.inputs: - type: container paths: - /var/log/containers/*.log output.elasticsearch: hosts: ["elasticsearch.internal:9200"]

日记详情

离线K8s环境部署DolphinScheduler与SeaTunnel实战