1. 项目背景与挑战解析

在国产化替代的大背景下，银河麒麟操作系统与申威CPU的组合已成为关键基础设施领域的重要技术路线。作为一款国产自主可控的操作系统，银河麒麟V10针对申威SW64架构进行了深度优化，但在生态软件适配方面仍存在诸多挑战。Airflow作为Apache顶级开源项目，其原生的x86架构二进制依赖包无法直接在申威平台运行，这使得部署过程需要特殊的编译和配置技巧。

我最近在某个国产化替代项目中，成功在银河麒麟V10 SP3（申威SW64架构）上完成了Airflow 2.6.3的部署。整个过程涉及Python环境构建、MySQL容器化部署、依赖包源码编译等关键环节，其中最大的技术难点在于解决SW64架构下的Python包兼容性问题。与常规Linux部署相比，申威平台需要额外处理约30%的依赖包编译工作，特别是加密相关模块如cryptography需要特殊处理。

2. 基础环境准备

2.1 系统环境确认

首先需要确认操作系统版本和CPU架构：

cat /etc/kylin-release uname -m

在申威平台，输出应为sw_64，这是后续所有软件编译的基础架构标识。银河麒麟V10默认安装的Python版本通常为3.7，但Airflow 2.x需要Python 3.8+，因此需要升级Python环境。

注意：申威平台的软件源地址为http://update.cs2c.com.cn:8080/NS/V10/V10SP1/os/adv/lic/base/sw_64，所有依赖包都应优先从此源获取

2.2 Python环境构建

推荐使用Python 3.9.10版本，其与申威架构的兼容性最佳。编译前需要安装开发工具链：

yum install -y gcc make libffi-devel zlib-devel bzip2-devel openssl-devel \ ncurses-devel sqlite-devel readline-devel tk-devel swig

源码编译关键配置参数：

./configure --prefix=/usr/local/python3 \ --enable-optimizations \ --build=sw_64-unknown-linux-gnu \ --enable-shared make -j$(nproc) && make install

编译完成后需设置环境变量：

echo 'export PATH=/usr/local/python3/bin:$PATH' >> /etc/profile source /etc/profile

2.3 容器环境配置

由于申威架构的Docker镜像有限，MySQL部署推荐使用docker-compose方案。首先安装Docker CE：

yum install -y docker-ce docker-ce-cli containerd.io systemctl enable --now docker

docker-compose需通过pip安装：

pip3 install docker-compose

3. 数据库服务部署

3.1 MySQL容器化方案

创建docker-compose.yml文件时需特别注意：

version: '3.8' services: mysql: image: leechm/mysql:5.7.33-sw64 # 特殊构建的申威版本 platform: linux/sw64 restart: always environment: MYSQL_ROOT_PASSWORD: "your_secure_password" TZ: Asia/Shanghai ports: - "3306:3306" volumes: - ./mysql_data:/var/lib/mysql - ./conf.d:/etc/mysql/conf.d command: --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci --lower_case_table_names=1

关键配置说明：

• platform: linux/sw64强制指定申威架构
• lower_case_table_names=1确保表名大小写兼容
• 卷映射将数据持久化到宿主机

3.2 数据库初始化

创建Airflow专用数据库：

CREATE DATABASE airflow CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; GRANT ALL PRIVILEGES ON airflow.* TO 'airflow'@'%' IDENTIFIED BY 'airflow_pass'; FLUSH PRIVILEGES;

实测发现：申威平台MySQL容器性能约为x86平台的70%，建议将innodb_buffer_pool_size调整为物理内存的50%

4. Airflow核心部署流程

4.1 依赖环境配置

设置Airflow专用环境变量：

echo 'export AIRFLOW_HOME=/opt/airflow' >> /etc/profile echo 'export OBJC_DISABLE_INITIALIZE_FORK_SAFETY=YES' >> /etc/profile # 解决fork安全警告 source /etc/profile

创建Airflow目录并初始化：

mkdir -p $AIRFLOW_HOME/{dags,logs,plugins} cd $AIRFLOW_HOME

4.2 软件包安装

基础安装命令：

pip3 install "apache-airflow[mysql,crypto]==2.6.3" \ --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.6.3/constraints-3.9.txt"

申威平台特殊处理：

1. 手动编译安装cryptography：

pip3 install --no-binary :all: cryptography

2. 解决numpy兼容性问题：

pip3 install --force-reinstall numpy==1.21.6

4.3 配置文件定制

关键配置项修改（airflow.cfg）：

[core] executor = LocalExecutor sql_alchemy_conn = mysql+mysqldb://airflow:airflow_pass@localhost:3306/airflow load_examples = False [webserver] web_server_host = 0.0.0.0 web_server_port = 8080 rbac = True [logging] remote_logging = False

4.4 初始化与启动

数据库迁移：

airflow db migrate airflow db init

创建管理员账户：

airflow users create \ --username admin \ --firstname Admin \ --lastname User \ --role Admin \ --email admin@example.com \ --password admin123

启动服务：

nohup airflow webserver >> $AIRFLOW_HOME/webserver.log 2>&1 & nohup airflow scheduler >> $AIRFLOW_HOME/scheduler.log 2>&1 &

5. 问题排查与优化

5.1 常见报错处理

1. ImportError: libpython3.9.so.1.0
   解决方法：

   echo '/usr/local/python3/lib' >> /etc/ld.so.conf ldconfig

2. MySQLdb兼容性问题
   安装指定版本：

   pip3 install mysqlclient==2.1.1 --force-reinstall

3. 时区设置异常
   在airflow.cfg中添加：

   [core] default_timezone = Asia/Shanghai

5.2 性能优化建议

1. 数据库连接池配置：

   [database] sql_alchemy_pool_size = 5 sql_alchemy_max_overflow = 10

2. 调度器优化：

   [scheduler] min_file_process_interval = 60 dag_dir_list_interval = 300

3. 启用DAG序列化：

   [core] store_serialized_dags = True

6. 生产环境部署建议

1. 服务守护方案
   推荐使用systemd管理服务：

   [Unit] Description=Airflow webserver After=network.target [Service] User=airflow Group=airflow ExecStart=/usr/local/python3/bin/airflow webserver Restart=always [Install] WantedBy=multi-user.target

2. 安全加固措施

   • 配置Nginx反向代理并启用HTTPS
   • 定期备份$AIRFLOW_HOME目录
   • 设置DAG文件权限为750

3. 监控方案

   • 使用Prometheus采集metrics数据
   • 配置关键指标告警：

     - alert: AirflowSchedulerDown expr: up{job="airflow-scheduler"} == 0 for: 5m

在实际部署过程中，申威平台的性能表现与x86架构存在约20-30%的差距，特别是在DAG解析和任务调度方面。建议将调度间隔适当延长，并控制单个DAG的任务复杂度。对于计算密集型任务，可以考虑使用KubernetesExecutor将任务分发到集群执行。