空气质量预测数据预处理实战：Python处理缺失值与异常值的5种方法对比

时序数据中的缺失值与异常值如同空气质量监测中的"雾霾"，直接影响预测模型的准确性。本文将深入剖析PM2.5等环境监测数据的5种清洗方案，通过完整代码演示和对比实验，帮助数据工程师在真实场景中做出最优技术选型。

1. 环境监测数据的特性与挑战

空气质量数据具有典型的时序特征：每小时采集的PM2.5、SO2等指标构成连续时间序列。某城市环境监测站的实际数据显示，传感器故障会导致约8%的数据缺失，极端天气可能引发异常波动。这类数据清洗需特别注意三个特性：

• 时间连续性：直接删除缺失点会破坏时序连贯性
• 多变量耦合：PM2.5与温度、湿度等指标存在动态关联
• 非高斯分布：污染物浓度常呈现右偏态分布

import pandas as pd # 典型空气质量数据分布示例 df = pd.read_csv('air_quality.csv') print(df['PM2.5'].describe()) """ count 8760.000000 mean 45.327845 std 28.146327 min 6.000000 25% 24.000000 50% 38.000000 75% 60.000000 max 423.000000 """

注意：环境数据清洗需保留原始数据分布特征，避免过度平滑导致真实波动模式丢失

2. 缺失值处理的三种进阶方案

2.1 动态窗口线性插值法

传统线性插值的升级版，根据数据波动幅度自动调整窗口大小：

from scipy import interpolate def dynamic_interpolation(series, max_gap=6): gaps = series.isnull().astype(int).groupby( series.notnull().astype(int).cumsum()).cumsum() return series.interpolate( method='linear', limit_area='inside', limit_direction='both' ).where(gaps <= max_gap, np.nan)

效果对比：

2.2 多变量KNN插值

利用污染物间的关联性进行智能填充：

from sklearn.impute import KNNImputer imputer = KNNImputer(n_neighbors=3, weights='distance') multi_features = ['PM2.5', 'NO2', 'O3', 'temperature'] df[multi_features] = imputer.fit_transform(df[multi_features])

适用场景：当多个环境指标存在强相关性时（相关系数>0.6），该方法优于单变量插值

2.3 季节性ARIMA预测填充

针对具有明显周期性的数据：

from statsmodels.tsa.arima.model import ARIMA model = ARIMA(series, order=(1,0,1), seasonal_order=(1,0,1,24)) results = model.fit() filled_values = results.predict(start=missing_start, end=missing_end)

3. 异常值检测的双重策略

3.1 基于分位数的动态阈值

传统IQR方法的改进版本：

def dynamic_iqr(series, window=168): return series.rolling(window).apply( lambda x: np.clip(x, x.quantile(0.25)-1.5*(x.quantile(0.75)-x.quantile(0.25)), x.quantile(0.75)+1.5*(x.quantile(0.75)-x.quantile(0.25))) )

参数选择建议：

• 短期波动检测：24小时窗口
• 长期异常识别：7天窗口
• 极端事件保留：调整系数从1.5到3.0

3.2 孤立森林与移动平均组合

from sklearn.ensemble import IsolationForest clf = IsolationForest(contamination=0.05) ma = df['PM2.5'].rolling(24).mean() combo_score = clf.fit_predict(df[['PM2.5']]) * ma.std()

提示：对于突发污染事件，建议先人工复核再决定是否剔除

4. 方法对比与工程实践

4.1 性能基准测试

使用某省会城市2022年完整监测数据：

4.2 自动化处理流水线设计

from sklearn.pipeline import Pipeline preprocess_pipe = Pipeline([ ('missing_fill', DynamicInterpolator()), ('outlier_detect', HybridDetector()), ('feature_smoother', EWMAFilter(span=12)) ]) # 保存处理中间状态 import joblib joblib.dump(preprocess_pipe, 'air_quality_pipeline.pkl')

部署建议：

1. 开发阶段使用Jupyter Notebook交互调试
2. 生产环境转换为.py脚本定时运行
3. 添加数据质量监控报警机制

5. 不同场景下的技术选型

根据数据特性和业务需求推荐方案：

雾霾季数据：

• 优先选择KNN插值（保留污染物关联性）
• 采用宽松的异常阈值（避免过滤真实污染事件）

设备故障期数据：

• 使用动态窗口插值（适应不定长缺失）
• 结合移动标准差检测异常

长期趋势分析：

• ARIMA填充保证周期规律
• 分位数方法保留分布特征

实际项目中，某环保平台采用方案B后，预测模型准确率提升19%，特别是在极端天气条件下的预警时效性显著改善。关键在于根据监测站的地理位置和历史数据特征，为每个站点定制不同的参数组合。