DataCastle企业风险算法赛实战（进阶难度）

一、数据读取及分析

1、数据读取

2、数据分析

二、数据挖掘

三、模型构建及评估

四、划重点

推荐相关文章

去年在DataCastle上参加了华录杯算法赛，初赛前10、进复赛就没打了。相比于之前文章 kaggle风控建模实战（文末附链接），本文数据处理较为复杂、特征挖掘内容较多，适合统计学/机器学习相关专业、或者有一定模型算法/数据挖掘经验的同学，经验较浅的也可以作为进阶项目实战提升。

一、数据读取及分析

1、数据读取

使用DataCastle上华录杯算法赛-企业安全风险评估赛道数据集，其中训练集7117条、测试集1500条，测试集没有给score、需要参赛选手上传预测结果平台自动评估反馈；下图为训练集数据，其中score为风险评分、取值范围0-100，因此这个赛题可以转为二分类模型、也可以用回归模型数据获取见文末

数据集中详细信息包括如下9个表，需要以业户id为主键拼接、再做特征挖掘

（1）运政业户信息

（2）运政车辆信息

（3）车辆违法违规信息（道路交通安全，来源抄告）

（4）车辆违法违规信息（交通运输违法，来源抄告）

（5）动态监控报警信息（车辆，超速行驶）

（6）动态监控报警信息（车辆，疲劳驾驶）

（7）动态监控上线率（企业，%）

（8）运政车辆年审记录信息

（9）运政质量信誉考核记录

2、数据分析

（1）训练集score分布，大多集中在高分（分数越代表安全风险越低）

（2）将数据拼接后，查看存在过交通安全、运输违法车辆对应的业户id风险评分分布情况，可以发现这部分评分整体偏低，因此是否有过违法违规行为对风险评分影响较大

二、数据挖掘

1、运政业户信息和运政车辆信息表

均有行业类别字段（分别为企业的行业类别、车辆的行业类别），数据拼接后可以衍生类别一致性特征；

2、交通安全违法/运输违法表

按照观察时间往前切片[0,1,5,10,15,30,60,90,180,360,720]（天），分别统计不同时间窗口下的交通安全违法次数、运输违法次数

3、动态监控报警信息（车辆，超速行驶）表/动态监控报警信息（车辆，疲劳驾驶）表

分别统计不同时间窗口下的超速报警次数；对最高时速(Km/h), 持续点数, 持续时长(秒)三个字段分别统计不同时间窗口下的max, min, mean, median, std, count, sum

4、动态监控上线率（企业，%）表

对近3个月、近6个月上线率分别统计mean, max, min, std；分别统计近3个月、近6个月上线率不满100%的次数

5、运政车辆年审记录信息表

分别统计近0,1,3,5,7,10,20年的年审次数、年审合格次数

6、运政质量信誉考核记录表

分别统计近30,90,360,720天的信誉考核次数，以及考核结果为优良(AAA), 合格(AA), 基本合格(A), 不合格(B)各类别的次数

数据挖掘代码，最终特征数量548个

def get_feature_across_window(df,key,col,func,day_diff,window_list,float_fea_list=[]):
    l=[]
    for window in window_list:
        df_window=df[df[day_diff]<=window]
        if func==cnt_feature:
            df_window_sta=df_window.pipe(func,key,col).add_suffix('_'+'window'+'_'+str(window))
        elif func==float_feature_stata:
            df_window_sta=df_window.pipe(func,key,col,float_fea_list).add_suffix('_'+'window'+'_'+str(window))
        l.append(df_window_sta)
    return pd.concat(l,axis=1)

def cnt_feature(df,key,col):
    result=df.groupby([key])[col].count().to_frame().rename(columns={col:'cnt'})
    return result

STATS_LIST = ['max', 'min', 'mean', 'median', 'std','count','sum']
def float_feature_stata(df,key,col,float_fea_list,STATS_LIST=STATS_LIST):
    l=[]
    for col in float_fea_list:
        df_col_sta=df.groupby(key)[col].agg(STATS_LIST)
        df_col_sta.columns=[col+'_'+sta for sta in STATS_LIST]
        l.append(df_col_sta)

    return pd.concat(l,axis=1)


window_list=[0,1,5,10,15,30,60,90,180,360,720]
def traffic_safety_data_pre(df,window_list):
    df_copy=df.copy()
    df_copy['行业类别']=df_copy['行业类别'].map({'包车客运':'道路旅客运输','危货运输':'道路危险货物运输'})
    df_copy['观察时间']='2022-06-30'
    df_copy['day_diff']=(pd.to_datetime(df_copy['观察时间'])-pd.to_datetime(df_copy['违规时间'])).dt.days
    
    key,col,func,day_diff,window_list='车牌号','行业类别',cnt_feature,'day_diff',window_list
    result=df_copy.pipe(get_feature_across_window,key,col,func,day_diff,window_list)
    return result

def speeding_data_pre(df,window_list):
    df_copy=df.rename(columns={'车牌号码':'车牌号'}).copy()
    df_copy['观察时间']='2022-06-30'
    df_copy['day_diff']=(pd.to_datetime(df_copy['观察时间'])-pd.to_datetime(df_copy['开始时间'])).dt.days
    
    key,col,func,day_diff,window_list='车牌号','报警类型',float_feature_stata,'day_diff',window_list
    float_fea_list=['最高时速(Km/h)', '持续点数', '持续时长(秒)']
    df_float=df_copy.pipe(get_feature_across_window,key,col,func,day_diff,window_list,float_fea_list)
    
    key,col,func,day_diff,window_list='车牌号','报警类型',cnt_feature,'day_diff',window_list
    df_cnt=df_copy.pipe(get_feature_across_window,key,col,func,day_diff,window_list)
    
    
    return pd.concat([df_float,df_cnt],axis=1)
    
def get_launch_df(df):
    df_copy=df.copy()
    three_month_col=[str(month)+'月上线率' for month in [4,5,6]]
    six_month_col=[str(month)+'月上线率' for month in [1,2,3,4,5,6]]
    stata_list=['mean','max','min','std']
    df_fea_3month=df_copy[three_month_col].agg(stata_list,axis=1).add_prefix('three_month_')
    df_fea_6month=df_copy[six_month_col].agg(stata_list,axis=1).add_prefix('six_month_')
    
    df_fea_3month_cnt=df_copy[df_copy[three_month_col]!=1].count(axis=1).to_frame().rename(columns={0:'not1_cnt'}).add_prefix('three_month_')
    df_fea_6month_cnt=df_copy[df_copy[six_month_col]!=1].count(axis=1).to_frame().rename(columns={0:'not1_cnt'}).add_prefix('six_month_')
    
    return pd.concat([
        df_copy,
        df_fea_3month,
        df_fea_6month,
        df_fea_3month_cnt,
        df_fea_6month_cnt
    ],axis=1)

def annual_review_df(df):
    df_copy=df.rename(columns={'车辆牌照号':'车牌号'}).copy()
    df_copy['观察时间']=2022
    df_copy['year_diff']=df_copy['观察时间']-df_copy['年审年度']
    
    key,col,func,day_diff,window_list='车牌号','审批结果',cnt_feature,'year_diff',[0,1,3,5,7,10,20]
    df_review_cnt=df_copy.pipe(get_feature_across_window,key,col,func,day_diff,window_list).add_prefix('review_')
    
    df_qualified_cnt=df_copy[df_copy['审批结果']=='年审合格'].pipe(get_feature_across_window,key,col,func,day_diff,window_list).add_prefix('qualified_')
    df_annual_review=pd.concat([df_review_cnt,df_qualified_cnt],axis=1)

    return df_annual_review

def reputation_assessment_df(df):
    df_copy=df.copy()
    df_copy['观察时间']='2022-06-30'
    df_copy['day_diff']=(pd.to_datetime(df_copy['观察时间'])-pd.to_datetime(df_copy['考核日期'])).dt.days
    
    key,col,func,day_diff,window_list='业户ID','质量信誉考核结果',cnt_feature,'day_diff',[30,90,360,720]
    df_reputation_all=df_copy.pipe(get_feature_across_window,key,col,func,day_diff,window_list).add_prefix('reputation_all_')
    
    l=[]
    for grade in ['优良(AAA)', '合格(AA)', '基本合格(A)', '不合格(B)']:
        key,col,func,day_diff,window_list='业户ID','质量信誉考核结果',cnt_feature,'day_diff',[30,90,360,720]
        df_reputation_grade=df_copy[df_copy['质量信誉考核结果']==grade].pipe(get_feature_across_window,key,col,func,day_diff,window_list).add_prefix('reputation_'+re.findall('\((.*?)\)',grade)[0]+'_')
        l.append(df_reputation_grade)
    df_reputation_assessment=pd.concat([df_reputation_all]+l,axis=1)
    return df_reputation_assessment


def get_all_df(df_list,df_train_label):
    
    df_all=df_list[1].rename(columns={'车辆牌照号':'车牌号'}).merge(df_train_label,left_on=['车牌号'],right_on=['car_id'],how='left').drop(['car_id'],axis=1)
    df_all['sample_label']=np.where(df_all.score.notnull(),'train','test')
    df_all=df_all.merge(df_list[0],on=['业户ID'],how='left')
    df_all.rename(columns={'行业类别_x':'车辆行业类别','行业类别_y':'企业行业类别'},inplace=True)
    df_all['类别一致性']=np.where(df_all['车辆行业类别']==df_all['企业行业类别'],1,0)
    
    df_traffic_safety=df_list[2].pipe(traffic_safety_data_pre,[30,90,180,360,720])
    df_illegal_trans=df_list[3].pipe(traffic_safety_data_pre,[30,90,180,360,720])
    df_speeding=df_list[4].pipe(speeding_data_pre,window_list)
    df_fatigue_driving=df_list[5].pipe(speeding_data_pre,window_list)
    df_launch=df_list[6].pipe(get_launch_df)
    df_annual_review=df_list[7].pipe(annual_review_df)
    df_reputation_assessment=df_list[8].pipe(reputation_assessment_df)
    
    df_license_concat=pd.concat([
        df_traffic_safety.add_prefix('traffic_safety_'),
        df_illegal_trans.add_prefix('illegal_trans_'),
        df_speeding.add_prefix('speeding_'),
        df_fatigue_driving.add_prefix('fatigue_driving_'),
        df_annual_review.add_prefix('annual_review_')
    ],axis=1)
    df_launch.columns=['launch_'+col if col not in ['企业名称'] else col for col in df_launch.columns]
    
    df_all=df_all.merge(df_license_concat.reset_index(),on=['车牌号'],how='left')
    df_all=df_all.merge(df_launch,on=['企业名称'],how='left')
    df_all=df_all.merge(df_reputation_assessment.reset_index(),on=['业户ID'],how='left')

    return df_all

df_all=get_all_df(df_list,df_train_label)
print(df_all.shape)
df_all.head()
                             

fea_list=['车牌颜色','车辆行业类别','企业行业类别','类别一致性']+list(df_all.loc[:,'traffic_safety_cnt_window_30':].columns)
len(fea_list)

三、模型构建及评估

使用xgb构建回归模型，使用mse、mae、r2进行评估（其他回归模型、二分类模型的方式大家可以自行尝试）

from math import sqrt
from sklearn.metrics import mean_absolute_error,mean_squared_error,r2_score

def init_params_regression():
    params_xgb={
        'objective':'reg:squarederror',
        'eval_metric':'rmse',
#        'silent':0,
        'nthread':4,
        'n_estimators':500,
        'eta':0.02,
#        'num_leaves':10,
        'max_depth':3,
        'min_child_weight':50,
        'scale_pos_weight':1,
        'gamma':5,
        'reg_alpha':2,
        'reg_lambda':2,
        'subsample':0.8,
        'colsample_bytree':0.8,
        'seed':123
    }
    return params_xgb

def mse_value(y_value,df,model):
    y_pred=model.predict(df)
    mae=mean_absolute_error(y_value, y_pred)
    mse=mean_squared_error(y_value, y_pred)
    r2=r2_score(y_value, y_pred)

    return mae,mse,r2
    
def model_train_sklearn_regression(model_label,train,y_name,model_var,params=None,random_state=123):
    
    if params is None:
        params=init_params_regression()
    x_train,x_test, y_train, y_test =train_test_split(train[model_var],train[y_name],test_size=0.2, random_state=random_state)

    model=XGBRegressor(**params)
    
    model.fit(x_train,y_train,eval_set=[(x_train, y_train),(x_test, y_test)],verbose=False) # 调参时设verbose=False
    train_mae,train_mse,train_r2=mse_value(y_train,x_train,model)
    test_mae,test_mse,test_r2=mse_value(y_test,x_test,model)
    all_mae,all_mse,all_r2=mse_value(train[y_name],train[model_var],model)
    
    dic={
        'model_label':model_label,
        'train':y_train.count(),
        'test':y_test.count(),
        'all':train.shape[0],
        'train_mse':train_mse,'train_mae':train_mae,'train_r2':train_r2,
        'test_mse':test_mse,'test_mae':test_mae,'test_r2':test_r2,
        'all_mse':all_mse,'all_mae':all_mae,'all_r2':all_r2,
    }
    return dic,model
    
params=init_params_regression() 
params.update({'n_estimators':900,'eta':0.65})

model_result,model=model_train_sklearn_regression('label',df_all[df_all['sample_label']=='train'],'score',
                                       fea_list[3:],params=params)
model_result