模型稳定性评估

在评分卡上线后，一般用PSI来监控模型的稳定性，来监控评分分布、特征分布是否与建模时一致，避免由于人群特征变迁而造成模型不适用。

PSI的全称为人群稳定度指标（Population Stability Index），PSI的计算公式如下：

PSI=∑i(AciActotal−ExiExtotal)∗ln⁡(AciActotal/ExiExtotal)PSI= \sum \limits _{i} \left ( \dfrac{ \text{Ac}_i}{\text{Ac}_{\text{total}}}-\dfrac{ \text{Ex}_i}{\text{Ex}_{\text{total}}} \right ) *\ln(\dfrac{ \text{Ac}_i}{\text{Ac}_{\text{total}}}/\dfrac{ \text{Ex}_i}{\text{Ex}_{\text{total}}})PSI=i∑​(Actotal​Aci​​−Extotal​Exi​​)∗ln(Actotal​Aci​​/Extotal​Exi​​)
其中，
AciActotal\dfrac{ \text{Ac}_i}{\text{Ac}_{\text{total}}}Actotal​Aci​​：线上(实际) 第iii组的占比 , 即线上观察到的第iii组样本数/总样本数

ExiExtotal\dfrac{ \text{Ex}_i}{\text{Ex}_{\text{total}}}Extotal​Exi​​：期望第iii组的占比(即建模时第iii组的占比,建模时第i组样本数/总样本数)

PSI的判断标准

PSI反应了线上分布与建模分布的差异，它的值越大，代表差异越大。日常应用中，PSI指标与效果如下：

• PSI < 0.1 ：两分布差异小，一般不需作任何操作
• 0.1<=PSI < 0.25 ：两分布有一定差异，需要引起注意，有必要需要采取一定策略
• PSI >=0.25 ：两分布差异明显，需要采取策略

总的来说，PSI的应用就是监控线上各个变量与分数的PSI值，当PSI过大时则预警，在实际应用中根据情况一般每个月或者每个季度需要看一下PSI，然后结合实际情况采取措施。