金融级数据库的 AI 风控引擎:实时交易反欺诈的 300ms 生死线
金融级数据库的 AI 风控引擎:实时交易反欺诈的 300ms 生死线
一、一笔欺诈交易从发生到拦截,窗口只有 300ms
金融交易反欺诈是一个"毫秒必争"的场景。当用户的银行卡在异地被刷了一笔¥50,000 的大额消费,风控系统必须在交易完成前做出决策——批准、拒绝还是要求二次验证。从交易请求到达网关,到风控引擎完成风险评估并返回决策,全链路延迟通常被要求在 200-500ms 以内。超过这个窗口,要么影响正常用户体验(卡着不响应),要么漏过欺诈交易(交易已完成才发现)。
这个时间窗口内,风控引擎需要完成的工作量是惊人的:查询用户的历史交易行为(最近 30 天、最近 1 小时)、设备指纹匹配(是否是常用设备)、地理位置分析(当前位置与历史位置的偏差)、关系网络分析(交易对手是否在欺诈黑名单关联网络中)、以及模型推理(XGBoost/深度学习模型打分)。这些查询涉及数十张表、跨越 OLTP 和 OLAP 系统,延迟预算必须在不同存储系统之间精细分配。
二、实时特征计算 + 规则引擎 + 模型推理的三层风控架构
整个风控链路始于交易请求到达风控网关,随后依次经过三层核心处理模块。第一层规则引擎负责硬规则匹配,第二层实时特征计算获取用户画像,第三层模型推理输出风险评分,最终根据评分做出通过、拒绝或挑战的决策。
三层架构的优势是故障隔离和延迟预算管理。规则引擎在最前端快速过滤,不依赖外部存储,延迟极低但覆盖面有限(只能匹配已知欺诈模式)。实时特征计算从 Redis 中查询用户画像、近期行为统计和设备指纹,是链路中延迟最大的环节——100ms 的 SLA 需要精细化的 Redis 集群设计和本地缓存策略。模型推理将特征向量输入到 XGBoost/神经网络模型中获得风险评分,延迟通常可控在 10-50ms 内。
三、基于 Flink+Redis 的实时特征计算流水线
import redis import json import time import logging from dataclasses import dataclassfrom typing import Dict, List, Optional, Tuple
from collections import deque
logger = logging.getLogger(name)
@dataclass
class TransactionFeature:
"""交易特征向量"""
card_no: str
amount: float
merchant_id: str
city_code: str
device_id: str
# 实时特征
amount_30d_avg: float = 0.0
amount_30d_std: float = 0.0
txn_count_1h: int = 0
txn_count_24h: int = 0
distinct_cities_7d: int = 0
is_common_device: bool = False
velocity_score: float = 0.0 # 交易速度异常分
class RealTimeFeatureService:
"""实时特征计算服务"""
def __init__(self, redis_client: redis.Redis, local_cache_ttl: int = 60): self.redis = redis_client self.local_cache: dict = {} self.cache_ttl = local_cache_ttl self.fast_reject_set = set() # 快速拒绝黑名单(本地缓存) def compute_features(self, txn: TransactionFeature, timeout_ms: int = 80) -> Tuple[Dict, bool]: """计算实时特征,返回特征字典和是否成功""" features = {} start = time.time() try: # 批量获取Redis中的用户行为特征(pipeline减少往返次数) pipe = self.redis.pipeline() card_key = f"card:{txn.card_no}" device_key = f"device:{txn.device_id}" merchant_key = f"merchant:{txn.merchant_id}" # 按需获取各维度特征 pipe.hgetall(card_key) pipe.hgetall(device_key) pipe.hget(card_key + ':cities_7d', 'count') pipe.get(card_key + ':txn_count_1h') pipe.get(card_key + ':txn_count_24h') results = pipe.execute() if time.time() - start > timeout_ms * 0.8: logger.warning(f"Feature compute timeout for card {txn.card_no}") # 超时降级:使用本地缓存 return self._fallback_features(txn), False # 解析结果 card_profile = results[0] or {} device_profile = results[1] or {} cities_7d = int(results[2] or 0) txn_1h = int(results[3] or 0) txn_24h = int(results[4] or 0) # 组装特征 features.update({ 'amount': txn.amount, 'amount_30d_avg': float(card_profile.get(b'avg_amount', 0)), 'amount_30d_std': float(card_profile.get(b'std_amount', 0)), 'txn_count_1h': txn_1h, 'txn_count_24h': txn_24h, 'distinct_cities_7d': cities_7d, 'is_common_device': str(txn.device_id) in str(card_profile.get(b'devices', '')), 'merchant_risk_level': int(merchant_key and self.redis.hget(merchant_key, 'risk_level') or 0), }) # 计算交易速度异常分 if txn_24h > 0 and float(card_profile.get(b'avg_amount', 0)) > 0: velocity = txn.amount / max(float(card_profile.get(b'avg_amount', 0)), 1) count_velocity = txn_1h / max(txn_24h / 24, 1) features['velocity_score'] = min(1.0, (velocity + count_velocity) / 20) logger.debug(f"Features for {txn.card_no}: computed in {(time.time()-start)*1000:.1f}ms") return features, True except redis.TimeoutError: logger.error(f"Redis timeout for {txn.card_no}") return self._fallback_features(txn), False except Exception as e: logger.error(f"Feature compute error: {e}") return self._fallback_features(txn), False def _fallback_features(self, txn: TransactionFeature) -> Dict: """降级特征:使用规则引擎的静态特征""" return { 'amount': txn.amount, 'amount_30d_avg': txn.amount, 'txn_count_1h': 0, 'velocity_score': 0.0, 'is_common_device': True, 'merchant_risk_level': 0, }生产中的关键考量:Redis Pipeline批量获取减少网络往返延迟;超时熔断机制(80ms超时降级为静态特征);本地黑名单缓存避免每次查询远程存储。Flink作业在旁路持续从Kafka消费交易流,维护滑动窗口内的聚合统计(1小时交易笔数、24小时交易笔数、7天跨城数),实时写入Redis供特征计算服务读取。 ## 四、模型更新期间的在线服务降级策略 AI风控模型需要定期更新以适应新的欺诈模式,但模型更新不是简单的"替换文件"。模型在线服务的热更新面临三个挑战:第一,新旧模型的特征schema可能不同,需要特征服务同时支持两套schema的转换;第二,新模型上线需要灰度验证——先让1%的流量走新模型,对比新旧模型的决策差异,确认无异常再全量切换;第三,灰度期间如果检测到新模型误杀率异常上升,需要秒级回滚。 **AB实验框架**是模型灰度更新的工程基石。每个交易请求被哈希到实验桶中,控制组走旧模型,实验组走新模型。后台持续监控两组的关键指标——拒绝率、用户投诉率、人工复核通过率。当实验组的拒绝率偏离控制组超过3个标准差时,自动触发回滚流程。 **流量录制+离线回放**是模型安全上线前的最后一道防线。录制生产流量(脱敏后)在新模型上离线回放,比对旧模型的决策结果。对于新旧模型决策不一致的样本,自动抽检100条供风控专家人工审核。这个机制能在模型上线前发现潜在的问题模式。 ## 五、总结 金融风控的实时特征计算是一个跨OLTP和OLAP的混合计算问题,核心挑战是在严格延迟SLA下完成多维特征的实时组装。三层架构(规则引擎→特征计算→模型推理)通过故障隔离和延迟预算管理保证了系统的整体可用性。链路中最重要的设计是降级策略——当Redis超时或模型服务不可用时,规则引擎作为兜底继续工作。在模型更迭方面,AB实验框架和流量回放是保证"AI模型更新不引入新风险"的核心机制。金融风控的本质不是在召回率和精确率之间做取舍,而是在"不漏过欺诈"和"不误杀正常交易"两个硬约束下做优化——每一个误杀在金融场景里都意味着客户的投诉和流失。