高可用环境kafka消息未按顺序消费问题

1、背景

2、问题排查

3、问题解决

1、背景

质检任务是异步执行，正常情况下任务状态扭转是等待中》运行中》成功（失败）。在质量平台生成任务实例，此时状态是等待中，生成实例之后把具体的任务sql给到大数据平台执行，大数据平台会发运行中、成功、失败状态的kafka消息，正常情况下状态是顺序下发。

升级部署某个项目，生产环境突然出现很多任务，一直是运行中状态。

2、问题排查

（1）怀疑大数据平台，任务没有正常执行完成，所以任务一直是运行中

1、在yarn平台以及数据库中，都没有发现正在运行中的质量sql任务

2、排查质量平台服务器日志（kafka消息打印接收消息日志很必要，出问题利于排查），发现这个某个sqlId，正常返回了kafka消息，包括运行中、成功、失败等消息。

通过上面的排查，大数据平台没问题，正常执行了任务，正常按顺序给质量平台发了kafka消息

（2）排查质量平台处理kafka消息逻辑

kafka按顺序返回了状态，质量平台没按顺序消费，看质量平台代码如下。

@Override
@Async("zyslClThreadPool")
public void procZyslJobData(StatusInfo statusInfo) {
try {
String zyslId = statusInfo.getTaskId();
String sqlId = statusInfo.getSqlId();
-dosomething();
//运行中任务把检核状态更新成运行中
if (StatusEnum.RUNNING.getCode().equals(statusInfo.getStatus().getCode())) {
if (ZyslYxztEnum.WAITING_SUBMIT.getBm().equals(oldGxZysl.getYxzt())
|| ZyslYxztEnum.WAITING.getBm().equals(oldGxZysl.getYxzt())) {
//运行中
oldGxZysl.setYxzt(ZyslYxztEnum.RUNNING.getBm());

gxZyslMapper.updateById(oldGxZysl);
}
//运行中状态
oldGxZyrzUpdate.setYxzt(ZyslYxztEnum.RUNNING.getBm());
    gxZyrzMapper.updateById(oldGxZyrzUpdate);
return;
}
if (StatusEnum.FAILED.getCode().equals(statusInfo.getStatus().getCode())) {
log.error("大数据job错误，执行任务失败:{},zyslid:{},参数：{}", statusInfo.getMessage(), zyslId,
JSON.toJSONString(statusInfo));
//处理失败
procFail(statusInfo, oldGxZyrzUpdate);
}
if (StatusEnum.FINISH.getCode().equals(statusInfo.getStatus().getCode())) {
//正常sql和异常sql都执行完成
oldGxZyrzUpdate.setYxzt(ZyslYxztEnum.SUCCESS.getBm());
}
// 先更新状态，后处理事件
   dosomething2();
} catch (Exception e) {
log.error("大数据作业实例结果处理报错:{}", e.getMessage());
}
}

public void dosomething2(GxZyrz gxZyrz, SsZyxx zyxx) {
if (Constants.CODE_SUCCESS.equals(gxZyrz.getYxzt())) {
//成功状态查询es、发邮件等
dosomething3();
} else if (Constants.CODE_FAILED.equals(gxZyrz.getYxzt())) {
gxZyrz.setYcs(0L);
gxZyrz.setZyl(0L);
gxZyrz.setSfgj("N");
}
gxZyrzMapper.updateById(gxZyrz);
}