PYTHON+AI LLM DAY ONE HUNDRED AND NINE
今天聊聊一下ABGEL算法:由字节跳动(ByteDance)于2025年5月推出的“理解与生成统一”的开源多模态基础模型(Scalable Generative Cognitive Model)1。它拥有70亿活跃参数(总计140亿参数),在大规模交错的多模态数据上进行了训练。核心架构:采用了混合 Transformer 专家(MoT, Transformer-Experts)架构。它包含两个独立的视觉编码器(一个用于捕获语义信息以理解,一个用于捕获像素信息以生成),以及两个Transformer专家(理解专家和生成专家)。这两个专家通过每一层的共享 Self-Attention 操作在相同的 token 序列上运行,实现多模态理解和生成之间的长上下文交互。训练范式:预测文本 token 时遵循 Next-Token-Prediction 范式,而预测视觉 token 时则采用 Rectified Flow 方法.Bagel:基于条件 VAE 的 KPI 异常检测算法.这是一个在IT运维和系统监控领域广泛应用的无监督异常检测算法。传统的 VAE 模型在处理时间序列数据(如 KPI 指标)时,容易忽略窗口之间的时间相关性,导致误报或漏报。核心原理:Bagel 算法基于条件变分自动编码器(CVAE),创新性地将“时间信息”作为输入条件引入模型中。解决痛点:为了避免 CVAE 在拟合具有周期性的 KPI 时间信息时出现过拟合,Bagel 在神经网络中添加了额外的 Dropout 层,从而构建了一个鲁棒的全局模型。效果:相比之前的先进算法(如 Donut),Bagel 大大提高了对包含时间信息和周期性异常检测的鲁棒性,显著提升了最佳 F1-score.Bagel:Apache Spark 的图计算框架.这是 Apache Spark 生态中的一个库,是 Google Pregel 图处理框架的 Spark 实现。编程模型:它将图表示为分布式数据集,作业以一系列称为“超级步(supersteps)”的迭代运行。在每个超级步中,每个顶点运行用户指定的函数,更新自身状态,并向其他顶点发送消息以供下一次迭代使用。现状:需要注意的是,Bagel 即将被 Spark 的 GraphX 库取代,官方建议新用户使用 GraphX 来替代.