1. 嵌入操作与DAE架构的核心原理

1.1 嵌入操作的计算特性

嵌入操作（Embedding Operations）是深度学习推荐系统、图神经网络和大语言模型中的基础计算模式。其数学本质是稀疏-稠密张量乘法（SpMM），典型表现为从大型嵌入表中查找并聚合稀疏索引对应的向量。例如在推荐系统中，每个用户行为会触发数百个稀疏ID查找，这些ID对应的嵌入向量需要加权求和后输入下游神经网络。

这种计算模式具有三个显著特征：

1. 内存访问密集型：嵌入表通常达TB级（如Meta的DLRM模型），但每次查询只访问约0.1%的数据
2. 计算强度低：每次查找后仅需简单向量加法，算术强度（FLOP/Byte）不足0.1
3. 不规则访问模式：索引分布由用户行为决定，无法预取或静态优化

1.2 DAE架构的设计哲学

解耦访问-执行架构（Decoupled Access-Execute, DAE）通过分离内存访问单元（Access Unit）和计算单元（Execute Unit）来解决上述挑战。其核心设计包括：

• 访问单元：专责处理不规则内存访问，包含：

  • 多级流式预取器（Stream Prefetcher）
  • 稀疏索引转换引擎
  • 数据重组缓冲区

• 执行单元：聚焦计算密集型任务，配备：

  • 宽SIMD向量寄存器（如512位ZMM）
  • 高并行浮点运算管线
  • 低延迟累加器网络

两者通过生产者-消费者队列连接，典型配置为：

• 控制队列（Control Queue）：传递元数据（如向量长度、操作类型）
• 数据队列（Data Queue）：传输实际张量数据

关键洞见：DAE的效能取决于访问单元"喂饱"执行单元的能力。当两者吞吐匹配时，系统达到最优效率（如图1蓝线所示）。

2. Ember编译器的中间表示设计

2.1 SCF IR：结构化控制流表示

SCF（Structured Control Flow）IR是Ember的输入级表示，直接对应传统循环结构。以稀疏查找-累加（SLS）为例：

// 原始SCF代码（批处理模式） scf.for %b = 0 to %n_batches step 1 { %beg = load %ptrs[%b] %end = load %ptrs[%b+1] scf.for %p = %beg to %end step 1 { %i = load %idxs[%p] scf.for %e = 0 to %emb_len step 1 { %val = load %vals[%i, %e] %acc = load %out[%b, %e] %sum = addf %acc, %val store %sum, %out[%b, %e] } } }

SCF IR的局限性在于：

• 循环边界与内存访问强耦合
• 缺乏并行化线索
• 无法区分访问/计算逻辑

2.2 SLC IR：流式线性代数表示

流式线性代数IR（Streaming Linear Algebra IR）引入三个关键抽象：

1. 流式循环（slc.for）：

   • 将循环迭代转换为数据流
   • 自动生成索引流（如s_e）

2. 内存流（slc.mem_str）：

   • 将内存访问模式声明为流
   • 支持跨循环层级的数据移动

3. 回调函数（slc.callback）：

   • 隔离计算逻辑
   • 支持异步执行

SLS示例的SLC转换：

slc.for %s_b = 0 to %n_batches { %s_beg = slc.mem_str %ptrs[%s_b] %s_end = slc.mem_str %ptrs[%s_b+1] slc.for %s_p = %s_beg to %s_end { %s_i = slc.mem_str %idxs[%s_p] slc.for %s_e = 0 to %emb_len { %s_val = slc.mem_str %vals[%s_i, %s_e] slc.callback { %b = slc.to_val %s_b %e = slc.to_val %s_e %val = slc.to_val %s_val %acc = load %out[%b, %e] %sum = addf %acc, %val store %sum, %out[%b, %e] } } } }

2.3 渐进式降低策略

Ember采用多阶段优化路径：

1. 模式匹配：识别典型嵌入操作模式（如SLS、MP）
2. 候选循环选择：根据两个条件筛选可offload的循环：
   • 条件1：迭代边界可静态确定或由父循环计算
   • 条件2：至少访问一个只读内存区域
3. IR转换：将SCF循环逐步转换为SLC结构

3. 关键优化技术实现

3.1 向量化（Vectorization）

技术原理：

• 将内层循环展开为向量操作
• 使用SIMD指令（如AVX-512）并行处理

实现步骤：

1. 创建向量化SLCV循环：

   slcv.for<vlen> (%s_e, %msk) = 0 to %emb_len { %s_val = slcv.mem_str<vlen> %vals[%s_i, %s_e], %msk ... }

2. 转换回调函数：

   slcv.callback { %val_vec = slcv.to_val<vlen> %s_val %acc_vec = vector.load %out[%b, %e] %sum_vec = vector.add %acc_vec, %val_vec vector.store %sum_vec, %out[%b, %e] }

性能收益：

• RM3模型上获得5.13倍加速
• 数据队列吞吐提升3.2倍

3.2 缓冲化（Bufferization）

技术动机：

• 减少控制流开销（每个元素发token）
• 提高数据局部性

实现机制：

1. 在循环外声明缓冲区流：

   %buf = slcv.buf_str<vec<vlen x f32>>()

2. 循环内填充缓冲区：

   slcv.for<vlen> (%s_e, %msk) = 0 to %emb_len { %s_val = slcv.mem_str<vlen> %vals[%s_i, %s_e], %msk slc.push %buf, %s_val }

3. 延迟执行回调：

   slcv.callback { %buf_vec = slc.to_val %buf scf.for %e = 0 to %emb_len step %vlen { %val = vector.extract %buf_vec[%e] ... } }

效果验证：

• 控制令牌减少87%
• RM2模型吞吐提升2.1倍

3.3 队列对齐（Queue Alignment）

问题背景：

• 标量数据（如段ID）破坏向量对齐
• 导致缓存行分裂（Cache Line Split）

解决方案：

1. 标量变量提升：

   slc.for %s_b = 0 to %n_batches { %i = slc.declare index // 核心寄存器分配 ... slc.callback { /* 使用%i */ } slc.callback { %i = add %i, 1 } // 增量回调 }

2. 地址预计算：
   • 访问单元直接计算输出地址
   • 核心通过基址+偏移访问

性能影响：

• L1缓存命中率提升35%
• RM3模型额外获得1.8倍加速

4. 领域特定优化案例

4.1 推荐系统（DLRM）

特性：

• 超稀疏嵌入表（>1TB）
• 短向量（4-64维）
• 批量查询（100-1000个/请求）

Ember优化：

1. 分层向量化：
   • 内层：完全展开嵌入向量
   • 外层：批量处理查询
2. 动态预取：

   slcv.prefetch %vals[%s_i, %s_e + prefetch_distance]

实测结果：

• 相比GPU方案：
  • 性能提升2.6倍
  • 能效比提升6.4倍

4.2 图神经网络（GNN）

挑战：

• 不规则邻接矩阵
• 高维顶点特征（128-1024维）

创新优化：

1. 块稀疏注意力：

   slc.attr {reuse_level = L2, temporal = false} %blocks

2. 直接存储流：
   • 跳过核心直接写内存
   • 减少67%的LLC访问

4.3 大语言模型（LLM）

关键观察：

• 嵌入层占训练时间15-20%
• 长序列（>2048 tokens）加剧不规则性

Ember方案：

1. 非临时加载（Non-temporal Load）：

   slcv.mem_str<vlen> %vals[%idx], #nt = true

2. 多级缓存提示：

   slc.attr {cache_level = L2} %query_emb

5. 工程实践与调优建议

5.1 性能分析方法论

1. 吞吐量平衡检查：

   • 访问单元利用率 >90% → 需向量化/缓冲化
   • 执行单元利用率 >90% → 需队列对齐

2. 关键指标监控：

   指标	健康阈值	测量方法
   L2队列填充率	60-80%	性能计数器
   回调延迟	<100ns	时间戳寄存器
   向量化利用率	>75%	SIMD插槽使用统计

5.2 典型问题排查

问题1：向量化后性能下降

• 检查：vlen是否超过硬件限制（如AVX2=256bit）
• 修复：添加掩码处理尾部元素

  slcv.for<vlen> (%s_e, %msk) = 0 to %emb_len { // %msk自动处理非对齐边界 }

问题2：缓冲区溢出

• 检查：slcv.buf_str容量设置
• 修复：动态分块

  slcv.buf_str<vec<vlen x f32>, dynamic = [%chunk_size]>

5.3 架构适配指南

1. 多核扩展：

   • 每个核独占访问单元
   • 共享嵌入表分区

2. 混合精度支持：

   slcv.for<vlen> (%s_e, %msk) = 0 to %emb_len { %val = slcv.mem_str<vlen x bf16> %vals[%s_i, %s_e] slcv.convert %val to f32 }

3. 新兴硬件特性：

   • Arm SVE的可变向量长度
   • Intel AMX的矩阵加速

在真实部署中，Ember生成的代码已达到手工优化版本的99%性能。这主要归功于SLC IR对DAE架构的精确抽象，使得编译器能实施全局优化。例如在Meta的生产环境中，通过组合使用向量化和缓冲化，使DLRM的每秒查询量（QPS）提升12.1倍。