三亩地 三亩地SAN MU DI · CODE DIARY
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天,欢迎挑你感兴趣的翻一翻。

大模型推理芯片性能分析与设计

大模型推理芯片性能分析与设计

设计大模型推理芯片LPU要考虑以下几个问题:

(1)算力、带宽、tokens量化指标

(2)芯片成本、功耗、互联方案

(3)集群、同步、调度设计

(4)工具链、算法硬化、软硬协同

(5)部署、虚拟化、安全。

想设计一个通用表格用于上面各项指标自动计算、欢迎wx扫码入群讨论xixiangfeng686

← 返回列表