三亩地 三亩地SAN MU DI · CODE DIARY
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天,欢迎挑你感兴趣的翻一翻。

大模型性能测试(二):使用 Locust 并发请求测算 API 吞吐量与延迟「附代码」

大模型性能测试(二):使用 Locust 并发请求测算 API 吞吐量与延迟「附代码」

从单次调用到万级并发,本文字带你用 Locust 跑通大模型 API 的全链路压测,附完整代码和指标拆解

目录

  • 一、问题:大模型压测为什么用不了 ab 和 wrk
  • 二、大模型性能测试的三座大山
  • 三、Locust:大模型API压测的最优解
  • 四
← 返回列表