开发者工具1 条来源·发布于
面向压测 LLM 应用基础设施开发者的 Mock LLM API 服务器
构建 LLM 应用的团队需要压测自己的网关、队列和流式链路，但又不想在厂商 API 上烧真金白银的 token。他们最后只能自己手搓 mock 服务器。一个可直接替换、API 兼容的假 LLM 端点，支持可配置的流式、延迟、错误和限流，能让他们免费测试基础设施。
机会分 781 条来源置信度 82%
他们的问题
开发者压测 LLM 应用基础设施时，请求真实的 OpenAI/Claude API 会让一次可扩展性测试变成一次烧 token 的测试。他们目前只能从零构建并维护自己的 mock 服务，导致每家公司都在重复造轮子。
可以怎么做
一个可自托管或托管的、与 OpenAI/Anthropic API 兼容的 mock 端点，返回确定性的预设响应，模拟流式输出、可配置的延迟／首 token 时间、token 数、工具调用、429/5xx 错误以及畸形的流——让团队可以压测模型周边的一切，而不用为推理付费。
适合谁做
在构建 LLM 产品的初创公司里的后端／平台工程师对聊天机器人或 Agent 基础设施进行压测的 SRE 和 QA 团队
谁在说（1）
相关话题
LLM API mockingOpenAIAnthropicload testingdeveloper tooling
机会描述由 AI 整理，原话在上面「谁在说」的链接里。