开发者工具1 条来源·发布于
在廉价与前沿 LLM 之间路由请求的提示复杂度分类器
开发者默认使用昂贵的前沿模型，因为他们分不清哪些提示足够简单、可以用更便宜的模型。一个能评估提示复杂度并分派到最便宜够用模型的路由器，可以降低 API 成本和延迟。
机会分 741 条来源置信度 70%
他们的问题
开发者把每个请求都发给 Claude Sonnet 这类前沿模型，即使 Haiku 这类更小的模型也能处理任务，导致过度付费。他们在选择模型前缺乏可靠判断任务复杂度的方式。
可以怎么做
一个轻量 API 或 SDK，按复杂度对传入提示分类，并路由到合适的模型层级，支持可配置阈值以及成本/延迟报告。
适合谁做
发布 LLM 应用的独立开发者管理 LLM API 成本的初创公司
谁在说（1）
相关话题
LLM routingprompt complexityAPI cost optimizationmodel selectionfrontier models
机会描述由 AI 整理，原话在上面「谁在说」的链接里。