AstraFlow星图上线Auto Router功能:实现智能模型调度
模型越来越多,真正复杂的已经不是调用模型,而是选择模型。
一个AI应用往往会接入多个模型:有的擅长代码,有的适合长文本,有的成本更低,有的响应更快。如何在不同任务之间合理分配模型,兼顾效果、成本与稳定性,逐渐成为模型工程中的一项基础能力。
为此,优刻得AstraFlow星图平台上线Auto Router自动路由(预览版),帮助开发者在保持统一调用方式的同时,实现模型的智能调度。

根据任务特征,自动选择合适模型
使用方式非常简单,只需将请求中的model参数设置为auto。
收到请求后,Auto Router会综合分析多个维度的信息,包括任务类型、Prompt复杂度、上下文长度、模型能力特点以及成本偏好等,在毫秒级完成模型选择,并将请求路由至当前更适合执行该任务的模型。
对于业务代码而言,调用方式保持不变;模型的选择与调度则由平台自动完成。
在效果与成本之间取得更优平衡 在复杂软件工程评测集SWE Bench Pro上,Auto Router的测试结果如下:

测评使用evalscope作为测评工具,跑前100个测试集
从测试结果可以看到,相比固定使用单一模型,Auto Router在保持甚至提升任务效果的同时,整体调用成本下降约50%。
其核心原因在于,系统能够根据任务复杂度进行自动分配:对于大量长文本、常规分析等任务,优先选择性价比较高的模型;而对于推理要求较高的复杂任务,则自动调用能力更强的模型,从而实现资源的合理利用。
除了优化推理成本,Auto Router也降低了模型迭代带来的维护压力。
对业务团队
无需持续关注不同模型的能力变化和价格调整;
平台新增模型或升级模型能力后,业务代码无需修改即可获得最新能力;
降低模型切换带来的开发与维护成本。
对研发团队
兼容OpenAI API,无需改变现有调用方式;
返回结果中的model字段会记录本次实际调用的模型,方便日志分析、成本统计及效果评估;
支持通过allowed_models参数限制可参与路由的模型范围,满足不同业务场景下的合规、灰度发布及预算管理需求。
快速接入 只需将请求中的model参数修改为auto:
接入完成后,Auto Router将根据任务特点自动完成模型选择与调度,在保持统一接口的同时,帮助开发者兼顾模型效果、调用成本和工程维护效率。


