欢迎光临北京软件和信息服务业协会官方网站
AstraFlow星图上线Auto Router功能:实现智能模型调度
发布日期:2026-07-10    来源:优刻得云计算    分享到:

模型越来越多,真正复杂的已经不是调用模型,而是选择模型。

一个AI应用往往会接入多个模型:有的擅长代码,有的适合长文本,有的成本更低,有的响应更快。如何在不同任务之间合理分配模型,兼顾效果、成本与稳定性,逐渐成为模型工程中的一项基础能力。

为此,优刻得AstraFlow星图平台上线Auto Router自动路由(预览版),帮助开发者在保持统一调用方式的同时,实现模型的智能调度。

0ad5e27a-a8a3-4fa2-b080-5002997c2bb5.png


根据任务特征,自动选择合适模型

使用方式非常简单,只需将请求中的model参数设置为auto。

收到请求后,Auto Router会综合分析多个维度的信息,包括任务类型、Prompt复杂度、上下文长度、模型能力特点以及成本偏好等,在毫秒级完成模型选择,并将请求路由至当前更适合执行该任务的模型。

对于业务代码而言,调用方式保持不变;模型的选择与调度则由平台自动完成。


在效果与成本之间取得更优平衡

在复杂软件工程评测集SWE Bench Pro上,Auto Router的测试结果如下:

78cb2e76-5b93-4644-b59a-9f55388f2e99.png

测评使用evalscope作为测评工具,跑前100个测试集


从测试结果可以看到,相比固定使用单一模型,Auto Router在保持甚至提升任务效果的同时,整体调用成本下降约50%。

其核心原因在于,系统能够根据任务复杂度进行自动分配:对于大量长文本、常规分析等任务,优先选择性价比较高的模型;而对于推理要求较高的复杂任务,则自动调用能力更强的模型,从而实现资源的合理利用。


除了优化推理成本,Auto Router也降低了模型迭代带来的维护压力。

对业务团队

  • 无需持续关注不同模型的能力变化和价格调整;

  • 平台新增模型或升级模型能力后,业务代码无需修改即可获得最新能力;

  • 降低模型切换带来的开发与维护成本。

对研发团队

  • 兼容OpenAI API,无需改变现有调用方式;

  • 返回结果中的model字段会记录本次实际调用的模型,方便日志分析、成本统计及效果评估;

  • 支持通过allowed_models参数限制可参与路由的模型范围,满足不同业务场景下的合规、灰度发布及预算管理需求。


快速接入

只需将请求中的model参数修改为auto:

b3c582ba-87d3-45f8-bdb8-ab8415bf1041.png

接入完成后,Auto Router将根据任务特点自动完成模型选择与调度,在保持统一接口的同时,帮助开发者兼顾模型效果、调用成本和工程维护效率。

你知道你的Internet Explorer是过时了吗?

为了得到我们网站最好的体验效果,我们建议您升级到最新版本的Internet Explorer或选择另一个web浏览器.一个列表最流行的web浏览器在下面可以找到.