欢迎光临北京软件和信息服务业协会官方网站
信创模盒ModelHub XC|适配OpenAI最新开源模型Circuit Sparsity
发布日期:2025-12-31    来源:第四范式    分享到:

信创模盒ModelHub XC近日完成对OpenAI最新开源模型Circuit Sparsity的适配与验证,并在昇腾910B4 NPU等国产算力平台上实现稳定、高效运行。


Circuit Sparsity模型

OpenAI的Circuit Sparsity稀疏模型架构(参数量0.4B、99.9%权重为零)一经开源即引来巨大关注,其以原生稀疏架构构建可读“电路”,破解了大模型“黑箱”难题,成为AI可解释性领域的颠覆性突破和未来大模型演进的重要技术方向。

该模型采用动态剪枝等技术,电路规模较密集模型缩减16倍,颠覆传统参数竞赛,引领行业向“透明化 + 高效化”转型。OpenAI通过 “桥梁网络” 连接稀疏与密集模型,实现了对现有大模型的可解释性行为编辑。

Circuit Sparsity不仅是现有模型的优化,更提供了全新架构方法论,验证了结构性稀疏兼具高性能与高可解释性的可行性,预示下一代模型将走向“电路化”“稀疏化”设计。

ModelHub XC完成Circuit Sparsity 开源模型的适配

架构适配:该新型极度稀疏架构算法底层基于Transformers 架构——以Transformers为蓝本,通过引入动态稀疏约束和组件微调,从根本上重构出一个天生具有结构化稀疏性的新模型架构。同时,这一新架构的编译、计算和数据流模式,又经过优化,以充分释放如昇腾910B这类专用NPU的极致算力。

适配结果:测试数据显示,ModelHub XC平台在昇腾910B4 NPU上对OpenAI开源Circuit Sparsity模型完成了适配与性能验证。

1. 性能提升倍数(关键指标)

请求延迟:NPU 处理单条请求平均延迟仅需 2.00 秒,CPU 则高达 56.21 秒。NPU 的单条处理速度提升了28.11 倍。

吞吐量 (QPS):NPU的吞吐量为 0.50 条/秒,是 CPU(0.02 条/秒)的 25 倍。

2. 结果分析

巨大性能鸿沟:从“分钟级”响应(CPU)到“秒级”响应(NPU)的跨越,证明了 Circuit Sparsity 这类稀疏模型极度依赖专用AI计算硬件(如NPU)的并行计算与高效内存访问能力,在通用CPU上运行效率极低。

你知道你的Internet Explorer是过时了吗?

为了得到我们网站最好的体验效果,我们建议您升级到最新版本的Internet Explorer或选择另一个web浏览器.一个列表最流行的web浏览器在下面可以找到.