您现在的位置是：首页 > 快讯快讯
阿里巴巴推出更高效的Qwen3-Next人工智能模型
zhoucl 2025-09-12 06:40:01 快讯 已有人查阅
导读阿里巴巴旗下通义千问发布了下一代基础模型架构Qwen3-Next，并开源了基于该架构的Qwen3-Next-80B-A3B系列模型。该结构相比Qwen3的MoE模型结构,进行了以下核心改进：混合注意力机制、高稀疏度MoE结构、一系列训练稳定友好的优化，以及提升推理效率的多token预测机制。基于Qwen3-Next的模型结构，阿里训练了Qwen3-Next-80B-A3B-Base模型，该模型拥有800亿参数仅激活30亿参数。该Base模型实现了与Qwen3-32B dense模型相近甚至略好的性能，而它
阿里巴巴旗下通义千问发布下一代基础模型架构Qwen3-Next，并开源了基于该架构的Qwen3-Next-80B-A3B系列模型。
相比Qwen3的MoE模型结构，Qwen3-Next的核心改进包括：
- 混合注意力机制
- 高稀疏度MoE结构
- 一系列训练稳定友好的优化
- 多token预测机制提升推理效率
基于Qwen3-Next架构，阿里训练了Qwen3-Next-80B-A3B-Base模型，参数总量达800亿，但仅激活30亿参数。该模型在性能上接近甚至略优于Qwen3-32B dense模型，而训练成本（GPU小时）不到Qwen3-32B的十分之一。在32k以上上下文场景下，其推理吞吐量是Qwen3-32B的十倍以上，展现出极高的训练与推理效率。
本文标签：
很赞哦！ ()
