阿里正式开放Qwen3.8-2.4T-A95B模型权重
站内热度 全站第 8,089
9,219 次浏览
阿里云“魔搭ModelScope社区”宣布，阿里Qwen团队正式开放Qwen3.8-2.4T-A95B模型权重。这是Qwen-Max级别模型首次开源权重。Qwen3.8-2.4T-A95B是一个因果语言模型，总参数达2.4T，采用MoE稀疏架构，每个Token仅激活95B参数。模型每个MoE层包含512个专家，每个Token选择10个路由专家，并同时激活 1 个共享专家。上下文方面，原生支持262,144 Token，并可扩展至1,010,000 Token。模型还进行了多步Multi-Token Prediction训练。开源意味着开发者可以基于模型进行复现、微调和二次开发。官方云端版Qwen3.8-Max基于该开放权重模型，并额外增加了多项生产环境能力。
—— 凤凰网科技
相关文档
评论0
按时间排序 · 回复会嵌套显示还没有评论。有疑问、补充或指正，直接写在下面。
回复