5月29日消息,MiniMax 正在对新一代模型 M3 进行内部测试和封闭开发者评测。同时,MiniMax 已于 5 月 27 日前后在 X 平台预告 M3 系列,并披露了核心技术。
MSA 稀疏注意力架构
M3 的核心亮点是 MiniMax 稀疏注意力机制(MSA),这是一种全新的稀疏注意力架构,基于 GQA 的动态块稀疏注意力。在 100 万 token 上下文下,相比此前 M2 的密集注意力,预填充速度提升约 9.7 倍,解码速度提升约 15.6 倍。其目标在于让超长上下文的智能体应用在成本上变为可行。
这一架构升级是 M2 系列之后的重大变化。MiniMax 同期也发布了 M2 系列的详细技术报告。
开发者内测
目前 M3 处于内部 CKPT 测试和链式任务测试阶段。MiniMax 计划在未来几天面向部分开发者开放 CKPT/API 进行评测,采用邀请制。MiniMax 工程团队成员阿岛(负责 Agent、API Platform、LLM PostTrain Pipeline)在内部" M3 开发者评测讨论区"发帖招募开发者,明确希望申请者分享以下内容:
参与方式主要是在该群组中回复帖子,详细说明自己的开源经历或 Agent 项目,展示评测和使用大模型的经验,尤其是长上下文、Agent、多模态方向。
M3 预期定位
根据目前资料,M3 大概率是多模态加长上下文模型,重点优化 Agent 场景和超长上下文处理能力,延续 MiniMax 一贯的高性能和相对开放风格。