2月16日消息,据接近 Moonshot 的消息人士透露,Kimi 下一代旗舰模型 Kimi K3 预计将于 2026 年 3 月正式亮相。这款备受期待的大模型将采用 MLA+KDA 混合架构与超稀疏 MoE 设计,总参数量突破 2 万亿,有望在多模态智能体领域树立全新标杆。
核心参数曝光
| |
|---|
| |
| |
| |
| 超稀疏 MoE(Mixture of Experts) |
| |
技术架构解析
MLA+KDA 混合架构:双剑合璧
Kimi K3 将采用 MLA(Multi-head Latent Attention,多头潜在注意力)与 KDA(Kimi Dynamic Attention,动态注意力)相结合的混合架构。这一设计预计将在长上下文建模与动态推理能力之间取得平衡:
- MLA 层:延续 Kimi 系列在长文本处理上的优势,进一步优化百万级 token 上下文的处理效率
- KDA 层:引入动态注意力机制,根据任务复杂度自适应调整计算资源分配,提升推理效率
超稀疏 MoE:2T 参数的"瘦身"秘诀
超 2 万亿参数的模型若全部采用稠密架构,推理成本将难以承受。Kimi K3 采用的超稀疏 MoE 设计,预计每次前向传播仅激活少量专家网络,在保证模型容量的同时大幅降低计算开销。
竞争格局
Kimi K2.5 已成为国内多模态智能体(Agent)领域的标杆产品。K3 的推出被业界视为 Moonshot 巩固领先地位、进一步拉开与竞品差距的关键举措。若如期发布,将与近期密集亮相的 DeepSeek V4、Qwen 3.5 等国产大模型形成呼应。