昨天深夜，MiniMax 突然宣布发布自家最新语言大模型，并且历史首次全面开源。

• 文本模型 MiniMax-Text-01，多模态模型 MiniMax-VL-01
• 全新的 Lightning Attention 架构，平方变线性，大幅降低推理成本
• 重磅开源，文本模型参数高达 4560亿，32 个专家
• 超超长 400 万字长文本，且性能追平顶尖海外模型
• 模型、代码、技术报告已经全部发布，非常真诚

目前网页体验和API也都已经上线，可以在线体验和商用，地址见文章最后。

新技术：Lightning attention

这次模型最让人惊喜的就是全新的线性注意力架构。

大家都知道在实际的 AI 使用中，长文本至关重要，角色聊天的超长记忆，AI Coding 写代码，Agent 完成各种任务，哪个场景都离不开长文本。

大模型虽然一直在降价，但是使用的时候上下文越长，速度就越慢，价格也就越贵。

这个问题的根源是 Transformer 架构有二次计算复杂度。随着上下文的增加，推理的算力消耗是指数上升的。

而这次 MiniMax 的新模型，使用了 Lightning attention 机制，是一种线性注意力机制，能够大幅降低长文本的计算量和推理时间。

在技术报告中，可以看到对这次模型的主要架构图。

这个架构对模型推理资源消耗的降幅非常巨大，通过下面的长文本的推理时间对比图就能看出，在上下文持续上升时，使用了线性注意力让推理时间接近线性地缓慢增加，而非指数级别增加。

更详细的介绍可参见文末的技术报告。