核心突破：极简激活的超级大脑

• 142B总参数 | 14B动态激活（每token激活6个专家+2个共享专家）
• 性能对标：Qwen2.5-72B、DeepSeek-V3等顶级模型
• 训练成本仅1/4：11.2T token预训练耗用146万GPU小时（Qwen2.5-72B需612万小时）
• 推理经济性：单节点8张GPU（40/80GB）即可部署

 MoE架构精要：

• 128路由专家 + 2共享专家（SwiGLU激活的细粒度FFN）
• FP32门控层：保障路由稳定性
• 无辅助损失负载均衡（借鉴DeepSeek-V2）：动态偏置项调节专家利用率
• 序列级均衡损失：杜绝单序列内负载倾斜

---

三大技术支柱撑起SOTA表现

1. 数据工程：11.2T高质量token的炼金术

• 三阶段处理框架：
  • 文档准备：URL过滤+文本提取（优化版trafilatura）
  • 规则处理：
    • 行级去重：消除页眉/页脚冗余（保留前5行+后5行的低频内容）
    • 模糊去重：MinHash+LSH实现80%相似度过滤（97.42%召回率）
  • 模型处理：
    • 网页分类器：保留文本密集型页面
    • 质量模型：1.5B评分网络筛选高信息密度文本
    • 语义去重：BGE-M3嵌入+KMeans聚类（相似度>0.95剔除）
• 中英1:1平衡 + 知识类别再平衡：
  200类分类器提升百科/科普权重，压缩小说/商品描述占比

2. 训练基础设施：通信与计算的极致优化

• 1F1B流水线调度：
  • 创新性增加预热步骤，实现All-to-All通信与计算重叠
  • 内存效率优于DeepSeek的DualPipe方案（牺牲约5%气泡率）
• 分组GEMM加速：
  • Token分块对齐：统一WGMMA指令的Tile粒度
  • 性能碾压：H800上比NVIDIA Transformer Engine快14%（前向）/6.7%（反向）

3. 训练策略：稳定性的科学

• 分段学习率：4k步预热→10T token稳定期（3e-4）→两阶段退火（3e-5→1e-5）
• 动态批大小：64M → 96M（6T token）→ 128M（8.3T token）
• 32K上下文扩展：
  采用UK策略（UnTie the Knots）——打乱文档分块并训练模型重组，保留短上下文能力

---

性能实测：以小博大的典范

能力维度	关键指标	dots.11m1表现	对标模型
中文理解	C-Eval (5-shot)	92.8	超Qwen2.5-72B (89.3)
数学推理	AIME24	33.1	逼近DeepSeek-V3 (34.0)
代码生成	HumanEval (Pass@1)	88.4	接近GPT-4o (92.1)
长上下文	RULER-32K	87.7	落后Qwen2.5-72B(92.7)
综合成本	GPU小时/万亿token	13万	Qwen2.5-72B的38%

 现象级发现：
数学任务中零样本比少样本强4+分，暗示模型内在推理机制特殊（作者称留待未来研究）

---

开源革命：透明化训练进程

• 每1T token发布中间检查点：
  首次提供LLM训练动态的完整观测窗口，助力社区研究学习轨迹
• 全流程开源：
  数据处理代码/训练框架/模型权重（HuggingFace & GitHub）

---

技术启示录

1. 数据质量 > 数据规模：
   TxT360对比实验证明——优质网页数据使1.5B小模型性能提升15%+
2. MoE负载均衡无需代价：
   无辅助损失设计验证了“平衡性可不牺牲性能”
3. 系统级创新才是硬道理：
   分组GEMM优化带来实质训练加速，算法-硬件协同是关键

 未来方向：

• 稀疏注意力（GQA/MLA）+ 更稀疏MoE层
• 人类学习效率模拟：从数据中提取最大化知识密度

---

结语
dots.llm1用工程严谨性证明：效率与性能可兼得。当业界追逐万亿参数时，它选择让每比特算力发挥极致价值——这或是AGI时代更可持续的路径。

附小红书dots.llm1技术报告英中对照版，仅供学习参考：