IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    聊聊DeepSeek的MLA和GRPO - 叶小钗

    叶小钗发表于 2025-02-16 02:27:00
    love 0
    【摘要】关注公众号回复1 获取一线、总监、高管《管理秘籍》 结合近期对DeepSeek的探索,对之前文章的内容做一些更新,主要是两个方面:训练过程的优化策略GRPO,以及架构侧的一个创新MLA。 MLA MLA,被认为是实现DeepSeek高效推理和低成本训练的核心技术。 MHA(多头注意力)通过多个注意力 阅读全文


沪ICP备19023445号-2号
友情链接