IT博客汇
首页
精华
技术
设计
资讯
扯淡
权利声明
登录
注册
聊聊DeepSeek的MLA和GRPO - 叶小钗
叶小钗
发表于
2025-02-16 02:27:00
love
0
【摘要】关注公众号回复1 获取一线、总监、高管《管理秘籍》 结合近期对DeepSeek的探索,对之前文章的内容做一些更新,主要是两个方面:训练过程的优化策略GRPO,以及架构侧的一个创新MLA。 MLA MLA,被认为是实现DeepSeek高效推理和低成本训练的核心技术。 MHA(多头注意力)通过多个注意力
阅读全文