Mixtral 8x7B 的推出， 使我们开始更多地关注 基于MoE 的大模型架构， 那么，什么是MoE呢？1. MoE溯源MoE的概念起源于 1991 年的论文 Adaptive Mixture of Local Experts（https://www.cs.toronto.edu/~hinton/absps/jjnh91.pdf）。这个概念与集成学习方法相似，旨在为由多个单独网络组成的系统并建...