IT博客汇
首页
精华
技术
设计
资讯
扯淡
权利声明
登录
注册
初探大模型压缩
wireless_com
发表于
2024-10-27 20:24:56
love
0
【引】感谢大家对联想AIPC的关注!大模型在智能终端上应用使AI更方便地服务于我们的工作和生活,《从苹果智能看端上大模型应用》为我们提供了参考。一般地,语言模型越大越好,改进LLM的方式非常简单: 更多的数据 + 更多的参数 + 更多的计算 = 更好的性能。但是,使用100B + 参数模型存在着明显的挑战。例如,使用 FP16的100B 参数模型仅存储空间就需要200GB!大多数消费设备(如手机、...