内存:16G以上
显卡:6G显存以上
模型: chatglm-6b
Github:
B站 大江户战士 UP主基于WEBUI开发的CHATUI界面,感兴趣可以关注下 chatglm_webui
进入到chatglm_webui文件夹里运行以下命令安装依赖
pip install -r requirements.txt
Q:python版本太低
A: 官网下载安装python3.6或以上的版本,然后修改系统环境变量 PATH
Q:C++依赖安装失败
A:下载C++的编译工具依赖:microsoft visual c++ build tools
Q:依赖安装失败
A:尝试用管理员权限启动CMD的命令提示符
然后安装
Q:AssertionError: Torch not compiled with CUDA enabled
A:安装的python Torch是不包含显卡的版本,
Q:ERROR: No matching distribution found for torch==1.13.1+cu117
A:python -m pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 --extra-index-url https://download.pytorch.org/whl/cu117 --no-cache-dir
Q:python sentencepiece failed
或者 src/sentencepiece/sentencepiece_wrap.cxx(2822): fatal error C1083:
A:尝试升级python3.6或以上的版本并安装microsoft visual c++ build tools
Q:Pip install sentencepiece failure
A: 尝试直接下载sentencepiece文件然后放到python的site-packages
目录里,不行就升级pip或者更换python版本。
1.把下载好的chatglm-6b
文件夹直接放到chatglm_webui
目录下
2.运行python main.py --low_vram
(因为我的显卡只有8G显存,所以加了low_vram)
参数:
--path
:指定模型所在文件夹,根目录不需要加--low_vram
:4-bit 量化,6GB 显存可用--med_vram
:8-bit 量化,10GB 显存可用--cpu
:CPU运行,32G 内存可用--low_ram
:CPU运行,16G 内存可用当前单机版本的AI还属于调优阶段,没法和ChatGPT进行比较的,模型大小和参数的数量也不是一个数量级别,属于低智能AI。但meta的LLaMA和200G的模型也都开源了,相信过不了多久就可以做到真正的部署可实用的个人AI智能了,期待未来!