【摘要】第1步，准备一台阿里云4核8G的服务器，操作系统用的是 ubuntu 22.04；第2步，签出 llama.cpp 源码进行 build；第3步，下载 4-bit 版本的 Vicuna-7B 模型，文件大小是3.6G；第4步，使用这个模型输入提示词 `Tell me about cnblogs`；第5步，下载 8-bit 版本的 Vicuna-7B 模型，文件大小是6.7G 阅读全文