但是在上面转换成f16模式的时候报了一个python的错误，像是这个bug (https://github.com/huggingface/transformers/issues/20011 ), 但解决不了。于是，接着转向使用xinference框架在本地试，成功了，就是在nuc上(i7-13700H)速度挺慢的.版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明。