FLUX 是一个开源的全新的图像生成器,可以生成逼真的超现实图像,人们称它为 Midjourney 的终结者,下一代 Stable Diffusion 的替代品。
FLUX究竟强大到什么程度?外网到现在为止,都还有抵制它的声音。
Google DeepMind 团队甚至在本月还发布了一篇研究人们如何滥用生成式 AI 的论文。令人震惊的是,所谓极具亲密性的图像、小黄片,这都不是首要的问题,真正危险的地方在于假冒他人身份。
而这,正是 FLUX 非常擅长的地方。
那么这篇文章将会带你手把手从零开始运行这个“危险”的 AI 工具,如何用自定义的数据集微调模型,训练想要的 Lora,并将结果转换成视频,生成你想要的内容。
提前声明,建议显存大于 12GB,如果本地性能不足,可以使用云服务器直接体验。
如果想本地搭建,可以见本文的第二部分。
那么,如果你的机器显存不足,我们可以直接白嫖 OpenBayes 云服务器的算力!能白嫖体验 4 小时 4090 。目前还有开学季特惠活动,单笔充值金额满 19.9 元就能参与中奖率 100% 的抽奖,以及充值返现活动。
OpenBayes 支持环境一键克隆,用起来很方便,注册链接:
https://openbayes.com/console/signup?r=JackCuiAI_R3mZ
用这个链接注册,可以获得 4 小时 RTX 4090 + 5 小时 CPU 免费使用时长。
首先注册好账号后,先完成实名认证,账号只有经过实名认证才能使用 API 地址功能。
在官网的首页的侧边栏,点击公共教程:
在公共教程里搜索 FLUX,选择支持 Lora 训练的这个,这是我为大家准备好的一键镜像。
也可以直接使用下方的链接,打开项目:
https://go.openbayes.com/cAPks
点击克隆,选择算力,这里用默认的 4090 显卡就行,点击审核并执行。
这里显示正在分配资源,就说明服务正在部署,我们稍等片刻。
等待这里变成运行中,表明服务部署完成了。鼠标悬浮到API地址
上,就可以看到地址了。
打开这里的 API 地址,就能看到 FLUX 的服务了。打开 API,我们可以选择加载哪个工作流,如果想跑黑神话悟空的,那就选择 Wukong,然后点击添加提示词队列就能运行了。
绿的框框代表运行到的位置,第一次运行会慢一些,因为需要加载模型,直到运行到最后一个节点,就能看到预览图像了。第二次运行会快很多,因为涉及到的模型已经加载到了显存中。
TED 真人演讲工作流运行方法也一样。另外如果想要在图片中生成文本内容,可以参考 3mm4w 这个工作流。
想要训练 Lora,在项目页面打开工作空间。
在工作目录里找到train.sh
这个文件。
开启命令行窗口,使用sh train.sh
运行文件。
稍等片刻后,可以看到加载出的public URL
,进入即可看到 FLUX Lora 的 WebUI 页面。
我们还是以川普为例,先输入名字:
上传十张他的图片,耐心等待一会。这里的图片尽量是人物的正脸照片,人脸比例最好大些,且分辨率要尽可能的高。等到页面变成这样,说明上传成功了。
这里我们需要写每个图片对应的文本表述,比如穿着西装系着蓝色领带的帅气大男孩。注意,得用英文。如果嫌麻烦,这里也有 AI 能够一键生成描述。只需要点击一下,稍等片刻,每张图片对应的文本描述就做好了。
对于 AI 描述不准确的地方,可以手动修改。
最后,点击开始训练的按钮。再等待几分钟,就能看到这个训练的进度条,一共训练 1000 轮次,可以通过进度条查看现在训练到了第几轮。如果你使用的是 RTX4090,大概 40 分钟能够训练完一个 Lora 模型。
当出现如图的字样时,说明训练完成了。
此时在 ai-toolkit 目录下的 output 文件夹里能看到训练好的模型,在 samples 里还有生成的图片,这个效果不错的话,就表明模型训练完成了。
训练好模型之后,我们关掉这个训练服务,释放 GPU 资源,要不然会一直占用显存,然后重启 ComfyUI,具体步骤:
1、运行「Ctrl+C」停掉训练服务
2、运行「sh copy.sh」命令
3、运行「sh dependencies.sh」命令
4、等待 1 分钟之后,重新打开 API 地址即可
最后,在 LoRA 加载器里选择新训练好的模型,即可使用了:
本文对应的视频教学:
https://www.bilibili.com/video/BV1xSpKeVEeM
FLUX LoRA 训练工具:
https://github.com/ostris/ai-toolkit
OpenBayes 平台专属注册链接:
https://openbayes.com/console/signup?r=JackCuiAI_R3mZ
最后,讲解下本地搭建流程:
如果你是Windows系统,可以参考以下流程:
git clone https://github.com/ostris/ai-toolkit.git #克隆项目仓库 cd ai-toolkit #进入项目目录 git submodule update --init --recursive #更新并初始化子模块 python -m venv venv #创建 Python 虚拟环境 .\venv\Scripts\activate #激活虚拟环境 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 #安装 PyTorch(根据CUDA版本选择) pip install -r requirements.txt #安装其他依赖
如果你是Linux系统,可以参考以下流程:
git clone https://github.com/ostris/ai-toolkit.git #克隆项目仓库 cd ai-toolkit #进入项目目录 git submodule update --init --recursive #更新并初始化子模块 python3 -m venv venv #创建 Python 虚拟环境 source venv/bin/activate #激活虚拟环境 pip3 install torch #安装 PyTorch pip3 install -r requirements.txt #安装其他依赖
根据以上步骤,你已经可以在本地搭建好一个运行 FLUX 的环境了!当然,想要使用的话,在安装完 ai-toolkit 后,你还需要一些操作,以下是本地通过 Gradio UI 进行训练的步骤:
该 UI 会让你上传图片,给图片添加标题,并训练和发布你的 LoRA 图像模型。更多的本机配置方法及细节,可以参考官方 Github 的文档。
https://github.com/ostris/ai-toolkit
那么本期的内容就是这么多,感兴趣的小伙伴欢迎体验!