IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    终于不用为GPU算力发愁了,FLUX LoRA训练一键启动!

    WinstonChen发表于 2024-09-19 07:12:17
    love 0

    FLUX 是一个开源的全新的图像生成器,可以生成逼真的超现实图像,人们称它为 Midjourney 的终结者,下一代 Stable Diffusion 的替代品。

    FLUX究竟强大到什么程度?外网到现在为止,都还有抵制它的声音。

    Google DeepMind 团队甚至在本月还发布了一篇研究人们如何滥用生成式 AI 的论文。令人震惊的是,所谓极具亲密性的图像、小黄片,这都不是首要的问题,真正危险的地方在于假冒他人身份。

    而这,正是 FLUX 非常擅长的地方。

    那么这篇文章将会带你手把手从零开始运行这个“危险”的 AI 工具,如何用自定义的数据集微调模型,训练想要的 Lora,并将结果转换成视频,生成你想要的内容。
    提前声明,建议显存大于 12GB,如果本地性能不足,可以使用云服务器直接体验。
    如果想本地搭建,可以见本文的第二部分。

    OpenBayes 训练

    那么,如果你的机器显存不足,我们可以直接白嫖 OpenBayes 云服务器的算力!能白嫖体验 4 小时 4090 。目前还有开学季特惠活动,单笔充值金额满 19.9 元就能参与中奖率 100% 的抽奖,以及充值返现活动。

    OpenBayes 支持环境一键克隆,用起来很方便,注册链接:

    https://openbayes.com/console/signup?r=JackCuiAI_R3mZ

    用这个链接注册,可以获得 4 小时 RTX 4090 + 5 小时 CPU 免费使用时长。

    首先注册好账号后,先完成实名认证,账号只有经过实名认证才能使用 API 地址功能。

    在官网的首页的侧边栏,点击公共教程:

    在公共教程里搜索 FLUX,选择支持 Lora 训练的这个,这是我为大家准备好的一键镜像。

    也可以直接使用下方的链接,打开项目:

    https://go.openbayes.com/cAPks

    点击克隆,选择算力,这里用默认的 4090 显卡就行,点击审核并执行。

    这里显示正在分配资源,就说明服务正在部署,我们稍等片刻。

    等待这里变成运行中,表明服务部署完成了。鼠标悬浮到API地址上,就可以看到地址了。

    打开这里的 API 地址,就能看到 FLUX 的服务了。打开 API,我们可以选择加载哪个工作流,如果想跑黑神话悟空的,那就选择 Wukong,然后点击添加提示词队列就能运行了。

    绿的框框代表运行到的位置,第一次运行会慢一些,因为需要加载模型,直到运行到最后一个节点,就能看到预览图像了。第二次运行会快很多,因为涉及到的模型已经加载到了显存中。

    TED 真人演讲工作流运行方法也一样。另外如果想要在图片中生成文本内容,可以参考 3mm4w 这个工作流。

    想要训练 Lora,在项目页面打开工作空间。

    在工作目录里找到train.sh这个文件。

    开启命令行窗口,使用sh train.sh运行文件。

    稍等片刻后,可以看到加载出的public URL,进入即可看到 FLUX Lora 的 WebUI 页面。

    我们还是以川普为例,先输入名字:

    上传十张他的图片,耐心等待一会。这里的图片尽量是人物的正脸照片,人脸比例最好大些,且分辨率要尽可能的高。等到页面变成这样,说明上传成功了。

    这里我们需要写每个图片对应的文本表述,比如穿着西装系着蓝色领带的帅气大男孩。注意,得用英文。如果嫌麻烦,这里也有 AI 能够一键生成描述。只需要点击一下,稍等片刻,每张图片对应的文本描述就做好了。

    对于 AI 描述不准确的地方,可以手动修改。

    最后,点击开始训练的按钮。再等待几分钟,就能看到这个训练的进度条,一共训练 1000 轮次,可以通过进度条查看现在训练到了第几轮。如果你使用的是 RTX4090,大概 40 分钟能够训练完一个 Lora 模型。

    当出现如图的字样时,说明训练完成了。

    此时在 ai-toolkit 目录下的 output 文件夹里能看到训练好的模型,在 samples 里还有生成的图片,这个效果不错的话,就表明模型训练完成了。

    训练好模型之后,我们关掉这个训练服务,释放 GPU 资源,要不然会一直占用显存,然后重启 ComfyUI,具体步骤:

    1、运行「Ctrl+C」停掉训练服务

    2、运行「sh copy.sh」命令

    3、运行「sh dependencies.sh」命令

    4、等待 1 分钟之后,重新打开 API 地址即可

    最后,在 LoRA 加载器里选择新训练好的模型,即可使用了:

    本文对应的视频教学:

    https://www.bilibili.com/video/BV1xSpKeVEeM

    FLUX LoRA 训练工具:

    https://github.com/ostris/ai-toolkit

    OpenBayes 平台专属注册链接:

    https://openbayes.com/console/signup?r=JackCuiAI_R3mZ

    本地搭建流程

    最后,讲解下本地搭建流程:

    环境要求:

    • Python,版本大于3.10
    • Nvidia GPU,显存大于 12GB
    • Python 虚拟环境(venv)
    • Git

    安装步骤

    如果你是Windows系统,可以参考以下流程:

    git clone https://github.com/ostris/ai-toolkit.git #克隆项目仓库
    cd ai-toolkit #进入项目目录
    git submodule update --init --recursive #更新并初始化子模块
    python -m venv venv #创建 Python 虚拟环境
    .\venv\Scripts\activate #激活虚拟环境
    pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 #安装 PyTorch(根据CUDA版本选择)
    pip install -r requirements.txt #安装其他依赖

    如果你是Linux系统,可以参考以下流程:

    git clone https://github.com/ostris/ai-toolkit.git #克隆项目仓库
    cd ai-toolkit #进入项目目录
    git submodule update --init --recursive #更新并初始化子模块
    python3 -m venv venv #创建 Python 虚拟环境
    source venv/bin/activate #激活虚拟环境
    pip3 install torch #安装 PyTorch
    pip3 install -r requirements.txt #安装其他依赖

    根据以上步骤,你已经可以在本地搭建好一个运行 FLUX 的环境了!当然,想要使用的话,在安装完 ai-toolkit 后,你还需要一些操作,以下是本地通过 Gradio UI 进行训练的步骤:

    • 进入项目目录 cd ai-toolkit。
    • 登录 Hugging Face,使用 write 权限的 Token huggingface-cli login
    • 启动自定义 UI 进行训练 python flux_train_ui.py

    该 UI 会让你上传图片,给图片添加标题,并训练和发布你的 LoRA 图像模型。更多的本机配置方法及细节,可以参考官方 Github 的文档。

    https://github.com/ostris/ai-toolkit

    那么本期的内容就是这么多,感兴趣的小伙伴欢迎体验!



沪ICP备19023445号-2号
友情链接