IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    LCM-LoRA跑图神器,让SD跑图速度提升一倍

    设计 达人发表于 2024-02-19 23:00:56
    love 0

    今个一起来看看最近一直比较流行的 LCM-LoRA 模型,只需要四个迭代步数就可以生成质量不错的图片,可以大大的加快Stable Diffusion跑图的效率!

    一、LCM-LoRA

    用LCM-LoRA跑图神器,让SD跑图速度提升一倍 潜在一致性模型 Latent Consistency Model (LCM) 在潜在扩散模型中应用了一致性模型Consistency Model(CM)相同的原理(CM 是一类新型扩散模型,经过训练可一步生成图像),从而实现极少的步数出图 一般情况需要为每一个大模型训练一个新的 LCM,非常不方便 而 LCM-LoRA 是使用一致性方法通过稳定扩散基础模型(v1.5 和 SDXL)训练的 LoRA 模型。 它可以与任何自定义检查点模型一起使用,将图像生成速度加快到仅需四个迭代步数。 也就是说 LCM-LoRA 和普通的 LoRA 使用方式一样,支持 v1.5 和 SDXL,且只需要4步即可出图

    二、下载

    想要支持 v1.5 和 SDXL,需要下载各自版本的 LoRA,考虑到大家的网络原因,大家可以直接回复 lora 获取网盘地址按需下载
    • v1.5: lcm-lora-sdv1-5.safetensors
    • SDXL: latent-lcm-lora-sdxl.safetensors
    下载完成后将 LoRA 放在 stable-diffusion-webui/models/Lora 中

    三 上手体验

    SD1.5 模型对比

    不使用 LCM-LoRA
    模型:majicMIX realistic v6提示词:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting采样方法:Euler尺寸:512x512步数:20CFG:7
    用LCM-LoRA跑图神器,让SD跑图速度提升一倍 因为分辨率只有512,且没有高清修复,质量一般般。 使用 LCM-LoRA
    模型:majicMIX realistic v6提示词:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting,<lora:LCM_LoRA_Weights_SD15_v1.0#2567_4104_4823@8f90d840e0:1>, // 替换成自己下载的 LoRA采样方法:Euler尺寸:512x512步数:4CFG:1.2
    需要注意的是,步数我们需要控制在 2~8 之间,CFG 在 1~2 之间。 用LCM-LoRA跑图神器,让SD跑图速度提升一倍 整体效果和不使用 LCM-LoRA 几乎没太大区别,但步数却只需要 4 步即可,但却只用了不到2s的时间

    SDXL 模型对比

    不使用 LCM-LoRA
    模型:sd base sdxl提示词:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting,采样方法:Euler尺寸:1024x1024步数:20CFG:7
    用LCM-LoRA跑图神器,让SD跑图速度提升一倍 SDXL 整体效果要比 SD1.5 要好上一些,但磨皮效果太明显了,在来看看加上 LCM-LoRA 之后的效果 使用 LCM-LoRA
    模型:sd base sdxl提示词:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting,<lora: LCM-LoRA for 基础模型升级版S-D-X-L_v1.0#lcm_xl@c3dbf7eb26:1>, // 替换成自己下载的 SDXL LoRA采样方法:Euler尺寸:1024x1024步数:4CFG:1.2
    用LCM-LoRA跑图神器,让SD跑图速度提升一倍 emmm...  怎么说,有点难评,LCM-LoRA 的细节反而比没有 LoRA 的 SD base 的图效果好。 目前来看 SDXL 上应用 LCM-LoRA 的效果和场景相对于 SD1.5 来说还有一些提高。

    四、参数对比

    迭代步数

    前面参数的配置主要设计到 迭代步数 和 CFG,官方建议的参数
    • 迭代步数:2~8
    • CFG:1~2
    我们通过 X/Y/Z 脚本来看看效果(使用 SD1.5 测试),在 CFG 在 1~2 之间 使用 Euler 采样方法,步数在4~10 之间效果都还是挺给力!为了追求性价比,出图质量也不错的情况下应该选择更少的步数 用LCM-LoRA跑图神器,让SD跑图速度提升一倍

    高清修复

    再来跑一张高清修复的对比。其它参数都不变的情况下,使用 Latent 方法算法。最后耗费的时间相差一倍多。使用 LCM-LoRA 只需要 3s ,不使用的情况则需要 7.5s 用LCM-LoRA跑图神器,让SD跑图速度提升一倍

    五 应用场景

    LCM-LoRA 的出现可以大大的降低我们跑图、试图的时间成本,同时能保证不错的质量,抽到我们想要的图之后,也可以拿到种子,再重新跑出高质量的图。 下面是一些常用的场景
    • X/Y/Z 跑图:平时我们需要测试各种参数时,都会使用 X/Y/Z 来跑图,使用 LCM-LoRA 极大的降低了花费的时间。上面我们跑的例子,生成了60张图,只需要了1.30分的时间.
    • 其它跑图:比如 AnimateDiff
    • 实时 Prompt:当我们想要测试提示词的影响时,需要出图的高实时性,那么 LCM-LoRA 也是能派上大用场
    • 实时绘画渲染:这个相信大家都知道,实时涂鸦,然后生成实时图片
    • 实时投影渲染:在进阶一些就是投影视频/摄像头进行渲染
    本文分享的 LCM-LoRA 模型就介绍到这里,如果你想要了解学习这些场景,可以留言哦~ 来源:AI绘图精选


    (ノ◕‿◕)ノ*:・゚✧ 查看最受欢迎 301 个设计网站 *:・゚✧ヽ(◕‿◕ヽ)

    UI设计QQ群 ¦ RSS订阅 ¦ 新浪微博 ¦ 本文链接 ¦ 添加评论


沪ICP备19023445号-2号
友情链接