IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    Disco Diffusion视频短片 + Prompt等参数测试

    Sonic发表于 2022-05-21 11:57:23
    love 0
    起初是这样一张图片,让我安静的看了许久。X海市民拍摄于这个国际都市的繁华区。之后有了上面这个视频的想法。
    下面讲一下这个Disco Diffusion作品的制作过程。
    主要讲几个方面:1. 制作步骤。2. 中间踩过的坑 3. 具体渲染参数
    工具如何运行起来就不说了,很多中英文教程。可以参考这里。其实非常简单,只提一句,对于多数人来最大的障碍是需要访问google。
    外面在突飞猛进,web3.0,AI,出去才能看到。想起曾经大清朝在工业革命技术大突破的时候盲目自大闭关锁国,慈禧太后老人家。。。跑题不说了。
    总之这东西很简单,在国外应该技术型的小学生就能玩起来。

    第一步,因为图像需要有这个城市的代表性。所以选择使用初始图像(init_image:)辅助prompt文字作为引导。
    起初选择了这张图。因为城市地平线最有代表性。但后来发现效果一般,主要构图太平了。
    跑出来,大致是这样。当然运行参数也做了几次调整。
    最终视频是选择了这样一张初始照片:
    运行参数:
    “A sorrowful 3D matte painting about a ruined, dystopian, post-apocalyptic, brutalist downtown with droids and robots in morning mist. Stormy clouds. Trending on Artstation.”
    step: 500
    clip_guidance_scale:5000
    range_scale: 400
    init_image:/content/SH1.png
    init_scale:500
    skip_steps:250
    sorrowful,是参照大多数渲染“a beautifu painting”做的修改。不太确定AI是否能正常理解。
    ruined, dystopian, post-apocalyptic, brutalist,是对画面风格的定义。使用夸张强烈的形容词效果会比较好。
    我之前测试过,用palace宫殿和majestic palace辉煌的宫殿做对比。加了辉煌,出来结果确实更辉煌。宫殿的外形更有冲击力。
    skip_step这里,值得做些测试。数字越小,跳过的步骤少,图像发挥的空间就大,但和原图的差异也更大。
    其他参数建议看一下说明手册。有人做过翻译,有中文的。
    跑出来结果是这样:
    后面一张,想表现劫后新生。使用了另外一个描述文字。引导图象也稍作修改。
    “A beautiful 3D matte painting about a ruined, dystopian, post-apocalyptic, brutalist forest in morning mist, from wide-angle lens. Stormy clouds. Trending on Artstation.”
    step: 500
    clip_guidance_scale:5000
    range_scale: 400
    init_image:/content/SH1.png
    init_scale:500
    skip_steps:220
    气氛:sorrowful 改成 beautiful,
    主体:downtown改成forest
    考虑到画面是远景,希望结果不是丛林细节,所以加了镜头位置描述from wide-angle lens。
    skip_steps:250改成220。变为丛林后,可以和原图有更大差距。
    其他不变。
    这样出来的结果也不是很理想。
    观察发现原图的蓝色主体色调和灯光与渲染目标“丛林”不相符。所以开始调整原图。
    1. 建筑区涂上些绿色(PS里新建图层,用大尺寸笔刷,柔和边缘随便科。然后图层模式选“颜色”)
    2. 天空加亮
    3. 整体看着太艳了,降低饱和度。
    出来的初始图象是这样。
    渲染出来效果:
    最后,用手机APP来做过渡渐变效果。


沪ICP备19023445号-2号
友情链接