大家好，今天继续给大家分享一下科技圈最近发生的那些事儿。

一、FluxMusic

在生活中，大大小小的事时常发生，你有没有设想过给自己的生活配个BGM？

例如，生活之余和家人朋友牌桌对拼时，会不会幻想“赌神”的音乐在你出牌时响起？在漆黑的夜里疾驰归家时，会不会突感中二，想象自己是「秋名山车神」，脑海里有《头文字D》的音乐在涌动？

那么，有没有可能有这样一款应用，可以根据你简单的一句话想法，帮你生成相应风格的音乐呢？

FluxMusic 是一项基于变换器扩展的音乐生成项目。专注于文本到音乐的生成。

FluxMusic 的原理基于校正流变换器（Rectified Flow Transformers），其核心是将文本描述转化为音乐的生成过程，主要分为以下几个步骤：

• 文本和音乐模态的结合：FluxMusic 利用预训练的文本编码器（如T5-XXL 和CLAP-L）提取文本的粗粒度和细粒度特征，将这些文本特征与音乐的mel谱图（mel-spectrogram）结合。粗粒度的文本信息用于调制生成过程，细粒度的文本特征与音乐补丁序列一起作为输入，用于音乐生成。
• 双流和单流结构：模型首先将文本和音乐数据输入双流模块，在此阶段，文本和音乐作为独立的模态进行处理，并通过注意力机制在两者之间交换信息。接着，模型进入单流阶段，文本流被移除，仅保留音乐流用于生成过程中的噪声预测。
• 潜在空间的噪声预测：模型在潜在的VAE空间中进行噪声预测，通过训练模型在从噪声到数据的转换路径中进行预测。校正流（Rectified Flow）方法使得数据和噪声之间沿着线性路径连接，从而提高生成效率和模型性能。
• 生成和重建：通过变换器和校正流模型的共同作用，生成潜在空间中的mel谱图，然后利用预训练的Hifi-GAN将生成的mel谱图还原为可听的音频。

光是想想，这个项目的潜能就超级大。

作为辅助工具，音乐家可以通过简单的文本描述快速生成符合需求的音乐片段，用于灵感激发或为特定项目（如影视、广告）提供背景音乐。或者，在心理健康应用中，用户可以根据自己的情绪状态或需求（如“需要平静的音乐来放松”）生成个性化的放松音乐。你甚至可以将这些几乎独一无二的音乐保存下来，比起寻求专业团队的帮助，这是不是一种性价比超高的“私人定制”呢？

作者团队提供了超多的训练集可供选择：

那么，如果给自己现在的生活配上一个 BGM，你会用哪一首歌呢？如果你始终无法找到能描述当下的音乐，不妨让 FluxMusic 帮你创作属于你的专属旋律吧！

项目地址：

https://github.com/feizc/fluxmusic

二、StoryMaker

StoryMaker 是一种个性化解决方案，它不仅保留了面部的一致性，还保留了多角色场景中的服装、发型和身体，从而有可能制作出由一系列图像组成的故事。

总的来说就是，提供几张饱含信息量的照片，StoryMaker 可以帮你构造出一个由这些图像组成的虚拟小故事。该项目基于变换器和扩散模型，通过利用多轮推理和特征一致性机制，确保生成的图像中的角色在不同场景和姿势下保持一致。

例如，仅仅给出一张照片，我们就可以让 StoryMaker 创造出照片中的人物在不同场景下的样子。

哈哈，或许平日里总是一丝不苟的人，在 StoryMaker 的创作下也有你没见过的一面呢！或者，我们有没有可能让两个本毫无关联的人，出现在同一个故事，或是同一张照片里呢？

当然，可以。只需要提供两张照片，项目便可以将两张照片中的人物进行关联，创造出一系列新照片。这下 CP 粉们狂喜了，平日里几乎毫无交流或接触的两个谁谁，在一起是什么样子？画面太美，我不敢看。还是交给 StoryMaker 自由发挥吧！

如果你对这个项目感兴趣，可以直接进入项目的主页看看教程。

项目地址：

https://github.com/RedAIGC/StoryMaker

三、LVCD

今天的最后一个项目 LVCD，是一种基于参考图像的线稿视频上色系统。

给出一个原色参考的静态图片，再给出视频图像的线稿，LVCD 会学习配色风格，直接生成效果超棒的新视频。例如，我们可以看到“再上色”版本的《幽灵公主》和《大鱼》。

怎么样，如果你看过原片，是不是觉得毫无违和感？仅仅和给出的参考图像做比较，生成视频的画风，已经和预期的原片风格差不多了。

项目通过参考帧，为线稿生成长时间、时序一致的动画视频。其中包含几个关键的模块：

• Sketch-guided ControlNet：这是一个用于引导生成的模块，结合了线稿和参考图像来为动画添加颜色。它通过对输入线稿进行特征提取，帮助模型生成符合线稿结构的图像。
• Reference Attention：这个模块用于将参考帧中的颜色信息传递给后续帧，特别适用于处理大幅度的动作。它通过全局注意力机制实现远距离的颜色匹配。
• Overlapped Blending Module：这个模块在视频段之间使用重叠帧来避免累积误差，确保长时间视频生成的一致性。
• Prev-Reference Attention：这个模块进一步加强了重叠帧之间的时序关联，确保生成帧在较远的时间点上依然能保持内容一致性。

依靠这个项目背后的技术，对于动漫工作者来说，是否可以大幅减轻工作量呢？提供线稿和风格参考图就可以生成一段效果不错的动画，如果能大规模应用，想必更多优秀的作品会更快面世。

不过这个项目目前还没有开源，可以期待一下。

项目地址：

https://luckyhzt.github.io/lvcd

好了，本期的内容就是这么多，我们下期再见。