- A+
领500g书库,关注公众号:程叫兽的宝藏 (长按可复制!)
热门下载区==>点此链接进入<<<
目录(点击切换)
扫上面二维码获取原文
Stable Diffusion 生成数字人视频实操教程,解锁流量密码
大家好,我是小辉
AI
教练,最近这几天一直在研究
SD
生成视频的方法,尝试了很多方案,踩了很多坑,最终还是研究明白了。
今天就给大家分享一下
SD
生成数字人的方法,市面上很多教程都是基于 Windows 的,因为依赖的 Ebsynth 目前还无法运行在 Linux 上,为此我还租了青椒云的服务器,烧了几十块还是生成不了,最后总结发现 Windows 不是必须的,我们可以离线处理 Ebsynth 任务。
用 Temporal-kit 生成的时候也遇到了很多坑,最终还是卡在了最后一步,报错了,无法生成,所以放弃了这种方案。
Ps: 视频教程和资料包放最后了,觉得给力的圈友一键三连给个鼓励!
先来看下生成的效果
如果是做成这种视频,流量密码不就打开了么
目前用 Stable Diffusion 生成数字人视频的方法有几种:
第一种方法是:
用 Roop 插件换脸,原理就是用 Roof 批量重绘视频的每一帧,但是只重绘脸部,这种方法的优点就是比较快,因为重绘的幅度比较小,缺点也很明显,就是重绘的脸看起来不自然
第二种方法是:
用 Temporal-kit 提取关键帧 + Ebsynth 补帧的方法,这种方法的原理就是设先从视频中每隔 m 秒提取出 1 个关键帧,然后就生成了一个视频的关键帧序列,然后用
SD
的图生图重绘关键帧,然后再用 Ebsynth 把关键帧之间的序列补充完整,最后拼成一个完整的视频,这种方法的好处就是只需要重绘一些关键帧,大大减少了 SD 的工作量,所以生成的很快,缺点就是整个画面都会重绘,包括背景,所以看起来会有点闪烁,不过也有些需要这种效果的场景
第三种方法是:
用 Ebsynth Utility 提取关键帧 + 生成图片蒙版 + Ebsynth 补帧的方法,这种方法的原理跟第二种差不多,但是会用蒙版固定住背景,只让
SD
重绘任务的部分,所以视频画面就很流畅,也可以保留原视频的大部分内容。
今天就讲一下后面两种方法的实操步骤,主要还是讲第三种,因为第二种我卡在了最后一步没有合成,还有就是 Temporal-kit 需要把
SD
版本降低 1.4.1,不然会报错。首先你需要准备好用的 Ebsynth 软件,这个是只能在 Windows 和
Mac
下运行的,所以你有 Windows 的炼丹炉更好,没有也没关系,后面教你如何离线生成。然后我这里重绘图片的
大模型
用到了麦橘写实 majicmixRealistic_betterV2V25.safetensors,和 koreaface15:1 这个
lora
模型,资料都打包放网盘了,觉得给力的圈友来个一键三连。
既然我们是依赖 Ebsynth 生成的视频,那么首先介绍一下 Ebsynth 的原理,不想看的同学可以跳过,不影响操作
Ebsynth Utility 生成视频实操步骤:
首先说下视频生成流程,方便大家理解,画了个流程图
第一步:环境准备
ffmpeg 安装
Linux 就直接安装
apt update
apt install ffmepg
Windows 下载程序后,需要添加
环境变量

| 生成 | Ebsynth |
| Ebsynth | Windows |
| 生成 | 视频 |
| 关键帧 | 这种 |
| 关键帧 | 视频 |

