Stable Diffusion 生成数字人视频实操教程,解锁流量密码_生成_视频

  • Stable Diffusion 生成数字人视频实操教程,解锁流量密码_生成_视频已关闭评论
  • A+
所属分类:生财干货

领500g书库,关注公众号:程叫兽的宝藏 (长按可复制!)

关注我

热门下载区==>点此链接进入<<<

扫上面二维码获取原文

Stable Diffusion 生成数字人视频实操教程,解锁流量密码

大家好,我是小辉

AI

教练,最近这几天一直在研究

SD

生成视频的方法,尝试了很多方案,踩了很多坑,最终还是研究明白了。

今天就给大家分享一下

SD

生成数字人的方法,市面上很多教程都是基于 Windows 的,因为依赖的 Ebsynth 目前还无法运行在 Linux 上,为此我还租了青椒云的服务器,烧了几十块还是生成不了,最后总结发现 Windows 不是必须的,我们可以离线处理 Ebsynth 任务。

用 Temporal-kit 生成的时候也遇到了很多坑,最终还是卡在了最后一步,报错了,无法生成,所以放弃了这种方案。

Ps: 视频教程和资料包放最后了,觉得给力的圈友一键三连给个鼓励!

先来看下生成的效果

如果是做成这种视频,流量密码不就打开了么

目前用 Stable Diffusion 生成数字人视频的方法有几种:

第一种方法是:

用 Roop 插件换脸,原理就是用 Roof 批量重绘视频的每一帧,但是只重绘脸部,这种方法的优点就是比较快,因为重绘的幅度比较小,缺点也很明显,就是重绘的脸看起来不自然

第二种方法是:

用 Temporal-kit 提取关键帧 + Ebsynth 补帧的方法,这种方法的原理就是设先从视频中每隔 m 秒提取出 1 个关键帧,然后就生成了一个视频的关键帧序列,然后用

SD

的图生图重绘关键帧,然后再用 Ebsynth 把关键帧之间的序列补充完整,最后拼成一个完整的视频,这种方法的好处就是只需要重绘一些关键帧,大大减少了 SD 的工作量,所以生成的很快,缺点就是整个画面都会重绘,包括背景,所以看起来会有点闪烁,不过也有些需要这种效果的场景

第三种方法是:

用 Ebsynth Utility 提取关键帧 + 生成图片蒙版 + Ebsynth 补帧的方法,这种方法的原理跟第二种差不多,但是会用蒙版固定住背景,只让

SD

重绘任务的部分,所以视频画面就很流畅,也可以保留原视频的大部分内容。

今天就讲一下后面两种方法的实操步骤,主要还是讲第三种,因为第二种我卡在了最后一步没有合成,还有就是 Temporal-kit 需要把

SD

版本降低 1.4.1,不然会报错。首先你需要准备好用的 Ebsynth 软件,这个是只能在 Windows 和

Mac

下运行的,所以你有 Windows 的炼丹炉更好,没有也没关系,后面教你如何离线生成。然后我这里重绘图片的

大模型

用到了麦橘写实 majicmixRealistic_betterV2V25.safetensors,和 koreaface15:1 这个

lora

模型,资料都打包放网盘了,觉得给力的圈友来个一键三连。

既然我们是依赖 Ebsynth 生成的视频,那么首先介绍一下 Ebsynth 的原理,不想看的同学可以跳过,不影响操作

Ebsynth Utility 生成视频实操步骤:

首先说下视频生成流程,方便大家理解,画了个流程图

第一步:环境准备

ffmpeg 安装

Linux 就直接安装

apt update

apt install ffmepg

Windows 下载程序后,需要添加

环境变量

Stable Diffusion 生成数字人视频实操教程,解锁流量密码_生成_视频

生成 Ebsynth
Ebsynth Windows
生成 视频
关键帧 这种
关键帧 视频