低闪烁视频风格转换|Rerender A Video

目前最新最好用的视频风格转换技术,效果相比于其它免费开源技术来讲,已经算是顶尖的了,Rerender_A_Video对于人物、动物、场景等风格转换效果都是比较可观的。

低闪烁视频风格转换|Rerender_A_Video

目前最新最好用的视频风格转换技术,效果相比于其它免费开源技术来讲,已经算是顶尖的了,Rerender_A_Video对于人物、动物、场景等风格转换效果都是比较可观的。

项目仓库

GitHub:williamyang1991/Rerender_A_Video

前置条件

本项目需要至少24GB英伟达显存才可以正常运行,因站长的硬件条件并不达标,所以租用了腾讯云GPU算力服务器。

本教程根据Ubuntu系统的GPU云服务器所部署,该项目支持Windows,你可以根据本教程参考Windows的安装,原理大同小异。

云服务器

关于云服务器,站长使用腾讯云的GPU云服务器,速度快,操作简单,内置各服务器的专用显卡驱动,使用比较简单。【点击前往

低闪烁视频风格转换|Rerender A Video

因为最低显存要求是24GB英伟达显卡,所以我们选择NVIDIA V100 GPU即可,这是目前相对来说最划算的套餐了。

值得注意的是,在你点击立即购买按钮之后,在地域选择这里一定要选择国外的节点,不要选择国内的。因为国内服务器无法直连GithubHuggingface,这种网络问题会导致你走很多弯路,站长就是因为一开始选择了国内地区,很多东西无法自动下载,又重新买了韩国首尔的。

低闪烁视频风格转换|Rerender A Video

其它选项保持默认即可,然后等待服务器自动配置一段时间,大概一两分钟左右,你就可以在控制台看到刚刚买的服务器啦。

如果你不知道控制台在哪里,那么可以【点击这里】查看你的控制台。

低闪烁视频风格转换|Rerender A Video

在这里可以显示公网IP内网IP,公网IP就是你可以在当前正在使用的电脑访问该云服务器,这很重要,这是我们唯一可以与其互动的媒介。至于什么是内网IP呢?其实就是局域网,我们用不到。

我们要做的第一件事就是重置密码,输入一个你记得住的密码,账号默认是ubuntu,不建议更改,与无法更改。

低闪烁视频风格转换|Rerender A Video

重置密码之后,点击登录按钮,然后你将会看到如下界面,我们直接选择免密登录

低闪烁视频风格转换|Rerender A Video

登录之后,你将会看到一个空白的,只可以输入命令的界面,这不太友好,毕竟有界面才方便我们操作。

所以,我们需要安装一个可视化的界面,关于如何安装,请查看下面这篇教学文章。

环境部署

说了这么多,我们终于可以开始部署本项目啦。

JupyterLab中,我们新建标签页,然后选择终端

低闪烁视频风格转换|Rerender A Video

输入如下命令,自动拉取Rerender_A_Video库至服务器内。

git clone git@github.com:williamyang1991/Rerender_A_Video.git --recursive

拉取完成后执行如下命令,进入刚刚拉取的目录。

cd Rerender_A_Video

执行下面的命令行,创建Conda虚拟环境。(这一步骤可能需要十几二十分钟,请耐心等待。)

conda env create -f environment.yml

执行如下命令,激活刚刚创建的Conda环境。

conda activate rerender

执行如下命令,将会自动下载需要的模型至相应的目录内,模型共计十几个G左右,请耐心等待。

python install.py

模型下载

除了上面的模型之外,我们还需要下载两个额外的模型。

官方下载

https://civitai.com/models/7371/rev-animated?modelVersionId=19575

在你的电脑内下载该模型,然后重命名为revAnimated_v11.safetensors,将其上传/Rerender_A_Video/models/目录下。

https://civitai.com/models/4201?modelVersionId=29460

在你的电脑内下载该模型,然后重命名为realisticVisionV20_v20.safetensors,将其上传/Rerender_A_Video/models/目录下。

该模型有些特殊,有4个版本,要选择第2个进行下载,不然无法正常运行。

低闪烁视频风格转换|Rerender A Video

网盘下载

关于此项目的模型,本站已为您下载并整理好。如果你不方便通过官网下载,可以使用本站所提供的网盘下载地址。

realisticVisionV20_v20

提取密码 解压密码 文件大小 5.28GB 文件格式 safetensors 资源价格 免费 下载次数 0

realisticVisionV20_v20

提取密码 解压密码 文件大小 5.28GB 文件格式 safetensors 资源价格 免费 下载次数 0

模型安装

在您下载完成模型之后,将模型移动至项目根目录下的model文件夹下即可。

低闪烁视频风格转换|Rerender A Video

运行方式

在以后每次运行该项目时,只需要先激活我们刚刚所创建的Conda虚拟Python环境,然后运行启动文件即可。

conda activate rerender

执行如下代码,进入项目目录。

cd ~/Rerender_A_Video/

执行如下代码,运行程序的UI界面。

python webUI.py

执行完成后,你将会得到一串网址http://0.0.0.0:7860,我们将其中的0.0.0.0替换为自己的公网IP,然后在浏览器中打开http://你的公网:7860就可以访问WebUI界面啦。

(base) ubuntu@VM-0-16-ubuntu:~$ conda env list
# conda environments:
#
base                  *  /home/ubuntu/miniconda3
JupyterLab               /home/ubuntu/miniconda3/envs/JupyterLab
rerender                 /home/ubuntu/miniconda3/envs/rerender

c(base) ubuntu@VM-0-16-ubuntu:~$ conda activate rerender
(rerender) ubuntu@VM-0-16-ubuntu:~$ cd ~/Rerender_A_Video/
(rerender) ubuntu@VM-0-16-ubuntu:~/Rerender_A_Video$ python webUI.py
/home/ubuntu/miniconda3/envs/rerender/lib/python3.8/site-packages/torchvision/io/image.py:13: UserWarning: Failed to load image Python extension: libtorch_cuda_cu.so: cannot open shared object file: No such file or directory
  warn(f"Failed to load image Python extension: {e}")
logging improved.
Running on local URL:  http://0.0.0.0:7860

To create a public link, set `share=True` in `launch()`.

以下是打开后的网页界面,站长简单的翻译了一下。

低闪烁视频风格转换|Rerender A Video

使用教程

是不是感觉参数太多了?太过于复杂?其实没有那么离谱,你只需要在最下面选择CG格式的美女预设,然后上传自己的视频,填写你写要生成的内容提示词,点击仅渲染第一帧按钮,然后将会在右侧出现一个第一帧的预览。你如果觉得效果还不错,那就点击全部运行按钮,如果不满意那就修改参数或者Prompt,最后点击全部运行按钮。

使用方法和AI绘画的SD差不多,站长这里偷个懒,就不一一写参数的作用了。

生成后的视频最终会存在放在result目录内,打开就可以看到视频,也可以下载到本地,非常方便。

低闪烁视频风格转换|Rerender A Video

效果示例

官方案例

经过测试,官方给出的素材生成视频风格转换的效果非常好。

自定义素材

如果你选择自己上传素材,那么效果可能并不是特别理解,可以看下面的内容。

背景会有较为明显的闪烁问题,经过站长的反复测试,发现两个问题。

尽量选择镜头是固定的视频进行转换,如果是手持镜头拍摄,那么背景大概率会闪烁。

还有就是人物动的幅度不要太大太快,否则关键帧之间的衔接会有问题。

总结

这一篇教程憋了好几天,租了两个高配云服务器,心里在滴血啊。

而且安装配置过程也不顺利,期间报错无数,不过总算是墨迹完了。

AI的发展速度,真的非常非常快!感觉年底任意视频无闪烁转换风格就可以很简单。

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/rerender-a-video.html

(0)
上一篇 2023-09-28 15:11
下一篇 2023-09-30 02:19

相关推荐

  • CoDeF|无闪烁视频AI风格转换

    开源免费CoDeF视频风格转换项目最新非常火爆,但是国内并没有相关的技术教程,国外也没有!该项目可以让你快速将一个视频风格转换为另一个视频,配置过程又臭又长,如嫌麻烦,建议直接下载虚拟镜像,一键启动。

    2023-08-30
    062.3K
  • VToonify|图片视频动漫化

    VToonify是一个较为新颖且免费开源可生成高质量艺术肖像视频的框架,使用StyleGAN的中分辨率和高分辨率层来渲染艺术肖像,并使用编码器提取的多尺度内容特征来更好地保留帧细节。

    2023-04-03
    0287.1K

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

微信