低闪烁视频风格转换|Rerender_A_Video
目前最新最好用的视频风格转换技术,效果相比于其它免费开源技术来讲,已经算是顶尖的了,Rerender_A_Video对于人物、动物、场景等风格转换效果都是比较可观的。
项目仓库
GitHub:williamyang1991/Rerender_A_Video
前置条件
本项目需要至少24GB英伟达显存才可以正常运行,因站长的硬件条件并不达标,所以租用了腾讯云GPU算力服务器。
本教程根据Ubuntu系统的GPU云服务器所部署,该项目支持Windows,你可以根据本教程参考Windows的安装,原理大同小异。
云服务器
关于云服务器,站长使用腾讯云的GPU云服务器,速度快,操作简单,内置各服务器的专用显卡驱动,使用比较简单。【点击前往】
因为最低显存要求是24GB
的英伟达
显卡,所以我们选择NVIDIA V100 GPU
即可,这是目前相对来说最划算的套餐了。
值得注意的是,在你点击立即购买
按钮之后,在地域选择这里一定要选择国外的节点,不要选择国内的。因为国内服务器无法直连Github
和Huggingface
,这种网络问题会导致你走很多弯路,站长就是因为一开始选择了国内地区,很多东西无法自动下载,又重新买了韩国首尔的。
其它选项保持默认即可,然后等待服务器自动配置一段时间,大概一两分钟左右,你就可以在控制台
看到刚刚买的服务器啦。
如果你不知道控制台在哪里,那么可以【点击这里】查看你的控制台。
在这里可以显示公网IP
和内网IP
,公网IP就是你可以在当前正在使用的电脑访问该云服务器,这很重要,这是我们唯一可以与其互动的媒介。至于什么是内网IP呢?其实就是局域网,我们用不到。
我们要做的第一件事就是重置密码,输入一个你记得住的密码,账号默认是ubuntu,不建议更改,与无法更改。
重置密码之后,点击登录
按钮,然后你将会看到如下界面,我们直接选择免密登录
。
登录之后,你将会看到一个空白的,只可以输入命令的界面,这不太友好,毕竟有界面才方便我们操作。
所以,我们需要安装一个可视化的界面,关于如何安装,请查看下面这篇教学文章。
环境部署
说了这么多,我们终于可以开始部署本项目啦。
在JupyterLab
中,我们新建标签页
,然后选择终端
。
输入如下命令,自动拉取Rerender_A_Video
库至服务器
内。
git clone git@github.com:williamyang1991/Rerender_A_Video.git --recursive
拉取完成后执行如下命令,进入刚刚拉取的目录。
cd Rerender_A_Video
执行下面的命令行,创建Conda虚拟环境
。(这一步骤可能需要十几二十分钟,请耐心等待。)
conda env create -f environment.yml
执行如下命令,激活刚刚创建的Conda环境。
conda activate rerender
执行如下命令,将会自动下载需要的模型至相应的目录内,模型共计十几个G左右,请耐心等待。
python install.py
模型下载
除了上面的模型之外,我们还需要下载两个额外的模型。
官方下载
https://civitai.com/models/7371/rev-animated?modelVersionId=19575
在你的电脑内下载该模型,然后重命名为revAnimated_v11.safetensors
,将其上传
至/Rerender_A_Video/models/
目录下。
https://civitai.com/models/4201?modelVersionId=29460
在你的电脑内下载该模型,然后重命名为realisticVisionV20_v20.safetensors
,将其上传
至/Rerender_A_Video/models/
目录下。
该模型有些特殊,有4个版本,要选择第2个进行下载,不然无法正常运行。
网盘下载
关于此项目的模型,本站已为您下载并整理好。如果你不方便通过官网下载,可以使用本站所提供的网盘下载地址。
模型安装
在您下载完成模型之后,将模型移动至项目根目录下的model
文件夹下即可。
运行方式
在以后每次运行该项目时,只需要先激活我们刚刚所创建的Conda虚拟Python环境,然后运行启动文件即可。
conda activate rerender
执行如下代码,进入项目目录。
cd ~/Rerender_A_Video/
执行如下代码,运行程序的UI界面。
python webUI.py
执行完成后,你将会得到一串网址http://0.0.0.0:7860
,我们将其中的0.0.0.0
替换为自己的公网IP
,然后在浏览器中打开http://你的公网:7860
就可以访问WebUI
界面啦。
(base) ubuntu@VM-0-16-ubuntu:~$ conda env list # conda environments: # base * /home/ubuntu/miniconda3 JupyterLab /home/ubuntu/miniconda3/envs/JupyterLab rerender /home/ubuntu/miniconda3/envs/rerender c(base) ubuntu@VM-0-16-ubuntu:~$ conda activate rerender (rerender) ubuntu@VM-0-16-ubuntu:~$ cd ~/Rerender_A_Video/ (rerender) ubuntu@VM-0-16-ubuntu:~/Rerender_A_Video$ python webUI.py /home/ubuntu/miniconda3/envs/rerender/lib/python3.8/site-packages/torchvision/io/image.py:13: UserWarning: Failed to load image Python extension: libtorch_cuda_cu.so: cannot open shared object file: No such file or directory warn(f"Failed to load image Python extension: {e}") logging improved. Running on local URL: http://0.0.0.0:7860 To create a public link, set `share=True` in `launch()`.
以下是打开后的网页界面,站长简单的翻译了一下。
使用教程
是不是感觉参数太多了?太过于复杂?其实没有那么离谱,你只需要在最下面选择CG格式的美女
预设,然后上传
自己的视频
,填写你写要生成的内容提示词
,点击仅渲染第一帧
按钮,然后将会在右侧出现一个第一帧的预览。你如果觉得效果还不错,那就点击全部运行
按钮,如果不满意那就修改参
数或者Prompt
,最后点击全部运行
按钮。
使用方法和AI绘画的SD差不多,站长这里偷个懒,就不一一写参数的作用了。
生成后的视频最终会存在放在result
目录内,打开就可以看到视频,也可以下载到本地,非常方便。
效果示例
官方案例
经过测试,官方给出的素材生成视频风格转换的效果非常好。
自定义素材
如果你选择自己上传素材,那么效果可能并不是特别理解,可以看下面的内容。
背景会有较为明显的闪烁问题,经过站长的反复测试,发现两个问题。
尽量选择镜头是固定的视频进行转换,如果是手持镜头拍摄,那么背景大概率会闪烁。
还有就是人物动的幅度不要太大太快,否则关键帧之间的衔接会有问题。
总结
这一篇教程憋了好几天,租了两个高配云服务器,心里在滴血啊。
而且安装配置过程也不顺利,期间报错无数,不过总算是墨迹完了。
AI的发展速度,真的非常非常快!感觉年底任意视频无闪烁转换风格就可以很简单。
评论 (0)