AI一键『视频插帧』工具（Interpolation tool by CS）
<i class="pstatus"> 本帖最后由 1179593516 于 2022-5-12 16:26 编辑 </i><br /><div class="parsedown-markdown"><h1 id="42595263_ai视频插帧-附带『视频插帧』工具">AI视频插帧 附带『视频插帧』工具</h1>
<p><code>视频插帧工具来啦！</code><br />
<strong>下载</strong>链接在最下面。</p>
<h1 id="42595263_前言">前言</h1>
<blockquote>
<ul>
<li>继视频抠图工具以来，本人又考虑制作一款视频插帧的工具，最近一直在改各种问题（头都大了- <em> -），还好该来的终于来了(^ </em> ^)。现在自媒体越来越流行，很多人都开始自己做个小视频玩玩，各大视频平台也都开放了高刷视频功能。这次的灵感也就来源于之前搜了一搜目前视频插帧的工具和方法，要么下载各种乱七八糟的软件，要么就是折腾好一阵效果还是差强人意，总之很麻烦还浪费时间。于是还是想弄个几键就开始处理的，不需要配置太多就能用的工具。</li>
</ul>
</blockquote>
<p>所以，我就搜集了一下目前插帧常用的方法，基本都是基于光流法，网上一搜基本都是用SVP4的视频渲染软件，把视频提到60帧，但是这个下载和配置太麻烦了，而且仅仅也就60帧，再想提高就得掏money了。<br />
之前看过一篇《Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video Interpolation》论文。于是想在其基础上优化一下，弄个轻量一点的模型。奈何效果还是有限，电脑跑了好久模型，处理速度还是太慢了。由于本人电脑用的nvidia显卡cuda加速，可能目前还有大部分电脑只能用cpu处理，所以速度太慢了。如果有人仅需处理一小段视频的话，可以下载用一用。</p>
<p><code>提示：工具缺点就是处理速度较慢，还有一些功能后续再完善。</code><br />
<html ><hr> </html></p>
<h1 id="42595263_一、视频插帧效果">一、视频插帧效果</h1>
<p>最终实现：<strong>帧数翻倍</strong>。<br />
效果：在每帧图片较为清晰的情况下，效果还是可以的。但是是在图像较为模糊、两段视频转场时，效果还是差强人意。</p>
<h2 id="42595263_1.效果">1.效果</h2>
<p>运动一般较为模糊，也是受影响较大的部分，由于原始视频帧就比较模糊，所以仅仅是提升了高刷新率的模糊帧，但是观感还是更舒服了一点，如果原始视频质量高的话，效果就会更好。</p>
<p></p>
<p><center><b><font size ='3'>1.1 原始30fps</font></b></center></font></p>
<p></p>
<p><center><b><font size ='3'>1.2 120fps</font></b></center></font></p>
<blockquote>
<p>总结：相较于其他方法，使用较为简便，但是由于每个人电脑配置不同，移植到不同设备上可能会有不同的bug，如果能用GPU加速的就用，如果不能用GPU的，我就不太建议视频插帧了，因为处理速度太慢了。目前视频插帧的普遍问题就是处理速度，这个受硬件限制太大了。但是你电脑不支持GPU加速也想尝试一下的话，我也加入了取消勾选GPU的按键，利用cpu来处理，但仅供娱乐了。<br />
<html ><hr> </html></p>
</blockquote>
<h1 id="42595263_二、采用的方法">二、采用的方法</h1>
<p>
<ignore_js_op>
<div class="tip tip_4 aimg_tip" id="aimg_2520617_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>屏幕截图 2022-05-02 165045.png</strong> <em class="xg1">(240.23 KB, 下载次数: 0)</em></p>
<p>
<a href="https://www.52pojie.cn/forum.php?mod=attachment&aid=MjUyMDYxN3wyMzM1NjliYnwxNjUyNTYxOTk5fDB8MTYzMzU1Nw%3D%3D¬humb=yes" target="_blank">下载附件</a>
</p>
<p class="xg1 y">2022-5-9 12:51 上传</p>
</div>
<div class="tip_horn"></div>
</div>
</ignore_js_op>
</p>
<p> 作者原代码同样为pytorch环境上训练的类Unet结构模型。根据生成的双向光流与伪标签构建的无监督模型，这里供上人家的[文章]。对于这个模型，本人对其进行轻量化改进，引入MobileNet的可分离卷积，使得处理速度与模型大小稍有改进，但还是有限。<br />
训练所使用的数据集使用了adobe240fps，对其进行了处理。采用的损失包括了：重建损失（lr）、感知损失（lp）、平滑损失（ls）和wrap损失。对于可用GPU的cuda加速的情况，我对模型数据采用半精度来提升处理速度，模型结构也稍作改变。但还是胳膊拧不过大腿，对于这种图像生成的模型，需要消耗比较多的时间。<br />
由于基于torch框架，其所占空间较大，所以这次的工具占的空间也就较大。<br />
<html ><hr> </html></p>
<h1 id="42595263_三、使用步骤">三、使用步骤</h1>
<h4 id="42595263_判断gpu是否可用">判断GPU是否可用</h4>
<pre><code class="c">如何判断电脑是否支持GPU cuda加速:
1.首先是nvidia品牌，且cuda版本>=10.2，安装好显卡驱动。
2.其次可通过按下win+R组合键，打开cmd命令窗口。输入nvidia-smi命令，查看CUDA Version版本。
如果CUDA Version<=10.2,尝试更新显卡驱动，看看显卡是否支持更高版本的cuda。</code></pre>
<p><strong>直接打开Interpolation tool by CS.exe</strong>，选择安装位置进行安装，并生成桌面快捷方式，然后可以直接打开。</p>
<p><strong>1.Data选择</strong></p>
<ul>
<li><em>Input Dir</em>：选择所需处理的视频；
<ul>
<li><em>Output Dir</em>：选择保存位置文件夹；</li>
</ul></li>
</ul>
<p><strong>2.Advance设置</strong></p>
<ul>
<li><em>GPU</em>：选择是否使用GPU。默认勾选，（如果运行时报错，可尝试判断自身显卡是否支持cuda10.2版本以上加速，若支持可尝试更新显卡驱动提升cuda版本；若不支持就取消勾选，采用cpu处理，但是速度非常慢）；</li>
<li><em>BatchSize</em>：选择批处理大小。一般太大会爆显存或内存，自己尝试找到适合自己电脑的最大值（一般不超过5）；</li>
<li><em>ScaleRate</em>：帧率提升的倍数。一般30帧视频可以选择设置为3倍，提升至90帧（帧数提升倍数越多，处理时间也会跟着翻倍，所以超过120帧就没必要了）；</li>
</ul>
<p>
<ignore_js_op>
<div class="tip tip_4 aimg_tip" id="aimg_2520618_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>ui.png</strong> <em class="xg1">(354.98 KB, 下载次数: 0)</em></p>
<p>
<a href="https://www.52pojie.cn/forum.php?mod=attachment&aid=MjUyMDYxOHxkY2VkNzk5ZHwxNjUyNTYxOTk5fDB8MTYzMzU1Nw%3D%3D¬humb=yes" target="_blank">下载附件</a>
</p>
<p class="xg1 y">2022-5-9 12:52 上传</p>
</div>
<div class="tip_horn"></div>
</div>
</ignore_js_op>
</p>
<p><center><b><font size ='3'>主界面</font></b></center></font></p>
<p><strong>3.Start Run</strong></p>
<ul>
<li>点击<em>Run</em>按钮开始处理，可通过命令行窗口查看当前处理进度（注意处理时不要关闭这个窗口）。</li>
<li>如果不想处理了，可以点击<em>Stop</em>按钮结束处理进程。</li>
</ul>
<p>最终输出为output(+audio).mp4视频。<br />
<html ><hr> </html></p>
<p><strong>4.错误提示的解决</strong><br />
<strong>错误一：</strong></p>
<blockquote>
<p>不支持显卡GPU cuda加速。 根据上面的方法：判断GPU是否可用，来自行判断。如果不支持GPU，则取消勾选GPU按钮再尝试重新运行。</p>
</blockquote>
<p>
<ignore_js_op>
<div class="tip tip_4 aimg_tip" id="aimg_2520619_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>1.png</strong> <em class="xg1">(32.88 KB, 下载次数: 0)</em></p>
<p>
<a href="https://www.52pojie.cn/forum.php?mod=attachment&aid=MjUyMDYxOXxkYzZhMzQ5OXwxNjUyNTYxOTk5fDB8MTYzMzU1Nw%3D%3D¬humb=yes" target="_blank">下载附件</a>
</p>
<p class="xg1 y">2022-5-9 12:53 上传</p>
</div>
<div class="tip_horn"></div>
</div>
</ignore_js_op>
</p>
<p><center><b><font size ='3'>错误一</font></b></center></font></p>
<p><strong>错误二：</strong></p>
<blockquote>
<p>BatchSize设置太大了，爆显存、内存了，尝试调小。如果调到2还是爆内存，那就是电脑配置不行了。</p>
</blockquote>
<p>
<ignore_js_op>
<div class="tip tip_4 aimg_tip" id="aimg_2520621_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>2.png</strong> <em class="xg1">(34.29 KB, 下载次数: 0)</em></p>
<p>
<a href="https://www.52pojie.cn/forum.php?mod=attachment&aid=MjUyMDYyMXw0NWM1MDdmYXwxNjUyNTYxOTk5fDB8MTYzMzU1Nw%3D%3D¬humb=yes" target="_blank">下载附件</a>
</p>
<p class="xg1 y">2022-5-9 12:54 上传</p>
</div>
<div class="tip_horn"></div>
</div>
</ignore_js_op>
</p>
<p>
<ignore_js_op>
<div class="tip tip_4 aimg_tip" id="aimg_2520622_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>3.png</strong> <em class="xg1">(464.04 KB, 下载次数: 0)</em></p>
<p>
<a href="https://www.52pojie.cn/forum.php?mod=attachment&aid=MjUyMDYyMnw0YmJmOGQwN3wxNjUyNTYxOTk5fDB8MTYzMzU1Nw%3D%3D¬humb=yes" target="_blank">下载附件</a>
</p>
<p class="xg1 y">2022-5-9 12:54 上传</p>
</div>
<div class="tip_horn"></div>
</div>
</ignore_js_op>
</p>
<p><center><b><font size ='3'>错误二</font></b></center></font></p>
<p><strong>错误三：</strong></p>
<blockquote>
<p><em>Input Dir</em>、<em>Output Dir</em> 输入、输出路径没有选择。</p>
</blockquote>
<p>
<ignore_js_op>
<div class="tip tip_4 aimg_tip" id="aimg_2520623_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>4.png</strong> <em class="xg1">(21.51 KB, 下载次数: 0)</em></p>
<p>
<a href="https://www.52pojie.cn/forum.php?mod=attachment&aid=MjUyMDYyM3w5MGNhMmM1MnwxNjUyNTYxOTk5fDB8MTYzMzU1Nw%3D%3D¬humb=yes" target="_blank">下载附件</a>
</p>
<p class="xg1 y">2022-5-9 12:55 上传</p>
</div>
<div class="tip_horn"></div>
</div>
</ignore_js_op>
</p>
<p><center><b><font size ='3'>错误三</font></b></center></font></p>
<p><strong>成功运行：</strong></p>
<blockquote>
<p>分别显示的是：<em>完成百分比</em>、<em>已运行时间</em>、<em>预计剩余时间</em>。</p>
</blockquote>
<p>
<ignore_js_op>
<div class="tip tip_4 aimg_tip" id="aimg_2520624_menu" style="position: absolute; display: none" disautofocus="true">
<div class="xs0">
<p><strong>5.png</strong> <em class="xg1">(14.84 KB, 下载次数: 0)</em></p>
<p>
<a href="https://www.52pojie.cn/forum.php?mod=attachment&aid=MjUyMDYyNHw0ZjBmMGU1MHwxNjUyNTYxOTk5fDB8MTYzMzU1Nw%3D%3D¬humb=yes" target="_blank">下载附件</a>
</p>
<p class="xg1 y">2022-5-9 12:55 上传</p>
</div>
<div class="tip_horn"></div>
</div>
</ignore_js_op>
</p>
<p><center><b><font size ='3'>成功运行</font></b></center></font></p>
<h1 id="42595263_总结">总结</h1>
<p><a rel="nofollow noopener" href="https://pan.baidu.com/s/1WaKJpSJE_B1iT_oiddRhyw?pwd=1210">百度网盘</a>获取，提取码：1210<br />
[阿里云盘](<font face="-apple-system, BlinkMacSystemFont, Roboto, &quot"><font style="font-size:16px"><a href="https://www.aliyundrive.com/s/3efay9GonUa</font></font></font>)获取，提取码：<font face="-apple-system, BlinkMacSystemFont, Roboto, &quot"><font style="font-size:16px">oz47</font></font></font></p>
<p>目前bug较多，处理速度和效果有限，硬件依赖大，仅供娱乐。<br />
<code>制作不易，主界面有个小彩蛋，可以打赏一下呦，感激不尽!</code><br />
<code>如果大家喜欢的话，后面可以考虑再出个增强图片、视频分辨率的工具，让你的人像与场景更加清晰！</code><br />
<code>投稿投累了</code></p></div>
<div class="parsedown-markdown-end_FLAG_ZXSQ" style="display:none"></div> <div class="quote"><blockquote><font size="2"><a href="https://www.52pojie.cn/forum.php?mod=redirect&goto=findpost&pid=42624343&ptid=1633557" target="_blank"><font color="#999999">1qaz 发表于 2022-5-11 22:19</font></a></font><br />
支持楼主，制作不易，这个功能纯支持。这个插帧与视频转换软件改变帧率有不一样？<br />
要是有时间能把抠图那个 ...</blockquote></div><br />
谢谢支持！ <i class="pstatus"> 本帖最后由 1qaz 于 2022-5-11 22:25 编辑 </i><br />
<br />
支持楼主，制作不易，这个功能纯支持。这个插帧与视频转换软件改变帧率有不一样？<br />
要是有时间能把抠图那个功能再加强就更好了。 这是torch项目吗 这个功能感觉还不错 感谢分享，下载试用一下！！ 这个win7的系统用不了吧 感谢楼主分享，用了楼主之前的视频抠图蛮不错 感谢楼主无私分享原创作品，造福广大网友，<img src="https://www.52pojie.org/static/image/smiley/default/42.gif" smilieid="921" border="0" alt="" /> 感谢分享，期待继续更新
页:
[1]
2