DAIN-APP 应用程序

这是基于DAIN源代码开发的视频插值应用DAIN-App的源码。 DAIN GIT项目

目录

1. 介绍
2. 引用
3. 要求与依赖项
4. 安装
5. 使用界面运行应用程序
6. 使用命令行运行应用程序
7. 慢动作生成
8. 训练新模型
9. Google Colab 演示

介绍

DAIN-App带有用户界面和命令行脚本，帮助新手在几乎不修改代码的情况下开始使用。您还可以从构建部分获取Windows二进制文件。

可以从这些YouTube视频中查看一些结果： 将动画转换为60FPS。 将精灵艺术转换为60FPS。 将定格动画转换为60FPS。 将动漫P1转为60FPS。 将动漫P2转为60FPS。

引用

如果您在研究中发现代码和数据集有用，请引用：

@article{Dain-App,
    title={Dain-App: 视频插值的应用},
    author={Gabriel Poetsch},
    year={2020}
}
@inproceedings{DAIN,
    author    = {Bao, Wenbo and Lai, Wei-Sheng and Ma, Chao and Zhang, Xiaoyun and Gao, Zhiyong and Yang, Ming-Hsuan}, 
    title     = {深度感知视频帧插值},
    booktitle = {IEEE 计算机视觉和模式识别会议},
    year      = {2019}
}
@article{MEMC-Net,
    title={MEMC-Net：视频插值和增强的运动估计和运动补偿驱动的神经网络},
    author={Bao, Wenbo and Lai, Wei-Sheng, and Zhang, Xiaoyun and Gao, Zhiyong and Yang, Ming-Hsuan},
    journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
    doi={10.1109/TPAMI.2019.2941941},
    year={2018}
}	

要求与依赖项

• numba=0.51.2
• numpy=1.19.2
• opencv-python=4.4.0.46
• pillow=8.0.1
• pyqt5=5.15.1
• python=3.8.5
• scikit-learn=0.23.2
• scipy=1.5.4
• torch=1.7.0+cu110
• torchvision=0.8.1+cu110
• tqdm=4.51.0
• ffmpeg

安装

如果您使用Linux，最好使用conda环境。已测试requirements.txt中的环境在Ubuntu 18.04和Arch Linux上运行良好。

conda create --name DAIN-APP --file requirements.txt
conda activate DAIN-APP
pip install 'opencv-contrib-python==4.4.0.46'

提示：

• 使用pip安装pyqt5可能导致崩溃问题。如果遇到以下错误：

  QObject::moveToThread: 当前线程（0x55c1b72bc630）不是对象的线程（0x55c1b72f1eb0）。
  无法移动到目标线程（0x55c1b72bc630）
  

尝试通过conda来安装pyqt。

pip uninstall pyqt5
pip uninstall pyqt5-sip
conda install pyqt

查看Colab代码：

然后，在DAIN-App目录下运行以下脚本来编译其余模块。有关详细信息，请参阅DAIN README 文档的“安装”部分。

$ ./build-app.sh

使用界面运行应用程序

$ python my_design.py

# 或者运行脚本自动初始化conda并启动GUI
$ ./GUI.sh

使用命令行运行应用程序

要查看CLI的所有命令，可以使用以下代码：

python my_design.py -cli -h

一个有效代码的例子：

python  my_design.py -cli --input "gif/example.gif" -o "example_folder/" -on "interpolated.gif" -m "model_weights/best.pth" -fh 3 --interpolations 2 --depth_awarenes 0 --loop 0 -p 0 --alpha 0 --check_scene_change 10 --png_compress 0 --crf 1 --pixel_upscale_downscale_before 1 --pixel_downscale_upscale_after 1 --pixel_upscale_after 1 --mute_ffmpeg 1 --split_size_x -1 --split_size_y -1 --split_pad 150 --half 0 --step_extract 1 --step_interpolate 1 --batch_size 1 --use_benchmark 0 --force_flow 1 --smooth_flow 0 --downscale -1 --fast_mode 0

训练新模型

目前DAIN-App的训练代码存在故障，若要训练新模型，请使用DAIN GitHub仓库并导入模型至DAIN-App。

Google Colab 演示

联系

Gabriel Poetsch

许可证

请参阅MIT 许可证