利用AI把2D图片转换为3D - 附带colab地址

弗吉尼亚理工大学开源了一个图片转换为3D视频的项目,算法会根据模型训练出被遮挡的元素,同时提供了4种效果的输出。先看官方的输出示例:

算法会根据你提供的图片来生成3D视频。

环境要求

  • Linux (测试环境为 Ubuntu 18.04.4 LTS)
  • Anaconda
  • Python 3.7 (测试版本为 3.7.4)
  • PyTorch 1.4.0 (测试版本为 1.4.0 for execution)
  • 以及Python依赖

首先初始化项目:

1
2
3
4
conda create -n 3DP python=3.7 anaconda
conda activate 3DP
pip install -r requirements.txt
conda install pytorch==1.4.0 torchvision==0.5.0 cudatoolkit==10.1.243 -c pytorch

然后使用提供的脚本来下载模型:

1
2
chmod +x download.sh
./download.sh

运行

详细参数可以查看文档

  1. 把需要训练的jpg格式图片放到image文件夹中

  2. 然后运行:

    根据配置的不同所需要的时间也不同,配置较低的话请耐心等待。

    1
    python main.py --config argument.yml
  3. 最后生成的结果会输出为video/图片名_效果.mp4

如果想要修改默认配置可以查看文档并修改argument.yml配置文件。

  • 我的测试图片:

测试图片

  • 输出的结果:

Colaboratory

如果不想在自己的机器上搭建,或没有趁(我)手(是)的(个)兵(穷)器(B)就可以使用谷歌的Colab来运行。Colab是什么在这就不多说了,直接上地址:

图片转3D.ipynb

GitHub备份

我在在笔记里都写了注释,全部傻瓜式下一步就行了。

LICENSE

MIT许可

源项目论文:

1
2
3
4
5
6
@inproceedings{Shih3DP20,
author = {Shih, Meng-Li and Su, Shih-Yang and Kopf, Johannes and Huang, Jia-Bin},
title = {3D Photography using Context-aware Layered Depth Inpainting},
booktitle = {IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
year = {2020}
}
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×