11 KiB
Real-ESRGAN
English | 中文
- Real-ESRGAN的Colab Demo
.
- 支持Intel/AMD/Nvidia显卡的绿色版exe文件: Windows版 / Linux版 / macOS版,详情请移步这里。
Real-ESRGAN的目标是成为一个通用实用的图像修复算法 我们在强大的ESRGAN的基础上完全使用人工合成的数据来进行训练,以让其能被应用于图片修复的使用场景(顾名思义:Real-ESRGAN)。
🎨 Real-ESRGAN需要,也很欢迎你的贡献,如新功能、模型、错误修复、建议、维护等等。详情可以查看CONTRIBUTING.md,所有的贡献者都会被列在此处。
❓ 大部分的问题你都能在FAQ.md中找到答案
🚩 更新
- ✅ 添加了 RealESRGAN_x4plus_anime_6B.pth,对二次元照片进行了优化,并减少了model的大小。详情以及与waifu2x的对比请查看anime_model.md
- ✅ 支持用户细调自己的数据组:详情
- ✅ 通过GFPGAN增强了人脸的画面
- :white_check_mar: 通过Gradio添加了UI并加入了Huggingface Spaces(一个机器学习应用的在线平台):Gradio在线版。感谢@AK391
- ✅ 现在支持任意比例的缩放了:
--outscale(可以用LANCZOS4来更进一步调整输出图像的尺寸)。添加了RealESRGAN_x2plus.pth模型 - ✅ 这个推断程序支持: 1) 倾斜相关选项; 2) 带alpha通道的图像; 3) 灰色图像; 4) 16-bit图像.
- ✅ 训练模型的代码已经提交了,具体的做法可以查看这里:Training.md。
如果本项目帮到了你的照片或项目,麻烦给本项目一个star,或者推荐给你的朋友们,谢谢!😊
其他相关的项目:
▶️ GFPGAN: 一个对人脸进行还原的算法
▶️ BasicSR: 开源的图像和视频的还原工具
▶️ facexlib: 一套提供与人脸相关的工具集
▶️ HandyView: 基于PyQt5的照片查看器,方便查看以及比较
📖 Real-ESRGAN: 使用人工合成数据训练的超分辨率算法
[论文] [项目] [演示]
Xintao Wang, Liangbin Xie, Chao Dong, Ying Shan
应用科学中心 (ARC), 腾讯PCG
中国科学院 深圳先进技术研究院
我们提供了一套训练好的模型(RealESRGAN_x4plus.pth),可以进行4倍的超分辨率。
现在Real-ESRGAN还是有几率失败的,因为现实生活的降分辨率还是比较难的。
而且本项目对人脸以及文字之类的效果还不是太好,但是我们会持续进行优化的。
目前计划中Real-ESRGAN将会被长期支持,我会在空闲的时间中持续维护更新。
这些是未来计划好的几个新功能:
- 优化人脸
- 优化文字
- 优化动画图像
- 支持更多的超分辨率比
- 更多可控制选项
如果你有好主意或需求,欢迎在issue或discussion中提出。
如果你有一些Real-ESRGAN中有问题的照片,你也可以在issue或者discussion中发上来。我会留意(但是不一定能解决:stuck_out_tongue:)。如果有必要的话,我还会专门开一页来记录那些有待解决的有问题的图像,但是以现在的技术来说还是有点难。
绿色版可执行文件
你可以下载支持Intel/AMD/Nvidia显卡的绿色版exe文件: Windows版 / Linux版 / macOS版。
绿色版指的是这些exe你直接放U盘里拷走都没问题。因为里面已经有所需的文件和模型了。不需要CUDA或者PyTorch运行环境。
你可以通过这行指令来运行(Windows版本,更多信息请查看对应版本的README.md):
./realesrgan-ncnn-vulkan.exe -i 输入图像.jpg -o 输出图像.png
我们提供这三种模型:
- realesrgan-x4plus(默认)
- reaesrnet-x4plus
- realesrgan-x4plus-anime(针对动画图像,有更小的体积)
你可以通过-n参数来使用其他模型,例如./realesrgan-ncnn-vulkan.exe -i 二次元图片.jpg -o 二刺螈图片.png -n realesrgan-x4plus-anime
由于这些exe文件会把图像分成几个板块,然后来分别进行处理,再合成导出,输出的图像可能会有一点割裂感(而且可能跟PyTorch的输出不太一样)
这些exe文件均基于Tencent/ncnn以及nihui的realsr-ncnn-vulkan
🔧 依赖以及安装
- Python >= 3.7 (推荐使用Anaconda或Miniconda)
- PyTorch >= 1.7
安装
-
把项目克隆到本地
git clone https://github.com/xinntao/Real-ESRGAN.git cd Real-ESRGAN -
安装各种依赖
# 安装basicsr - https://github.com/xinntao/BasicSR # 我们使用BasicSR来训练以及推断 pip install basicsr # facexlib和gfpgan是用来增强面部表现的 pip install facexlib pip install gfpgan pip install -r requirements.txt python setup.py develop
⚡ 快速上手
普通图片
下载我们训练好的模型: RealESRGAN_x4plus.pth
wget https://github.com/xinntao/Real-ESRGAN/releases/download/v0.1.0/RealESRGAN_x4plus.pth -P experiments/pretrained_models
推断!
python inference_realesrgan.py --model_path experiments/pretrained_models/RealESRGAN_x4plus.pth --input inputs --face_enhance
结果在results文件夹
动画图片
训练好的模型: RealESRGAN_x4plus_anime_6B
有关waifu2x的更多信息和对比在anime_model.md中
# 下载模型
wget https://github.com/xinntao/Real-ESRGAN/releases/download/v0.2.2.4/RealESRGAN_x4plus_anime_6B.pth -P experiments/pretrained_models
# 推断
python inference_realesrgan.py --model_path experiments/pretrained_models/RealESRGAN_x4plus_anime_6B.pth --input inputs
结果在results文件夹
🏰 各种模型
- RealESRGAN_x4plus
- RealESRGAN_x4plus_netD
- RealESRGAN_x4plus_anime_6B
- RealESRGAN_x4plus_anime_6B_netD
- RealESRNet_x4plus
- RealESRGAN_x2plus
- RealESRGAN_x2plus_netD
- official ESRGAN_x4
💻 训练并优化你的数据
这里有一份详细的指南:Training.md.
BibTeX
@Article{wang2021realesrgan,
title={Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data},
author={Xintao Wang and Liangbin Xie and Chao Dong and Ying Shan},
journal={arXiv:2107.10833},
year={2021}
}
📧 联系我们
如果你有任何问题,请通过xintao.wang@outlook.com或xintaowang@tencent.com联系我们。

