Deep Image Prior まとめ

今週4本目も2018年話題になった論文を取り上げたいと思います。
今回も前処理関連なのですが、
なんとノイズ除去や画像の修復全般をどれでもできちゃうというすぐれものです。
とにかくすげー。

使用した論文
【 Deep Image Prior 】
Deep Image Prior

Deep Image Prior まとめ

何ができる?

  1. 超解像度
  2. 画像の修復
  3. ノイズ除去
  4. 画像の再構成

まあこれひとつでいろんなことができるようです。
そしてこの論文のベースの構造は、U-Netを使用しており、アップサンプリングとダウンサンプリングを使用しているよう。

Gitのリンクは下記
https://github.com/DmitryUlyanov/deep-image-prior

またデモをすぐ試したい方は、下記のリンクでオリギなる画像や、Deep Image Priorをブラウザ上で確認できるので、ぜひ試してみてください。
https://dmitryulyanov.github.io/deep_image_prior

流れ

1. 画像を用意
2. 画像を出力するネットワークを用意し、1を入力
3. 不完全な画像(=target画像)を用意→ノイズが入っている画像など
4. 2で出力される画像と3の画像の誤差関数を定義し、誤差伝播法によって小さくする
5. 4の過程でノイズ除去された画像が生成される
※参考にしたリンクのものをだいぶ使わしてもらってます。

下が自然画像(上記で言う2で作成した画像)
上がノイズの画像
見て分かる通り、自然画像のほうがはやく復元されている。
このスピードの差の間でノイズ除去がされてる感じなのかな?

わからなかったこと

なんか全般的に理解できていないような気がする。
そして一番重要な「どうやってノイズ除去されているのか」がわからなかった。
分かり次第追記します!!

今後もこの論文に関するニュースに気を配らせておこう。

参考にしたリンク集

http://tripdancer0916.hatenablog.com/entry/2018/01/13/Deep_Image_Prior
ChainerでDeep Image Priorをやってみた