要約: Neural Style Transfer via Meta Networks
http://openaccess.thecvf.com/content_cvpr_2018/papers/Shen_Neural_Style_Transfer_CVPR_2018_paper.pdf
Style Transferに取り組んだ研究
Style転移の元とする画像を入力として、Style転移用のNeural Networkの重みを出力させるようなNeural Networkを学習させて用いるといった枠組みを提案
この論文で目指すこと
Style Transferのための手法としてはGatysらのもの(CVPR2016, https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Gatys_Image_Style_Transfer_CVPR_2016_paper.pdf)が有名である。これはConvolutional Neural Networkの中間層における1次、2次統計量がStyle画像とContent画像で一致するようにContent画像を誤差逆伝播でIterativeに更新していく手法である。 この手法はそれらしい結果が得られる一方で、画像を誤差逆伝播でIterativeに更新していくためStyle Transferに時間がかかるという問題点がある。
一方でJohnsonらの手法(ECCV2016, https://arxiv.org/abs/1603.08155)は、Style画像ごとにStyle転移用のNeural Networkを学習させることで新規のContent画像に対して高速にStyleを転移させることを可能としているが、Style画像ごとにモデルを学習させる必要があり新規のStyle画像に対して対応するのが手間である。
そこでこの論文では新規のStyle画像、Content画像のペアに対してReal-timeにStyle Transferを行う手法の構築を目指す。
- なお、これを実現している手法としてすでにHuangらの手法(ICCV2017, https://arxiv.org/abs/1703.06868)があるものの、提案手法とはアプローチが異なる
手法
Style Transferで最も重要なのはStyle画像のStyleをContent画像に写す関数をどう定義するかである。 この論文ではStyle変換器としてNeural Networkを用いるが、そのNetworkのパラメータを用意するためにStyle画像を入力としてStyle変換器のパラメータを直接出力するようなモデルを学習させて用いる。
具体的なアルゴリズムは以下の通り。Style画像をMeta Networkに出力してパラメータwを計算して、そのwによって定義されるStyle変換器N(・; w)を用いて画像を変換し、変換後の画像について損失関数を計算してモデル学習に使う。
実験結果
ある程度それらしい結果が得られている。
感想
Style Transferのための枠組みとしてはICCV2017のHuangらの手法の方がよりフレキシブルに使えて良いのではないかとは思う。
しかしながら、Neural Networkの重みを吐き出させるNeural Networkを学習させるような枠組みが(少なくともこのタスクでは)上手くいくということを示しているという点でこの論文は極めて衝撃的である。
