山本駿太朗の卒業研究への道

履歴

• 3月26日:論文調査
• 3月5日:情報追加
• 2月5日:作成

2019年3月26日版

2019年3月 5日版

• U-Net
  • 画像の領域検出によく使用されるネットワーク, Encoder-Decoderを基本とするが、畳み込まれた画像を decode する際に，encode で使った情報を活用している。 そのため精度の高い、ピクセル単位での分類が可能
  • U-Net: Convolutional Networks for Biomedical Image Segmentation: UNI Freiburg, Fac. of Engineering. (2015)
  • IMACEL Academy(2018) U-Net：セグメンテーションに特化したネットワーク
• pix2pix
  • 任意の画像を入力して、それを何らかの形で加工して出力する条件付きのGAN
    色推定や地図生成、画像生成などが可能
  • 関連研究: 薄田和泉 (2018) 深層学習による背景自動着色. 東京工科大学コンピュータサイエンス学部2018年度卒業論文
    実際にpix2pixで色付けしている。入力画像は人の輪郭のみの画像, pix2pix以外にもStack GANというものも使って色付けしている

  ---

  2019年2月5日版

  • 題目:
    画像のカラー化
  • 目的:
    カラー画像と、それを白黒にした画像を対にしてコンピューターに大量に学習させ、白黒画像をカラー画像として再現するノウハウの実現、精度の向上
  • 動機:
    カラー写真が実現された前の時代の白黒写真をカラー化することによって、人が身につけている物など、時代の変化が見えてくると思ったから
  • 新規性:
    応用研究や理論的研究も急速に進んでおり、今後の発展に大いに期待されている
  • 予想される困難:
    風景などの色付けでは良好な結果を出してくれるが、車や人の衣服などの人工物では何色でも正解となってしまうのでセピア色を選択してしまうという傾向があること
  • 関連研究:
    1. 薄田和泉 (2018) 深層学習による背景自動着色. 東京工科大学コンピュータサイエンス学部2018年度卒業論文.
    2. 古澤知英,廣芝和之,大垣慶介,小田桐優理 (2017) 色彩特徴を入力に用いた畳み込みニューラルネットワークによる 漫画の自動彩色. DEIM Forum 2017( 第9回データ工学と情報マネジメントに関するフォーラム) B3-4.
  • 資料:
    1. Shinya Yuki (2017) はじめてのGAN
    2. Yusuke Ujitoko (2017)pix2pixで白黒動画に色をつけてみる
    3. 飯塚・シモセラ・石川(2016)ディープネットワークを用いた大域特徴と局所特徴の学習による 白黒写真の自動色付け SIGGRAPH 2016
    4. DWANGO (2018) nico-opendata
    5. pekatuu (2016) pix2pixでフレーム補完
    6. Zhang, R., Isola, P., & Efros, A. A. (2016) Colorful Image Colorization. ECCV 2016. (関連研究もここから)
  • 道具、準備、学習
    • GANへの理解を深める
    • CNNへの理解を深める
    • カラー化するにあたって複数の技術があるので何を使用するか決める
  • 研究計画
    1. 春休み期間
       CNNの復習、GAN(pix2pixなど）の勉強
    2. 春学期
       GANを使用したカラー化を実現するシステムの実装
    3. 夏休み期間
       所持している漫画などから白黒画像を色付けしてみる
    4. 秋学期
       モデルの評価、GAN以外の方法でもカラー化を実現し比較
  • 評価方法:
    • 漫画などの人物であると、色つけした画像と実際を画像を比較してみる
    • もしも2つの方法でカラー化ができたとしたら、この2つを比較してみる
  • 波及効果:
    • 白黒が主流である漫画は、コストがかかってしまうことによって白黒になってしまうのでGAN技術の発展によって低コストでのカラー化の実装
    • 画像だけでなく、白黒映像のカラー化の発展