コンピュータビジョン

底本: 原田達也(2017)「画像認識」講談社.

資料

• https://news.mynavi.jp/series/computer_vision
• https://www.slideshare.net/hironobufujiyoshi/miru2013sift
• http://www.mi.t.u-tokyo.ac.jp/harada/lectures/IIT/internal/04_detector_descriptor_20160511.pdf
• http://szeliski.org/Book/drafts/SzeliskiBook_20100903_draft.pdf
• https://whitewell.sakura.ne.jp/OpenCV/py_tutorials/py_tutorials.html

データ

• http://www.robots.ox.ac.uk/%7Evgg/data/data-aff.html
• 以下を試すのに必要な画像(Figs.zip): https://whitewell.sakura.ne.jp/ComputerVision/Figs.zip

画像認識の分類

• 画像認識の分類： 物体認識(object recognition), シーン認識(scene recognition), 画像アノテーション(image annotation), 物体検出(object detection)

• 物体認識の分類: インスタンス認識(instance recognition), クラス認識(class recognition)

• 物体検出: セマンティック・セグメンテーション(semantic segmentation), インスタンス・セグメンテーション(instance segmentation)

• 画像認識の応用: 類似画像検索(similar image search), 画像キャプション生成(image caption generation), 同画像認識(video recogntion), 画像生成(image generation)

クラス認識の手順

1. サンプリング(sampling): 入力画像における代表点(特徴点、キーポイント)の抽出。特徴点の検出には検出器(detector)が用いられる
2. 局所記述(local description): 画像パッチ(image patch, 特徴点の周りの局所領域)の特徴量を記述
3. 統計的特徴抽出(statistical feature extraction): 確率統計的な構造に基づいて局所特徴を処理（ノイズ除去など）
4. コーディング(coding): 局所特徴を認識に役立つ特徴ベクトルに変換
5. プーリング(pooling): 特徴ベクトル群をひとつのベクトルにまとめる操作
6. 分類(classification): 画像特徴ベクトルをクラスに割り振る操作

インスタンス認識の手順

1. 特徴点検出と記述: 画像から局所特徴群を抽出。幾何学的不変性をもつ局所特徴が使われる
2. 画像特徴の計算とインデックス化:
3. ルックアップテーブルへの登録：インデックスと画像を対応付けたルックアップテーブルを構築し、画像データベースを作成
4. クエリ画像のインスタンス認識: (1)インデックス化、(2)インデックスに対応する候補画像群の抽出、(3)幾何学的一貫性の検証

物体検出の手順

1. 物体領域候補の抽出: 画像から物体領域の候補を抽出. スライディングウィンドゥ法(sliding window method)が有名
2. 物体領域候補の物体認識: クラス認識手法を適用
3. 検出領域の絞り込み: 検出領域の重なりが大きな検出領域群からスコアの非最大値領域を候補から外すなどの処理

基礎知識：幾何変換

https://whitewell.sakura.ne.jp/ComputerVision/Transformation.html

空間フィルタ

https://whitewell.sakura.ne.jp/ComputerVision/SpatialFilter.html (Notebook: https://whitewell.sakura.ne.jp/ComputerVision/SpatialFilter.ipynb)

エッジ検出器

https://whitewell.sakura.ne.jp/ComputerVision/EdgeDetector.html (Notebook: https://whitewell.sakura.ne.jp/ComputerVision/EdgeDetector.ipynb)

コーナー検出器

https://whitewell.sakura.ne.jp/ComputerVision/CornerDetection.html (Notebook: https://whitewell.sakura.ne.jp/ComputerVision/CornerDetection.ipynb)

頑健な検出器：スケール不変性、回転不変性

https://whitewell.sakura.ne.jp/ComputerVision/RobustDetector.html (Notebook: https://whitewell.sakura.ne.jp/ComputerVision/RobustDetector.ipynb)

特徴量記述子¶

https://whitewell.sakura.ne.jp/ComputerVision/KeypointDescription.html (Notebook: https://whitewell.sakura.ne.jp/ComputerVision/KeypointDescription.ipynb)

検出器と記述子の組み合わせ

https://whitewell.sakura.ne.jp/ComputerVision/DetectorDescriptor.html (Notebook: https://whitewell.sakura.ne.jp/ComputerVision/DetectorDescriptor.ipynb)

特徴に基づく位置合わせ

https://whitewell.sakura.ne.jp/ComputerVision/FeatureBasedAlignment.html

応用

• 特徴量マッチング: パノラマ画像の作成、物体検出、物体追跡でもちいられる技術

https://whitewell.sakura.ne.jp/ComputerVision/FeatureMatching.html (Notebook: https://whitewell.sakura.ne.jp/ComputerVision/FeatureMatching.ipynb)

• パノラマ画像の作成

https://news.mynavi.jp/photo/article/computer_vision-27/images/012l.jpg

https://whitewell.sakura.ne.jp/ComputerVision/AutoStitching.html (Notebook: https://whitewell.sakura.ne.jp/ComputerVision/AutoStitching.ipynb)

• 画像検索

https://whitewell.sakura.ne.jp/ComputerVision/ImageSearch.html (Notebook: https://whitewell.sakura.ne.jp/ComputerVision/ImageSearch.ipynb)

• 名刺を読み込み文字化する

https://whitewell.sakura.ne.jp/ComputerVision/OCR.html (Notebook: https://whitewell.sakura.ne.jp/ComputerVision/OCR.ipynb )

いくつかの特徴量検出器の比較

https://whitewell.sakura.ne.jp/ComputerVision/FeatureExtractorComparison.html (Notebook: https://whitewell.sakura.ne.jp/ComputerVision/FeatureExtractorComparison.ipynb)