Shi-Tomasiのコーナー検出とトラッキング(追跡)に向いた特徴

目的

このチュートリアルでは,

  • Harrisの方法とは別のコーナー検出法 Shi-Tomasiのコーナー検出を学ぶ.
  • 次の関数の使い方を学ぶ: cv2.goodFeaturesToTrack()

理論

前のチュートリアルではHarrisのコーナー検出を学んだ.その後1994年にJ. Shi & C. Tomasiが Good Features to Track(物体追跡によい特徴)という論文で改善案を提案した。そしてこれはHarrisのコーナー検出の結果よりも良い結果を示すものであった.

Harrisのコーナー検出の評価関数の定義は以下であった:

R = \lambda_1 \lambda_2 - k(\lambda_1+\lambda_2)^2

Shi-Tomasiのコーナー検出ではこの関数の代わりに以下を使う:

R = min(\lambda_1, \lambda_2)

このRの値が閾値より大きければコーナーとみなす.Harrisのコーナー検出と同様に \lambda_1 - \lambda_2 空間でのRの値をプロットすると,以下の図のようになる:

Shi-Tomasi Corner Space

この図から, \lambda_1\lambda_2 の値が最小値 \lambda_{min} 以上の時だけ,コーナー(緑色の領域)とみなされる.

コード

OpenCVでは cv2.goodFeaturesToTrack(image, maxCorners, qualityLevel, minDistance[, corners[, mask[, blockSize[, useHarrisDetector[, k]]]]]) という関数で実装されている.Shi-Tomasiの手法(指定次第ではHarrisのコーナー検出も使える)によって画像中にスコアが高い順にN個のコーナーを検出する.普通はimage引数にグレースケール画像1枚を入力として指定し,検出するコーナーの個数(maxCorners)を指定する.次に,検出するコーナーの質レベル(qualityLevel)を0から1の間の値で指定する(この値未満のものはコーナーとして採用されない).最後に、2つのコーナー間のユークリッド距離の最小値(miniDistance)を与える.

これらの全情報によって,この関数は画像中のコーナー検出を行う.スコアが質レベルより低いコーナー候補はみな取り除かれる.スコアを基に残ったコーナーを降順でソートし,最もスコアの大きいコーナーから順にその周囲の最小のユークリッド距離以内のコーナーを取り除くことを繰り返し,最終的にN個のコーナーを返す.

次の例は25個のコーナーを見つける(コード画像):

import numpy as np
import cv2
from matplotlib import pyplot as plt

img = cv2.imread('simple.jpg')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

corners = cv2.goodFeaturesToTrack(gray,25,0.01,10)
corners = np.int0(corners)

for i in corners:
    x,y = i.ravel()
    cv2.circle(img,(x,y),3,255,-1)

plt.imshow(img),plt.show()

See the result below:

Shi-Tomasi Corners

この関数はコーナー検出よりも物体追跡に向いている.これについては後で解説する.

補足資料

Shi, J. & Tomasi, C. (1994) Good Features to Track. IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94). pp.593 - 600.

課題