← Back to branch summary

~paparazzi-uav/paparazzi/v5.0-manual

« back to all changes in this revision

Viewing changes to sw/ext/opencv_bebop/opencv/doc/py_tutorials/py_video/py_meanshift/py_meanshift.markdown

  • Committer: Paparazzi buildbot
  • Date: 2016-05-18 15:00:29 UTC
  • Revision ID: felix.ruess+docbot@gmail.com-20160518150029-e8lgzi5kvb4p7un9
Manual import commit 4b8bbb730080dac23cf816b98908dacfabe2a8ec from v5.0 branch.

Show diffs side-by-side

added added

removed removed

Lines of Context:
sw/ext/opencv_bebop/opencv/doc/py_tutorials/py_video/py_meanshift/py_meanshift.markdown
 
1
Meanshift and Camshift {#tutorial_py_meanshift}
 
2
======================
 
3
 
 
4
Goal
 
5
----
 
6
 
 
7
In this chapter,
 
8
 
 
9
-   We will learn about Meanshift and Camshift algorithms to find and track objects in videos.
 
10
 
 
11
Meanshift
 
12
---------
 
13
 
 
14
The intuition behind the meanshift is simple. Consider you have a set of points. (It can be a pixel
 
15
distribution like histogram backprojection). You are given a small window ( may be a circle) and you
 
16
have to move that window to the area of maximum pixel density (or maximum number of points). It is
 
17
illustrated in the simple image given below:
 
18
 
 
19
![image](images/meanshift_basics.jpg)
 
20
 
 
21
The initial window is shown in blue circle with the name "C1". Its original center is marked in blue
 
22
rectangle, named "C1_o". But if you find the centroid of the points inside that window, you will
 
23
get the point "C1_r" (marked in small blue circle) which is the real centroid of window. Surely
 
24
they don't match. So move your window such that circle of the new window matches with previous
 
25
centroid. Again find the new centroid. Most probably, it won't match. So move it again, and continue
 
26
the iterations such that center of window and its centroid falls on the same location (or with a
 
27
small desired error). So finally what you obtain is a window with maximum pixel distribution. It is
 
28
marked with green circle, named "C2". As you can see in image, it has maximum number of points. The
 
29
whole process is demonstrated on a static image below:
 
30
 
 
31
![image](images/meanshift_face.gif)
 
32
 
 
33
So we normally pass the histogram backprojected image and initial target location. When the object
 
34
moves, obviously the movement is reflected in histogram backprojected image. As a result, meanshift
 
35
algorithm moves our window to the new location with maximum density.
 
36
 
 
37
### Meanshift in OpenCV
 
38
 
 
39
To use meanshift in OpenCV, first we need to setup the target, find its histogram so that we can
 
40
backproject the target on each frame for calculation of meanshift. We also need to provide initial
 
41
location of window. For histogram, only Hue is considered here. Also, to avoid false values due to
 
42
low light, low light values are discarded using **cv2.inRange()** function.
 
43
@code{.py}
 
44
import numpy as np
 
45
import cv2
 
46
 
 
47
cap = cv2.VideoCapture('slow.flv')
 
48
 
 
49
# take first frame of the video
 
50
ret,frame = cap.read()
 
51
 
 
52
# setup initial location of window
 
53
r,h,c,w = 250,90,400,125  # simply hardcoded the values
 
54
track_window = (c,r,w,h)
 
55
 
 
56
# set up the ROI for tracking
 
57
roi = frame[r:r+h, c:c+w]
 
58
hsv_roi =  cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
 
59
mask = cv2.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
 
60
roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
 
61
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)
 
62
 
 
63
# Setup the termination criteria, either 10 iteration or move by atleast 1 pt
 
64
term_crit = ( cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1 )
 
65
 
 
66
while(1):
 
67
    ret ,frame = cap.read()
 
68
 
 
69
    if ret == True:
 
70
        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
 
71
        dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)
 
72
 
 
73
        # apply meanshift to get the new location
 
74
        ret, track_window = cv2.meanShift(dst, track_window, term_crit)
 
75
 
 
76
        # Draw it on image
 
77
        x,y,w,h = track_window
 
78
        img2 = cv2.rectangle(frame, (x,y), (x+w,y+h), 255,2)
 
79
        cv2.imshow('img2',img2)
 
80
 
 
81
        k = cv2.waitKey(60) & 0xff
 
82
        if k == 27:
 
83
            break
 
84
        else:
 
85
            cv2.imwrite(chr(k)+".jpg",img2)
 
86
 
 
87
    else:
 
88
        break
 
89
 
 
90
cv2.destroyAllWindows()
 
91
cap.release()
 
92
@endcode
 
93
Three frames in a video I used is given below:
 
94
 
 
95
![image](images/meanshift_result.jpg)
 
96
 
 
97
Camshift
 
98
--------
 
99
 
 
100
Did you closely watch the last result? There is a problem. Our window always has the same size when
 
101
car is farther away and it is very close to camera. That is not good. We need to adapt the window
 
102
size with size and rotation of the target. Once again, the solution came from "OpenCV Labs" and it
 
103
is called CAMshift (Continuously Adaptive Meanshift) published by Gary Bradsky in his paper
 
104
"Computer Vision Face Tracking for Use in a Perceptual User Interface" in 1988.
 
105
 
 
106
It applies meanshift first. Once meanshift converges, it updates the size of the window as,
 
107
\f$s = 2 \times \sqrt{\frac{M_{00}}{256}}\f$. It also calculates the orientation of best fitting ellipse
 
108
to it. Again it applies the meanshift with new scaled search window and previous window location.
 
109
The process is continued until required accuracy is met.
 
110
 
 
111
![image](images/camshift_face.gif)
 
112
 
 
113
### Camshift in OpenCV
 
114
 
 
115
It is almost same as meanshift, but it returns a rotated rectangle (that is our result) and box
 
116
parameters (used to be passed as search window in next iteration). See the code below:
 
117
@code{.py}
 
118
import numpy as np
 
119
import cv2
 
120
 
 
121
cap = cv2.VideoCapture('slow.flv')
 
122
 
 
123
# take first frame of the video
 
124
ret,frame = cap.read()
 
125
 
 
126
# setup initial location of window
 
127
r,h,c,w = 250,90,400,125  # simply hardcoded the values
 
128
track_window = (c,r,w,h)
 
129
 
 
130
# set up the ROI for tracking
 
131
roi = frame[r:r+h, c:c+w]
 
132
hsv_roi =  cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
 
133
mask = cv2.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
 
134
roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
 
135
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)
 
136
 
 
137
# Setup the termination criteria, either 10 iteration or move by atleast 1 pt
 
138
term_crit = ( cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1 )
 
139
 
 
140
while(1):
 
141
    ret ,frame = cap.read()
 
142
 
 
143
    if ret == True:
 
144
        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
 
145
        dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)
 
146
 
 
147
        # apply meanshift to get the new location
 
148
        ret, track_window = cv2.CamShift(dst, track_window, term_crit)
 
149
 
 
150
        # Draw it on image
 
151
        pts = cv2.boxPoints(ret)
 
152
        pts = np.int0(pts)
 
153
        img2 = cv2.polylines(frame,[pts],True, 255,2)
 
154
        cv2.imshow('img2',img2)
 
155
 
 
156
        k = cv2.waitKey(60) & 0xff
 
157
        if k == 27:
 
158
            break
 
159
        else:
 
160
            cv2.imwrite(chr(k)+".jpg",img2)
 
161
 
 
162
    else:
 
163
        break
 
164
 
 
165
cv2.destroyAllWindows()
 
166
cap.release()
 
167
@endcode
 
168
Three frames of the result is shown below:
 
169
 
 
170
![image](images/camshift_result.jpg)
 
171
 
 
172
Additional Resources
 
173
--------------------
 
174
 
 
175
-#  French Wikipedia page on [Camshift](http://fr.wikipedia.org/wiki/Camshift). (The two animations
 
176
    are taken from here)
 
177
2.  Bradski, G.R., "Real time face and object tracking as a component of a perceptual user
 
178
    interface," Applications of Computer Vision, 1998. WACV '98. Proceedings., Fourth IEEE Workshop
 
179
    on , vol., no., pp.214,219, 19-21 Oct 1998
 
180
 
 
181
Exercises
 
182
---------
 
183
 
 
184
-#  OpenCV comes with a Python sample on interactive demo of camshift. Use it, hack it, understand
 
185
    it.