1、logo手手勢(shì)識(shí)別勢(shì)識(shí)別技技術(shù)術(shù)介介紹紹基于不同傳感器基于不同傳感器手勢(shì)識(shí)別的分類手勢(shì)識(shí)別的分類 手勢(shì)類型手勢(shì)類型l 靜態(tài)手勢(shì)識(shí)別（手型）靜態(tài)手勢(shì)識(shí)別（手型）l 動(dòng)態(tài)手勢(shì)識(shí)別（動(dòng)作及軌跡）l rgb相機(jī)相機(jī)l 紅外相機(jī)（主動(dòng)、被動(dòng)）l 加速度傳感器l 深度相機(jī)（雙目、 結(jié)構(gòu)光、 tof）靜態(tài)手勢(shì)識(shí)別方法靜態(tài)手勢(shì)識(shí)別方法基于手勢(shì)分割基于手勢(shì)分割 基于手勢(shì)檢測基于手勢(shì)檢測l 選擇合適的特征l 準(zhǔn)備大量訓(xùn)練樣本l 算法復(fù)雜度較高l 算法復(fù)雜度低l 難于分割完整的手勢(shì)l 對(duì)光照比較敏感手勢(shì)識(shí)別手勢(shì)識(shí)別-基于手勢(shì)分割基于手勢(shì)分割手勢(shì)識(shí)別手勢(shì)識(shí)別手勢(shì)輸入手勢(shì)輸入特征提取特征提取誤差補(bǔ)償、濾波、預(yù)處理預(yù)處理

2、手勢(shì)分割、手勢(shì)跟蹤、分類、建模訓(xùn)練、匹配手勢(shì)識(shí)別手勢(shì)識(shí)別-基于手勢(shì)分割基于手勢(shì)分割手勢(shì)識(shí)別手勢(shì)識(shí)別-基于手勢(shì)檢測基于手勢(shì)檢測手勢(shì)分類器手勢(shì)分類器采集手勢(shì)采集手勢(shì)樣本樣本選擇分類選擇分類算法算法選擇特選擇特征征訓(xùn)練訓(xùn)練過程：識(shí)別過程：手勢(shì)類別及手勢(shì)類別及位置位置采集圖像采集圖像手勢(shì)分類手勢(shì)分類器器多尺度多尺度處理處理分類手勢(shì)識(shí)別常用特征手勢(shì)識(shí)別常用特征-haar haar特征特征圖中黑色矩形所有像素值的和減去白色矩形所有像素值的和。手勢(shì)識(shí)別常用特征手勢(shì)識(shí)別常用特征-lbp lbp特征特征將一幅圖片劃分為若干的子區(qū)域，對(duì)每個(gè)子區(qū)域內(nèi)的每個(gè)像素點(diǎn)都提取lbp特征。在每個(gè)子區(qū)域內(nèi)建立lbp特征的統(tǒng)計(jì)直

3、方圖。整個(gè) 圖片就由若干個(gè)統(tǒng)計(jì)直方圖組成手勢(shì)識(shí)別常用特征手勢(shì)識(shí)別常用特征-hog手勢(shì)識(shí)別算法手勢(shì)識(shí)別算法-svm手勢(shì)識(shí)別算法手勢(shì)識(shí)別算法-adaboost手勢(shì)識(shí)別算法手勢(shì)識(shí)別算法-adaboost訓(xùn)練訓(xùn)練opencv中中adaboost算法算法 訓(xùn)練程序訓(xùn)練程序opencv_traincascade.exe -data data -vec pos/pos.vec opencv_traincascade.exe -data data -vec pos/pos.vec -bg neg/neg.dat -numpos 15200 -numneg 27000 -numstages 19 -bg neg

4、/neg.dat -numpos 15200 -numneg 27000 -numstages 19 -w 18 -h 30 -precalcvalbufsize 1024 -precalcidxbufsize 1024 -w 18 -h 30 -precalcvalbufsize 1024 -precalcidxbufsize 1024 -featuretype lbp -minhitrate 0.9999 -maxfalsealarmrate 0.5 -featuretype lbp -minhitrate 0.9999 -maxfalsealarmrate 0.5 -mode all-m

5、ode all 訓(xùn)練樣本訓(xùn)練樣本opencv_createsamples.exe -info pos.dat -vec pos.vec opencv_createsamples.exe -info pos.dat -vec pos.vec -num 15400 -w 18 -h 30 pause-num 15400 -w 18 -h 30 pauseadaboost訓(xùn)練要點(diǎn)訓(xùn)練要點(diǎn) 積極樣本多樣性積極樣本多樣性 積極樣本背景隨機(jī)性積極樣本背景隨機(jī)性 消極樣本結(jié)合場景消極樣本結(jié)合場景 積極樣本旋轉(zhuǎn)積極樣本旋轉(zhuǎn) 特征選擇特征選擇手勢(shì)樣本采集手勢(shì)樣本采集 獲取手勢(shì)的摳圖獲取手勢(shì)的摳圖 將手勢(shì)摳圖合成

6、到隨機(jī)背景將手勢(shì)摳圖合成到隨機(jī)背景 縮放到合適尺寸縮放到合適尺寸adaboost手勢(shì)識(shí)別優(yōu)點(diǎn)手勢(shì)識(shí)別優(yōu)點(diǎn) 速率較快（速率較快（30-50ms30-50ms） 對(duì)光照不敏感對(duì)光照不敏感 對(duì)不同攝像機(jī)適用性強(qiáng)對(duì)不同攝像機(jī)適用性強(qiáng) 對(duì)圖像質(zhì)量要求不高對(duì)圖像質(zhì)量要求不高adaboost手勢(shì)識(shí)別缺點(diǎn)手勢(shì)識(shí)別缺點(diǎn) 樣本處理要求高（尺寸，背景，光照，多樣）樣本處理要求高（尺寸，背景，光照，多樣） 后期升級(jí)訓(xùn)練困難（手工裁剪或標(biāo)注樣本）后期升級(jí)訓(xùn)練困難（手工裁剪或標(biāo)注樣本） 存在一定程度誤判率（過擬合與泛化）存在一定程度誤判率（過擬合與泛化） 特征不具有旋轉(zhuǎn)不變形（識(shí)別固定姿態(tài)手勢(shì)）特征不具有旋轉(zhuǎn)不變形（識(shí)別固定姿態(tài)手勢(shì)）adaboost優(yōu)化方法優(yōu)化方法 采集多樣性樣本（采集多樣性樣本（20k20k） 將誤判圖片作為消極樣本再訓(xùn)練將誤判圖片作為消極樣本再訓(xùn)練 收集實(shí)際識(shí)別圖片手工裁剪樣本收集實(shí)際識(shí)別圖片手工裁剪樣本 使用其他的方法進(jìn)行二次判斷（膚色驗(yàn)證及使用其他的方法進(jìn)行二次判斷（膚色驗(yàn)證及svmsvm）手勢(shì)識(shí)別的其他方法手勢(shì)識(shí)別的其他方法 深度相機(jī)深度相機(jī)可分割出手型的二值圖像（手型輪廓），進(jìn)而通過輪廓特征可分割出手型的二值圖像（手型輪廓），進(jìn)而通過輪廓特征進(jìn)行手勢(shì)及動(dòng)作識(shí)別。進(jìn)行手勢(shì)及動(dòng)作識(shí)別。 深度神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)通過通過cnncnn卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)選取特征進(jìn)行識(shí)別，