人臉表情之視覺辨識技術｜國立臺灣科技大學博碩士論文系統

簡易檢索 / 詳目顯示

回結果列表

研究生：	邱培文 CHIUO - PEI WEN
論文名稱：	人臉表情之視覺辨識技術 Facial Expression Analysis by Computer Vision Techniques
指導教授：	林其禹 Chyi-Yeu Lin
口試委員:	鍾國亮 none 范欽雄 Chin-Shyurng Fahn
學位類別：	碩士 Master
系所名稱：	工程學院 - 機械工程系 Department of Mechanical Engineering
論文出版年：	2006
畢業學年度：	94
語文別：	中文
論文頁數：	70
中文關鍵詞：	表情辨識、特徵點、影像
外文關鍵詞：	Facial Expression, Computer Vision
相關次數：	點閱：141 下載：4
分享至:	分享至facebook 分享至twitter

查詢本校圖書館目錄查詢臺灣博碩士論文知識加值系統勘誤回報

本論文的研究目的為人臉表情之視覺辨識分析，主要是利用人臉五官的在各種表情下的變化不同，人臉分割成不同的區域，每個區域採取不同的擷取方式，來記錄特徵。在擷取特徵的部份主要是利用各區域灰階值的相對差異性，測邊運算之類，這些都是屬於相對值的當作門檻，可以避免利用色彩所造成的誤差。最後再利用人臉在無情緒時的狀態和有表情的狀態的特徵值差異所造成的特徵值量，透過訓練好的類神經網路來判別人臉表情的情緒。本論文從影像抓取出人臉所在矯正後，自動去擷取各人臉表情的特徵座標，最後透過類神網路的比對輸出結果，將以上的流程，整合成一套自動化的人臉表情辨識系統。

This research studies techniques of interpret facial expressions for ordinary people.
In this research work, the facial expression analysis is composed of three steps. Firstly, the face is extracted and recognized from an image with a possibly complex background. Secondly, important features such as the location and size/shape information of eyes, eyebrows, nose, and mouth are extracted and measured to calculate characteristic vectors. Finally, a back-propagation neural network after training is used to interpret facial expressions. This facial expression interpretation system is a fully automatic program and is integrated into the intelligence program for the intelligent robot, DOC-2.

摘要	1
第1章 緒論	7
1.   研究動機	7
2.   論文架構	8
第2章 人臉表情辨識之相關研究	9
1. 表情分類	9
2. 特徵擷取	10
2.1. 靜態單張處理	10
2.2.   動態影像序列的處理	10
3. 表情辨識	11
第3章 人臉偵測	12
1. 顏色過濾(SKIN COLOR FILTERING)	13
1.1. 形態學處理（Morphology）	14
2. 選取候選區域	14
2.1. 特徵濾波器(Characteristics Filter)一	15
2.2. 正規化(Normalization)	16
2.3. 等化(Equalization)	16
2.4. 特徵濾波器(Characteristics Filter)二	17
3. 倒傳遞類神經網路	19
第4章 表情特徵擷取	21
1. 定位轉正人臉(ORIENTATED FACE)	22
1.1. 預估眼睛範圍	23
1.2. 取眼睛區域灰階值較深	24
1.3. 群組編號選取	24
1.4. 瞳孔位置定位	24
1.5. 人臉水平旋轉矯正	25
2. 眼睛特徵擷取	26
2.1. 預估眼睛範圍	27
2.2. 取灰階影像(亮度排序)	27
2.3. Laplacian測邊運算(Laplacian Opreator)	28
2.4. 偵測瞳孔上下邊界的座標	29
3. 嘴巴特徵擷取	30
3.1. 左右嘴角特徵擷取	30
3.1.1. 預估鼻子範圍	32
3.1.2. 偵測鼻子最低點	32
3.1.3. 預估嘴巴左右範圍	33
3.1.4. 嘴巴區域灰階排序	34
3.1.5. 嘴巴區域Sobel測邊(Sobel Operator)	34
3.1.6. 左右嘴巴嘴角邊界偵測	35
3.2. 上下嘴唇特徵擷取	36
3.2.1. 預估上下嘴唇的範圍	37
3.2.2. 嘴唇區域Cr值加權計算	37
3.2.3. 嘴唇區域Sobel測邊及邊界偵測	39
4. 眉毛特徵擷取	40
4.1. 預估眉毛區域	41
4.2 . Sobel測邊及灰階排序	42
4.3. 保留最大群組	42
4.4. 偵測眉毛邊界的座標	45
第5章 表情辨識	46
1. 特徵座標參數轉換成表情特徵值	48
1.1. 定義參考座標原點	48
1.2. 定義正規化的長度	49
1.3. 定義表情特徵值	49
2. 建立表情資料庫	51
2.1. 類神經網路架設	52
第6章 實驗結果	53
1. 人臉表情辨識系統測試	53
2. 人臉表情辨識系統比較	64
第7章 結論與未來展望	65
1. 結論	65
2. 未來展望	65
參考文獻	67

                                

[1] Lyons, M.J., The Japanese Female Facial Expression (JAFFE ) Database, http://www.mis.atr.co.jp/~mlyons/jaffe.html, 1998.

[2] Hsu, R.-L., Abdel-Mottaleb, M. and Jain, A. K., “Face Detection in Color Images,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 5, pp. 696~706, 2002.

[3] Otsuka, T. and Ohya, J., “ Spotting Segments Displaying Facial Expressions from Image Sequences Using HMM,” Proceedings of the Third IEEE International Conference on Automatic Face and Gesture Recognition, pp. 442~447, 1998.

[4] Lyons, M. J., Budynek, J., and Akamatsu, S., “Automatic Classification of Single Facial Images,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 21, No. 12, pp. 1357~1362, 1999.

[5] Padgett, C., and Cottrell, G., “Identifying Emotion in Static Face Images,” Proceedings of the Second Joint Symp on Neural Computation, Vol. 5, pp. 91~101, 1995.

[6] Lien J.J., and Takeo Kanade, “Automatic facial expression recognition based on FACS action units,” Proceedings of the Third International Conference on Automatic Face and Gesture Recognition, pp. 390~395, 1998.

[7] Ekman, P., and Friesen, W.V., “ The Facial Action Coding System:A Technique for The Measurement of Facial Movement,” San Francisco: Consulting Psychologists Press,1978.

[8] Black, M.J., and Yacoob, Y., “Recognizing Facial Expressions in Image Sequences Using Local Parameterized Models of Image Motion,” International Journal of Computer Vision, Vol. 25, No. 1, pp. 23~48, 1997

[9] Essa, I.A., and Pentland, A.P. , “Coding, analysis, interpretation, amd recognition of facial expressions,” MIT Media Laboratory Perceptual Computing Section Technical Report, No. 325, pp. 19~20 , 1995.

[10] Mase, K., “Recognition of facial expressions for optical flow,” IEICE Transactions on Special Issue on Computer Vision and Its Application, Vol. 74, No. 10, pp. 3474~3483, 1991.

[11] Michael J. Lyons, Shigeru Akamatsu, Miyuki Kamachi , and Jiro Gyoba, “Coding Facial Expressions with Gabor Wavelets,” Proceedings of the Third IEEE International Conference on Automatic Face and Gesture Recognition, pp. 200~205, 1998.

[12] Michael J. Lyons, Julien Budynek, and Shigeru Akamatsu, “Automatic Classification of Single Facial Images,” IEEE Transactions on Pattern Analysis and Machine Intelligence , Vol. 21, No. 12, pp. 1357~1362, 1999.

[13] Haizhou, Ai., Xipan , Xiao., and Guangyou, Xu., “ Face Detection and Retrieval,”Chinese Journal of Computers, Vol. 26, No. 7, pp. 874~881, 2003.

[14]王宇博,艾海舟,武勃,黃暢, ”基於 Adaboost 演算法的即時人臉表情分類,” 電腦輔助設計與圖形學學報, Vol. 17, No. 6, pp. 1296~1301, 2005

[15] 吳明衛, “自動化臉部表情分析系統,”國立成功大學資訊工程系碩士論文, 2003.

[16] 蘇芳生, “人臉表情辨識系統,”國立中正大學通訊工程研究所碩士論文, 2004.

[17] 何明哲, “以模糊推論進行臉部動作元之分析與辨認,”國立東華大學資訊工程系碩士論文, 2004.

[18] 林明德, “由複雜背景影像中快速進行特定人物辨識之方法,”國立台灣科技大學機械工程研究所碩士論文, 2004.

[19] 王彥鈞, “利用LDA進行特定人物辨識之方法,” 國立台灣科技大學機械工程研究所碩士論文, 2005.

簡易檢索 / 詳目顯示

相關論文