臉部情緒辨識的原理與平台操作

臉是人類多種感覺器官的集合。臉具有表情表達、外觀展現、提供他人辨識...等不同的功能。臉是最容易辨識一個人的部位。特定器官如眼負責臉部辨識偵測外來訊號，再由大腦辨析，找出生物特徵，藉此來分辨每一個不同的人。

臉部表情是人與人溝通最重要的資訊，在大多數的情況下往往能代表一個人情緒的直接反應，可能是悲傷、高興、難過等情緒；早在1971年Ekman 和 Friesen對於臉部表情有相當深入的研究，將人主要表情分成七大類：有高興(Happiness)、悲傷(Sadness)、害怕(Fear)、厭惡(Disgust)、驚訝(Surprise)、生氣(Anger)以及中性表情(Netural)。

因為Camera的普及，透過Camera記錄情緒表情的趨勢將愈來愈普及，因此情緒表情的研究議題就會愈來愈多，是當前非常熱門的研究議題。此時就會需要有效率、執行速度快的臉部辨別系統來協助分析生理上的訊號，用來瞭解使用者目前的狀態，接著介紹如何建構有效率的臉部辨識系統。

在Face Recognition可分成兩個門派：

(1)Input Data是一個Sequence(序列)的影像：較容易分析。

(2)Input Data只有一個：分析較困難因為可分析資訊很少，但近幾年愈來愈多學者採用。做法是在真實的環境中挑出第一張正常表情作為分析依據，只分析目前採用的表情來分析臉部表情，可快速得到回饋，與執行效率。學長的研究採此方式進行驗證。

實驗方法與過程：

FACS(Facial Action Coding System) code面部動作編碼系統：共有46個編碼，有關臉部肌肉運動編碼，可以用來分析當臉部出現哪幾種編碼時，所代表的情緒是甚麼？這也是情緒辨視最典型的作法。接著說明FACS編碼的案例，如高興時會有、難過時會有(AU1, AU4、AU15)、害怕時會有(AU13)、厭惡時會有(AU9、AU4)，就可用來判斷使用者當下的情緒。因為已有很多人從事相關研究，很難再有所突破，所以但學長嚐試跳脫此方式，是否還有其他方法也可以完成臉部情緒辨視的任務。

設想先從很多收集到的照片(人臉資料庫較偏美洲人士)中去學習七大類表情的特徵有哪些？當人笑的時候會有那些特徵？難過時會有那些表現？從中歸納出學術上較有價值的理論。利用常用於網路廣告信件的方法-Bag of Words model從大量的信件中過濾出七大類表情的關鍵字。因此「關鍵字」的選定非常重要。

首先建立Code Book(字典):用來將資料轉換成我們要的代碼，可用來計算代碼出現次數，次數資料出現圖表化後，統計各項變數的出現次數，即可成為分析資料。

實驗使用AAM  A PORCH 每張圖上有68個點(共327照片)，每個點有X與Y軸，建Code Book但效果不好，於是改採兩點與兩點間(與鄰近點間所形成之三角形)距離的數字作編碼，設定5個一組，排成一列，每張照片共27組編碼，依此類推327張照片將產生編碼資訊供參考，再從中選出較有關鍵性、較常出現的編碼，再將這些數據量化(kemel function)到較長出現的那個點中，得到我們想要的編碼。最後進行有趣的系統測試，過程中每個上台的同學極盡所能的想達到系統中所界定的七種表情效果，我想是大家對系統還不是很熟悉，還有資料庫表情判定的Data是屬於西方人的骨架，所以某些效果似乎不容易量測出，不過對於左腦不是很發達的我來說，對於這麼先進科技技術還是相當佩服的，至於此功能還可以應用到何處，目前還沒想到。