【講座二】臉部情緒辨識的原理與平台操作

臉部情緒辨識的原理與平台操作

許富淞 2012-10-19

     人與人溝通有55%來自表情，人們本能的由觀察其他人臉部的一些細微的肌肉運動，就能感受到他人的情緒，如果將臉部情緒辨識的原理應用在人機介面上，那麼我們對於操作機的情感會有更深的體驗，也會擁有更多的情感使用經驗。影像辨識的應用早在多年前就已經應用在國防系統方面，近期微軟XBOX的kinect 帶動其他業者，將影像辨識廣泛的應用在其他電器，例如人臉自動對焦的相機，微笑鏡頭，影像辨識推薦飲料販賣機等等…，人們對於這些產品有較大的年著度，許富淞老師是一位走在影像辨識前端的研究者，他建立了一套新的臉部情緒辨識系統，以下為大家解說應用原理:

l   知識理論-面部動作編碼系統(Facial Action Coding System，FACS)，由艾克曼於1978提出，人類臉部的肌肉有43塊，艾克曼根據人臉解剖學特點，將其劃分成若干相互獨立又相互聯系的運動單元(AU) ，分析這些運動單元的運動特征及其所控制的主要區域以及與之相關的表情，就能得出面部表情的標準運動。

l   一致認同的標準-使用Public picture site(公開資料庫)，為了讓其他學者認同影像情緒辨識結果是有公認性的使用公開資料庫，與其他研究開發機構使用一樣的資料。

l   提升效率-臉部情緒辨識分兩個門派，一次輸入30張由正常表情至開心表情的連續影像再做辨識，及只取其中一張去辨識，因為真實的環境中有很多因素會影響到受測者，所以一次輸入30張的以科學來說比較好辨識，但是實際執行很難挑選出哪一張是開始的表情，哪一張是結束的表情，因此許富淞老師選擇一次輸入一張，再用(BOW)的方法去辨識，既可以提升效率，又能提高準確度。

l   創新應用的臉部辨識-利用Bag of Words (BOW)，(BOW)原先是用來過濾垃圾郵件的應用方法，在此許老師拿來辨識人類的七種情緒，首先先使用公開資料庫建立情緒字典，利用KM分析出七個情緒的資料分部狀態Y軸為 Count，X軸 Code(情緒)，再建立成資料庫，由一隻程式去自動執行這個部分，只要給不同的情緒圖片就能夠讓程式去學習，因此一開始讓程式學習情緒的資料很重要。

l   人臉特徵分析-AAM，要辨識人臉的情緒使用AAM人臉特徵分析，要先讓機器知道人的臉到底在輸入圖片或影像中的哪個位置，才能夠分析，在人的臉部上面建立數多的點，兩個眼睛與鼻子嘴唇之間再連成線，這些是需要的數值，之後去除掉多餘的點，加快程式運行速度，這些線段構成五個為一組的數據，將數據正規化，才能夠與其他要辨識的做比較，將單位化為比例，用比例去和(BOW)數值的比例去做比對，就能辨識出臉部情緒，在此還利用lib SVM幫助分類。

     新的點子是由百分之八十的既有知識，與百分之二十的創新，就能解決一項議題，許老師由不同領域的工程方式，運用出更快、更準、更好用的臉部情緒表情辨識系統，能跨領域並且有效的使用實在難能可貴，其中由程式去學習的方式，引起了我極高的興趣，之後也要利用此方式去學習到更多的知識經驗，思考方式更是我們應該要學習的。