第四組

研究目標：探討Facebook公告訊息傳遞之情緒經驗

研究目的：依據Facebook社團使用者的對於訊息顯示方式使用之情緒經驗作為日後訊息顯示方式設計的參考

研究方法：

1. 焦點小組訪談 - 利用專家焦點小組討論法，進行訪談與探討並記錄小組情況，歸納出影響Facebook社團訊息顯示方式之相關的情緒因子。訪談對象為臉書社團功能的重度使用者。
2. 易用性測試 - 給予簡單任務讓受測者完成，利用(
4. Observer影像紀錄受測者，一個鏡頭觀察臉部表情，只要產生焦慮、緊張、快樂等較容易辨識的臉部表情，就記錄下，另一個鏡頭觀察肢體動作，是否有較誇張的動作出現，同時間與臉部表情交叉比對
5. )，並且使用
6. 腦波
7. 量測，觀察實驗過程受測者之行為與情緒之相關性，實驗後進行訪談。

1. 測後訪談與觀察 - 詢問實驗過程中，訊息傳遞的情緒經驗。
2. 內容分析 - 內容分析法，分析受測者對Facebook公告訊息傳遞功能與介面的情緒經驗。

研究對象:
     使用臉書且使用社團功能的學術研究者

文獻探討：

1. DIY一次搞定網站易用性問題 / Steve Krug 　　
2. 設計研究方法 P85-100 / 管幸生
3. 社群網站魅力體驗因子探討－以臉書與無名小站為例 / 陳俊智 吳俞瑩
4. 影響網路訊息傳遞意願之研究 / 吳肇銘
5. 應用虛擬社群於組織IT知識分享之探討/王清泉

組員名單:

• 施韋良
• 陳吉華
• 盛愉凱
• 張修銘

修改:

SEM-CPU 

實驗流程

PAD 量表

快樂的		不快樂的
愉悅的		惱人的
滿意的		不滿意的
滿足的		沮喪的
充滿希望		令人絕望的
輕鬆的		無趣的
刺激的		鬆懈的
興奮的		冷靜的
奮的		慵懶的
緊張的		遲鈍的
令人清醒的		使人睏倦
喚起注意的		容易忽視
控制的		被控制的
有影響力		被影響的
不擁擠的		擁擠的
重要的		不重要的
支配的		服從的
服從的		被限制的

情境工作任務 問情境工作任務1 - 找出某月份的所有活動
問情境工作任務2 - 找出某會員發出之徵才訊息

[第一組]研究議題

研究目標：一般行動裝置介面設計-以即時通訊介面為例

研究對象：Line應用程式的介面易用性

方法：利用問卷調查的方式進行量化分析進一部設計出符合使勇者需求之介面，第二階段針對未使用該類別之應用軟體受測者透過觀察法再作質性分析進行驗證量化所得之結果。

相關文獻：


互動式操作介面之傳達模式探索─以平板電腦介面設計為例
國立臺灣師範大學／設計研究所在職進修碩士班／99／碩士 '
研究生:董秀美
指導教授:鄧成連


拇指與食指操作之個人行動裝置介面設計：以行動電話使用者介面為例
國立清華大學／工業工程與工程管理學系／97／碩士
研究生:石少勇
指導教授:王明揚

使用者中心之產品介面設計與研究-以手持式行動裝置設計為例
國立臺灣師範大學／設計研究所在職進修碩士班／99／碩士
研究生:張欣雯
指導教授:鄧成連

iPhone閱讀介面設計因素對視覺傳達效益的影響
世新大學／圖文傳播暨數位出版學研究所(含碩專班)／99／碩士
研究生:徐嘉伶
指導教授:何慧儀


小組名單：徐曼紋、洪琮皓、莊凱威、楊軒旻

研究目標 第三組

更新版：
https://www.dropbox.com/s/nkekt54ll4j2k39/%E6%84%9F%E6%80%A7%E7%A0%94%E7%A9%B6V2.docx
***前測實驗流程：https://www.dropbox.com/s/rve8xplgnw212u2/%E6%84%9F%E6%80%A7%E7%A0%94%E7%A9%B6.docx

• 研究目標：探討使用者對iBon大眾運輸售票系統介面設計的情緒經驗

• 研究目的：分析使用者在iBon平台上售票系統介面設計的情緒經驗作為日後系統介面設計之參考

• 研究對象：利用iBon訂購大眾運輸票券之使用者

• 研究方法：

1. 焦點團體法：對象為高度使用者進行討論，並將整理出影響使用者的情緒設計因素
2. 深度訪談：模擬iBon售票系統介面，指定任務給予受測者，測後進行問卷及訪談
3. 使用介面測試：以Observer 分析編碼受測者使用售票系統時的影像資料，並以紮根理論法編碼訪談口語資料。探討出影響使用者的情緒設計因素
4. 使用兩種不同配色介面進行實驗，探討出介面配色是否為影響使用者的情緒設計因素
5. SEMhttps://www.dropbox.com/s/ssvzpdzaeawxgbg/%E8%B3%87%E6%96%99%E8%92%90%E9%9B%86.pdf

• 參考文獻：

1. 大眾運輸交通工具之訂位系統觸控式螢幕使用者介面設計/吳煜盛2008
2. 自動售票機的人因工程/黃育信2012
3. 以眼動儀與主觀感受探討高鐵自動售票系統操作介面/謝志成.賴鵬翔.高振源2010
4. 便利商店自我服務系統使用行為之實證研究/陳怡靜 徐牧群 胡學誠2010
5. 好感度 網頁設計法則p.76-p.111/內田廣由紀2009
6. 設計研究方法 p.126-p.147. p.240-p.248. p.290-p.295 / 管幸生2010

• 組員名單： 黃孟軒   朱嬿如   沈毅珊   林榮發
• 問卷 https://www.dropbox.com/s/rve8xplgnw212u2/%E6%84%9F%E6%80%A7%E7%A0%94%E7%A9%B6.docx

臉部情緒辨識的原理與平台操作

　　人類在演化過程中，隨著叢林到平原的地形轉化，我們的雙眼由兩側逐漸移往中央，臉孔趨於扁平前視，使我們逐漸演化為擁有立體視覺的動物。這些發展使得臉孔成為人際互動中最常被使用的視覺影像，也是人類社群互動中最精緻流暢的肢體語言。

　　人類有七種表情是全世界共通的，包含自然、開心、難過、生氣、厭惡、害怕、驚訝…等。許富淞學長採用327張西方人照片做為樣本，並根據臉部表情、特徵、距離來做為AU編碼。不過嘗試過後，發現偵測率還是無法達到很高的正確率，或許是燈光、背景使攝影機傳輸的影像，無法準確區別、辨識臉部特徵。

　　但我相信臉部情緒辨識這項技術對於我們人類生活而言，都是未來的重要趨勢。例如：如果為了使機器人更加的人性化，就勢必要發展出「機器的情感」。「未來的機器人將需要情感，就和人類需要情感一樣；人類的情感系統在逃生、社會互動和合作及學習中發揮重要的作用」唐‧諾曼在情感＠設計一書提到。臉部表情和肢體語言是一個機器人「系統意象」的一部分，幫助人類對其互動的機器人操作有更好概念模型。因為這樣非語言的回饋，我們可以透過各種方式去向機器人下達指令，也突破了許多的限制。例如：肢體障礙者，可透過其臉部表情來做為下達指令的方法之一。

　　臉部情緒辨識除了可以幫助我們在科技上的運用，同時也可以運用在醫學上。例如：自閉症候群者對於他人臉部表情的辨識訓練、阿茲海默型失智症患者在臉部情緒辨識之如何彌補缺損型態，再再都是臉部情緒辨識系統所可以被應用的課題。

　　另一方面，麻省理工學院的教授Rosealind Picard和Eerik Vesterinen，曾經談論過機器人是否應該擁有情感。有人認為如果機器人能擁有情感又能表達情感，這樣會更利於我們和他們溝通。因為人類總是傾向把東西擬人化，並把人類的情緒和信念投影到任何物品上。另一方面我們也總是會怪罪於沒有生命的物品，不夠靈敏的了解我們到底需要它們做什麼。但也有人認為這樣除了會取代掉許多人力，造成失業率，且會改變我們人類現有的地位，甚至會造成社會道德混亂。例如：AI人工智慧這部電影裡，大衛是個機器人，替代小孩，讓無小孩的父母感受到天倫之樂。雖然是被「愛」這個字前提下所製造出，但他還是無可避免的讓所愛的人陷入危險之中，甚至被其拋棄。水亦可載舟，也可覆舟，就像一把雙面劍，總是結合了潛在的益處和缺現，這是所有科技都具有的特點。而我們所面臨的是一個複雜的任務，要如何建構它們，如何使他們彼此間進行互動，以即使他們和人類互動。

　　

什麼是幸福?期中作業-編碼練習

https://www.dropbox.com/s/zn5fvd56j1htr91/18014124%20%E6%A5%8A%E8%BB%92%E6%97%BB%20%E7%B7%A8%E7%A2%BC%E7%B7%B4%E7%BF%92.doc

第八周 【講座二】臉部情緒辨識的原理與平台操作

【講座二】臉部情緒辨識的原理與平台操作

2012.10.29 講師 許富淞

富淞學長這套臉部辨識系統針對情緒辨識的平台發想於判斷廣告信件的Bad of Words(BoW)方法，以卡內基大學Cohn-Kanade(CK+) dataset提供的照片資料庫為依據，使用的裝置為攝影機，並且發展自動臉部表情分析平台，可以即時地追蹤臉部會因情緒變化而改變的特徵，像是眉毛與嘴唇等特徵，以臉部特徵點到點之間的距離作為情緒判斷的參考，並保持追蹤使用者情緒特徵資訊，情緒辨識包含自然(Neutral)、高興(Happy)、驚訝(Surprise)、生氣(Angry)、噁心(Disgust)、害怕(Fear)和難過(Sadness)七種基本情緒。
在計算每個Code出現的次數，而後轉換成圖表化資料，當單位不同時，則需要正規化。
何謂正規化
將表格細分成多個更小的表格，直到每個表格只描述一種事實為止，這一連串的調整過程就稱為資料正規化（Normalization）。正規化的目的何在？簡單的說就是要將資料的重覆性降至最低（避免資料重複的狀況發生）。

-----------------------------------------------------------------------------------------------------------

應用
目前研發臉部辨識技術的公司相當多，但Google的動作最為積極，日前已經在歐洲取得技術專利。其實，早在2009年Google Googles推出時，Google的影像辨識搜尋技術就已經造成市場不小震撼。使用者只要用手機拍照，不論是景點、路牌、商標、條碼、書籍、產品、藝術品還是海報，Google Googles都可以把照片內容送到雲端伺服器，利用照片比對的方式搜尋相關資訊，當場就把文字搜尋和語音搜尋給比了下去。Google Googles剛推出之時，服務尚未推及人臉辨識，但Google後續透過併購取得相關技術，並持續投入研發工作，最近成果才逐一浮現，因此在android的手機上可以發現臉部辨識的應用程式。而APPLE在臉部辨識也有相關研究，儘管這兩大對頭互相為了專利在競爭，但是臉部辨識這項技術的確已經在科技產品上造成便利的功能，例如相機對焦.解鎖等，在便利性之下似乎隱私安全問題又將是一大挑戰。可參考：臉部辨識技術入侵，變臉捍衛個資

還能用來做甚麼?

• 醫療：對於缺乏臉部表情患者，可以透過臉部辨識設計出的表情遊戲，來訓練患者表情的表現。
• 行車安全：偵測駕駛於行車中表情變化，發現有闔眼(非眨眼)的表情，車輛即可啟動相關安全模式，避免疲勞駕駛造成的意外事故。
• 動畫軟體：Crazy talk 是一套革命性臉部動畫製作工具。只要輸入一張圖片，透過 CrazyTalk 簡單的步驟，便能創造出細緻、生動、擬真的臉部動畫角色。簡單易懂的操作介面讓初學者容易上手，其進階動畫功能亦可滿足專業使用者對動畫創作的慾望。
• 瀏覽器：Opera根據現有的滑鼠手勢(Mouse Gestures)功能的架構上進一步開發而成，往後瀏覽網路變得更加簡單，只要動一動臉部表情，例如眨眼、微笑、或是張大鼻孔。

由於臉部有著相當多的變數(環境.使用者)，在辨識上有一定難度以及正確性，就目前的技術來看，這些變數有一天一定會被解決，完善的產品也將會誕生。

第七周 PLAYAROUND 國際工作坊

第七周 PLAYAROUD 國際工作坊

這是第三次參加工作坊，不過這次很特別的是，此工作坊的講師團隊是由PLAYAROUND外國講師所組成，他們在台北辦了一場為期7天的太空殖民工作坊，很高興在台中也夠舉辦，雖然只有一天，但也是新的一種體驗。

先說說一些前置作業好了，很開心能參予到工作坊的準備工作，處理報名以及整個活動的一些前置工作，說實在的準備時間有點匆忙，也是第一次擔任這樣的工作，難免有些小地方疏忽，感謝主任給了這次的經驗，讓我學習到許多進退之道以及做事方式。

當天工作坊，將講師們接待至會場準備開幕儀式，接著開始分組課程，我選擇了VVVV視覺音樂，因為對於音樂視覺化頗有興趣，相當期待課程的進行。

• VVVV (轉自)

是一個開源程序語言及開發環境，提供給那些想要對影像、動畫、聲音進行程序編輯的學生、藝術家、設計師、研究員以及有興趣的人。vvvv可以免費地下載，支持的平臺是Windows。一個可做3D的軟體，也可跟processing做結合。

在 VVVV 的環境下沒有條列式的程序撰寫，其運作方式是將程序代碼集結成特定功能的程序組節點（Node），再進一步整合節點架構出整個視覺性的網絡系統。

它適用於許多任務，涉及常見計算機相關媒體如音頻，視頻，三維動畫，網絡…..。並且還能很方便的連接各種外部設備。

VVVV的特點有：

1. 能夠同時處理大量計數的物件，圖形或數據。控制單個圖形對象與1000個之間不會有明顯的差別，這種技術被稱為”Spreading”。

2. 無縫多媒體投影技術，這樣可以讓我們很容易的使用多臺投影儀進行超寬屏無縫投影，這個由一臺服務器統一控制任何數量的客戶端計算機的技術被稱為“Boygrouping”

3. 基於DirectX的三維渲染，加載3D模型，3D紋理，實時著色，實時物理模擬。

DirectX的三維渲染

DirectX的三維渲染

加載3D模型

實時著色

4. 實時視頻分析（光學追蹤）,在4v裏可以同時或分別使用不同追蹤技術. 如:輪廓捕捉，色彩捕捉，運動檢測,二維碼識別等等。

實時視頻分析

5．音頻功能。vvvv的聲音引擎基於微軟的DirectShow技術，能夠播放絕大多數格式的音頻文件以及對多個音頻文件進行簡單的混合。而且運用FFT(傅立葉轉換)算法可以很方便的創作現場實時音視頻交互作品。

---------------------------------------------------------------------------------------------------------

vvvv這套軟體是我第一次聽到也是第一次使用，就是一種圖型化的程式工具，跟puredata有著相似的面貌，只需要一點的程式概念，就能"連出"有趣的作品。

講師Paul用簡單入門的範例來教學。

慢慢的越連越多程式方塊，可以更改顏色.大小。

還接上了麥克風，利用麥克風匯入的聲音變化去改變視覺畫面，我播放了流行音樂讓克風去接收，不同的旋律產生不同的視覺，初階的作品看起來滿像windows player的視覺波紋。

因為一開始在設備上出現了故障的情況，耽誤了許多時間，而Paul即時改變教學方式，讓我們在最短時間了解VVVV的基本功能，在這一天8小時的時間，雖然不是非常能夠完全吸收，但VVVV的魅力已經傳達到我們的腦中，由於VVVV是開放性的軟體，在網路上能可搜尋到許多資料，看著這麼各式各樣由VVVV創作的作品，完全可以說是用嘖嘖稱奇來形容了。

工作坊合照

組合照

與Paul合照

最後成果發表也欣賞了其他兩組的作品，都是不錯的科技藝術領域的新體驗，只可惜我的作品在課程後段某個程式方塊發生錯誤，無法及時回覆，沒辦法展現給大家觀賞，真是可惜。感謝所有協助人員以及系上，讓此工作坊辦的圓滿成功，希望下次能有機會再次舉辦。

【導讀】使用腦波測量即時通訊表情符號及文字社會臨場感差異之研究

1.請問大家有沒有使用過即時通訊軟體有趣的經驗?
2.請舉例社會臨場感的自身例子?
3.請提出本實驗的缺點

編碼練習

https://www.dropbox.com/s/uoyi1ew5nipx8jh/%E7%B7%A8%E7%A2%BC%E7%B7%B4%E7%BF%9218014122%20%E8%8E%8A%E5%87%B1%E5%A8%81.docx

臉部情緒辨識的原理與平台操作

1972年，Paul Ekman提出了基本情感，隨後Ekman在1978年提出了臉部編碼系統。他根據人臉解剖學特點，將人臉的43塊肌肉劃分成若干個獨立又相互聯繫的運動單元(AU)。分析這些AU的特徵以及相關的臉部區域，就可以得出臉部表情的標準。舉例來說，像FACS(Facial Action Coding System)有46個編碼，我們只要知道照片擁有哪幾個編碼就可以判斷表情和情緒。例如：難過的時候眉心上抬，額眉較低，生氣的時候是口唇緊閉，厭惡是鼻縱起和上唇上升，驚訝則是額眉心上抬，額眉梢上抬和上眼瞼上抬。臉部表情追蹤使用了兩種不同的影像收集七種基本情緒(開心、難過、生氣、厭惡、恐懼、普通和驚訝)，第一種是序列影像，主要是以時間上的序列影像變化為資料庫來源，另一則是單張照片。可是，單憑一張照片在真實環境下很難辨別哪張照片是基本表情(neural expression)。

許富淞講師以Bad of Words(BoW)即是一種判斷哪封信是廣告信件的方式為發想，以一個公開數據集(卡內基大學Cohn-Kanade(CK+) dataset)提供的照片資料庫為判斷的基準，設計了一套臉部表情辨識系統。 要建立一套臉部表情辨識系統，設計師必需要先有一個Code book。Code book的建立是利用AAM(Active Appearance Model, 主動式外觀模型)來取得其形狀和特徵(Features)，每張照片都有68個點(每個點都有其座標，但此效果並不理想，因此許富淞講師將它改成點到點之間的距離。)。 接著計算各個Code出現的次數，然後轉換成圖表化資料(單位不同時，需要正規化，在臉部辨識則是為了取得其機率。)，最後再套用到臉部辨識後就可以判斷表情和情緒。如果要提高辨識，則要選擇適當且正確的資訊和關鍵字。這樣的好處是，我們可以用人工編碼，而缺點則是需要正確的關鍵字。許富淞講師所設計的系統和AU的不同之處是它是藉由已確定的資料來編碼。在此，許富淞講師提出了三種特徵，分別是Holistic Feature、Local Feature和將Holistic Feature及Local Feature加總的Combine Feature。 LibSVM(Library Support Vector Machine) 以特定的特徵做影像分類。RBF Kernel function是使用在照片無法明確切開時，將圖像轉換成3D、4D等，以便處理照片分類。

除此之外，我們還比較了許富淞講師所寫的系統以及系辦購入的Emotion。不過因為外部因素影響很大，例如燈光、背景。所以，很難判斷到底哪一套系統的準確率較高。 雖然臉部辨識系統至今已被廣泛運用，像是可以應用於自閉症孩子的臉部表情捕捉，相關的應用還有Crazy talk、Opera等等。可惜的是，不論以何種方式去建立一套臉部辨識系統，正確率都遲遲無法有效的提升。我想要如何解決此項問題是開發人員的一個很大的課題！不論是以何種方式開發，就像許富淞講師最後提及的一句話：「最重要的是，要在最真實的環境下自然地捕捉表情，而不是使用者刻意去配合某系統。」

臉部情緒辨識的原理與平台操作,

這次的演講者是許富淞老師，一位外表和藹可親的學長，他給我們帶來的演講是「臉部情緒辨識的原理與平台操作」，臉部辨識的應用越來越多，不管是相機上面的微笑偵測，FB上的照片人臉辨識，還是動畫產業使用抓取人的臉部套用到3D人物上，都是臉部辨識的應用，甚至可以結合AR。而學長給我們看的是用來判斷臉部的情緒，用來判斷六種情緒，Happy、Sadness、Anger、Disgust、Fear、Surprised，外加一個無表情的Natural，判斷的準則是利用Facial Action Coding System(FACS)編碼來判斷，利用人臉解剖學特點來劃分不同表情的運動單元(AU)，就能判斷使用者的臉部情緒，根據網路所查的資料，這種編碼的表情的捕捉準確率高達90%。

在真正用軟體時，發現太慢的電腦跑起來就會有點吃力，可能視訊所擷取的影像每一張都要處裡吧！而如果周圍太暗，電腦也就不太能判斷臉部，所以判斷的準則對視訊所擷取影像依賴度很高。還有要強迫讓自己的臉擺成別種情緒也很困難，常常依照編碼準則去改變臉部肌肉位置，擺出來的表情也就很不自然，也不太能被判斷成別種表情，所以我想可能自然的表情被判斷的成功率比較高吧！還有多重人臉辨識，所要求的硬體也就更高了。

不過這種只靠外表還是有判斷的盲點，如果有個人無表情時的臉也笑笑的，或是隨時臉的表情一直都很臭，是不是能真正的判斷出他「現在的情緒」？有些人臉部受過傷手術過，或者是臉部打肉毒桿菌所造成的臉部肌肉僵硬，在判斷上就會失準，不過這種對大部分的人來說應該是適用的。這就很像利用網頁製作App一樣，我們並不能做出適用「所有人」的東西，可是一定要適用「大部分」的人，所以臉部辨識是否能加其他的設備來交叉判斷以提升辨識率，也是我們可以研究的議題。

就因為臉部辨識在諸多領域都有其應用，所以它的願景應該是很好的，我相信未來會有更有趣更新奇的應用出現，不管商業或是學術甚至是互動媒體上，在科技進步的基礎下，相信在人臉辨識上，辨識率會越來越準確，應用會越來越廣泛。

臉部情緒辨識的原理與平台操作

　　首先我要說，這次的演講，實在是有一種莫名的親切感，原因是演講者是我們多媒系第一屆研究所的學長！這樣的情景著實地令我想起大學四年來，時常接到老師的指令，要求我幫忙在課堂上協助並指導學弟妹的課業（大多都是軟體操作的課程），從二年級開始到四年級畢業之前，持續透過教學相長的方式，除了逼自己將軟體熟練之外，也讓自己的表達能力更加長進（因為我本來就不是一個善於表達的人）。而如今這樣的畫面又出現在研究所的生活當中，那是一種教學相長的感動呢！

　　這次學長帶來主題，是他自己開發出來的臉部辨識軟體。臉部表情辨識這一領域事實上到目前為止，已經有相當程度的發展了。從前在科幻電影中才會出現的辨識軟體，如今是隨處可見，並且應用在我們的日常生活當中，例如：Facebook上傳的相片時的臉部辨識、SONY相機的微笑快門模式、藉由臉部表情來遙控物品等等。而目前開發臉部辨識平台這一塊的人也愈來愈多，但是每一位開發者所使用的資料庫皆不盡相同，於是大家便積極地往準確率這個部分發展了。富淞學長他自己所開發的臉部辨識軟體，總共有46個編碼，是根據人的七種基本情緒 (Happy、Sadness、Anger、Disgust、Fear、Natural、Surprised )所蒐集而成的相片進行編碼。在課堂的時候，他也實際操作給我們看，並讓我們進行測試，測試的結果也許是受到當時環境的影響，但大致上皆能準確地抓到正確情緒，甚至在速度上比學校購買的eMotion軟體還要好。

相機裡的微笑快門模式

　　雖然臉部辨識軟體能夠辨識出你表面上的情緒，但是內心的情緒真的能夠被測出嗎？在這裡我是給一個否定的答案。舉個例子：像我就遇過那種臉色本來就很臭的人，很多人第一次遇到他，都會以為他在生氣，但實際上他的情緒是淡定的，只是沒有表情而已，但往往就因此而造成別人的誤解，實在是困擾阿！人的情緒是細膩多變、高深莫測的，但是科技的日新月異，也許就在不久的將來，一套不需要透過腦波偵測，就能判斷出正確情緒的軟體將會被開發出來吧。