DECIDE: A framework to guide evaluation

D E C I D E: A framework to guide evaluation
1. Determine the goals
2. Explore the questions
3. Choose the evaluation paradigm and techniques
4. Identify the practical issues
5. Decide how to deal with the ethical issues
6.Evaluate, interpret, and present the data

為了擁有詳細的計畫評估，我們要由明確的目的及合適的問題所引導的 (Basili et al., 1994)，為了引導我們評估，可以使用 DECIDE 架構，它提供了這些檢核項目幫助我們來評估。

確定目標 - 評估所注重的整體目標，評估說目標為何？誰會需要用它？原因為何？一個有助於區分使用者需求的評估方式據有評估上不同的目標。更明確的解釋是確認評估者了解使用者的需要。確認隱喻以作為設計的基礎、確認並檢查最終的產品介面具有一致性、調查科技影響工作實務的程度、確認現有產品界面如何加強以促進使用性。

探索問題 - 為了讓目標可以操作，必須讓問題能得到滿意的答覆是有必要確定的。一個問題也會區分為許多次問題，以讓評估更為精確。

選擇評估的範本及技巧 - 評估範例決定所使用的技巧種類，這邊在取資料上有很多種可以搭配使用，多種技巧結合可以獲取不同的觀點，每一種形式的資料都會從不同的角度對事情做描述。

確認實際的議題 - 把使用者、功能及設備、時間表、預算及評估者的經驗都需要列入考梁。在進行評估開始前就要把他們列出來。評估核心概念是要讓合適的使用者參與。使用者需要加以尋找及篩選過，確定他們符合產品的目標使用族群。另外必須考量到如何讓使用者進行參與，時間多長，過短過長要注意，且測試過程當使用者犯錯時候，要謙虛有禮貌的對待他們。向使用者解釋是測的是系統而不是他們，並策劃一些活動使他們在測試前能夠熟悉系統可讓使用者感到放鬆。設備與裝備都要考量，例如操作工具系統，和多少攝影機，如何擺設。時間表和預算表也要明確的定義出來並且在有限的資源和時間情形下做好工作。

決定如何處理道德議題 - 人們同意參與評估研究後，就會付出時間和信任感，兩者都要尊重的。並且要提供協議書讓雙方可以同意，包含告訴參與者研究的目的，讓他們知道一旦參與了評估會遇到哪些狀況。整個流程、需要花費的時間和所蒐集的時間、蒐集資料的形式等等。最終報告的形式也要讓他們知道。必須說明使用者透露的資料會都是機密性的，必須使用編碼過來儲存，後續公開也要用匿名方式。確定使用者如果參與到一半可以自由的停止評估。儘可能給與使用者酬勞，因為這可以創造相互承諾的正式關係及責任感。進行評估普遍的規則就是『己所不欲，勿施於人』。

評估、解釋及呈現資料 - 所蒐集的資料種類有一些選擇性，這些資料是否要統計分析？如果蒐集到的質化資料應該如何的被分析和呈現？一般性的問題以什麼方式衡量？結果是否據有整合性，範圍如何？信度 (Reliability)、效度 (Validity)、偏見 (Biases)、範圍 (Scope) 等等。

最後，在一項評估的測試計畫中，進入正式研究前先做前導性研究室值得的。前導性研究是研究的一個小小的流程測試，目的是確認真正的研究開始前計畫的可實施性。許多的評估者都會執行幾的前導性的研究。正如反覆的設計一樣，他們從中得到回饋並且修正程序，隨後不斷的測試直到他們認為他們已經有良好的研究方式了。如果尋找使用者有困難或是限制，可徵詢同事和朋友的意見。從朋友那裡取得的建議是種快速而不昂貴的方式，其後也可以解決許多困難。前導性測試有助於確保此研究經過良好的設計比較容易成功。

以上完整可以參考 互動設計(二版) - aNobii Ch11 評估架構。From: Preece, J., Rogers, Y., Sharp, H. (2002), Interaction Design: Beyond Human-Computer Interaction, New York: Wiley