群眾測試

 

Crowd Testing

群眾測試

 

摘要 (Abstract)

號召網路上各種不同背景的使用者進行產品的測試,讓設計師快速大量的收集測試的主觀與客觀結果;群眾測試是世界各地的一組虛擬測試人員參與測試,而不是傳統上管理的測試團隊在一個位置;它是一種測試組織形式,線上測試需要清楚的建立各個測試的作業,以及操作評比的指標,讓參與者清楚測試的目標與流程。

定義(Definition)

群聚測試是一個新興的趨勢,在更大的人群中,可以產生更多的想法,這些想法可以相互影響和相互支持,利用人群在雲端平台上回饋收集有用以及有效率的資訊;在產品或軟件開發過程中須提前測試網站的新功能、元素或流程時,由於資源和時間限制,開發團隊無法執行自己的測試,因此有了群眾測試的方法,可以在大量設備,瀏覽器和操作系統上測試軟件,其中它與傳統測試方法的不同之處在於,測試是來自不同地方的許多不同測試人員執行,而不是由聘請的顧問、專業人員或是去找尋特定的受測人員執行,測試人員不屬於任何特定組織,測試人員可能不專業或經驗豐富等,目標在可控的條件下額外獲取知識,這提供了定性結果,而該軟件在各種現實平台下進行測試,使其更可靠,更具成本效益,更快速,無錯誤。

優點

  • 直接快速的反饋
  • 建立測試低成本
  • 更好的結果,更多的頭比一個好,來自不同技能和背景的人們有更多的想法和反饋。
  • 定性反饋
  • 測試人員進行的群眾測試是公正的,因為他們不屬於任何組織。
  • 多樣化的資源,測試被分配給具有不同技能,設備和環境的不同測試人員以測試不同的場景。

缺點

  • 設計的產品需要許多自己主導的發想
  • 此項設計有嚴格的隱私或是智慧財產權的涉及則不適合使用
  • 比較無法得到關於設計的核心探討
  • 創新風險和新功能洩露給競爭對手
  • 隨著觀察被測系統的非內部人員數量的增加,必須密切管理保密性

步驟(Procedure)    

Step1.設計測試

確認本次設計動機的定義項目範圍設定完成後,將設計想得到的回饋以及目標訂定出測試計畫,最後建立所需的測試方法。確定執行群眾測試的目標,這將有助於測試人員採取正確的測試方法並努力實現共同目標。

Step2.資料收集

確認好測試方法後,開始在想放的雲端平台定義測試並且設定測試方法。

Step3.邀集受測者做測試

開放測試內容提供給網路上各種不同背景的使用者進行產品測試,在雲端平台上進行測試及回饋。

Step4.評測階段

驗證人群在平台上回饋的訊息是否與這次設計的產品相呼應,並與準備階段設定的目標一同比對。

Step5. 結論

取得測試結果後,將反饋部分作為設計修改的方向。

 

案例(Case)

案例一

本次案例為現階段廣大流行於手機裡的安卓商店以及蘋果商店裡頭的評分與討論其實就是典型的群聚測試回饋,每個app的開發人員可以透過自己的設計供給所有使用者安裝,並在使用者於測試後回饋於評分與討論,不難發現評分有既定的格式(例如:1-5顆星)可以直接的收集到來自各式各樣的使用者反饋,至於回饋的部分可以補足一些無法用評分來界定的建議,最終透過你來我往的方式app開發人員可以進而修正app使其達到當初設定的目標。

 


 

案例二

微軟提供 office 2010 產品系列的測試版本,有大約900萬人下載使用,使用者使用測試後反饋與評分,也提供約兩百萬條寶貴意見與見解,從而使產品獲得確實的改進。

 

參考資料(Reference)

Sahil Deva。How-To Guide to Crowdtesting。

維基百科。Crowdsourced testing。

trakken。CROWDTESTING – TESTING MIT DER CROWD。

Crowdsourcing。TWO APPROACHES TO CROWDSOURCED SOFTWARE TESTING。

Noel Wurst。IMPLEMENTING INNOVATIVE CROWDSOURCED TESTING: AN INTERVIEW WITH RAJINI PADMANABAN。

Software Testing Help。The Definitive Guide to Crowdsourced Testing (for Testers and Companies)。

getit01。為什麼互聯網公司不開除測試,轉而讓大眾來測,找到一個bug給100元?。

Alexander Niemeier。What is Crowdtesting?。

TMAP-人群測試

STICKYMINDS

眾包測試的5分鐘指南

 

資料整理:2018 李映萱 2019 張玉鏡

總編輯:羅歆慈

編輯與排版:李明容

 

分享 Acadeck 給更多人!