A/B Test
A/B測試
摘要 （Abstract）
A/B測試經常用於介面優化後的測試，可觀察轉化率、註冊率等指標是否有所提高。
A/B測試常應用在網頁可用性評估，設計師透過提供新或舊版本，或數個新提案的設計介面同時在線上運行，透過收集使用者的真實互動資料與回饋，評估各方案的優劣。
定義（Definition）
A/B測試是一種透過分析使用者經驗來優化介面的方式，在過去設計網頁時設計師只能依靠自身或猜測使用者的想法來設計介面，因此會因每個人主觀意識不同而沒有明確的準則，而 A/B測試透過分析兩組（或兩組以上）的介面設計來了解使用者體驗的測試方法。
A/B測試應用範圍包括網頁、 APP 介面、廣告，有些公司也會利用A/B測試分析新產品對使用者產生的想法。使用A/B測試的好處是可以進行小範圍的投放調查，利用A/B測試，了解使用者對於新服務、新廣告、新產品的喜好後，再進行改版或是大規模廣告投放。
進行 A/B測試時會設計兩款（或兩款以上）介面，分為實驗組跟對照組，兩者相差的變量可以是按鈕顏色、排版設計、圖案。當使用者使用網頁時會分別進入不同的版本，而每位使用者在網頁內的動作都會被監控而且記錄下來。而此紀錄最後可幫助設計者了解哪個版本的使用者購買、點擊意願最大。
步驟（Procedure）
Step1. 訂定測試目標
第一步需清楚定義測試想要達成的目標，例如提升轉化率、降低脫離率等。
Step2. 產生假設
一旦確定了一個目標，就可以基於對使用者的了解提出可能達成目標的調整方案假設，將方案依優先度排列，依序做為測試變數。
每次的測試都須為單變數，因變數太多會導致變數之間干擾，較難找出各變數對結果的影響程度。
Step3. 進行測試
製作不同的方案，完成後利用A/B測試工具（例如：Google Analytics、Optimizely……）將不同版本放置網路上，進行資料蒐集。
不同的用戶在一次的瀏覽當中，看到的必須為同一方案，不然可能影響測試結果。
Step4. 分析結果
依據當初的測試目標衡量結果，選擇使用表現較好的方案；如果有其他想衡量變數，或在新版本上線後發現其他可改善假設，則可繼續進行測試。
為了避免實際與測試上過大誤差，測試需達到一定UV（Unique visitor）或PV（Page View）量後，才可結束；因此網站流量越小，需要的測試時間越長。
案例（Case）
案例一
有個 APP 具10萬線上用戶，通過控制臺可控制這些用戶看到不同的測試版本。假設其中5萬用戶看到左邊版本，產生了1萬點擊率；另外5萬用戶看到右邊版本，產生了4萬點擊率。此數據說明了右邊版本產生的效益更高，可通過控制臺將此版本推廣到所有10萬用戶，或者再進行優化、分析和多次的測試。
案例二 以Secret Escapes為例
Secret Escapes為英國倫敦的高端旅行服務網站，旅行閃購平臺。業務範圍覆蓋包括歐洲，亞洲，美國地區在內的 21個國家，主要提供奢侈酒店與度假村的限時搶購服務。
Step1. 訂定測試目標
Secret Escapes要推出手機應用程式，但作為一個高增長的企業，在極具競爭的線上旅遊市場，他們無法承受任何改變現況的錯誤。
Step2. 產生假設
行動版應用程式是否需要用戶註冊才能查看詳細內容？該團隊假設強制登記門檻會降低註冊率，也使行動用戶的平均終身價值會下降，因此他們決定在推出之前測試該功能。
Step3. 進行測試
Secret Escapes使用Optimizely同時創建兩種不同的介面體驗，一種允許新用戶跳過或關閉註冊畫面；在第二種，需要註冊，而且沒有跳過按鈕。
Step4. 分析結果
與團隊初始的想法相反，對具強制註冊門檻之用戶來說是更佳的體驗，同時也使註冊率翻了一倍多，且沒有導致任何負面評論。
參考資料（Reference）
Benjamin CHOW。什麼是A/B測試(A/B Testing)? 。
CONVERSION LAB。AB測試第一次就上手～新手基礎篇。
資料整理：2018 林佳欣、2019 李柔縈、2021 林妤蓁
總編輯：羅歆慈
編輯與排版：李明容