簡(jiǎn)析移動(dòng)端A/B測試應該測試哪些方面

做A/B測試的理由很多，Facebook、Google、BAT、滴滴、美團……大公司都在做。但知道它們?yōu)槭裁醋?？怎么做？A/B測試有哪些方法論來(lái)指導最近實(shí)踐，讓我們來(lái)看點(diǎn)干的。

A/B測試簡(jiǎn)單講，就是我們同時(shí)對同一個(gè)網(wǎng)站的兩個(gè)版本進(jìn)行試驗，測量關(guān)鍵指標，選出最優(yōu)版本。移動(dòng)A/B測試就是指把這個(gè)試驗用來(lái)對比優(yōu)化移動(dòng)應用。

通常為了將變量與測試結果相關(guān)聯(lián)，A/B測試一次只改變一個(gè)變量。同時(shí)改變多個(gè)變量的A/B測試我們把它叫多變量測試，或 MVT 。這些測試對于測量同一個(gè)頁(yè)面上的不同變量之間的相互作用是有用的，但必須精心設計，以找到有意義的相關(guān)性。

對于移動(dòng)端，幾乎所有都可以（并應該）進(jìn)行A/B測試。許多人認為只是粗淺的以為A/B測試只能用在設計變化上，比如調整登陸按鈕顏色等，這是不對的。理想情況下，A/B測試過(guò)程囊括比用戶(hù)界面元素多得多的內容。通常來(lái)說(shuō)，移動(dòng)端可進(jìn)行A/B測試的包括：

對于 App 擁有者來(lái)說(shuō)，如果你想優(yōu)化轉化和內容，對每個(gè)變量進(jìn)行測試都是有意義的。

除了轉化率的明顯提升，關(guān)于為什么要對你的 App 進(jìn)行A/B測試有一個(gè)很大的原因在于，A/B測試是確保你所做的更改不會(huì )意外的讓用戶(hù)體驗更糟糕的唯一方法。

我們從案例研究發(fā)現，比起提升轉化率企業(yè)應用更擔心的是產(chǎn)品崩潰等迭代風(fēng)險。一個(gè)流行應用程序的A/B測試務(wù)必要確保必要的變化（如更新和升級）不對用戶(hù)體驗造成負面影響。這也是一款A/B測試工具好壞的評判標準。

對消極和積極影響的權衡評估會(huì )是優(yōu)秀A/B測試平臺的重要組成部分。如果能提供雙邊測試，對A/B測試里積極的改變跟消極的改變同時(shí)觀(guān)測。比如，不必擔心一個(gè)推送通知增加了你的打開(kāi)率，但同時(shí)也增加了應用的卸載率。具有雙邊測試功能的A/B測試會(huì )根據得到的全面的 App 表現來(lái)權衡決策。

在理想的情況下，我們可以認為一個(gè)改變能提升轉化，沒(méi)有任何后果，但在現實(shí)中，每一個(gè)變化都是權衡折中的結果。不知道你放棄了什么，是做不出好的優(yōu)化決策的。

決定為你的產(chǎn)品進(jìn)行A/B測試是朝正確方向邁出的第一步，但不是最后一步。還需要設計一個(gè)有效的測試，讓分析軟件來(lái)幫你分析。

通常，A/B測試應該是徹底的，花時(shí)間為你能想到的每個(gè)有意義的變量設計測試。優(yōu)秀A/B測試平臺設計哲學(xué)的一部分是：發(fā)現你不知道你不知道的（通常來(lái)說(shuō)知識或信息有四種類(lèi)型，你知道你知道的、你知道你不知道的、你不知道你知道的、你不知道你不知道的，你不知道你不知道的對我們的價(jià)值可能是最大的）。所以需要平臺能顯示用戶(hù)在A(yíng)/B測試中所有的統計顯著(zhù)場(chǎng)景。即使一個(gè)變量對你似乎不重要，數據也可能會(huì )告訴你一個(gè)不同的故事，而這就是好的A/B測試工具的價(jià)值。

一旦開(kāi)始A/B測試，就不得不考慮測試用戶(hù)群體細分，這取決于你的測試目的是什么。

如果打算發(fā)布一個(gè)新功能，最好把這個(gè)功能先發(fā)布給最忠實(shí)的用戶(hù)。你可以給這些忠實(shí)用戶(hù)發(fā)一些消息宣布新功能，并提供反饋渠道。他們更容易理解新功能，并能提供有價(jià)值的使用數據。

測試了部分用戶(hù)的反應之后，準備推出這個(gè)功能給全部用戶(hù)，這時(shí)候就可以給全部用戶(hù)發(fā)送更新消息。另外，如果你正在做一個(gè)小的布局更改，你可以根據用戶(hù)使用頻次把他們放到不同的類(lèi)別里，也許是不活躍的用戶(hù)對更新感到困惑（或反之亦然）。如果兩類(lèi)用戶(hù)集中在一起的，你可能不會(huì )得到一個(gè)有意義的結果，因為它不會(huì )告訴你布局變化的好壞。事實(shí)上，所有用戶(hù)雜糅在一起，導致即使我們做了A/B測試，也得不出有效結果。所以，我們需要按用戶(hù)群體細分去做A/B測試，高質(zhì)量用戶(hù)、留存用戶(hù)、低質(zhì)量用戶(hù)、不活躍用戶(hù)，它們的行為是怎么的？這才是有效A/B測試的關(guān)鍵。

分類(lèi)發(fā)現區別，區別找到差異，差異引爆增長(cháng)，事實(shí)上 Facebook 、 Twitter 、Dropbox 等公司就是通過(guò)這種方式發(fā)現增長(cháng)密碼的。這里可能會(huì )引出同期群分析相關(guān)的概念及實(shí)踐，感興趣可以參看我們的這篇文章：找到產(chǎn)品中的Aha moment，像Facebook一樣增長(cháng)。

那么，準備好開(kāi)始你的第一個(gè)移動(dòng)端A/B測試了嗎？