摘要：
Waze（位智）是一款基于GPS的導(dǎo)航移動(dòng)軟件應(yīng)用APP，于2013年被Google收購(gòu)。本文作者為Waze的增進(jìn)營(yíng)銷(xiāo)負(fù)責(zé)人。在Waze事情的7年內(nèi)，她介入過(guò)林林總總的產(chǎn)物或功效開(kāi)... 
Waze（位智）是一款基于GPS的導(dǎo)航移動(dòng)軟件應(yīng)用APP，于2013年被Google收購(gòu)。本文作者為Waze的增進(jìn)營(yíng)銷(xiāo)負(fù)責(zé)人。在Waze事情的7年內(nèi)，她介入過(guò)林林總總的產(chǎn)物或功效開(kāi)發(fā)：從全球已有跨越1.3億用戶(hù)的Waze App，到Waze上線不久的拼車(chē)軟件。在今天的文章里，她將為我們分享若何通過(guò)A/B Testing來(lái)實(shí)現(xiàn)Waze的增進(jìn)。
在市場(chǎng)營(yíng)銷(xiāo)的差別領(lǐng)域里事情，我見(jiàn)證了營(yíng)銷(xiāo)若何影響了用戶(hù)介入度，這也激發(fā)了我更深入地研究營(yíng)銷(xiāo)的績(jī)效和增進(jìn)：我學(xué)會(huì)了若何通過(guò)數(shù)據(jù)挖掘發(fā)現(xiàn)商業(yè)看法，若何設(shè)計(jì)響應(yīng)的實(shí)驗(yàn)，以及若何剖析和注釋實(shí)驗(yàn)的效果。作為績(jī)效營(yíng)銷(xiāo)團(tuán)隊(duì)(Performance Marketing) 的一員，我們團(tuán)隊(duì)旨在通過(guò)Waze已有的營(yíng)銷(xiāo)渠道和工具來(lái)提高整個(gè)Waze產(chǎn)物漏斗中的用戶(hù)介入度。我們會(huì)直接接觸到用戶(hù)，最終指導(dǎo)用戶(hù)完成消費(fèi)。
除此以外，我們團(tuán)隊(duì)會(huì)設(shè)計(jì)實(shí)驗(yàn)來(lái)進(jìn)一步驗(yàn)證營(yíng)銷(xiāo)流動(dòng)的效果，實(shí)驗(yàn)的主要形式是“假設(shè)磨練(Hypothesis testing)”，例如A/B測(cè)試。頻頻舉行了數(shù)百個(gè)實(shí)驗(yàn)之后，我發(fā)現(xiàn)了一系列最佳實(shí)驗(yàn)，以及實(shí)行實(shí)驗(yàn)的具體步驟。今天就在這里與人人分享我的A/B測(cè)試履歷。
第一步：探索數(shù)據(jù)關(guān)系，制訂KPI
首先，你的任何A/B測(cè)試，其關(guān)注的KPI都應(yīng)該與公司的KPI保持一致，從而確保你的測(cè)試實(shí)驗(yàn)關(guān)注在公司的重點(diǎn)營(yíng)業(yè)上。
通過(guò)探索性數(shù)據(jù)剖析（Exploratory Data Analysis）探尋數(shù)據(jù)中隱藏的關(guān)系
明確KPI，需要連系專(zhuān)業(yè)領(lǐng)域知識(shí)和EDA(探索性數(shù)據(jù)剖析)的發(fā)現(xiàn)。我們需要對(duì)公司營(yíng)業(yè)有深入領(lǐng)會(huì)，從而確定營(yíng)業(yè)的焦點(diǎn)驅(qū)動(dòng)力是什么。我們能通過(guò)EDA挖掘影響焦點(diǎn)驅(qū)動(dòng)力的因素，除此以外，EDA還能輔助我們識(shí)別產(chǎn)物漏斗中具有最大增進(jìn)潛力的相關(guān)部門(mén)。
若是你沒(méi)有EDA的相關(guān)履歷，以下是基本步驟建議：
檢查數(shù)據(jù)：對(duì)于每個(gè)數(shù)據(jù)集，首先領(lǐng)會(huì)數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容。
清算數(shù)據(jù)：刪除多余列，處置Null值。若有需要，可以添加列。
使用Group by和Aggregation函數(shù)盤(pán)算形貌性統(tǒng)計(jì)量，以探索值得關(guān)注的差別組數(shù)據(jù)差異。
舉行可視化數(shù)據(jù)探索，發(fā)現(xiàn)潛在的差別組間的關(guān)系。
明確與重點(diǎn)營(yíng)業(yè)和商業(yè)目的相關(guān)的可操作指標(biāo)(Actionable Metrics)
你選擇的指標(biāo)應(yīng)與產(chǎn)物黏性(介入度)相關(guān)，而且應(yīng)該是歷久留存量的有力指標(biāo)。總之，KPI應(yīng)該是可丈量、可執(zhí)行的指標(biāo)。換言之，你應(yīng)該能通過(guò)某些行動(dòng)提升這個(gè)指標(biāo)數(shù)值，并輔助公司到達(dá)商業(yè)目的。除此之外，對(duì)于這個(gè)指標(biāo)，你還需要足量的過(guò)往數(shù)據(jù)，或者能輕松搜集其相關(guān)數(shù)據(jù)。同時(shí)，你也應(yīng)該制止跨度時(shí)間長(zhǎng)的數(shù)據(jù)迭代。例如：使用逐日或每周的活躍用戶(hù)數(shù)據(jù)，而不是每月活躍用戶(hù)。由于使用每月活躍用戶(hù)(MAU)數(shù)據(jù)，你需要守候更新一個(gè)月，才氣對(duì)數(shù)據(jù)舉行剖析和操作。
專(zhuān)注用更少指標(biāo)發(fā)生更大影響
對(duì)于KPI，你應(yīng)該遵照“少即是多”的原則。讓公司關(guān)注更少的指標(biāo)，旨在整個(gè)公司發(fā)生更大的影響。
在設(shè)計(jì)A/B測(cè)試時(shí)，你同樣也應(yīng)該遵照這個(gè)方式。試圖同時(shí)優(yōu)化更多指標(biāo)，實(shí)驗(yàn)就會(huì)加倍龐大：可能導(dǎo)致實(shí)驗(yàn)需要更長(zhǎng)的測(cè)試時(shí)間，更多的設(shè)計(jì)和開(kāi)發(fā)資源——也就是更多的錢(qián)。
當(dāng)你發(fā)現(xiàn)了數(shù)據(jù)中的隱藏關(guān)系，你可以對(duì)其舉行深入剖析，從而更準(zhǔn)確地設(shè)計(jì)你的KPI，并在未來(lái)的實(shí)驗(yàn)設(shè)計(jì)和營(yíng)銷(xiāo)效果評(píng)估中使用它們。
第二步：確定實(shí)驗(yàn)的局限和目的
一旦你對(duì)數(shù)據(jù)的關(guān)系有了更全面的領(lǐng)會(huì)，明確了相關(guān)KPI，你就可最先制訂實(shí)驗(yàn)的局限了。而任何實(shí)驗(yàn)的設(shè)計(jì)都應(yīng)該從解答以下四個(gè)問(wèn)題最先：
1. 這個(gè)實(shí)驗(yàn)有意義嗎？
這是重中之重的問(wèn)題，由于沒(méi)有人想浪費(fèi)時(shí)間、款項(xiàng)和資源在一個(gè)效果無(wú)足輕重，不能影響營(yíng)業(yè)、產(chǎn)物或營(yíng)銷(xiāo)計(jì)謀的實(shí)驗(yàn)上。在真正最先實(shí)驗(yàn)之前，確保你與公司決議層的目的一致。
2. 實(shí)驗(yàn)的相關(guān)KPI可丈量嗎？若是可以，若何丈量？
永遠(yuǎn)不要一拍腦門(mén)就最先一個(gè)實(shí)驗(yàn)。許多人會(huì)說(shuō)：“我們來(lái)試試這個(gè)實(shí)驗(yàn)，看看會(huì)有什么效果?！边@些人往往會(huì)意識(shí)到，他們想影響的指標(biāo)現(xiàn)實(shí)上是無(wú)法丈量的。這也是我們應(yīng)該制止的。在最先實(shí)驗(yàn)之前，明確你想影響的數(shù)值或KPI，再確保它們是可以丈量的，能應(yīng)用于實(shí)驗(yàn)的。
3. 實(shí)驗(yàn)的影響可檢測(cè)嗎？
想要評(píng)估你的實(shí)驗(yàn)影響是否有意義，你需要足夠大的樣本量。而合適的樣本量巨細(xì)取決于許多因素，包羅置信水平(confidence level)，統(tǒng)計(jì)功效(statistical power)，和效應(yīng)值(effect size)等。在設(shè)計(jì)實(shí)驗(yàn)的第三步，我們會(huì)深入研究這些問(wèn)題。但總而言之，探測(cè)產(chǎn)物漏斗更深處的效應(yīng)，會(huì)需要更大的樣本量。若是檢測(cè)的效應(yīng)在漏斗頂部，例如點(diǎn)擊率、打開(kāi)消息率等，其需要的樣本量會(huì)相對(duì)較小。同樣的，檢測(cè)更小的效應(yīng)需要更大的樣本量。
若是情形允許，你可以從過(guò)往的類(lèi)似實(shí)驗(yàn)中學(xué)習(xí)，通過(guò)轉(zhuǎn)換率確定實(shí)驗(yàn)基準(zhǔn)，從而大略估量你的實(shí)驗(yàn)執(zhí)行所需的用戶(hù)量。
4. 若是實(shí)驗(yàn)樂(lè)成，能發(fā)生現(xiàn)實(shí)影響嗎？
我們應(yīng)該從商業(yè)角度思量，若是實(shí)驗(yàn)樂(lè)成，所發(fā)生的影響是否有商業(yè)意義。換言之，縱然你的實(shí)驗(yàn)統(tǒng)計(jì)意義上提升了指標(biāo)或KPI，但若是它只能影響少量用戶(hù)，那這個(gè)實(shí)驗(yàn)可能并不值得推行。
確保了你的實(shí)驗(yàn)?zāi)軐?duì)以上四個(gè)問(wèn)題回覆“Yes”，就可以繼續(xù)讀下去——正式最先你的實(shí)驗(yàn)設(shè)計(jì)了。
第三步：界說(shuō)、設(shè)計(jì)并實(shí)行你的實(shí)驗(yàn)
在驗(yàn)證了實(shí)驗(yàn)的必要性并設(shè)定好樂(lè)成指標(biāo)后，你就可以最先舉行實(shí)驗(yàn)的設(shè)計(jì)了。在Waze多年的履歷，我總結(jié)出一套實(shí)驗(yàn)紀(jì)錄的一套流程，主要由三部門(mén)組成：界說(shuō)，設(shè)計(jì)和實(shí)行。
界說(shuō)
這一部門(mén)主要提供實(shí)驗(yàn)的靠山信息。它需要概述實(shí)驗(yàn)的需求，決議的制訂方式以及專(zhuān)業(yè)術(shù)語(yǔ)。在這部門(mén)，你需要用到在第一步中舉行的剖析效果以及第二步中界說(shuō)的基本原理，為實(shí)驗(yàn)提供靠山信息和框架。
具體來(lái)說(shuō)，在這一部門(mén)中我們需要回覆以下問(wèn)題：
這個(gè)實(shí)驗(yàn)是關(guān)于什么的？
此實(shí)驗(yàn)的商業(yè)目的是什么?
此實(shí)驗(yàn)的實(shí)驗(yàn)效果將會(huì)怎樣影響商業(yè)決議？特別是在與該實(shí)驗(yàn)相關(guān)的部門(mén)中的決議轉(zhuǎn)變——例如營(yíng)銷(xiāo)部門(mén)或者產(chǎn)物部門(mén)等等。
若何界說(shuō)該實(shí)驗(yàn)中所使用的指標(biāo)和術(shù)語(yǔ)？
非常主要的一點(diǎn)是確保所有與此實(shí)驗(yàn)相關(guān)的事情人員，利益相關(guān)者和通俗讀者都對(duì)試驗(yàn)中所使用的專(zhuān)業(yè)術(shù)語(yǔ)有相同的界說(shuō)。若是實(shí)驗(yàn)的要害環(huán)節(jié)沒(méi)有獲得準(zhǔn)確的界說(shuō)，那么這很可能會(huì)影響到試驗(yàn)中的各個(gè)部門(mén)，使得最后得出完全差別的結(jié)論。例如，若是你實(shí)驗(yàn)的目的是將非努力用戶(hù)轉(zhuǎn)化為努力用戶(hù)，則必須在實(shí)驗(yàn)設(shè)計(jì)中完整界說(shuō)非努力用戶(hù)的界說(shuō)或努力用戶(hù)與非努力用戶(hù)的界定尺度。由于其他讀者很可能對(duì)你的目的受眾或整個(gè)實(shí)驗(yàn)效果和樂(lè)成與否存在完全差別的思索角度或明白誤差。
實(shí)驗(yàn)設(shè)計(jì)
抖音養(yǎng)號(hào)技巧,優(yōu)秀帶貨主播的自我修養(yǎng)
這部門(mén)是整個(gè)實(shí)驗(yàn)設(shè)計(jì)的焦點(diǎn)內(nèi)容。它包羅目的人群的界說(shuō)，事宜幾率巨細(xì)，抽樣方案，假設(shè)界說(shuō)和所需的最小樣本量。這部門(mén)需要確保包羅以下內(nèi)容：
目的人群
詳細(xì)界說(shuō)該實(shí)驗(yàn)的目的人群。
事宜幾率巨細(xì)
這部門(mén)應(yīng)該憑據(jù)實(shí)驗(yàn)的目的人群和實(shí)驗(yàn)KPI舉行界說(shuō)。如第一步所述，你需要集中測(cè)試該實(shí)驗(yàn)中的可能變量。
抽樣方案
這部門(mén)主要界說(shuō)你對(duì)目的人群舉行抽樣的方式。我還建議在這部門(mén)中枚舉出任何有可能泛起的抽樣誤差，這樣可以確保你和實(shí)驗(yàn)的利益相關(guān)者領(lǐng)會(huì)這些抽樣誤差可能對(duì)實(shí)驗(yàn)效果造成的潛在影響。
零假設(shè)與替換假設(shè)
這部門(mén)是實(shí)驗(yàn)界說(shuō)的“心臟”，需要簡(jiǎn)練清晰地形貌你的零假設(shè)和替換假設(shè)。其中零假設(shè)應(yīng)該是你的默認(rèn)操作或現(xiàn)有狀態(tài)。替換假設(shè)則是你正在測(cè)試的新理論或轉(zhuǎn)變。你在實(shí)驗(yàn)中的目的是檢測(cè)是否有足夠的證據(jù)支持來(lái)推翻零假設(shè)并更改為替換假設(shè)。
統(tǒng)計(jì)誤差在實(shí)驗(yàn)中代表了假設(shè)磨練中的要害部門(mén)。具體來(lái)說(shuō)，我們可以看到兩種差別的統(tǒng)計(jì)誤差，分別是第一類(lèi)錯(cuò)誤和第二類(lèi)錯(cuò)誤。說(shuō)明兩種錯(cuò)誤之間的區(qū)別時(shí)，一種常見(jiàn)的例子是將第一類(lèi)錯(cuò)誤視為將無(wú)辜者治罪的幾率，而第二類(lèi)錯(cuò)誤是將有罪者定為無(wú)罪的幾率。
在實(shí)驗(yàn)中，你希望削減無(wú)法拒絕零假設(shè)的幾率，從而增添找到實(shí)驗(yàn)效果的機(jī)遇（若是效果真實(shí)存在）。以上述例子為例，你可以想成零假設(shè)為一小我私家是無(wú)辜的，而替換假設(shè)為這小我私家有罪。若是該人確實(shí)是無(wú)辜的（零假設(shè)建立），那么則希望削減對(duì)該人治罪的可能性（零假設(shè)不建立）。
主要性級(jí)別和功耗統(tǒng)計(jì)
一樣平常會(huì)通過(guò)顯著性水平來(lái)界說(shuō)你對(duì)第一類(lèi)錯(cuò)誤的接受水平，通常會(huì)設(shè)置為0.05或5%（95%置信區(qū)間）。也就是5%的可能性錯(cuò)誤的將無(wú)辜者治罪。我們通過(guò)功耗統(tǒng)計(jì)來(lái)戰(zhàn)勝第二類(lèi)錯(cuò)誤。一個(gè)實(shí)驗(yàn)的功耗統(tǒng)計(jì)是指該實(shí)驗(yàn)檢測(cè)出差別實(shí)驗(yàn)組之間區(qū)別的能力（若是此區(qū)別是真實(shí)存在的）。大部門(mén)情形下功效被設(shè)定為80%。
效應(yīng)值
領(lǐng)會(huì)效應(yīng)的巨細(xì)是非常主要的，或者在既定的群體中怎樣的效果是可以預(yù)期的。以是你需要一個(gè)效應(yīng)值。在實(shí)驗(yàn)中你想要看到更大的轉(zhuǎn)變，那么效應(yīng)值也就越大，最小樣本量也就越小。相反，若是你想看到更小的轉(zhuǎn)變，那么效應(yīng)值也相對(duì)越小，我們所需的最小樣本量則越大。換而言之，若是你希望發(fā)現(xiàn)較大的差異，那么可以在測(cè)試中削減樣本數(shù)目。反之，若是你希望找到細(xì)微差異，那么就需要在實(shí)驗(yàn)中增添更多的樣本數(shù)目。
最小樣本量
在界說(shuō)完顯著性水平，功效和效應(yīng)值后，你可以通過(guò)運(yùn)行功效剖析來(lái)確定實(shí)驗(yàn)所需的最少樣本數(shù)，以此來(lái)檢測(cè)你所測(cè)試的轉(zhuǎn)變是否有意義。
這種測(cè)試通常會(huì)使用p值來(lái)檢測(cè)，這是假定零假設(shè)建立時(shí)考察效果所獲得的概率。在顯著性測(cè)試中使用p值時(shí)，必須明確指定顯著性水平。若是p值小于顯著性水平，則示意顯著性檢測(cè)的效果為“統(tǒng)計(jì)上顯著”。這意味著零假設(shè)（沒(méi)有差異性）被拒絕。
p <= alpha: 拒絕零假設(shè)
p > alpha: 無(wú)法拒絕零假設(shè)
實(shí)行與考察
現(xiàn)在你已經(jīng)準(zhǔn)備好執(zhí)行你的實(shí)驗(yàn)了！
不要忘記在實(shí)驗(yàn)的每個(gè)環(huán)節(jié)舉行質(zhì)量檢查，以確保數(shù)據(jù)正常和每個(gè)環(huán)節(jié)中的操作相符你的預(yù)期。另外，也需要確保在整個(gè)實(shí)驗(yàn)過(guò)程中嚴(yán)酷監(jiān)控。最主要的是，確保在實(shí)驗(yàn)最先執(zhí)行后的幾小時(shí)內(nèi)親切考察，以盡快發(fā)現(xiàn)任何潛在問(wèn)題。
第四步：剖析并匯報(bào)實(shí)驗(yàn)效果
在完成A/B測(cè)試后，你需要剖析并清晰地講述實(shí)驗(yàn)效果，不用為實(shí)驗(yàn)中的負(fù)面或非負(fù)面效果而感應(yīng)含羞。通常情形下你需要測(cè)試多種假設(shè)后才氣找到最有影響力的假設(shè)。然則，清晰地講述具有可操縱性的實(shí)驗(yàn)效果可以輔助你和所有利益相關(guān)者連續(xù)地為你的KPI帶來(lái)正面影響。
剖析實(shí)驗(yàn)效果的第一步是從驗(yàn)證最先，以確保你的測(cè)試正常運(yùn)行。具體來(lái)說(shuō)，你需要確認(rèn)以下幾點(diǎn)：
差別實(shí)驗(yàn)組的巨細(xì)相同：即每個(gè)組的測(cè)試分配為50％-50％。若是你決議以差別方式劃分實(shí)驗(yàn)組，則需要確保每個(gè)組的巨細(xì)都與分配給它的百分比相對(duì)應(yīng)。
實(shí)驗(yàn)組是隨機(jī)抽取和分配的：確保檢查實(shí)驗(yàn)組中的子群組，以確保沒(méi)有潛在的誤差影響你的實(shí)驗(yàn)效果。例如，你可以按性別或國(guó)家/區(qū)域?qū)?shí)驗(yàn)組舉行分組，以確保兩個(gè)組的規(guī)模相對(duì)相似。
在確認(rèn)實(shí)驗(yàn)的有效性后，你需要憑據(jù)之前為實(shí)驗(yàn)界說(shuō)的指標(biāo)和KPI剖析每個(gè)組的顯示。若是其中一組的顯示看起來(lái)似乎比另一組更好，然則你必須查看效果是否具顯著，以便能夠確定效果是隨機(jī)事宜照樣可再現(xiàn)的效果（會(huì)對(duì)效果發(fā)生現(xiàn)實(shí)影響）。
怎樣判斷實(shí)驗(yàn)效果是否顯著呢？若是你的變量之間的關(guān)系不只是有時(shí)發(fā)生，那么就代表它是顯著的！顯著性是以P值（即概率值）權(quán)衡的，它將反映你的效果是否與統(tǒng)計(jì)假設(shè)磨練中考察到的效果一樣極端。P值會(huì)假設(shè)你的零假設(shè)在一最先就是準(zhǔn)確的。
要記著的是，P值取決于測(cè)試組的樣本量。P值巨細(xì)從0％到100％，但通常寫(xiě)為十進(jìn)制。例如，5％的P值為0.05。低P值是優(yōu)越的顯示；它們解釋效果不是有時(shí)發(fā)生的。你可以將高P值視為反駁零假設(shè)的弱證據(jù)，而將低P值視為反駁零假設(shè)的強(qiáng)證據(jù)：
高P值：你的實(shí)驗(yàn)數(shù)據(jù)證實(shí)了零假設(shè)的真實(shí)性（零假設(shè)建立）
低P值：你的實(shí)驗(yàn)數(shù)據(jù)無(wú)法證實(shí)零假設(shè)的真實(shí)性（零假設(shè)不建立）
我已經(jīng)聽(tīng)過(guò)許多次人們?cè)噲D注釋“效果幾乎是顯著的”之類(lèi)的說(shuō)辭，以充實(shí)他們的講述。讓我們清晰一點(diǎn)：
實(shí)驗(yàn)中沒(méi)有“幾乎是有意義的”這一回事。你的測(cè)試效果只能是顯著的或不顯著的。
除了確定測(cè)試效果是否具顯著外，你還需要界說(shuō)效果的巨細(xì)，或零假設(shè)和替換假設(shè)之間差異的巨細(xì)。要確定這一點(diǎn)，你需要舉行磨練統(tǒng)計(jì)量?；诹慵僭O(shè)中假設(shè)的概率模子，差別的假設(shè)磨練使用差別的磨練統(tǒng)計(jì)量。一些常用的測(cè)試包羅：
Z test (Z statistic): Z磨練測(cè)試效果低于或高于總體的多少個(gè)尺度差。Z分?jǐn)?shù)也稱(chēng)為尺度分?jǐn)?shù)。
T test (T statistic): T磨練會(huì)顯示兩組之間的差異有多大；換句話說(shuō)，它讓你知道這些差異（以均值/平均值權(quán)衡）是否可能是有時(shí)發(fā)生的。
ANOVA (F-statistic): 與T磨練類(lèi)似，ANOVA可以告訴你差別組之間的差異有多嚴(yán)重。t磨練用來(lái)對(duì)照兩組樣本，而ANOVA磨練可以舉行兩組以上的磨練。
Chi-square tests (Chi-square statistic): 可以輔助你找到涉及零假設(shè)和替換假設(shè)的變量之間的關(guān)系類(lèi)型。
在舉行剖析時(shí)，你需要選擇最適合你的實(shí)驗(yàn)的磨練統(tǒng)計(jì)量，并盤(pán)算T和P值以評(píng)估實(shí)驗(yàn)顯示。Statsmodels庫(kù)中包含了一些壯大的功效，可輔助你舉行上述的磨練統(tǒng)計(jì)量。
