運行了大約4周的測試后,我對我的軟件下載測試出了一份結(jié)果。 你能猜出哪一種變化的下載量最大? 有多少改善? 我是能夠?qū)崿F(xiàn)超過現(xiàn)有的40%的轉(zhuǎn)換率?
屏住呼吸,結(jié)果是:
注:%默認(rèn)的完善的計算公式為 100 *(變化%-控制%)/(控制%)
#:指上面的截圖中所描述的是組合數(shù)目。
可信度*:統(tǒng)計上結(jié)果的置信水平(不犯錯的概率)。
你可以觀察到的標(biāo)題為紅色“免費下載”轉(zhuǎn)化率39%升到63%,60%的驚人增長。 有“下載”大字體大小(與鏈接,紅色的組合)也產(chǎn)生了積極的改善(43%)超過默認(rèn)組合。 所有結(jié)果前三名在統(tǒng)計上達到95%或更多的置信水平?吹较螺d有一個固定的增長,意味著我可以在這網(wǎng)頁上安全地執(zhí)行這些轉(zhuǎn)變。 還要注意,即使是表現(xiàn)最差的組合有大約超過4%的改善,雖然它并不顯著。
值得關(guān)注的是, 測試結(jié)果可能不可靠 ,而且出現(xiàn)的改善可能是由于機會。因此,必須了解不同參數(shù)的可靠性影響:
- 瀏覽人數(shù):訪客數(shù)量多,測試結(jié)果會更可靠。 你可以使用如持續(xù)計算的分割測試法,估計您的測試需要多少訪客。
- 轉(zhuǎn)換速率:在一般情況下,與轉(zhuǎn)換率高的(比如40-50%)的網(wǎng)頁相比。轉(zhuǎn)換率較低的(比如1-2%)網(wǎng)頁需要更長的時間才可獲得具有統(tǒng)計意義的結(jié)果。
- 在性能上的差異:一個在轉(zhuǎn)變行為有很大差異(例如“10%)的測試比一個差異極。0.5%左右)的測試要可靠得多。
不管你使用的是自動取得可靠性結(jié)果的工具,還是使用在線計算器來衡量結(jié)果的可信度,這是很重要的一個工具。 使用和執(zhí)行不可靠的結(jié)果實際上會導(dǎo)致性能下降。A/B測試信度分析如何計算可以閱讀文章統(tǒng)計分析和A/B測試,或者我的博客文章 A/B測試的數(shù)學(xué)運算。
5. 從測試結(jié)果中學(xué)習(xí)
不管頁面的優(yōu)化版本是否被察覺,每一個嘗試都會帶來很多收獲。以下是從我的嘗試中得出的若干要點:
- “免費”是一個很吸引人眼球的字眼。如果你提供免費的東西,那可能是在做一個次優(yōu)的東西,所以不要在頁面上太明顯。
- 免費廣告最好在操作鏈接的附近展示,舉個例子,“免費下載”的廣告展示在下載鏈接的周圍。
- 為什么不把“免費”二字設(shè)置為可點擊?這個問題使我們想到了重要的一點。我敢肯定如果我分析了頁面上的鏈接點擊情況,我應(yīng)該會發(fā)現(xiàn)很多用戶在點擊了“免費下載”的標(biāo)題后才意外地發(fā)現(xiàn)這不是鏈接。我應(yīng)該測試一個標(biāo)題可點擊的版本。
- 紅色只有結(jié)合其他元素例如“免費”(或其他帶有引起行動的文字)時,才會引起訪客的注意并讓他們采取行動。但如果你的文字沒有說服力,訪客大概不會采用任何行動的。
- 引起行動的文字大小也是影響因素。較大的字體告訴訪客這里是需要特別注意的部分。例如!跋螺d申請”與頁面上的其他內(nèi)容相比更重要。
即使你不記得以上各點,但請務(wù)必記住一個關(guān)鍵點:在您的網(wǎng)站沒有測試他們的時候不要復(fù)制上述建議!
每個網(wǎng)站都是獨一無二的,每次轉(zhuǎn)換的目標(biāo)也是不同的。而一般關(guān)于“免費”的影響意見,關(guān)于字的紅色以及引起行動的文字的大小都是符合邏輯的。但是最明智的做法是創(chuàng)建一個快速測試,確定其效力。
A/B測試在刺激公司的收入和利潤方面有很大的潛力。 盡管如此,奇怪的是采用A/B測試的人并不多。如果你還沒有做過A/B區(qū)別測試,為什么會這樣呢? 如果你之前做的A/B測試或多變量測試,請在下面分享您的經(jīng)驗,以便別人可以了解真實的例子。
原文地址:Smashing Magazine
譯文地址:http://isd.tencent.com/?p=2488
本文鏈接:http://www.95time.cn/design/doc/2010/8147.asp
出處:isd
責(zé)任編輯:bluehearts
上一頁 多變量測試:5個簡單步驟提升轉(zhuǎn)化率 [3] 下一頁
|