當我們決定根據(jù)某個模式運行測試時，最后一個對完成該過程至關(guān)重要的元素–杭州品牌策劃公司用新結(jié)果更新該模式。更具體地說，兩個可重復性得分都得到了更新（正數(shù)或負數(shù)），中位效果也有所變化，無論好壞。

對于任何獨立于效果和顯著程度的測試結(jié)果，都會發(fā)生這種情況。無論結(jié)果如何，記住并從結(jié)果中學習非常重要（除非存在技術(shù)測試設(shè)置問題使實驗無效）。這種反饋機制可以使每個新的測試結(jié)果對未來的預測越來越準確，從而進一步將較好的模式與較弱的模式區(qū)分開。

模式有效嗎？來自51 A / B測試預測的有希望的結(jié)果

但是這種方法如何在實際項目中執(zhí)行？為了評估模式是否具有預測能力，杭州品牌策劃公司于2017年開始在眾多優(yōu)化項目中跟蹤我們自己的預測。我們運行并跟蹤了嚴格由模式驅(qū)動的51個此類a / b測試，這是我們發(fā)現(xiàn)的令人興奮的結(jié)果。

在全部被預測為陽性（具有任何陽性重復性得分）的51個實驗中，這些實驗中有36個在停止時結(jié)束為陽性。這使這些模式的預測率達到71％。以這種方式使用模式顯然有助于我們擺脫隨機性建議的50/50成功率。因此，我們對模式（基于實驗）抱有非常積極的看法，這是在進行更多獲勝的a / b測試同時最大程度地減少工作量方面非常有效的方法。這與以最小的努力（最大的ROI）獲得最大的效果的客戶的業(yè)務期望相符。

更多可重復的測試會導致更高的預測率嗎？

為了驗證重復性是否是測試結(jié)果的可靠預測指標，杭州品牌策劃公司還可以問自己一個關(guān)鍵問題：更高的重復性得分會導致更積極的測試預測嗎？換句話說，如果某個模式的陽性反應頻率更高，這是否意味著它在以后的實驗中再次出現(xiàn)陽性反應的機會更大？為了回答這個問題，我們通過三組重復性得分來組織我們的預測（提醒：得分越高，我們支持模式的積極證據(jù)就越多）。這是我們發(fā)現(xiàn)的：

我們正在看到一個明確的跡象，表明杭州品牌策劃公司擁有更多支持這種模式的證據(jù)，我們的預測率就越高。我們的預測率隨著重復性的程度線性增加。這是我們自2017年以來最有希望的發(fā)現(xiàn)，支持繼續(xù)以這種方式識別和衡量轉(zhuǎn)化模式。這也非常令人放心，因為它表明轉(zhuǎn)換模式可以通用（在不同網(wǎng)站上執(zhí)行）。

從這些發(fā)現(xiàn)中，杭州品牌策劃公司更愿意為我們的可重復性評分添加一層含義。隨著杭州品牌策劃公司收集更多數(shù)據(jù)并評估我們的預測準確性，我們隨時可以在將來對其進行調(diào)整，但是現(xiàn)在從這里開始：

僅分析單個a / b測試是有限的。現(xiàn)在，我們看到了查看多個實驗的價值。以上面概述的方式使用模式是使這種飛躍成為可能的眾多方式之一。模式對我們來說已經(jīng)成為記住過去的多個實驗的有力方法，這對于做出更準確的預測至關(guān)重要。去年的71％成功率僅僅是個開始。當我們運行并記住更多實驗時，杭州品牌策劃公司的工作將變得更加容易。從過去的實驗中提取概率最終將使我們能夠進行更多獲勝和更高影響的測試。一些杭州品牌策劃公司喜歡說，對一個站點有效的方法可能并不總是對另一個站點有效。但是，對于一個站點，另一個站點和另一個站點有效的東西，很可能會在其他地方再次出現(xiàn)，請記住并加以利用。