選取正確的樣本數(shù)量,選取足夠大的數(shù)量,剔除極端或偶然性數(shù)據的影響。08年奧運會上,姚明的三分投籃命中率為100%,科比的三分投籃命中率為32%,那么是不是說姚明的三分投籃命中率要比科比高?顯示有問題,因為那屆奧運會,姚明只投了一個三分球,科比投了53個。
制定相同的抽樣規(guī)則,減少分析結論的偏差性。比如兩條Push文案,第1條“您有一個外賣暖心紅包未領取,最大的紅包只留給最會吃的你,點擊進入”,第2條“送你一個外賣低溫福利,足不出戶吃喝熱騰美味,點擊領取 ”。實驗數(shù)據表明,第二條Push文案的點擊率比第一條同比高了30%。那么真的是第二條文案更有吸引力嘛?結果發(fā)現(xiàn)是第二條Push文案的接收人群的活躍度明顯高于第一條造成的。
剔除版本或節(jié)假日因素的干擾,新版本剛上線時的數(shù)據表現(xiàn)往往會很好,因為主動升級的用戶一般是高活躍度的用戶。臨近周末或大型節(jié)假日的時候,用戶的消費需求會被觸發(fā),電商類應用的訂單轉化率也會直線上升。因此,在數(shù)據對比的時候,實驗組和對照組的數(shù)據在時間維度上要保持對應。
對歷史數(shù)據遺忘。人與數(shù)據技術不同,數(shù)據技術有著100%的記憶能力,而人類根據艾浩賓斯遺忘定律1天后只能記起33%,6天后25%,31天后21%。因此,我們要合理的選擇篩選時間段。比如猜你喜歡模塊不僅要對興趣標簽的計分進行一定的加權處理,也要結合商品的生命周期等因素做一系列的回歸實驗,得出受眾人群對各類興趣和購買傾向的衰退曲線,利用有規(guī)律的時間變化有效刪除老數(shù)據,去提升模塊的點擊率。
實驗需拆分A1組,也就是在實驗組B和對照組A上再增加一組A1,A1和A的規(guī)則保持一致,然后探究AB的數(shù)據波動與AA1比較,剔除數(shù)據的自然/異常波動帶來的影響。以我實際的A/B實驗表明,設立A1組是非常重要且必要的,不管數(shù)據量級有多大,相同實驗規(guī)則的兩組在數(shù)據也會有一定的小幅波動,而這小幅波動在精細化運營的今天,對我們的判斷可能形成較大的干擾偏差。
中企動力是一家專注于網站建設、網站設計、網站制作、建網站、制作網站的高端網站制作公司,專注網站建設17年,成功建站案例超30萬,對建設運營企業(yè)網站和提高用戶體驗有自己的獨到見解。
中企動力網站建設專家為您講述最新的網站運營、網站優(yōu)化、網站推廣知識,有何疑問就趕緊點擊旁邊的咨詢按鈕吧!