A/B測(cè)試產(chǎn)品可以說是企業(yè)科學(xué)決策的基礎(chǔ)“設(shè)施”，能夠幫助企業(yè)快速迭代產(chǎn)品。

在字節(jié)跳動(dòng)，每一個(gè)產(chǎn)品功能上線前，都會(huì)先在火山引擎A/B測(cè)試產(chǎn)品DataTester上進(jìn)行小流量驗(yàn)證，結(jié)合業(yè)務(wù)邏輯對(duì)結(jié)果的分析理解策略生效過程，而后再對(duì)方案進(jìn)行修正、嘗試創(chuàng)新，推動(dòng)整個(gè)產(chǎn)品和業(yè)務(wù)的持續(xù)迭代。

抖音上，早期有一個(gè)功能“彈幕”功能設(shè)想，目的是強(qiáng)化熟人社交的互動(dòng)性，產(chǎn)品團(tuán)隊(duì)希望圍繞熟人社交進(jìn)行功能拓展，以激勵(lì)用戶多看視頻、多發(fā)作品。

(資料圖片)

產(chǎn)品團(tuán)隊(duì)借鑒長(zhǎng)視頻的彈幕功能提出了一個(gè)想法——在抖音短視頻中增加彈幕互動(dòng)的功能，當(dāng)用戶觀看熟人（好友）的短視頻作品時(shí)，該視頻的相關(guān)評(píng)論通過彈幕的形式展示，讓用戶有更多的互動(dòng)機(jī)會(huì)并感受互動(dòng)的快樂。

這個(gè)功能設(shè)計(jì)初衷是很好的，但它對(duì)于產(chǎn)品所帶來的影響是正向還是負(fù)向，需要通過A/B實(shí)驗(yàn)進(jìn)行評(píng)估驗(yàn)證。DataTester就幫助團(tuán)隊(duì)快速試錯(cuò)，避免了不合適的功能上線后為產(chǎn)品帶來的負(fù)向影響。

如圖所示，該團(tuán)隊(duì)在DataTester中設(shè)計(jì)了這樣一個(gè)實(shí)驗(yàn)：

● 圖一是對(duì)照組，產(chǎn)品界面維持抖音原樣，沒有彈幕功能。

● 圖二是實(shí)驗(yàn)組1，由于彈幕功能對(duì)抖音而言是大型改動(dòng)，會(huì)直接影響產(chǎn)品主界面布局，所以產(chǎn)品團(tuán)隊(duì)在實(shí)驗(yàn)組1中做了一個(gè)激進(jìn)的嘗試，他們將視頻的文字描述區(qū)域全部去掉，替換為彈幕互動(dòng)功能；與此同時(shí)，為了界面的美觀簡(jiǎn)潔，將抖音右側(cè)原本的互動(dòng)區(qū)收入了“更多”的按鈕中。

● 圖三是實(shí)驗(yàn)組2，為了減少產(chǎn)品改動(dòng)過大對(duì)用戶帶來的不確定影響，這個(gè)版本的產(chǎn)品設(shè)計(jì)保留了產(chǎn)品原有的互動(dòng)等其他功能。

從DataTester的實(shí)驗(yàn)結(jié)果數(shù)據(jù)看，兩個(gè)實(shí)驗(yàn)組的互動(dòng)率確實(shí)有著顯著提升，達(dá)到了功能設(shè)計(jì)時(shí)“提升互動(dòng)率”的初衷。但觀察新方案對(duì)抖音大盤核心指標(biāo)影響時(shí)發(fā)現(xiàn)，這個(gè)功能對(duì)抖音整體視頻的瀏覽量、用戶投稿率、用戶整體留存率均有負(fù)向影響，上述指標(biāo)均出現(xiàn)了不同程度的下降。A/B實(shí)驗(yàn)清晰地表明，這個(gè)功能雖然能提升抖音的互動(dòng)率，但卻不利于用戶的整體使用與留存。因此這個(gè)看上去很好的改動(dòng)并未在抖音全量上線。

之后，抖音圍繞彈幕類的產(chǎn)品優(yōu)化探索并未停止，通過更多次的假設(shè)與A/B實(shí)驗(yàn)驗(yàn)證，這個(gè)功能后來加入了抖音的個(gè)人頁(yè)位置中。當(dāng)它被放在了恰當(dāng)?shù)奈恢茫材転楫a(chǎn)品的指標(biāo)帶來正向的提升。從這個(gè)案例中也可以看到，DataTester起到了幫助業(yè)務(wù)實(shí)現(xiàn)科學(xué)決策的能力，業(yè)務(wù)能夠大膽創(chuàng)新的同時(shí)，也能科學(xué)驗(yàn)證每次創(chuàng)新是否真正有效。

像這樣的A/B實(shí)驗(yàn)，在字節(jié)跳動(dòng)已經(jīng)開啟了150多萬次，每天都有2000多個(gè)新的實(shí)驗(yàn)上線，在DataTester上同時(shí)運(yùn)行的實(shí)驗(yàn)有3萬多個(gè)。

作為字節(jié)跳動(dòng)內(nèi)部使用多年的 A/B 測(cè)試平臺(tái)，DataTester有支持多種復(fù)雜A/B實(shí)驗(yàn)的能力和科學(xué)的分流能力。它能夠深度耦合推薦、廣告、搜索、UI、產(chǎn)品功能等多種業(yè)務(wù)場(chǎng)景需求，為業(yè)務(wù)增長(zhǎng)、轉(zhuǎn)化、產(chǎn)品迭代，策略優(yōu)化，運(yùn)營(yíng)提效等各個(gè)環(huán)節(jié)提供科學(xué)的決策依據(jù)。目前，火山引擎DataTester已經(jīng)對(duì)外服務(wù)了美的、得到、凱叔講故事等在內(nèi)的上百家標(biāo)桿客戶，將成熟的 " 數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng) " 經(jīng)驗(yàn)賦能給各行業(yè)。（作者：呂紫）

關(guān)鍵詞：