有一個有趣的例子可以說明大數(shù)據(jù)在實際應(yīng)用中之“混沌”。在阿里巴巴的數(shù)據(jù)后臺，盡管大部分用戶在注冊時幾乎都填寫了自己的“性別”，但在實際操作分類和定向營銷中，阿里巴巴設(shè)定了18個“性別”標(biāo)簽。這樣的分類是基于用戶在不同場景中的不同表現(xiàn)做出的。比如：雖然你是一位女性，但你也可能在給你的男朋友或者父親買東西。或者通常女性更喜歡看服裝飾品，可你更喜歡常被設(shè)定在男性消費(fèi)品類別下的數(shù)碼產(chǎn)品或者游戲消費(fèi)。
所以，你在注冊信息中填寫的“性別”是一種固定信息，也就是傳統(tǒng)的“小”數(shù)據(jù)，這些數(shù)據(jù)是結(jié)構(gòu)化的數(shù)據(jù)。這個數(shù)據(jù)雖然很重要，但卻是靜態(tài)數(shù)據(jù)，不能完整地描述你的搜索和購物行為。要把數(shù)據(jù)激活，就需要把靜態(tài)數(shù)據(jù)變成動態(tài)數(shù)據(jù)，這需要借助場景來驗證。阿里巴巴副總裁車品覺說：“同樣的人在搜索商品時可能會表現(xiàn)出不一樣的行為特點(diǎn)，而這些不一樣的行為就是場景，結(jié)合場景應(yīng)用數(shù)據(jù)就是‘活’數(shù)據(jù)。”
在人文學(xué)科看來，大數(shù)據(jù)其實是一個“薄”數(shù)據(jù)的總集合。“薄”數(shù)據(jù)是對我們?nèi)粘５男袨槊枋觥＠纾覀兠刻炻糜蔚木€路、我們在互聯(lián)網(wǎng)上的搜索痕跡、我們的睡眠時長、我們與朋友的交流、我們鐘愛的音樂，等等……這些數(shù)據(jù)都在你的瀏覽器上留有痕跡，在你的手機(jī)定位系統(tǒng)中留有蹤跡，在你手腕的智能腕帶上留有行跡。
當(dāng)大數(shù)據(jù)技術(shù)不斷發(fā)展完善之后，人們發(fā)現(xiàn)那些留在網(wǎng)上的數(shù)字足跡，也就是常說的cookie可以勾勒出一定的行為特征和個人喜好，而給這些特征和喜好分類的就是“數(shù)據(jù)標(biāo)簽”。于是一些公司通過收集數(shù)據(jù)來找到對公司產(chǎn)品和服務(wù)有特定興趣的人群。尋找消費(fèi)者和提供個性化體驗需要對人們隨機(jī)的網(wǎng)上行為加以分類，給這些行為一個標(biāo)簽。一個人的標(biāo)簽越多，對他的行為描述也會越精細(xì)。
毫無疑問，人們?nèi)粘５男袨橹陵P(guān)重要，但這并不意味著大數(shù)據(jù)的全部。為了更深刻地理解人們的日常行為，我們必須要得到學(xué)者眼中的“厚”數(shù)據(jù)，即運(yùn)用日常的生活“經(jīng)驗”去理解人類行為。“厚”數(shù)據(jù)不單單關(guān)注事件與行為本身，還要去關(guān)注事件發(fā)生的背景與原因。
大數(shù)據(jù)不必精確，首先要接受它的“混雜性”
在傳統(tǒng)的小數(shù)據(jù)時代，企業(yè)要做出決策，需要在數(shù)據(jù)的規(guī)模化搜集與整理上下很大功夫。首先要選取準(zhǔn)確的樣本源，其次隨機(jī)抽取，再盡可能詳細(xì)地記錄抽取樣本的一切細(xì)節(jié)，進(jìn)而做出判斷。然而，樣本的抽取本身存在著大量的缺陷和隱患。首先采樣的隨機(jī)性非常困難，而且分析過程中的偏見也無法避免，結(jié)果會相去甚遠(yuǎn)。
在大數(shù)據(jù)時代，我們首先要打破的就是對“精確性”的執(zhí)著。現(xiàn)在，用戶姓甚名誰已經(jīng)不再重要，重要的是發(fā)現(xiàn)他們的行為軌跡。比如，過去我們對數(shù)據(jù)分類的關(guān)注點(diǎn)會放在：家庭地址、基本人口、年齡、婚姻狀況、子女、居住地、工作單位這些信息上。這些都是“靜態(tài)數(shù)據(jù)”。
而大數(shù)據(jù)搜集的是消費(fèi)者的“動態(tài)數(shù)據(jù)”。首先是購買產(chǎn)品的信息、何時購買、在哪些地點(diǎn)購買。其次是尋購數(shù)據(jù)，指用戶有潛在需求但還沒有購買的產(chǎn)品。這些可以通過大量動態(tài)標(biāo)簽的識別，在用戶上網(wǎng)瀏覽網(wǎng)頁的過程中捕捉到，這些信息都將對企業(yè)產(chǎn)生價值。第三是體驗數(shù)據(jù)。客戶購買之后的評價會影響品牌的忠誠度。體驗數(shù)據(jù)涉及語義分析。比如想了解用戶對公司品牌正面還是負(fù)面反饋，可以通過太糟糕、太貴這一類負(fù)面詞語中的“太”、“糟糕”、 “貴”這些關(guān)鍵詞來獲得。
有了這個前提，對大數(shù)據(jù)的洞察和應(yīng)用才可以說有了商業(yè)實現(xiàn)的可能。
“執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物。只有5%的數(shù)據(jù)是結(jié)構(gòu)化且能適用于傳統(tǒng)數(shù)據(jù)庫的。如果不接受混亂，剩下95%的非結(jié)構(gòu)化數(shù)據(jù)都無法被利用。只有接受不精確性，我們才能打開一扇從未涉足世界的窗戶。”——維克托·邁爾-舍恩伯格，《大數(shù)據(jù)時代》
大數(shù)據(jù)分析行為，而不是人;探討“是什么”，而不是“為什么”
品友互動CEO黃曉南認(rèn)為以大數(shù)據(jù)為基礎(chǔ)的RTB廣告或者說DSP廣告平臺可以代表大數(shù)據(jù)真正落地最現(xiàn)實的一種商業(yè)模式，因為它已經(jīng)把大數(shù)據(jù)切實應(yīng)用在了廣告的匹配層面，可以把每一次廣告曝光的價值完全細(xì)致化。
RTB(Real Time Bidding)廣告是一種實時競價系統(tǒng)。在傳統(tǒng)的互聯(lián)網(wǎng)廣告生態(tài)鏈中，一般只有三方，分別是廣告主、廣告公司、互聯(lián)網(wǎng)媒體。而在RTB廣告交易模式中，生態(tài)鏈變成了廣告主、DSP交易平臺、廣告交易平臺、互聯(lián)網(wǎng)媒體四個主體。廣告主將自己的廣告需求放到DSP平臺上，互聯(lián)網(wǎng)媒體將自己的廣告流量資源放到廣告交易平臺，DSP通過與
廣告交易平臺的技術(shù)對接完成競價購買。當(dāng)用戶訪問一個網(wǎng)站時，廣告位的具體信息則會經(jīng)過DMP的分析匹配后發(fā)送給DSP平臺，DSP將對此進(jìn)行競價，價高者得到廣告的展現(xiàn)機(jī)會，并被目標(biāo)用戶看到——從開始競價到完成投放，這一系列的過程僅需100毫秒，全部依托機(jī)器完成。
這些的前提是人群建模，而人群建模的基礎(chǔ)來源于對人群認(rèn)知的準(zhǔn)確性。品友互動現(xiàn)在每月掌握了8億多個活躍的cookie，在每個cookie背后總結(jié)出了5千多個標(biāo)簽去與它們對照映射。這些cookie和描述都是實時不停滾動的，在它們之間交叉了萬億量級的信息和數(shù)據(jù)，用來與適合的廣告匹配，才能讓大數(shù)據(jù)放射出強(qiáng)大作用。
品友互動把人群標(biāo)簽分為兩類：一類是人口屬性分類，第二是興趣關(guān)注分類。人口屬性類里，雖然有性別、年齡、收入這些判斷，但這些判斷不基于任何個人信息，全部基于對用戶點(diǎn)擊的行為模式分析。最關(guān)鍵的是，這些并不是在用人工操作，而是盡量轉(zhuǎn)移給機(jī)器去學(xué)習(xí)和反饋。
“對用戶的興趣愛好分析，可以與他的許多行為模式相關(guān)起來。比如他對某個品類的訪問頻次、訪問深度、瀏覽來源;是僅僅搜索汽車，還是尋找汽車比價。搜集到這些信息后，基本就會對他的興趣點(diǎn)和消費(fèi)動向有比較準(zhǔn)確的把控，判斷他背后的商業(yè)價值。另外，也要基于對他關(guān)注點(diǎn)的商業(yè)品類特性做出判斷。比如一位用戶想購買手機(jī)，最近可能會經(jīng)常點(diǎn)擊手機(jī)廣告。但這個興趣會隨著他購買行為完成后迅速衰減。與此類似的還有食品、快消等門類……而對有些商品，用戶的關(guān)注時間就會比較持久，比如汽車和旅游產(chǎn)品。這些判斷都需要依靠對營銷和商業(yè)的深度理解來建模。用戶的許多信息都可以反映出他的興趣偏好，比如他使用哪款瀏覽器。同時投放時還要考慮到廣告時段，比如投麥當(dāng)勞的廣告，我們只選擇中午11點(diǎn)到14點(diǎn)，下午17點(diǎn)到21點(diǎn)。”
標(biāo)簽連接，才能產(chǎn)生數(shù)據(jù)價值
數(shù)據(jù)也需要經(jīng)歷一個積累和學(xué)習(xí)的過程。僅憑幾次上網(wǎng)行為的推斷，標(biāo)簽還是孤立的。系統(tǒng)無法知曉用戶的婚姻、家庭狀況、性別;無法識別用戶是否購買過保險，但通過追蹤用戶大量的行為軌跡，大數(shù)據(jù)就可以將隱藏在背后的信息發(fā)掘出來。
安客誠客戶分析咨詢?nèi)蚋笨偛贸探懿┦空f，技術(shù)人員首先要發(fā)現(xiàn)標(biāo)簽和標(biāo)簽之間的邏輯相關(guān)和橫向連接，這是指標(biāo)簽與企業(yè)想要尋找的目標(biāo)人群之間的關(guān)系。
比如，在美國，購買凌志(Lexus)車的人通常會對寇馳(Coach)感興趣。開哈雷摩托的人會關(guān)注福特皮卡，“哈雷”“福特皮卡”這些品牌作為數(shù)字標(biāo)簽生成之后，后臺會根據(jù)大量用戶歷往搜索的內(nèi)容和購買記錄分析，從而獲得其購買的相關(guān)性。因此，品牌名也是個重要的標(biāo)簽，某一類人的標(biāo)簽的共性會體現(xiàn)在品牌的關(guān)聯(lián)上，而這一關(guān)聯(lián)性在奢侈品牌中尤為明顯，購買LV的人會有明顯的特征去關(guān)注某一品類的衣服、鞋、或飾品。有了這種數(shù)據(jù)洞察，系統(tǒng)才會更加精準(zhǔn)地推薦與用戶經(jīng)濟(jì)實力和生活方式相匹配的產(chǎn)品廣告。
當(dāng)一個來自于某種背景的人的需求特性可以由幾千個標(biāo)簽來描述時，不同人的標(biāo)簽之間也會發(fā)生關(guān)聯(lián)。一個購買過“保時捷”的人擁有的標(biāo)簽里會有“高凈值客戶”這一項，高端樓盤的營銷人員就會借助于第三方數(shù)據(jù)服務(wù)機(jī)構(gòu)在網(wǎng)絡(luò)上尋找擁有這一標(biāo)簽的人群來投放廣告。一旦此人在網(wǎng)絡(luò)上通過cookie追蹤到，相應(yīng)的樓盤廣告也會出現(xiàn)。
如果能同時結(jié)合線下搜集到的相應(yīng)的個人信息，就可以更加準(zhǔn)確地做出預(yù)判。例如，同樣在網(wǎng)上尋找購車信息，但是如果我們知道了他的個人信息，他是單身，還是有家庭的，將會有助于我們更好的建議，有家庭的可能會更傾向于SUV等類型車……
在實際應(yīng)用中，除了了解用戶的年齡、性別、職業(yè)，技術(shù)人員還要發(fā)現(xiàn)他們關(guān)注哪些雜志，喜歡怎樣的電影，又會閱讀怎樣的博客，從中找到邏輯和因果關(guān)系，既要關(guān)心核心數(shù)據(jù)，也能善于發(fā)現(xiàn)衍生數(shù)據(jù)，才能采取有針對性的推廣。
其中，核心數(shù)據(jù)可以來自多種渠道，有一些是基本的人口統(tǒng)計資料，比如家庭基本情況，家庭經(jīng)常購買的東西，家庭興趣等，這些數(shù)據(jù)可以在人們要求服務(wù)、購買運(yùn)動會的門票、慈善捐贈或是購買新設(shè)備時獲得。
衍生數(shù)據(jù)或者說模型數(shù)據(jù)在很多方面都會與基本數(shù)據(jù)不同。像安客誠這樣的公司可以基于基本數(shù)據(jù)，通過分析處理做出關(guān)于人的各種假設(shè)或者預(yù)測。衍生數(shù)據(jù)或者說模型主要是用于確定某個人采取某種行動或購買一個產(chǎn)品的可能性以及可能發(fā)生的時間。例如去商店購買某類商品的可能性，或在擁有了一輛汽車4年以后，購買新車的可能性。
衍生數(shù)據(jù)和模型數(shù)據(jù)在市場營銷活動中及時為消費(fèi)者提供他們感興趣的營銷信息。A女士在網(wǎng)上為她自己買了雙網(wǎng)球鞋，為蹣跚學(xué)步的女兒買了雙鞋。她的信息被這個鞋商共享給了合作伙伴。被共享的核心數(shù)據(jù)為：A女士對網(wǎng)球鞋有興趣，她的家庭有孩子，她是通過網(wǎng)絡(luò)購買的，她通過網(wǎng)絡(luò)看廣告，住在東北。通過她的購買行為衍生的模型數(shù)據(jù)內(nèi)容為：A女士有可能購買健身設(shè)備、健身房會員卡、健身服，她很可能在網(wǎng)絡(luò)上購物。
模型數(shù)據(jù)是基于已知的基本數(shù)據(jù)屬性預(yù)測某種行為或者屬性的可能性。營銷人員可以運(yùn)用這些特性去識別運(yùn)動鞋的受眾，包括那些其他具有類似行為的可能對于運(yùn)動鞋也有興趣的買家。
黃曉南對此也有類似的感受：“過去，廣告主主要只關(guān)心三個問題：訪問流量、廣告位置、客戶關(guān)系。而基于大數(shù)據(jù)的RTB廣告投放的出現(xiàn)，可以說改變了這樣的狀況。比如過去汽車廣告可能主要會投在‘汽車之家’這樣的專業(yè)定向網(wǎng)站上，但實際一個對汽車感興趣的人，他可能其他80%的時間在讀小說、看新聞、找八卦、看美女。只有大量搜集數(shù)據(jù)，把他的這些行為模式完整建立起來，你就可以讓數(shù)據(jù)跟著他的行為走，在他讀小說時，讓他看到自己喜歡的汽車廣告。”
大數(shù)據(jù)的概念是行業(yè)中的一個巨大轉(zhuǎn)折，轉(zhuǎn)折的最大意義在于初始概念的不同。從無序數(shù)據(jù)中提煉出信息，是大數(shù)據(jù)和小數(shù)據(jù)之間最大的區(qū)別。
小數(shù)據(jù)以表格形式存在，是二維的。雖然信息比較準(zhǔn)確，但它是單一的。大家常說大數(shù)據(jù)精準(zhǔn)，其實最精準(zhǔn)的是小數(shù)據(jù)。比如根據(jù)郵箱直投、根據(jù)地址直投、手機(jī)發(fā)送短信，但它目標(biāo)雖然精準(zhǔn)，卻侵犯了個人的隱私，另外信息不能多元。而大數(shù)據(jù)雖然看似無序，卻可以推演出許多立體和豐富的層面，提煉出新的信息。
“即時性”是大數(shù)據(jù)帶來的最大紅利
可以說大數(shù)據(jù)最重要的意義之一是可以解決營銷的“實時性”問題。特別是在如今手機(jī)、PC、平板多屏運(yùn)作的時代下，快速處理用戶的點(diǎn)擊信息，分析用戶屬性，放出購買信息，這種實時的能力在商業(yè)中越來越重要。也是大數(shù)據(jù)在實際應(yīng)用中亟待突破的瓶頸。
美國勞工統(tǒng)計局過去每個月都要公布消費(fèi)物價指數(shù)(CPI)，用來測試市場的通貨膨脹率。聯(lián)邦政府為了得到這些數(shù)據(jù)，會雇用很多人向全美90個城市的商店、辦公室打電話、傳真、甚至登門拜訪。反饋回的價格信息多達(dá)8萬種，包括土豆的價格、出租車票價等。政府每年采集這些數(shù)據(jù)大約要花費(fèi)2億5千萬美元。這些數(shù)據(jù)精確而有序，但是因為采集的結(jié)果要滯后幾周，在2008年突然爆發(fā)的經(jīng)濟(jì)危機(jī)中，這些精確的調(diào)查并沒能幫助政府及時對通貨膨脹做出反應(yīng)。
在大數(shù)據(jù)時代，只需要計算機(jī)不斷捕捉新產(chǎn)生的現(xiàn)象，把現(xiàn)象之間做出關(guān)聯(lián)即可。比如如果A和B經(jīng)常一起發(fā)生，只需要注意到B發(fā)生了，就可以預(yù)測A也發(fā)生了。大數(shù)據(jù)讓世界不再需要建立在假設(shè)的基礎(chǔ)上，機(jī)器的計算能力讓人們從人工選擇關(guān)聯(lián)物和一小部分相似數(shù)據(jù)的偏見中解脫出來。
品友互動曾經(jīng)為惠氏公司服務(wù)，推送他們最新上市的保健品。“客戶提出自己的目標(biāo)群體是注重養(yǎng)生的白領(lǐng)女性。但我們在廣告投放中把點(diǎn)擊廣告和參加活動的人做了一個反向的聚類分析，發(fā)現(xiàn)其中最多的是大學(xué)生，其次是IT人士，再其次是關(guān)注養(yǎng)生的人，之后才是白領(lǐng)。這些方法當(dāng)然過去的線下市場調(diào)研公司也會做，但它的調(diào)整時間比較漫長。但使用大數(shù)據(jù)和RTB，我們可以實時調(diào)整自己的推送策略，馬上更改物料和發(fā)送范圍，優(yōu)化定向條件，收到了很好的效果。”
在以大數(shù)據(jù)為基礎(chǔ)的RTB平臺上，技術(shù)人員可以及時調(diào)整人群分類屬性、地域?qū)傩浴Ｆ酚鸦痈采w了660多個城市，可以到達(dá)縣級市。當(dāng)推送一款游戲時，在一線城市推送效果不好，一小時后可以馬上調(diào)整為推送二線城市，這些都可以用機(jī)器算法即時實現(xiàn)。
要實現(xiàn)這樣的復(fù)雜運(yùn)算，依靠人工是不可能的，這需要高級算法和機(jī)器學(xué)習(xí)來支持。在推送一款產(chǎn)品時，品友互動會基于不同邏輯先設(shè)定20到100多個策略，其中有的基于區(qū)域市場，有的針對特定人群。上線測試后，根據(jù)結(jié)果不斷優(yōu)化，最后把策略衰減為7個左右。算法工程師就好像在大海中尋找珍珠的“海女”一樣，預(yù)測什么樣的算法可以最精準(zhǔn)地到達(dá)目標(biāo)用戶身邊，讓機(jī)器不斷去反饋、去學(xué)習(xí)、變得越來越聰明。與算法工程師配對的優(yōu)化師，會幫助他們不斷對比和優(yōu)化策略，挖掘各種商業(yè)信息。比如藍(lán)色的廣告物料會產(chǎn)生什么效果，促銷信息放在右下角會怎樣。在大數(shù)據(jù)的背景下，技術(shù)人員已經(jīng)需要既懂技術(shù)，也懂商業(yè)。
