寫給大數(shù)據(jù)從業(yè)者：數(shù)據(jù)科學(xué)的5個陷阱與缺陷

最近看新聞，發(fā)現(xiàn)數(shù)據(jù)科學(xué)專業(yè)已經(jīng)是北京大學(xué)高考入學(xué)門檻較高的專業(yè)了，其實"Data Science" 這個詞性感了快十年了，對互聯(lián)網(wǎng)行業(yè)而言，相當(dāng)于性感了一個世紀(jì)。

從“數(shù)據(jù)說話”，”DT 時代”，到 “數(shù)據(jù)中臺”，“數(shù)據(jù)驅(qū)動（Data Drive/Data Driven)”，數(shù)據(jù)體系的不斷演進正在持續(xù)的改變大家的工作與決策方式；正在不斷的革新大家的思維方式；同時也產(chǎn)生了新的商業(yè)邏輯，新的發(fā)展機會。

1976 年，Pascal 作者 Nikalus Wirth 曰：Algorithms + Data Structures = Programs.

就像之前的“SOA”，“云計算”等概念一樣，目前數(shù)據(jù)科學(xué)自身的概念還在不斷的變革，各家公司的實踐者們一邊摸索，一邊獲利；一邊總結(jié)，一邊布道；當(dāng)然同時還參雜著很多湊熱鬧的同志把概念折騰的更加模糊。所以數(shù)據(jù)科學(xué)本身的能力邊界，方法論體系，好實踐等等還沒有完善的建立起來，有很多問題沒有辦法很好的回答。由此就會產(chǎn)生一些迷信和誤會，”強行數(shù)據(jù)“，”隨意數(shù)據(jù)“，”政治正確數(shù)據(jù)“等等情況比較常見, 無論是實際的操作層面，還是方法層面，都存在著一些不小的誤會。這也是我打算總結(jié)一下在數(shù)據(jù)科學(xué)實踐中存在的陷阱與缺陷的緣由。

這篇分享是根據(jù)我自己的工作經(jīng)驗，和對相關(guān)資深同事的訪談總結(jié)而成。它的正確性受限于我個人的認(rèn)知水平和目前行業(yè)的發(fā)展水平，它整理了一些目前可能存在的問題，但未必是長久的道理。希望大家讀的時候批判性的看待。拋磚引玉，如果有不同想法歡迎大家跟我隨時溝通與驗證，結(jié)論本身也可以隨時更新。

陷阱與缺陷 1：數(shù)據(jù)質(zhì)量殺死自動 / 智能決策

網(wǎng)易嚴(yán)選的很多業(yè)務(wù)，比如風(fēng)控業(yè)務(wù)，核心驅(qū)動力是數(shù)據(jù)及算法。我們在風(fēng)控業(yè)務(wù)起步的時候就建立了數(shù)據(jù)算法驅(qū)動風(fēng)控的方法體系，所以能保證很小的團隊（3 個人）來支撐嚴(yán)選幾十個內(nèi)外部風(fēng)險場景，每天執(zhí)行百萬次風(fēng)險決策。當(dāng)然，這是數(shù)據(jù)驅(qū)動自動決策 / 智能決策帶來的力量。成功的美好，或許會讓你按耐不住的想把很多業(yè)務(wù)運轉(zhuǎn)方式轉(zhuǎn)型過來，但遺憾的是，數(shù)據(jù)質(zhì)量保障的缺失會讓這一切變成隨時會倒塌的空中樓閣！事實上，絕大部分組織對數(shù)據(jù)質(zhì)量的理解 支撐不了更加自動和智能的決策場景。強行轉(zhuǎn)型與減員增效會讓他們原本穩(wěn)定的業(yè)務(wù)接近崩潰。

嚴(yán)選風(fēng)控出現(xiàn)過幾次大的故障都跟數(shù)據(jù)質(zhì)量緊密相關(guān)。今年 8 月份的時候，風(fēng)控在執(zhí)行每周誤判巡檢的時候發(fā)現(xiàn)整體疑似誤判率增加了 4 倍。最終定位原因是設(shè)備號相關(guān)的日志內(nèi)容有些異常。從而導(dǎo)致了相當(dāng)一部分用戶的行為（簽到操作）被錯誤的執(zhí)行了攔截。

這是一個很有意思的案例。一些關(guān)鍵的決策：比如用戶是不是壞人？某個商品要采購多少量？可能會依賴于很不被重視的某個線上日志的一小部分內(nèi)容。我們的整個質(zhì)量保障體系很難把視角投入到某個具體應(yīng)用的某個日志字段在高壓力下會不會出錯？在傳統(tǒng)的應(yīng)用服務(wù)質(zhì)量保障理念里，日志字段的某個偶爾的小錯誤，沒人會把它當(dāng)作 Bug，開發(fā)人員更不會去關(guān)注。但如果你一旦把 數(shù)據(jù)當(dāng)作了生產(chǎn)資料，如果我們不對應(yīng)用質(zhì)量保障的理念和工具進行革新，你的大量的數(shù)據(jù)分析報告，訓(xùn)練好的算法模型，做出的決策可能很不可靠，因為你的生產(chǎn)資料本身就是垃圾，而古語有言：Garbage in , garbage out。

還有一個驚人的現(xiàn)狀是，大量用于生產(chǎn)數(shù)據(jù)的復(fù)雜 SQL 并沒有進行真正的測試，甚至，大量的數(shù)據(jù)系統(tǒng)并不存在一個所謂的測試環(huán)境。我們很難像測試線上服務(wù)（比如訂單系統(tǒng)）那樣去測試數(shù)據(jù)生產(chǎn)過程的正確性。那么這樣通過幾萬行，甚至幾十萬行（嚴(yán)選）SQL 生產(chǎn)出來的數(shù)據(jù)到底能不能用？這個問題其實很難回答。

數(shù)據(jù)的可靠性是組織在轉(zhuǎn)型數(shù)據(jù)驅(qū)動過程中一個非常大的陷阱。

大家都在討論數(shù)據(jù)質(zhì)量的重要性，但是內(nèi)心又默默覺得這個事情比較低級。因此，我們很少見到有團隊會把大量聰明的大腦投入到數(shù)據(jù)質(zhì)量的保障上。

除了資源投入的缺失，很多數(shù)據(jù)團隊對數(shù)據(jù)質(zhì)量的認(rèn)知也是各不相同。我曾經(jīng)跟一位在數(shù)據(jù)行業(yè)從業(yè) 15 年，為某知名公司數(shù)據(jù)體系做出巨大貢獻的前輩做過一次深入的溝通，聊起數(shù)據(jù)質(zhì)量，”你覺得數(shù)據(jù)質(zhì)量是什么？“ 他的回答是：“數(shù)據(jù)質(zhì)量，真正需要考慮的是指標(biāo)一致性?！?。瞧瞧，就算是非常資深的同行，他的認(rèn)知還是不夠完整，按他對數(shù)據(jù)質(zhì)量的理解，數(shù)據(jù)的支撐能做到報表給人看，這個層面就很好了，要落地到戰(zhàn)術(shù)層，落地到線上自動決策基本不可行（因為數(shù)據(jù)質(zhì)量的故障難以像線上程序故障一樣快速修復(fù)，它是一個持續(xù)污染的過程）。

數(shù)據(jù)做為智能決策的輸入，是動態(tài)變化的。它沒法像代碼的依賴那樣做靜態(tài)分析，它的依賴層次動態(tài)而不穩(wěn)定。

陷阱與缺陷 2：數(shù)據(jù)科學(xué)的"科學(xué)”在哪?

數(shù)據(jù)科學(xué)是我們常常說起的一個詞，也是形容我們?nèi)粘９ぷ鞯囊粋€詞，但當(dāng)我們說起的時候，內(nèi)心就會有些心虛，就光看到數(shù)據(jù)了，“科學(xué)”在哪里？如果沒有”科學(xué)“的部分，我們的產(chǎn)出的結(jié)論會不會有問題？

這是一個最常見的問題，數(shù)據(jù)科學(xué)的從業(yè)者們，不知道什么是”科學(xué)“。所以江湖上才會有 SQL Boy, SQL Girl 的稱呼。

一個常見的問題是數(shù)據(jù)指標(biāo)之間的相關(guān)性到底是不是真的相關(guān)？我們做數(shù)據(jù)分析往往能看到很多有趣的相關(guān)性，比如最近幾個月買了拖鞋的用戶，看起來有更大的可能性在最近一個月復(fù)購另外一個商品。但是，這個相關(guān)性到底是不是真的存在，還是只是偶然的巧合（False Postive）？我們的分析報告很容易對這個問題視而不見。但如果這個相關(guān)性本身經(jīng)不起推敲，它又如何來指導(dǎo)我們的工作呢？數(shù)據(jù)分析報告難道要靠運氣來驅(qū)動業(yè)務(wù)發(fā)展么？

就算我們有不錯的統(tǒng)計基礎(chǔ)，給每個假設(shè)都加上了 P Value, 我們往往還很容易把相關(guān)性與因果性給搞混。兩個事情相關(guān)，并不能得出結(jié)論說他們之間互為因果。我們需要通過因果分析的方法，為數(shù)據(jù)之間的相關(guān)性提出符合業(yè)務(wù)邏輯和商業(yè)邏輯的解釋。

如果數(shù)據(jù)分析遺漏了因果分析這個過程，就會得出一些奇怪的結(jié)論。比如，我們發(fā)現(xiàn)較大的用戶，買的鞋子一般也是大號。如果缺乏基于業(yè)務(wù)邏輯的因果分析我們可能會這樣指導(dǎo)運營工作：為了讓用戶的腳變大，我們應(yīng)該多賣大號的鞋子給他們。

但有的時候，我們很難直接的分析出數(shù)據(jù)之間的因果關(guān)系，很難直觀的得出結(jié)論，這個時候，我們需要借助科學(xué)實驗，幫我們更深入的理解我們的業(yè)務(wù)。

如何去做科學(xué)實驗，我結(jié)合滴滴謝梁大神的觀點（謝梁，數(shù)據(jù)科學(xué)中的“科學(xué)”），總結(jié)如下：

通過對數(shù)據(jù)的敏銳度和業(yè)務(wù)的熟悉程度，發(fā)現(xiàn)和定義問題；

提出結(jié)構(gòu)化，可量化的假設(shè)；

設(shè)計驗證實驗?？茖W(xué)與實驗是緊密關(guān)聯(lián)的。在嚴(yán)選和很多公司，我們往往利用實驗來判斷方案的好壞。但是，其實實驗更多的是用于幫助我們驗證假設(shè)，幫我們更加深入的理解我們的用戶（著名實驗公司今天頭條 CEO 說：更多的時候，AB 測試幫助我們理解用戶，而不是幫助我們決策）。設(shè)計一個好的實驗，并不容易，需要根據(jù)假設(shè)梳理出要驗證的指標(biāo)，樣本集，可控制的因子（往往是流量）。設(shè)計實驗，需要極強的專業(yè)性。

收集與分析數(shù)據(jù)。分析數(shù)據(jù)并不僅僅是直觀的去看趨勢的高低。分析數(shù)據(jù)首先需要對業(yè)務(wù)的主要指標(biāo)及其相關(guān)性有清晰的概念，需要把指標(biāo)之間的相關(guān)因子量化，甚至可計算。我認(rèn)為是先有結(jié)構(gòu)化、系統(tǒng)化、量化的體系，再有數(shù)據(jù)分析。所幸的是，結(jié)構(gòu)化的體系我們可以用系統(tǒng)和服務(wù)來支撐。我們團隊今年主要在設(shè)計與研發(fā)的 DIS 系統(tǒng)（嚴(yán)選數(shù)據(jù)智能平臺），一個主要目標(biāo)就是解決這個問題。

分析人員需要專業(yè)的量化分析能力、統(tǒng)計學(xué)能力。

陷阱與缺陷 3：操縱，誤導(dǎo)，數(shù)據(jù)的民主化不足

數(shù)據(jù)民主化在國外的數(shù)據(jù)社區(qū)討論的很多，國內(nèi)聊的比較少。數(shù)據(jù)科學(xué)家們通過黑魔法制造出一些模型來，然后告訴業(yè)務(wù)同學(xué)該怎么決策，告訴高層業(yè)務(wù)指標(biāo)完成的好不好。數(shù)據(jù)的能力被限制在某一個專業(yè)團隊，但它的產(chǎn)出卻又跟業(yè)務(wù)緊密相關(guān)，這些未知會給業(yè)務(wù)人員和管理層帶來恐懼與不安，數(shù)據(jù)團隊給的結(jié)論會不會有可能是被操縱的？會不會有意無意的誤導(dǎo)？這些問題會很容易讓團隊之間滋生不信任。

所以數(shù)據(jù)民主化不足帶來的一個重要問題就是信任問題，那該怎么解決？

嚴(yán)選在一次產(chǎn)技共創(chuàng)會中，有同事提出，要跟業(yè)務(wù)“談戀愛”。對于眼下的現(xiàn)實，這確實是解決信任問題的一個好辦法。阿里的曾經(jīng)的數(shù)據(jù)一把手車品覺老師也說過類似的話：數(shù)據(jù)同學(xué)要會"混，通，曬"，跟業(yè)務(wù)同吃同行，建立信任，才能互相成功。

但這終究不是一個可規(guī)?；蜆?biāo)準(zhǔn)化的解決方案 。去年，我們在考慮 2019-2020 年嚴(yán)選數(shù)據(jù)平臺發(fā)展的時候，想了很久這個問題。如何去降低數(shù)據(jù)使用的門檻，讓一切更直觀和更容易解釋？我們開展的一些項目，SQL on AI, Data Intelligence System(DIS)，算法平臺等，一個共同的目標(biāo)是 降低數(shù)據(jù)使用門檻，并通過產(chǎn)品的方式固化甚至可視化數(shù)據(jù)分析過程。

陷阱與缺陷 4：數(shù)據(jù)預(yù)測未來不是理所當(dāng)然，預(yù)測的成功不僅是算法模型

老板們經(jīng)常會把算法能力簡單化：預(yù)測的不準(zhǔn)？找兩個 NB 的算法專家做個模型就能搞定！遺憾的是，現(xiàn)實并不這么簡單，你可能找 100 個 NB 的算法專家都沒用。

有人見過用算法來預(yù)測下一輪雙色球中獎號碼的么？有人用算法來預(yù)測接近混沌狀態(tài)的股市漲落么？作為一個旁觀者，你能利用算法來預(yù)測意甲的每場比賽成績么？

有的業(yè)務(wù)問題本身是無法預(yù)測的，因為它跟過去沒有關(guān)系（比如雙色球）；有的業(yè)務(wù)問題預(yù)測成本很高，短時間內(nèi)無法做出有價值的模型（比如預(yù)測股市，預(yù)測比賽等），需要考慮投入與回報。事實上，很多算法的成功落地應(yīng)用，不光是需要有合適的模型，還需要大量維度的數(shù)據(jù)作為生產(chǎn)資料，更關(guān)鍵的是要有一個完善，可靠的 算法工程體系。而后者，往往會被決策者忽略。

決策者在考慮利用算法模型去預(yù)測未來時，他需要想明白 投入與產(chǎn)出，組織需要投入的不止是 幾位算法大神就行，還需要建設(shè)完善的數(shù)據(jù)基礎(chǔ)體系，還需要建設(shè)完善的算法工程體系。決策者如果期望數(shù)據(jù)和算法能發(fā)揮突破性的效應(yīng)，需要有魄力把成本投入到自己目光不能及的地方，比如基礎(chǔ)數(shù)據(jù)體系，比如算法工程。

陷阱與缺陷 5：空中樓閣 - 基礎(chǔ)設(shè)施與基礎(chǔ)能力的不完備

這個問題比較抽象，對于 BI/ 算法 / 數(shù)據(jù)產(chǎn)品的同學(xué)而言，可能不好理解。不過大家只需要記?。簲?shù)據(jù)的最底層，搖搖欲墜，并不堅實，同樣需要一個團隊精心守護。

大家在興奮的玩耍數(shù)據(jù)，利用數(shù)據(jù)來驅(qū)動業(yè)務(wù)前進的時候，如果回頭望望做 Data Infra 的同學(xué)，如果他們告訴你其實你在用的數(shù)據(jù)能不能真的算出來、有沒有算對，他們也沒多少信心的時候，你會不會覺得心驚肉跳，會不會覺得人生其實有些虛無？如果大家有機會采訪下各個互聯(lián)網(wǎng)公司，可以問問他們被抱怨最多或者故障最多的技術(shù)團隊是哪個？相信答案都比較一致：“大數(shù)據(jù)基礎(chǔ)團隊”。包括嚴(yán)選的前面幾年，這個情況也非常嚴(yán)重（當(dāng)然現(xiàn)在也沒好多少）。數(shù)據(jù)故障頻出，數(shù)據(jù)產(chǎn)出排期長、節(jié)奏慢、不穩(wěn)定等情況都很常見，很多時候我們是用睡覺時間在做人肉保障。每每回想起來，都會心驚。

這當(dāng)然并不是因為大數(shù)據(jù)基礎(chǔ)行業(yè)的從業(yè)者敬業(yè)精神不足或者能力不足。而是因為大數(shù)據(jù)體系其實并沒有一個非常堅實的工程基礎(chǔ)。

數(shù)據(jù)的基礎(chǔ)設(shè)施可靠性不足：數(shù)據(jù)的采集系統(tǒng)，數(shù)據(jù)的存儲系統(tǒng)，數(shù)據(jù)的計算系統(tǒng)，數(shù)據(jù)的分析引擎，這些服務(wù)的可靠性相比其他的在線服務(wù)低一大截。數(shù)據(jù)平臺每天的定時數(shù)據(jù)計算服務(wù)，比如 Hive，或者 spark，成功率如果有 98%，已經(jīng)算是很不錯了，而線上服務(wù)系統(tǒng)，如果可靠率長期在 98% 以下，相關(guān)團隊的同學(xué)很難堅持一年不被優(yōu)化。就算數(shù)據(jù)成功的被計算出來了，我們的分析引擎，比如 impala，查詢成功率也長期低于 95% 以下，在嚴(yán)選這個數(shù)據(jù)還要更差一些，impala 的查詢失敗或者超時，幾乎每天都有不少。

計算模型不完備和廣泛的誤解：大數(shù)據(jù)的計算有兩個模型：Streaming，Batch。兩個模型對應(yīng)的基礎(chǔ)設(shè)施各自獨立發(fā)展，誰也不理誰。同時，由于信息流轉(zhuǎn)的速度問題，也有人把這兩個模型稱為實時計算和離線計算。雖然，Streaming & 實時計算；Batch & 離線計算，在很多現(xiàn)實場景中，存在著一致性，但本質(zhì)上，它們是兩回事。甚至很多從業(yè)者也無法清晰的分清楚這些基本概念，把實時計算和流計算等同，這給數(shù)據(jù)工作帶來了巨大的困擾。

為了適配這兩個計算模型，很多組織的 Data Infrastructure 團隊會有獨立的流計算團隊和批處理團隊；會有實時數(shù)倉和離線數(shù)倉，會有實時指標(biāo)和離線指標(biāo)等等。這些數(shù)倉和指標(biāo)的研發(fā)人員存在著割裂，數(shù)倉建設(shè)方法論、指標(biāo)定義也不盡相同。維護成本和解釋成本都很高，出錯幾率也很大。很常見的情況是一個業(yè)務(wù)的數(shù)據(jù)需求，往往需要拆解成實時和離線兩個方案，共同去實現(xiàn)。這個糟糕的局面沒有變的更好。

LinkedIn、Uber、阿里等等公司都在嘗試做批流融合，嚴(yán)選也在嘗試，我們在做計算資源管理和調(diào)度層面的融合。但是，融合兩種完全不同的計算模型，是一件不美好的事情，直覺上也不大對。我覺得現(xiàn)實的業(yè)務(wù)問題可能并不是聚焦在批流兩種計算模型的不兼容上，而是聚焦在實時和離線兩個時間維度上的不兼容。由于歷史原因，實時的數(shù)據(jù)往往需要依賴流計算模式來產(chǎn)生，從而產(chǎn)生了實時計算 == 流計算的誤會。而融合實時數(shù)據(jù)與離線計算，解決起來就容易很多?。而流處理也需要走向更適合它的場景。

其實能總結(jié)的問題遠不止這些，比如我們會擔(dān)心“算法替代思考，會不會傷害組織的遠見？”、“大規(guī)模依賴 A/B 測試做決策，可能會導(dǎo)致運營策略的短視” 等等。

新聞名稱：寫給大數(shù)據(jù)從業(yè)者：數(shù)據(jù)科學(xué)的5個陷阱與缺陷
當(dāng)前鏈接：http://www.bm7419.com/news2/97702.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營銷型網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、App設(shè)計、網(wǎng)頁設(shè)計公司、響應(yīng)式網(wǎng)站、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)