國外媒體Slate刊文指出，“年夜數(shù)據(jù)（Big Data）”一詞曾經(jīng)變得沒有以往那末紅火了，為何會(huì)如許呢？“年夜數(shù)據(jù)”的成績其實(shí)不在于數(shù)據(jù)或許年夜數(shù)據(jù)自己很蹩腳，而是在于自覺留戀數(shù)據(jù)，不加批評(píng)地應(yīng)用，那會(huì)激發(fā)災(zāi)害。數(shù)據(jù)也紛歧定完整反應(yīng)你想要懂得的工作的現(xiàn)實(shí)情形。

　　以下是文章重要內(nèi)容：

　　5年前——2012年2月——《紐約時(shí)報(bào)》刊文高呼人類的一個(gè)新紀(jì)元的到來：“年夜數(shù)據(jù)時(shí)期”。

　　該文章告知我們，社會(huì)將開端產(chǎn)生一場反動(dòng)，在這場反動(dòng)中，海量數(shù)據(jù)的搜集與剖析將會(huì)轉(zhuǎn)變?nèi)藗兩牡暮喼泵總€(gè)方面。

　　數(shù)據(jù)剖析不再局限于電子數(shù)據(jù)表和回歸剖析：超等盤算的到來，隨同著可連續(xù)記載數(shù)據(jù)并將數(shù)據(jù)傳送到云真?zhèn)€聯(lián)網(wǎng)傳感器的賡續(xù)普及，意味著邁克爾·劉易斯（Michael Lewis）2003年的棒球書本《Moneyball》所描寫的那種先輩數(shù)據(jù)剖析無望被運(yùn)用于各行各業(yè)，從貿(mào)易到學(xué)術(shù)，再到醫(yī)療和兩性關(guān)系。

　　不只如斯，高真?zhèn)€數(shù)據(jù)剖析軟件還有助于判定完整意想不到的相干性，好比存款方用盡額度和他債權(quán)背約的能夠性之間的關(guān)系。這必將將會(huì)催生會(huì)轉(zhuǎn)變我們思慮簡直一切事物的新鮮看法。

　　《紐約時(shí)報(bào)》其實(shí)不是第一個(gè)得出這一結(jié)論的企業(yè)機(jī)構(gòu)：它的文章援用了麥肯錫征詢公司2011年的一份嚴(yán)重申報(bào)，其不雅點(diǎn)也獲得了2012年瑞士達(dá)沃斯世界經(jīng)濟(jì)服裝論壇t.vhao.net題為“年夜數(shù)據(jù)，年夜影響”的官方申報(bào)的支撐。但這類宣言似乎就是標(biāo)記年夜數(shù)據(jù)時(shí)期開啟的里程碑。

　　在以后的一個(gè)月里，巴拉克·奧巴馬（Barack Obama）的白宮成了一個(gè)2億美元的國度年夜數(shù)據(jù)項(xiàng)目，猖狂高潮隨即襲來：學(xué)術(shù)機(jī)構(gòu)、非盈利組織、當(dāng)局和企業(yè)都爭相去探討“年夜數(shù)據(jù)”畢竟是甚么，他們可以若何好好應(yīng)用它。

　　現(xiàn)實(shí)證實(shí)，這類猖狂沒有連續(xù)很長時(shí)光。5年后，數(shù)據(jù)在我們的平常生涯中飾演主要許多的腳色，但年夜數(shù)據(jù)一詞曾經(jīng)不再風(fēng)行——乃至讓人認(rèn)為有些憎惡。我們被承諾的那場反動(dòng)畢竟產(chǎn)生了甚么呢？數(shù)據(jù)、剖析技巧和算法如今又在往甚么偏向成長呢？這些成績值得回頭去思慮。

　　科技征詢公司Gartner在它2015年相當(dāng)著名的“技巧成熟度曲線”申報(bào)中不再應(yīng)用“年夜數(shù)據(jù)”一次，以后該詞再也沒有回歸。該公司廓清道，這其實(shí)不是由于企業(yè)廢棄發(fā)掘巨量數(shù)據(jù)集取得洞見的概念。而是由于那種做法曾經(jīng)變得廣為風(fēng)行，以致于它不再相符“新興技巧”的界說。

　　年夜數(shù)據(jù)贊助驅(qū)動(dòng)我們的靜態(tài)新聞、Netflix視頻推舉、主動(dòng)化股票生意業(yè)務(wù)、主動(dòng)校訂功效、安康跟蹤裝備等不可勝數(shù)的對象面前的算法。但我們?nèi)缃癫荒暌箲?yīng)用年夜數(shù)據(jù)一詞了——我們只是將它稱作數(shù)據(jù)。我們開端將數(shù)據(jù)集可以或許包括有數(shù)的不雅察成果，先輩軟件可以或許檢測傍邊的趨向當(dāng)作天經(jīng)地義的工作。

　　年夜數(shù)據(jù)激發(fā)的嚴(yán)重毛病

　　固然該詞仍有被應(yīng)用，但它更多地帶有一種欠好的意味，好比凱茜·奧尼爾（Cathy O’Neil）2016年的著作《數(shù)學(xué)殺傷性兵器》（Weapons of Math Destruction）或許弗蘭克·帕斯夸里（Frank Pasquale）2015年的《黑箱社會(huì)》（The Black Box Society）。急忙履行和運(yùn)用年夜數(shù)據(jù)，即停止所謂的“數(shù)據(jù)驅(qū)動(dòng)型決議計(jì)劃”，帶來了嚴(yán)重的毛病。

　　有的毛病相當(dāng)引人注視：塔吉特（Target）曾向一名沒跟任何人說過本身懷孕的少女的家庭派送嬰兒用品優(yōu)惠券；Pinterest曾祝賀一名獨(dú)身只身女性行將娶親；谷歌照片（Google Photos）也曾激發(fā)軒然年夜波，該公司被年夜肆吹噓的AI將黑人誤認(rèn)為是年夜猩猩，緣由是它的練習(xí)數(shù)據(jù)不敷多元化。（值得指出的是，至多在該事宜中，“年夜數(shù)據(jù)”還不敷年夜。）

　　其它的毛病更加奧妙，也許也加倍陰險(xiǎn)。傍邊包含奧尼爾在她的主要著作中記載的那些不通明的數(shù)據(jù)驅(qū)動(dòng)式軌制性模子：被法庭用來判決罪犯的、帶有種族成見的累犯模子，或許那些基于可疑的考試分?jǐn)?shù)數(shù)據(jù)辭退備受敬愛的教員的模子。年夜數(shù)據(jù)失足的新案例可謂層見疊出——好比Facebook算法顯著贊助俄羅斯經(jīng)由過程針對性的假消息影響美國總統(tǒng)年夜選的成果。

　　自覺留戀數(shù)據(jù)與誤用

　　“年夜數(shù)據(jù)”的成績其實(shí)不在于數(shù)據(jù)自己很蹩腳，也不在于年夜數(shù)據(jù)自己很蹩腳：謹(jǐn)嚴(yán)運(yùn)用的話，年夜型數(shù)據(jù)集照樣可以或許提醒其它門路發(fā)明不了的主要趨向。正如茱莉婭·羅斯·韋斯特（Julia Rose West）在比來給Slate撰寫的文章里所說的，自覺留戀數(shù)據(jù)，不加批評(píng)地應(yīng)用，常常招致災(zāi)害的產(chǎn)生。

　　從實(shí)質(zhì)來看，年夜數(shù)據(jù)不輕易解讀。當(dāng)你搜集數(shù)十億個(gè)數(shù)據(jù)點(diǎn)的時(shí)刻——一個(gè)網(wǎng)站上的點(diǎn)擊或許光標(biāo)地位數(shù)據(jù)；年夜型公共空間十字轉(zhuǎn)門的遷移轉(zhuǎn)變次數(shù)；對世界各地每一個(gè)小時(shí)的風(fēng)速不雅察；推文——任何給定的數(shù)據(jù)點(diǎn)的起源會(huì)變得隱約。這反過去意味著，看似高等其余趨向能夠只是數(shù)據(jù)成績或許辦法形成的產(chǎn)品。但或許更嚴(yán)重的成績是，你所具有的數(shù)據(jù)平日只是你真正想要曉得的器械的一個(gè)目標(biāo)。年夜數(shù)據(jù)不克不及處理誰人成績——它反而縮小了誰人成績。

　　例如，平易近意查詢拜訪被普遍用作權(quán)衡人們在選舉中的投票意向的目標(biāo)。但是，從湯姆·布拉德利（Tom Bradley）1982年在加州州長競選中戰(zhàn)敗，到英國脫歐公投，再到特朗普確當(dāng)選，數(shù)十年來成果出人意料的選舉幾回再三提示我們，平易近意考試和人們現(xiàn)實(shí)的投票意向之間其實(shí)不老是完整分歧。Facebook以往重要經(jīng)由過程用戶有無點(diǎn)贊來估計(jì)他們對特定的帖子能否有興致。但跟著經(jīng)由算法優(yōu)化的靜態(tài)信息開端年夜量涌現(xiàn)題目釣餌、點(diǎn)贊釣餌和嬰兒照片——招致用戶滿足度顯著降低——該公司的高層逐步認(rèn)識(shí)到，“點(diǎn)贊”這事其實(shí)不必定意味著用戶真的愛好特定的內(nèi)容。

　　目標(biāo)和你現(xiàn)實(shí)上要估計(jì)的器械之間的差異越年夜，過于倚重它就越風(fēng)險(xiǎn)。以來自奧尼爾的著作的前述例子為例：學(xué)區(qū)應(yīng)用數(shù)學(xué)模子來讓教員的表示評(píng)價(jià)與先生的考試分?jǐn)?shù)掛鉤。先生考試分?jǐn)?shù)與不在教員掌握規(guī)模內(nèi)的有數(shù)主要身分有關(guān)。年夜數(shù)據(jù)的個(gè)中一個(gè)優(yōu)勢在于，即使是在異常喧鬧的數(shù)據(jù)集里，你也能夠發(fā)明成心義的聯(lián)系關(guān)系性，這重要得益于數(shù)據(jù)量年夜和實(shí)際上可以或許掌握混淆變量的壯大軟件算法。

　　例如，奧尼爾描寫的誰人模子，應(yīng)用來自多個(gè)學(xué)區(qū)和系統(tǒng)的先生的浩瀚生齒構(gòu)造方面的相干性，來生成考試分?jǐn)?shù)的“預(yù)期”數(shù)據(jù)集，再拿它們與先生的現(xiàn)實(shí)成就停止比擬。（因?yàn)檫@個(gè)緣由，奧尼爾以為它是“年夜數(shù)據(jù)”例子，雖然誰人數(shù)據(jù)集其實(shí)不夠年夜，沒到達(dá)該詞的一些技巧界說的門坎。）

　　試想一下，如許的體系被運(yùn)用在統(tǒng)一所黌舍外面——拿每一個(gè)年級(jí)的教員與其它年級(jí)的教員比擬。要不是年夜數(shù)據(jù)的魔法，先生特定學(xué)年異常的考試分?jǐn)?shù)會(huì)異常惹眼。任何評(píng)價(jià)那些考試的聰慧人，都不會(huì)以為它們可以或許很好地反應(yīng)先生的才能，更不消說教他們的先生了。

　　而前華盛頓特區(qū)教導(dǎo)局長李洋姬（Michelle Rhee）實(shí)施的體系比擬之下更不通明。由于數(shù)據(jù)集比擬年夜，而不是小，它必需要由第三方的征詢公司應(yīng)用專門的數(shù)學(xué)模子來停止剖析解讀。這可帶來一種客不雅性，但它也消除失落了周密質(zhì)問任何給定的信息輸入，來看看該模子詳細(xì)若何得出它的結(jié)論的能夠性。

　　例如，奧尼爾剖析道，有的教員獲得低評(píng)分，能夠不是由于他們的先生表示蹩腳，而是由于那些先生之前一年表示得出奇地好——能夠由于上面誰人年級(jí)的教員謊稱那些先生表示很好，以晉升他本身的教授教養(yǎng)評(píng)分。但關(guān)于那種能夠性，黌舍高層并沒甚么興致去深究那種模子的機(jī)制來予以證明。

　　參加更多目標(biāo)

　　其實(shí)不是說先生考試分?jǐn)?shù)、平易近意查詢拜訪、內(nèi)容排名算法或許累犯猜測模子一切都須要疏忽。除停用數(shù)據(jù)和回歸到奇聞軼事和直覺斷定之外，至多有兩種可行的辦法來處置數(shù)據(jù)集和你想要估計(jì)或許估計(jì)的實(shí)際世界成果之間不完整相干帶來的成績。

　　個(gè)中一種辦法是參加更多的目標(biāo)數(shù)據(jù)。Facebook采取這類做法已有很長一段時(shí)光。在懂得到用戶點(diǎn)贊不克不及完整反應(yīng)他們在靜態(tài)新聞傍邊現(xiàn)實(shí)想要看到的器械今后，該公司給它的模子參加了更多的目標(biāo)。它開端丈量其它的器械，好比用戶看一篇帖子的時(shí)長，他們閱讀其點(diǎn)擊的文章的時(shí)光，他們是在看內(nèi)容之前照樣以后點(diǎn)贊。

　　Facebook的工程師盡量地去衡量和優(yōu)化那些目標(biāo)，但他們發(fā)明用戶年夜體上照樣對靜態(tài)新聞里出現(xiàn)的內(nèi)容不滿足。是以，該公司進(jìn)一步增長丈量目標(biāo)：它開端睜開年夜規(guī)模的用戶查詢拜訪，增長新的反響臉色讓用戶可以轉(zhuǎn)達(dá)加倍纖細(xì)的感觸感染，并開端應(yīng)用AI來按頁面和按出書者檢測帖子的題目黨說話。該社交收集曉得這些目標(biāo)沒有一個(gè)是完善的。然則，經(jīng)由過程增長更多的目標(biāo)，它實(shí)際上可以或許加倍接近于構(gòu)成可給用戶展現(xiàn)他們最想要看到的帖子的算法。

　　這類做法的一個(gè)弊病在于，它難度年夜，本錢昂揚(yáng)。另外一個(gè)弊病在于，你的模子參加的變量越多，它的辦法就會(huì)變得越撲朔迷離，越不通明，越難以懂得。這是帕斯夸里在《黑箱社會(huì)》里論述的成績的一部門。算法再先輩，所應(yīng)用的數(shù)據(jù)集再好，它也有能夠會(huì)失足——而它失足的時(shí)刻，診斷成績幾無能夠。“過度擬合”和自覺信任也會(huì)帶來風(fēng)險(xiǎn)：你的模子越先輩，它看上去與你過往一切的不雅察越吻合，你對它越有信念，它終究讓你狼奔豕突的風(fēng)險(xiǎn)就越年夜。（想一想次貸危機(jī)、選舉猜測模子和Zynga吧。）

　　小數(shù)據(jù)

　　關(guān)于源自信數(shù)據(jù)集成見的成績，另外一個(gè)潛伏的應(yīng)對辦法是部門人所說的“小數(shù)據(jù)”。小數(shù)據(jù)是指，數(shù)據(jù)集足夠簡略到可以直接由人來剖析息爭讀，不須要乞助于超等盤算機(jī)或許Hadoop功課。跟“慢餐”一樣，該詞也是由于其相不和的風(fēng)行而發(fā)生。

　　丹麥作家、營銷參謀馬丁·林德斯特羅姆（Martin Lindstrom）在他2016年的著作《小數(shù)據(jù)：提醒年夜趨向的渺小線索》中談到了那種做法。例如，丹麥著名玩具廠商樂高（Lego）根據(jù)年夜量宣稱千禧一代須要即時(shí)知足，更輕易被比擬輕松的項(xiàng)目吸引的研討，轉(zhuǎn)向供給更年夜的積木，還在1990年月末和2000年月初打造主題公園和視頻游戲。這類轉(zhuǎn)型沒有見效。

　　那種由數(shù)據(jù)驅(qū)動(dòng)的范式最初被它的營銷者2004年停止的一項(xiàng)規(guī)模小很多的人類學(xué)查詢拜訪推翻。它的營銷者逐一訊問小孩他們最珍重甚么物品，發(fā)明他們最愛好也最忠于可以讓顯示出其苦苦練就的才能的產(chǎn)物——好比一雙因數(shù)百個(gè)小時(shí)的滑板演習(xí)而磨損的舊活動(dòng)鞋。據(jù)林德斯特羅姆（他曾擔(dān)負(fù)樂高的參謀，本身也很愛好玩樂高積木）說，樂高從新專注于供給它本來的小積木，由此完成中興。

　　在許多方面，亞馬遜是可充足解釋年夜數(shù)據(jù)威力的典范例子。它關(guān)于其數(shù)以億計(jì)的顧客的購置和商品閱讀習(xí)氣的數(shù)據(jù)，贊助它成為全球最勝利的批發(fā)商之一。不外，布拉德·斯通（Brad Stone）在他的書《萬貨市肆》（Everything Store）中稱，該公司的CEO杰夫·貝索斯（Jeff Bezos）有個(gè)很風(fēng)趣（關(guān)于他的員工來講則很恐怖）的方法來均衡一切的那些客不雅數(shù)據(jù)剖析。他時(shí)不時(shí)會(huì)將顧客發(fā)來的贊揚(yáng)郵件轉(zhuǎn)發(fā)給他的高層團(tuán)隊(duì)，請求他們不只僅要處理贊揚(yáng)的成績，還要完全查詢拜訪清晰它產(chǎn)生的緣由，并撰寫一份說明申報(bào)。

　　這解釋，貝索斯不只僅懂得年夜數(shù)據(jù)晉升各個(gè)體系運(yùn)轉(zhuǎn)效力的威力，還曉得年夜數(shù)據(jù)也要能夠會(huì)掩飾沒有獲得有用估計(jì)的特定成績的產(chǎn)生緣由和機(jī)制。在依據(jù)你曉得該若何丈量的工作做出決議計(jì)劃的時(shí)刻，平安的做法是確保也無機(jī)制讓你可以或許曉得你不曉得該若何估計(jì)的工作。“成績老是，你沒有搜集甚么數(shù)據(jù)？”奧尼爾在接收德律風(fēng)采訪時(shí)表現(xiàn)，“甚么數(shù)據(jù)是你看不到的？”

　　將來瞻望

　　跟著“年夜數(shù)據(jù)”不再被當(dāng)作熱詞，我們有愿望逐步對數(shù)據(jù)的威力和圈套構(gòu)成加倍過細(xì)入微的懂得。回頭來看，搜集數(shù)據(jù)的傳感器和剖析數(shù)據(jù)的超等盤算機(jī)一會(huì)兒年夜量出現(xiàn)，激發(fā)一股淘金熱，和許多時(shí)刻錯(cuò)掉這一切的恐怖會(huì)壓過你的謹(jǐn)慎情感，都是可以懂得的。與此同時(shí)，必定會(huì)有沉思熟慮的人開端惹起我們對這些情形的留意，年夜數(shù)據(jù)也弗成防止地會(huì)帶來反后果。

　　不外，年夜數(shù)據(jù)誤用帶來的威逼，不會(huì)僅僅由于我們不再用畏敬的口氣來講誰人詞而消逝。看看Gartner 2017年技巧成熟度曲線的巔峰，你會(huì)看到像機(jī)械進(jìn)修和深度進(jìn)修如許的詞，和代表這些盤算技巧的實(shí)際運(yùn)用的無人駕駛汽車、虛擬助手等相干的詞。這些是基于與年夜數(shù)據(jù)一樣的基本的新“棚架層”，它們?nèi)家栏接谀暌箶?shù)據(jù)。它們曾經(jīng)走在通向真實(shí)的沖破的途徑上——但可以確定的是，它們也會(huì)招致嚴(yán)重的毛病。