科技專論
根據(jù)有關(guān)學(xué)者的研究,數(shù)據(jù)密集型科學(xué)將成為繼實驗科學(xué)、理論科學(xué)、計算機(jī)科學(xué)之后,人類科學(xué)研究的第四個范式。以大數(shù)據(jù)為代表的數(shù)據(jù)密集型科學(xué)將成為新一次技術(shù)變革的基石。隨著數(shù)據(jù)的進(jìn)一步集中和數(shù)據(jù)量的增大,對海量數(shù)據(jù)進(jìn)行安全防護(hù)變得更加困難,數(shù)據(jù)的分布式處理也加大了數(shù)據(jù)泄露的風(fēng)險,信息安全正成為制約大數(shù)據(jù)技術(shù)發(fā)展的瓶頸。
大數(shù)據(jù)時代已經(jīng)到來
物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)等新技術(shù)的發(fā)展,使得手機(jī)、平板電腦、PC及遍布地球各個角落的傳感器,成為數(shù)據(jù)來源和承載方式。據(jù)估計,互聯(lián)網(wǎng)上的數(shù)據(jù)量每兩年會翻一番,到2013年,互聯(lián)網(wǎng)上的數(shù)據(jù)量將達(dá)到每年667EB(1EB=230GB)。這些數(shù)據(jù)絕大多數(shù)是“非結(jié)構(gòu)化數(shù)據(jù)”,通常不能為傳統(tǒng)的數(shù)據(jù)庫所用,但這些龐大的數(shù)據(jù)“寶藏”將成為“未來的新石油”。
1.大數(shù)據(jù)具有四個典型特征
大數(shù)據(jù)(Big Data)是指“無法用現(xiàn)有的軟件工具提取、存儲、搜索、共享、分析和處理的海量的、復(fù)雜的數(shù)據(jù)集合”。業(yè)界通常用四個V來概括大數(shù)據(jù)的特征。
——數(shù)據(jù)體量巨大(Volume)。到目前為止,人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB(1PB=210TB),而歷史上全人類說過的所有的話的數(shù)據(jù)量大約5EB(1EB=210PB)。當(dāng)前,典型個人計算機(jī)硬盤的容量為TB量級,而一些大企業(yè)的數(shù)據(jù)量已經(jīng)接近EB量級。
——數(shù)據(jù)類型繁多(Variety)。這種類型的多樣性也讓數(shù)據(jù)被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。相對于以往便于存儲的以文本為主的結(jié)構(gòu)化數(shù)據(jù),非結(jié)構(gòu)化數(shù)據(jù)越來越多,包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等,這些多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高要求。
——價值密度低(Value)。價值密度的高低與數(shù)據(jù)總量的大小成反比。以視頻為例,一部1小時的視頻,在連續(xù)不間斷的監(jiān)控中,有用數(shù)據(jù)可能僅有一兩秒。如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價值“提純”,成為目前大數(shù)據(jù)背景下亟待解決的難題。
——處理速度快(Velocity)。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘的最顯著特征。根據(jù)IDC的“數(shù)字宇宙”報告,預(yù)計到2020年,全球數(shù)據(jù)使用量將達(dá)到35.2ZB(1ZB=210EB)。在如此海量的數(shù)據(jù)面前,處理數(shù)據(jù)的效率就是企業(yè)的生命。
2.大數(shù)據(jù)成為國家和企業(yè)的核心資產(chǎn)
2012年瑞士達(dá)沃斯論壇上發(fā)布的《大數(shù)據(jù)大影響》報告稱,數(shù)據(jù)已成為一種新的經(jīng)濟(jì)資產(chǎn)類別,就像貨幣或黃金一樣。奧巴馬政府已把“大數(shù)據(jù)”上升到國家戰(zhàn)略層面,2012年3月,美國宣布投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”,借以增強(qiáng)收集海量數(shù)據(jù)、分析萃取信息的能力。美國政府認(rèn)為,大數(shù)據(jù)是“未來的新石油”,一個國家擁有數(shù)據(jù)的規(guī)模、活性及解釋運(yùn)用的能力將成為綜合國力的重要組成部分,未來對數(shù)據(jù)的占有和控制甚至將成為繼陸權(quán)、海權(quán)、空權(quán)之外國家的另一個核心資產(chǎn)。
對企業(yè)來說,數(shù)據(jù)正在取代人才成為企業(yè)的核心競爭力。在大數(shù)據(jù)時代,數(shù)據(jù)資產(chǎn)取代人才成為企業(yè)智商最重要的載體。這些能夠被企業(yè)隨時獲取的數(shù)據(jù),可以幫助和指導(dǎo)企業(yè)對全業(yè)務(wù)流程進(jìn)行有效運(yùn)營和優(yōu)化,幫助企業(yè)做出最明智的決策。此時,企業(yè)智商的基礎(chǔ)就是形形色色的數(shù)據(jù)。
大數(shù)據(jù)在重新定義企業(yè)智商的同時,對企業(yè)核心資產(chǎn)也進(jìn)行了重塑,數(shù)據(jù)資產(chǎn)當(dāng)仁不讓地成為現(xiàn)代商業(yè)社會的核心競爭力。在大數(shù)據(jù)時代,企業(yè)必須熟悉和用好海量的數(shù)據(jù),而互聯(lián)網(wǎng)行業(yè)已提早感受到了大數(shù)據(jù)帶來的深切變化。一些互聯(lián)網(wǎng)企業(yè)已經(jīng)完成了核心競爭力的重新定義。
3.大數(shù)據(jù)“藍(lán)!背蔀楦偁幍男陆裹c(diǎn)
大數(shù)據(jù)所能帶來的巨大商業(yè)價值,被認(rèn)為將引領(lǐng)一場足以與20世紀(jì)計算機(jī)革命匹敵的巨大變革。大數(shù)據(jù)正在對每個領(lǐng)域造成影響,在商業(yè)、經(jīng)濟(jì)和其他領(lǐng)域中,決策行為將日益基于數(shù)據(jù)分析,而不再是憑借經(jīng)驗和直覺。大數(shù)據(jù)正在成為政府和企業(yè)競爭的新焦點(diǎn)。各大企業(yè)正紛紛投向大數(shù)據(jù)促生的新藍(lán)海。甲骨文、IBM、微軟和SAP共投入超過15億美元成立各自的軟件智能數(shù)據(jù)管理和分析專業(yè)公司。在大數(shù)據(jù)時代,商業(yè)生態(tài)環(huán)境在不經(jīng)意間發(fā)生了巨大變化:無處不在的智能終端、隨時在線的網(wǎng)絡(luò)傳輸、互動頻繁的社交網(wǎng)絡(luò),讓以往只是網(wǎng)頁瀏覽者的網(wǎng)民的面孔從模糊變得清晰,企業(yè)也有機(jī)會進(jìn)行大規(guī)模的精準(zhǔn)化的消費(fèi)者行為研究。大數(shù)據(jù)藍(lán)海將成為未來競爭的制高點(diǎn)。