早期在描述大數(shù)據(jù)的時候,往往從大數(shù)據(jù)本身的特點來入手,比如數(shù)據(jù)量大、速度快、數(shù)據(jù)類型多樣化、價值密度低、真假難辨等等,但是對于普通人來即使知道了這些特點,對于大數(shù)據(jù)的概念依然是模糊的,依然不知道大數(shù)據(jù)到底用來做什么,能夠與普通人產(chǎn)生哪些連接。
1、什么是大數(shù)據(jù)?
這是一個非常好的問題,作為一名IT從業(yè)者,同時也是一名計算機專業(yè)的教育工作者,我來回答一下。首先,要想把大數(shù)據(jù)搞清楚,首先要明白大數(shù)據(jù)本身并不是一個單一的概念,如今的大數(shù)據(jù)已經(jīng)發(fā)展成了一個龐大的生態(tài)體系,涉及到的產(chǎn)業(yè)鏈也在不斷完善和發(fā)展,隨著大數(shù)據(jù)技術(shù)體系逐漸成熟,大數(shù)據(jù)的落地應(yīng)用已經(jīng)開始逐漸展開,隨著諸多行業(yè)企業(yè)紛紛實現(xiàn)業(yè)務(wù)上云,未來大數(shù)據(jù)的應(yīng)用場景會越來越多,大數(shù)據(jù)所構(gòu)建起來的價值空間也有很大的潛力。
早期在描述大數(shù)據(jù)的時候,往往從大數(shù)據(jù)本身的特點來入手,比如數(shù)據(jù)量大、速度快、數(shù)據(jù)類型多樣化、價值密度低、真假難辨等等,但是對于普通人來說,即使知道了這些特點,對于大數(shù)據(jù)的概念依然是模糊的,依然不知道大數(shù)據(jù)到底用來做什么,能夠與普通人產(chǎn)生哪些連接,實際上,要想了解大數(shù)據(jù),首先要搞清楚大數(shù)據(jù)的目的,大數(shù)據(jù)的目的就是實現(xiàn)數(shù)據(jù)的價值化,大數(shù)據(jù)的所有操作幾乎都是圍繞數(shù)據(jù)價值化展開的,包括數(shù)據(jù)采集、數(shù)據(jù)整理、數(shù)據(jù)存儲、數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用等等,這一系列環(huán)節(jié)都是圍繞數(shù)據(jù)的價值增量來展開的,最終通過數(shù)據(jù)應(yīng)用來完成價值體現(xiàn)。
簡單的說,通過大數(shù)據(jù)能夠讓更多的數(shù)據(jù)產(chǎn)生價值,通過大數(shù)據(jù)能夠讓數(shù)據(jù)的價值進行傳遞(賦能)和提升,通過大數(shù)據(jù)能夠讓數(shù)據(jù)逐漸成為一個重要的生產(chǎn)材料,通過大數(shù)據(jù)能夠衡量一個企業(yè)的價值和發(fā)展?jié)摿Φ鹊?,隨著工業(yè)互聯(lián)網(wǎng)的發(fā)展,未來大數(shù)據(jù)本身所承載的價值空間會越來越大,我從事互聯(lián)網(wǎng)行業(yè)多年,目前也在帶計算機專業(yè)的研究生,主要的研究方向集中在大數(shù)據(jù)和人工智能領(lǐng)域,我會陸續(xù)寫一些關(guān)于互聯(lián)網(wǎng)技術(shù)方面的文章,感興趣的朋友可以關(guān)注我,相信一定會有所收獲。
2、大數(shù)據(jù)是什么?
采集記錄足夠多的數(shù)據(jù),使工作更加針對化和精準化,這是大數(shù)據(jù)嗎?這不是大數(shù)據(jù)而只是數(shù)據(jù)化,什么是大數(shù)據(jù)呢?例如洛杉磯警方曾對以往的刑事案件做了統(tǒng)計,通過算法得出了第二天的高概率犯罪地點,然后有針對性的派警察去該處巡邏,從而使得當?shù)氐姆缸铿F(xiàn)象下降20%。這是大數(shù)據(jù),再比如,經(jīng)濟學(xué)家都認為股票無法預(yù)測,而一位劍橋大學(xué)畢業(yè)的博士搞了個公司,對有史以來幾乎所有的證券交易的數(shù)據(jù)進行記錄,然后通過算法進行分析。
他對什么國家政策、公司業(yè)績、行業(yè)走向等等一眼都不看,100%地排除主觀意志的,只根據(jù)計算結(jié)果來進行投資,最后賺了大錢,這是大數(shù)據(jù)。大數(shù)據(jù)的精髓并不在于數(shù)據(jù)的精準和數(shù)量,而在于對內(nèi)在規(guī)律的挖掘和對未來趨勢的預(yù)測,其思路是:一個結(jié)果是有很多原因的,原因作用的強度可能是隨機的,我們對其中作用的機理并不清楚。
我們難以找出規(guī)律性,但知道規(guī)律性就蘊含在結(jié)果數(shù)據(jù)之中,如果我們能建設(shè)合適的模型,寫出好的算法,就有可能把這個規(guī)律性提煉出來,從而能科學(xué)地發(fā)現(xiàn)真相和預(yù)測未來,今天上午在貴州省大數(shù)據(jù)中心看到了大數(shù)據(jù)應(yīng)用的事例。金潤建設(shè)和鵬潤達這兩家企業(yè)分別投標200多次,一次也沒中過,依然積極地投,投標是要成本的,這兩家公司那里來的動力?通過大數(shù)據(jù)的知識挖掘技術(shù),發(fā)現(xiàn)了它們總是陪著固定的一家公司一同招標,最后總是那家公司中標。
3、大數(shù)據(jù)的概念和應(yīng)用,到底是什么?
大數(shù)據(jù)技術(shù)是指從各種各樣類型的數(shù)據(jù)中,快速獲得有價值信息的能力,適用于大數(shù)據(jù)的技術(shù)。包括大規(guī)模并行處理(MPP)數(shù)據(jù)庫,數(shù)據(jù)挖掘電網(wǎng),分布式文件系統(tǒng),分布式數(shù)據(jù)庫,云計算平臺,互聯(lián)網(wǎng),和可擴展的存儲系統(tǒng),大數(shù)據(jù)的應(yīng)用:大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長的新引擎,幾乎各個行業(yè)都會逐步引入大數(shù)據(jù)技術(shù),尤其是那些將要實現(xiàn)互聯(lián)網(wǎng)信息化轉(zhuǎn)型的傳統(tǒng)企業(yè)。