最近幾年，新技術在快速普及，而很多概念在專家還沒有形成統(tǒng)一定義的時候，就快速被大眾關注；大數(shù)據(jù)概念就是這樣的概念，雖然非常普及，但不同人有不同的理解，這樣在交流中反倒容易引起誤解。今天想闡述一下大數(shù)據(jù)的概念。

大數(shù)據(jù)不是傳統(tǒng)的數(shù)據(jù)技術

我了解大數(shù)據(jù)的概念大概是在2012年，那個時候剛剛參與物聯(lián)網(wǎng)的媒體，在物聯(lián)網(wǎng)概念之后，大數(shù)據(jù)概念一直是科技領域、政府部門、企業(yè)關注的熱點。但是在那個時候，中國企業(yè)通過IT技術利用數(shù)據(jù)的經(jīng)驗遠遠落后于先進國家的應用。

技術領先的國家，在大數(shù)據(jù)概念之前，已經(jīng)有了豐富的利用數(shù)據(jù)的經(jīng)驗，比如數(shù)據(jù)挖掘技術、BI、ODS等技術在現(xiàn)今國家已經(jīng)有了非常豐富的案例。而早期利用數(shù)據(jù)，因為數(shù)據(jù)獲取成本高，只能是對精選的數(shù)據(jù)進行處理，這個時候統(tǒng)計學的數(shù)據(jù)原理、以及分類聚合、尋找關聯(lián)性等技術是數(shù)據(jù)的主要技術。

而中國企業(yè)在2012年時，在應用數(shù)據(jù)方面落后于發(fā)達國家，僅有個別行業(yè)、個別企業(yè)利用了信息系統(tǒng)的數(shù)據(jù)創(chuàng)造價值。

而當大數(shù)據(jù)概念進入中國之后，很多中國企業(yè)分不清楚大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)處理之間的關系，很多人把利用數(shù)據(jù)的工作都叫做大數(shù)據(jù)，導致了概念的混淆。甚至一些大學教授，ODS功能叫做大數(shù)據(jù)是根本錯誤的。

大數(shù)據(jù)與傳統(tǒng)的數(shù)據(jù)技術的差別：

1、數(shù)據(jù)規(guī)模大：傳統(tǒng)數(shù)據(jù)技術主要是利用現(xiàn)有存在關系性數(shù)據(jù)庫中的數(shù)據(jù)，對這些數(shù)據(jù)進行分析、處理，找到一些關聯(lián)，并利用數(shù)據(jù)關聯(lián)性創(chuàng)造價值。這些數(shù)據(jù)的規(guī)模相對較小，可以利用數(shù)據(jù)庫的分析工具處理。而大數(shù)據(jù)的數(shù)據(jù)量非常大，不可能利用數(shù)據(jù)庫分析工具分析。

2、非結(jié)構(gòu)化數(shù)據(jù)：傳統(tǒng)數(shù)據(jù)主要在關系性數(shù)據(jù)庫中分析，而大數(shù)據(jù)可以處理圖像、聲音、文件等非結(jié)構(gòu)化數(shù)據(jù)。

3、處理方式不同：因為數(shù)據(jù)規(guī)模大、非結(jié)構(gòu)化數(shù)據(jù)這兩方面因素，導致大數(shù)據(jù)在分析時不能取全部數(shù)據(jù)做分析。大數(shù)據(jù)分析時如何選取數(shù)據(jù)？這就需要根據(jù)一些標簽來抽取數(shù)據(jù)。所以大數(shù)據(jù)處理過程中，比傳統(tǒng)數(shù)據(jù)增加了一個過程Stream。就是在寫入數(shù)據(jù)的時候，在數(shù)據(jù)上打一個標簽，之后在利用大數(shù)據(jù)的時候，根據(jù)標簽抽取數(shù)據(jù)。這個過程就類似于尋找圖書：如果你在你個人書柜里，尋找一本書是很容易的，所以你買了書，可以直接放到書柜上，不用做任何處理；而如果圖書館買了書，如果不做任何處理的話，你是很難找到一本書的，所以圖書館在新書入庫的時候，首先會對每本書打上標簽，而這個打標簽的過程，就是類似于Stream的工作。

XML技術是大數(shù)據(jù)Stream的基礎

在探索大數(shù)據(jù)的技術基礎的時候，很多人都容易忽視XML技術。

XML是eXtensible Markup Language的英文縮寫，將文件加上可以擴展（可以自定義）的標簽的語言。

XML是在2000年左右非常熱門的技術，其快速發(fā)展促進了很多技術的進步：html5技術發(fā)展，通過SOA技術實現(xiàn)跨平臺功能調(diào)用，文檔格式的統(tǒng)一等等。

使用XML標記的XSLT語言，是擴展樣式表轉(zhuǎn)換語言，可以將XML文件轉(zhuǎn)化成任何樣式的文本。

隨著XML技術的發(fā)展，很多文件都是用XML格式存儲，比如Word文檔等。打上XML標簽的數(shù)據(jù)可以非常容易的通過XSLT抽取出來。

XML技術可以方便的為數(shù)據(jù)打上標簽，并能快速通過標簽抽取數(shù)據(jù)，一方面可以在超越關系數(shù)據(jù)庫范圍之外的更大范圍處理數(shù)據(jù)；另外可以支持非結(jié)構(gòu)化數(shù)據(jù)的處理。所以XML技術是大數(shù)據(jù)發(fā)展的最基礎的技術。

云計算技術為大數(shù)據(jù)提供高性價比的計算和存儲能力

數(shù)據(jù)可以創(chuàng)造價值，但大數(shù)據(jù)處理需要強大的計算和存儲能力。而在早期，這么強大的計算和存儲能力需要在大型機上實現(xiàn)。大型機價格昂貴，早期可以使用數(shù)據(jù)創(chuàng)造價值的企業(yè)都是非常富有的企業(yè)，比如電信運營商、銀行類的企業(yè)。

早期國內(nèi)數(shù)據(jù)處理能力強的企業(yè)都是銀行、電信運營商的供應商。

而云計算技術的發(fā)展，可以讓大量的價格便宜的PC機匯聚起來，形成類似于大型機的計算和存儲能力，而成本又非常低。這個時候數(shù)據(jù)分析的成本就可以被更多的企業(yè)所承擔，從而形成對數(shù)據(jù)分析需求的一個爆發(fā)。

云計算對計算和存儲能力的可擴展性，對數(shù)據(jù)的分布式處理方式，促發(fā)了大數(shù)據(jù)概念的誕生。

物聯(lián)網(wǎng)為大數(shù)據(jù)提供豐富的數(shù)據(jù)來源

早期的數(shù)據(jù)處理，其數(shù)據(jù)來源主要是通過手工輸入、在手工輸入數(shù)據(jù)通過計算機處理之后形成的數(shù)據(jù)；這樣的數(shù)據(jù)還是有限的。

而物聯(lián)網(wǎng)技術的發(fā)展，更多的傳感設備可以自動采集數(shù)據(jù)，并能夠通過通訊技術、云計算技術匯聚到一個平臺上，從而極大的豐富了數(shù)據(jù)來源。

物聯(lián)網(wǎng)技術讓數(shù)據(jù)可以成幾何級數(shù)的增長，為大數(shù)據(jù)提供了豐富的數(shù)據(jù)來源，從而促發(fā)了對數(shù)據(jù)分析技術的需求，豐富了大數(shù)據(jù)應用。

而物聯(lián)網(wǎng)最終獲得價值，也是通過大數(shù)據(jù)積累到一定量之后，形成智慧，創(chuàng)造價值的。

未來人工智能、物聯(lián)網(wǎng)、智能制造創(chuàng)造價值，都離不開大數(shù)據(jù)的價值。