豐沃創(chuàng )新 4001109951告送你： 

1.算法�！八惴ā比绾闻c大數據相關(guān)? 即使算法是一個(gè)通用術(shù)語(yǔ)，但大數據分析使其在當代更受青睞和流行。

如果你初來(lái)乍到，大數據看起來(lái)很?chē)樔?根據你掌握的基本理論，讓我們專(zhuān)注于一些關(guān)鍵術(shù)語(yǔ)以此給你的約會(huì )對象、老板、家人或者任何一個(gè)人帶來(lái)深刻的印象。

1.MaxCompute（原名ODPS）。由中國阿里云自主研發(fā)的大數據平臺產(chǎn)品MaxCompute，它能提供快速、完全托管的PB級數據倉庫解決方案，可以經(jīng)濟并高效的分析處理海量數據，為全球60個(gè)國家，180萬(wàn)家企業(yè)提供計算能力。https://www.aliyun.com/product/odps 同類(lèi)開(kāi)源產(chǎn)品有Hadoop，資料地址 https://yq.aliyun.com/articles/78108 。

2.分析。年末你可能會(huì )收到一份來(lái)自信用卡公司寄來(lái)的包含了全年所有交易記錄的年終報表。如果你有興趣進(jìn)一步分析自己在食物、衣服、娛樂(lè )等方面具體花費占比呢?那你便是在做“分析”了。你正從一堆原始數據中來(lái)吸取經(jīng)驗，以幫助自己為來(lái)年的消費做出決策。如果你正在針對整個(gè)城市人群對Twitter或Facebook的帖子做同樣的練習呢?那我們便是在討論大數據分析了。大數據分析的實(shí)質(zhì)是利用大量數據來(lái)進(jìn)行推斷和講故事。大數據分析有3種不同到的類(lèi)型，接下來(lái)便繼續本話(huà)題進(jìn)行依次討論。

3.描述性分析。剛剛如果你告訴我，去年你的信用卡消費在食物上花費了25%、在服裝上花費了35%、娛樂(lè )活動(dòng)上花費了20%、剩下的就是雜七雜八的事項，這種便是描述性分析。當然你還可以參考更多的細節。

4.預測分析。如果你根據過(guò)去5年的信用卡歷史記錄來(lái)進(jìn)行分析，并且劃分具有一定的連續性，則你可以高概率預測明年將與過(guò)去幾年相差無(wú)幾。此處需要注意的細節是，這并不是“預測未來(lái)”，而是未來(lái)可能會(huì )發(fā)生的“概率”。在大數據預測分析中，數據科學(xué)家可能會(huì )使用類(lèi)似機器學(xué)習、高級的統計過(guò)程(后文將對這些術(shù)語(yǔ)進(jìn)行介紹)等先進(jìn)的技術(shù)去預測天氣、經(jīng)濟變化等。

5.規范分析。沿用信用卡交易的案例，你可能想要找出哪方面的支出(級食品、服裝、娛樂(lè )等)對自己的整體支出產(chǎn)生巨大的影響。規范分析建立在預測分析的基礎之上，包含了“行動(dòng)”記錄(例如減少食品、服裝、娛樂(lè )支出)，并分析所得結果來(lái)“規定”最佳類(lèi)別以減少總體支出。你可以嘗試將其發(fā)散到大數據，并設想高管們如何通過(guò)查看各種行動(dòng)的影響來(lái)做出數據驅動(dòng)的決策。

6.批處理。雖然批量數據處理在大型機時(shí)代就早已出現，但大數據交給它更多大數據集處理，因此賦予了批處理更多的意義。對于一段時(shí)間內收集到的一組事務(wù)，批量數據處理為處理大量數據提供了一種有效的方法。后文將介紹的MaxCompute便是專(zhuān)注于批量數據處理。

7.Cassandra是由Apache Software Foundation管理的一款流行的開(kāi)源數據庫管理系統。很多大數據技術(shù)都歸功于A(yíng)pache，其中Cassandra的設計初衷便是處理跨分布式服務(wù)器的大量數據。

8.云計算。云計算的本質(zhì)是在遠程服務(wù)器上運行的軟件和(/或)數據托管，并允許從互聯(lián)網(wǎng)上的任何地方進(jìn)行訪(fǎng)問(wèn)。

9.集群計算。它是一種利用多臺服務(wù)器的匯集資源的“集群”來(lái)進(jìn)行計算的奇特方式。在了解了更多技術(shù)之后，我們可能還會(huì )討論節點(diǎn)、集群管理層、負載平衡和并行處理等。

10.黑暗數據。從根本上來(lái)說(shuō)，黑暗數據是指那些被企業(yè)收集和處理但又不用于任何有意義用途的數據，因此描述它是“黑暗的”，它們可能永遠被埋沒(méi)。它們可能是社交網(wǎng)絡(luò )信息流、呼叫中心日志、會(huì )議筆記，諸如此類(lèi)。人們做出了諸多估計，在60-90%的所有企業(yè)數據都可能是“黑暗數據”，但無(wú)人真正知曉。

11.數據湖。當我第一次聽(tīng)到這個(gè)詞的時(shí)候，我真的以為有人在開(kāi)愚人節的玩笑。但它真的是個(gè)術(shù)語(yǔ)!數據湖是一個(gè)原始格式的企業(yè)級數據的大型存儲庫。雖然此處討論的是數據湖，但有必要再一起討論下數據倉庫，因為數據湖和數據倉庫在概念上是極其相似的，都是企業(yè)級數據的存儲庫，但在清理和與其他數據源集成之后的結構化格式上有所區別。數據倉庫常用于常規數據(但不完全)。據說(shuō)數據湖能夠讓用戶(hù)輕松訪(fǎng)問(wèn)企業(yè)級數據，用戶(hù)真正按需知道自己正在尋找的是什么、如何處理并讓其智能化使用。

12.數據挖掘。數據挖掘是指利用復雜的模式識別技術(shù)從大量數據中找到有意義的模式、提取見(jiàn)解。這與我們前文討論的使用個(gè)人數據做分析的術(shù)語(yǔ)“分析”密切相關(guān)。為了提取出有意義的模式，數據挖掘者使用統計學(xué)(是呀，好老的數學(xué))、機器學(xué)習算法和人工智能。

13.分布式文件系統。由于大數據太大而無(wú)法在單個(gè)系統上進(jìn)行存儲，分布式文件系統提供一種數據存儲系統，方便跨多個(gè)存儲設備進(jìn)行大量數據的存放，并有助于降低大量數據存儲的成本和復雜度。

14.ETL。ETL分別是extract，transform，load的首字母縮寫(xiě)，代表提取、轉化和加載的過(guò)程。 它具體是指“提取”原始數據，通過(guò)數據清洗/修飾的方式進(jìn)行“轉化”以獲得 “適合使用”的數據，進(jìn)而“加載”到合適的存儲庫中供系統使用的整個(gè)過(guò)程。盡管ETL這一概念源于數據倉庫，但現在也適用于其它情景下的過(guò)程，例如在大數據系統中從外部數據源獲取/吸收數據。

15.算法。“算法”如何與大數據相關(guān)?即使算法是一個(gè)通用術(shù)語(yǔ)，但大數據分析使其在當代更受青睞和流行。

16.內存計算。一般來(lái)說(shuō)，任何可以在不訪(fǎng)問(wèn)I / O的情況下進(jìn)行的計算預計會(huì )比需要訪(fǎng)問(wèn)I/O的速度更快。內存內計算是一種能夠將工作數據集完全轉移到集群的集體內存中、并避免了將中間計算寫(xiě)入磁盤(pán)的技術(shù)。Apache Spark便是一種內存內計算系統，它與I / O相比，在像MaxCompute MapReduce這樣的系統上綁定具有巨大的優(yōu)勢。

17.IOT。最新的流行語(yǔ)是物聯(lián)網(wǎng)(Internet of things，簡(jiǎn)稱(chēng)IOT)。IOT是通過(guò)互聯(lián)網(wǎng)將嵌入式對象(傳感器、可穿戴設備、汽車(chē)、冰箱等)中的計算設備互連在一起，并且能夠發(fā)送/接收數據。IOT產(chǎn)生了大量的數據，這為呈現大數據分析提供了更多的機會(huì )。

18.MapReduce。MapReduce的概念可能會(huì )有點(diǎn)混亂，但讓我試一試。MapReduce是一個(gè)編程模型，最好的理解方法是將Map和Reduce是看作兩個(gè)獨立的單元。在這種情況下，編程模型首先將大數據的數據集分成幾個(gè)部分(技術(shù)術(shù)語(yǔ)上是稱(chēng)作“元組”，但本文并不想太過(guò)技術(shù)性)，因此可以部署到不同位置的不同計算機上(即前文所述的集群計算)，這些本質(zhì)上是Map的組成部分。接下來(lái)該模型收集到所有結果并將“減少”到同一份報告中。 MapReduce的數據處理模型與MaxCompute的分布式文件系統相輔相成。

19.NoSQL。乍一聽(tīng)這像是針對傳統關(guān)系型數據庫管理系統(RDBMS)的面向對象的SQL(Structured Query Language， 結構化查詢(xún)語(yǔ)言)的抗議，其實(shí)NoSQL代表的是NOT ONLY SQL，意即“不僅僅是SQL”。 NoSQL實(shí)際上是指被用來(lái)處理大量非結構化、或技術(shù)上被稱(chēng)作“圖表”(例如關(guān)系型數據庫的表)等數據的數據庫管理系統。NoSQL數據庫一般非常適用于大型數據系統，這得益于它們的靈活性以及大型非結構化數據庫所必備的分布式結構。

20.R語(yǔ)言。有人能想到比這個(gè)編程語(yǔ)言更糟糕的名字嗎?是的，’R’是一門(mén)在統計計算中表現非常優(yōu)異的編程語(yǔ)言。如果你連’R’都不知道，那你就不是數據科學(xué)家。(如果你不知道’R’，就請不要把那些糟糕的代碼發(fā)給我了)。這就是在數據科學(xué)中最受歡迎的語(yǔ)言之一的R語(yǔ)言。

21.Spark(Apache Spark)。Apache Spark是一種快速的內存內數據處理引擎，它可以高效執行需要快速迭代訪(fǎng)問(wèn)數據集的流、機器學(xué)習或SQL工作負載。Spark通常比我們前文討論的MapReduce快很多。

22.流處理。流處理旨在通過(guò)“連續”查詢(xún)對實(shí)時(shí)和流數據進(jìn)行操作。結合流分析(即在流內同時(shí)進(jìn)行連續計算數學(xué)或統計分析的能力)，流處理解決方案可以被用來(lái)實(shí)時(shí)處理非常大的數據。

23.結構化和非結構化數據。這是大數據5V中的“Variety”多樣性。結構化數據是能夠放入關(guān)系型數據庫的最基本的數據類(lèi)型，通過(guò)表的組織方式可以聯(lián)系到任何其他數據。非結構化數據則是所有不能直接存入關(guān)系數據庫中的數據，例如電子郵件、社交媒體上的帖子、人類(lèi)錄音等。