什么是大數據? 你需要知道的一切

分析大量數據只是使大數據分析與以前的數據分析不同的一部分。我們還要了解其它方面。

先有數據，然后是大數據。那么，它們有什么區別？

定義大數據

一般而言，大數據是指容量龐大的數據集，大到傳統的數據處理軟件產(chǎn)品無(wú)法在合理的時(shí)間內捕獲、管理和處理數據。

這些大數據集可以包括結構化數據、非結構化數據和半結構化數據，人們可以從每個(gè)數據挖掘到洞察。

多大的數據才算得上“大”尚無(wú)定論，但它通�？赡苁菐讉�(gè)拍字節（petabyte），并且對于艾字節（exabyte）范圍中的最大項目也是如此。

通常，大數據的特點(diǎn)是三個(gè)V：

極大的數據量

各種類(lèi)型的數據

數據得到處理和分析的速度

構成大數據存儲中的數據可以來(lái)自網(wǎng)站、社交媒體、臺式機和移動(dòng)應用、科學(xué)實(shí)驗以及物聯(lián)網(wǎng)（IoT）中日益增多的傳感器和其他設備。

大數據的概念帶有一組相關(guān)組件，這些組件使組織可以使數據得到實(shí)際應用并解決一些業(yè)務(wù)問(wèn)題。這包括用來(lái)支持大數據所需的IT基礎設施、應用于數據的分析、大數據項目所需的技術(shù)、一系列有關(guān)的技能、以及對大數據很重要的實(shí)際用例。

大數據和分析

真正能從組織所收集的所有大數據中實(shí)現價(jià)值的東西是應用于數據的分析。沒(méi)有分析的話(huà)，這只是一大堆商業(yè)用途十分有限的數據。

企業(yè)通過(guò)將分析應用于大數據就可以看到銷(xiāo)售額的增長(cháng)、客戶(hù)服務(wù)的改善、效率的提高以及競爭力得到全面提升等優(yōu)勢。

數據分析包括檢查數據集以獲得洞察或得出關(guān)于它們包含的內容的結論，例如關(guān)于未來(lái)活動(dòng)的趨勢和預測。

組織通過(guò)數據分析可以做出更明智的業(yè)務(wù)決策，例如何時(shí)何地進(jìn)行營(yíng)銷(xiāo)活動(dòng)或引入新產(chǎn)品或服務(wù)。

分析可以指基本的商業(yè)智能應用程序或更高級的預測分析，例如科學(xué)機構所使用的分析。最先進(jìn)的數據分析類(lèi)型是數據挖掘，分析師在這里評估大型數據集以確定關(guān)系、模式和趨勢。

數據分析可以包括探索性數據分析（識別數據中的模式和關(guān)系）和驗證性數據分析（應用統計方法來(lái)確定關(guān)于特定數據集的假設是否屬實(shí)）。

另一個(gè)區別是定量數據分析（或對具有可以統計比較的可量化變量的數字數據的分析）與定性數據分析（其側重于非數字數據，如視頻、圖像和文本）。

支持大數據的IT基礎設施

要讓大數據的概念發(fā)揮作用，組織需要有合適的基礎設施來(lái)收集和存儲數據、提供對數據的訪(fǎng)問(wèn)并保護信息在存儲和傳輸過(guò)程中的安全。

這在較高的層面上還包括為大數據，數據管理和集成軟件，商業(yè)智能和數據分析軟件以及大數據應用設計的存儲系統和服務(wù)器。

由于公司希望繼續利用其數據中心投資，大部分這種基礎設施可能會(huì )在本地部署。但越來(lái)越多的組織依靠云計算服務(wù)來(lái)處理他們的大部分大數據需求。

數據收集需要有收集數據的來(lái)源。其中有很多來(lái)源——如Web應用程序、社交媒體渠道、移動(dòng)應用程序和電子郵件存檔——已經(jīng)就位。但隨著(zhù)物聯(lián)網(wǎng)的逐漸成熟，企業(yè)可能需要在各種設備、車(chē)輛和產(chǎn)品上部署傳感器、以及生成用戶(hù)數據的新應用程序來(lái)收集數據。（面向物聯(lián)網(wǎng)的大數據分析具有自身的專(zhuān)業(yè)技術(shù)和工具。）

為了存儲所有傳入的數據，組織需要有足夠的數據存儲。存儲選項包括傳統的數據倉庫，數據湖泊和基于云的存儲。

安全基礎架構工具可能包括數據加密、用戶(hù)身份驗證和其它訪(fǎng)問(wèn)控制、監控系統、防火墻、企業(yè)移動(dòng)管理以及其它保護系統和數據的產(chǎn)品，

大數據特有的技術(shù)

一般來(lái)說(shuō)，除了上述用于數據的IT基礎架構之外。你的IT基礎架構應該支持大數據特有的幾種技術(shù)。

Hadoop生態(tài)系統

Hadoop是其中一項與大數據密切相關(guān)的技術(shù)。Apache Hadoop項目為可擴展的分布式計算開(kāi)發(fā)開(kāi)源軟件。

Hadoop軟件庫是一個(gè)框架，該框架支持使用簡(jiǎn)單的編程模型在計算機集群中對大數據集進(jìn)行分布式處理。它旨在從單個(gè)服務(wù)器擴展到數千個(gè)，每個(gè)服務(wù)器都提供本地計算和存儲。

該項目包括幾個(gè)模塊：

Hadoop Common是支持其它Hadoop模塊的通用工具

Hadoop分布式文件系統，它可以為應用程序數據提供高吞吐量的訪(fǎng)問(wèn)

Hadoop YARN是一個(gè)作業(yè)調度和集群資源管理的框架

Hadoop MapReduce是一個(gè)基于YARN的大數據集并行處理系統。

Apache Spark

作為Hadoop生態(tài)系統的一部分的Apache Spark是一個(gè)開(kāi)源的集群計算框架，它可充當在Hadoop中處理大數據的引擎。Spark已經(jīng)成為關(guān)鍵的大數據分布式處理框架之一，而且它可以通過(guò)多種方式進(jìn)行部署。它為Java、Scala、Python（尤其是Natrona Python發(fā)行版）和R編程語(yǔ)言（R特別適用于大數據）提供本地綁定，它還支持SQL、流數據、機器學(xué)習和圖形處理。

數據湖泊

數據湖泊是存儲庫，這個(gè)存儲庫可以容納大量以原始格式的形式存在的數據，直到業(yè)務(wù)用戶(hù)需要數據為止。數字化轉型舉措和物聯(lián)網(wǎng)的發(fā)展是數據湖泊發(fā)展的推手。數據湖的宗旨是，在用戶(hù)有需求時(shí)，使他們更輕松地訪(fǎng)問(wèn)大量的數據。

NoSQL數據庫

常規的SQL數據庫是為可靠的事務(wù)（transactions）和即時(shí)查詢(xún)（ad hoc queries）而設計的，但它們具有嚴謹架構（schema）之類(lèi)的限制，這些限制使得它們不太適合某些類(lèi)型的應用程序。NoSQL數據庫解決了這些限制，并以這樣的方式存儲和管理數據——將高操作速度和巨大的靈活性考慮進(jìn)來(lái)。很多NoSQL數據庫都是由這樣的公司開(kāi)發(fā)的——這些公司追求能為大量網(wǎng)站存儲內容或處理數據的更好的方法。NoSQL數據庫與SQL數據庫不同的是，前者可以在數百或數千臺服務(wù)器上水平擴大和縮小規模。

內存數據庫

內存數據庫（IMDB）是一種數據庫管理系統，它主要依靠主存儲器而不是磁盤(pán)來(lái)存儲數據。內存數據庫比磁盤(pán)優(yōu)化的數據庫運行得更快，這是大數據分析使用和數據倉庫和數據集市創(chuàng )建的重要考慮因素。

大數據技能

大數據和大數據分析工作需要特定的技能，無(wú)論這些技能是從組織內部還是外部專(zhuān)家那里獲取。

這其中有很多技能都與關(guān)鍵的大數據技術(shù)組件相關(guān)，如Hadoop、Spark、NoSQL數據庫，內存數據庫和分析軟件。

其它技能則針對數據科學(xué)、數據挖掘、統計和定量分析、數據可視化、通用編程以及數據結構和算法等學(xué)科。我們還需要具備全面管理技能的人員來(lái)完成大數據項目。

鑒于大數據分析項目的普遍性在以及這一系列技能的人才的短缺，尋找有經(jīng)驗的專(zhuān)業(yè)人員可能是組織面臨的最大挑戰之一。

大數據用例

大數據和分析可以應用于很多業(yè)務(wù)問(wèn)題和用例。下面就是幾個(gè)例子：

客戶(hù)分析。公司可以檢驗客戶(hù)數據以改善客戶(hù)體驗，提高轉化率并增加留存率。

運營(yíng)分析。提高運營(yíng)績(jì)效并更好地利用企業(yè)資產(chǎn)是很多公司的目標。大數據分析可以幫助企業(yè)找到更高效地運營(yíng)的方法，以及提高績(jì)效的方法。

預防詐騙。數據分析有助于發(fā)現可能表明出欺詐行為的可疑活動(dòng)和模式，并有助于降低風(fēng)險。

價(jià)格優(yōu)化。公司可以使用大數據分析來(lái)優(yōu)化他們?yōu)楫a(chǎn)品和服務(wù)收取的價(jià)格，從而幫助提高收入。