從2012年的“用戶(hù)標簽”到2014年的“用戶(hù)畫(huà)像”，從2015年的“大數據”到2017年的“人工智能”，大數據正在從神壇走向現實(shí)。大數據培訓

“標簽”到“畫(huà)像”，代表著(zhù)數據在數量和維度上，逐漸在豐富：“大數據”到“人工智能”，表明從原始數據到本體認知的過(guò)渡。

無(wú)論是數據積累的量變到質(zhì)變，還是數據到認知層面的過(guò)渡，大數據已經(jīng)開(kāi)始在一些特定領(lǐng)域和場(chǎng)景下為客戶(hù)解決實(shí)際問(wèn)題，創(chuàng )造價(jià)值。

本文將從產(chǎn)業(yè)鏈、市場(chǎng)、誤區、挑戰四個(gè)部分對大數據市場(chǎng)現狀以及下一步的發(fā)展提出自己的觀(guān)點(diǎn)與洞察。

產(chǎn)業(yè)鏈

在2017年初的時(shí)候，根據產(chǎn)業(yè)的發(fā)展我將2016年認為的產(chǎn)業(yè)鏈中四個(gè)環(huán)節壓縮至了兩個(gè)，即數據服務(wù)平臺提供商和數據解決方案提供商。

（圖片說(shuō)明：實(shí)際的產(chǎn)業(yè)鏈以及2018年可能的演進(jìn)）

通過(guò)過(guò)去一年的觀(guān)察發(fā)現，雖然市場(chǎng)上確實(shí)以這兩種角色為主體，但在具體項目中，這二者并沒(méi)有形成上下游產(chǎn)業(yè)鏈的局面。在一些行業(yè)市場(chǎng)中，數據服務(wù)平臺提供商向前跨越，直接面對行業(yè)客戶(hù)，向他們提供其所擁有的外部數據（往往本身就擁有海量的2C數據入口，可以源源不斷地生產(chǎn)2C數據）的粗加工產(chǎn)品（如用戶(hù)的標簽數據等）；而在另一部分行業(yè)市場(chǎng)中，數據解決方案提供商，基本使用用戶(hù)自身的數據，通過(guò)數據處理服務(wù)，為行業(yè)客戶(hù)提供某個(gè)方向的解決方案。

上面兩個(gè)角色之間基本沒(méi)有合作、沒(méi)有交集，很少在市場(chǎng)上直接競爭。

究其原因，個(gè)人認為有兩個(gè)方面。一個(gè)是市場(chǎng)的成熟度決定的，還有一個(gè)就是由法律或者說(shuō)政策環(huán)境決定的。

首先，這是由市場(chǎng)的成熟度決定的。目前行業(yè)應用市場(chǎng)還處于早期，部分行業(yè)用戶(hù)的需求集中在外部數據的簡(jiǎn)單加工層面，還沒(méi)有滲透到行業(yè)縱深，與行業(yè)的核心業(yè)務(wù)沒(méi)有形成深度耦合，對數據服務(wù)提供商還沒(méi)有很深的行業(yè)經(jīng)驗要求；另一方面，現階段大多數“解決方案”提供商，基本采用客戶(hù)自身的數據，依靠數據處理能力為客戶(hù)提供數據集成服務(wù)�，F在的“解決方案”提供商，大多還停留在數據服務(wù)的層面，并沒(méi)有大量應用外部數據的經(jīng)驗，與行業(yè)的深度需求耦合還遠遠不夠，自然也沒(méi)有形成“殺手”級的產(chǎn)品，行業(yè)的可替代性很強，與數據服務(wù)平臺提供商的能力差異并沒(méi)有充分表現出來(lái)。這些，都從不同程度，反映了市場(chǎng)發(fā)展成熟度不足的問(wèn)題。

其次，數據的交易目前在我國還是一個(gè)敏感的話(huà)題。雖然數據服務(wù)平臺提供商擁有海量的2C數據，可如何與第三方合作，為行業(yè)客戶(hù)提供他們所需要的解決方案，還是個(gè)無(wú)法觸碰的禁區。6月1日生效的個(gè)人隱私安全法（下面簡(jiǎn)稱(chēng)隱私法），只說(shuō)明了“干什么”不行，但并沒(méi)有規定“如何做”才是可以的。而這個(gè)“如何做”才行的體系，需要經(jīng)過(guò)幾年時(shí)間的建立才可能完成。法律環(huán)境的滯后，也限制了行業(yè)的進(jìn)一步發(fā)展，資源將進(jìn)一步向掌握數據的巨頭集中。雖然這樣做便于管理，數據集中在幾個(gè)巨頭手里好監管，不會(huì )產(chǎn)生隱私數據滿(mǎn)天飛的亂象，但缺點(diǎn)也是顯而易見(jiàn)的。數據無(wú)法打通，就會(huì )形成一個(gè)個(gè)信息孤島；數據無(wú)法流動(dòng)，就使數據應用受到很大局限。這一點(diǎn)，恐怕是監管部門(mén)最應該盡快解決的問(wèn)題。

百行征信的出現從某一個(gè)角度說(shuō)明了解決這個(gè)問(wèn)題的必要。

（圖片說(shuō)明：實(shí)際的產(chǎn)業(yè)鏈以及2018年可能的演進(jìn)）

上圖的上半段就是現在實(shí)際的產(chǎn)業(yè)鏈情況，而下半段是根據現在市場(chǎng)發(fā)展的態(tài)勢。我認為2018年可能會(huì )出現的演進(jìn)。隨著(zhù)大數據被應用到各行各業(yè)，大多數行業(yè)的數據準備并不充分，數據基礎薄弱。要想使數據產(chǎn)生價(jià)值，發(fā)揮更大的作用，勢必需要大量的數據歸集與治理，這就是數據優(yōu)化商的角色。由于增量市場(chǎng)的出現，僅靠現有的解決方案提供商和數據服務(wù)平臺提供商自身的力量是不夠的，這就為獨立的第三方數據優(yōu)化商出現，并存在創(chuàng )造了客觀(guān)上的空間。所以說(shuō)，對于大多數行業(yè)而言，要想充分發(fā)揮數據的價(jià)值，首先要從數據的歸集與治理開(kāi)始，磨刀不誤砍柴工！

另一個(gè)會(huì )發(fā)生的變化，是解決方案提供商將逐漸拉開(kāi)與數據服務(wù)平臺提供商在行業(yè)的差距，向行業(yè)縱深走，形成差異化的產(chǎn)品和解決方案，成為真正的某一行業(yè)的解決方案提供商。而數據服務(wù)平臺提供商反而會(huì )回縮，專(zhuān)注自己的服務(wù)平臺，支撐眾多方向的解決方案提供商以及客戶(hù)的需要，逐漸完成與解決方案提供商的上下游產(chǎn)業(yè)鏈。

這都是市場(chǎng)在逐漸成熟的標志，分工進(jìn)一步細化。

市場(chǎng)

經(jīng)過(guò)了過(guò)去4-5年的積累，無(wú)論在數據上，還是在數據處理技術(shù)上，大數據正在某些局部由量變轉為質(zhì)變。在很多領(lǐng)域和場(chǎng)景下已經(jīng)可以做出很明顯的效果�；蛘邘椭�客戶(hù)解決他們的原來(lái)解決不了的問(wèn)題；或者改善原有的方法，提高效率、降低成本；也或者開(kāi)辟了新的渠道，形成創(chuàng )新的業(yè)務(wù)模式。

總之一句話(huà)，大數據就是生產(chǎn)力！

大數據正在被應用到各個(gè)領(lǐng)域。這其中當然有很多亂象，存在著(zhù)很多“誤解”，但數據思維驅動(dòng)的數據應用是大趨勢，不可逆轉。

從市場(chǎng)對象來(lái)劃分，可以分為大B（商業(yè)體，Business）和高成長(cháng)性行業(yè)的中小B.無(wú)論是解決方案提供商還是數據服務(wù)平臺提供商大多集中在大B領(lǐng)域，如銀行、保險、醫療、教育等。這是由他們的公司體量決定的，必須要做對等體量，且確定性較高的市場(chǎng)，才可能保證固定的產(chǎn)出，這是正確的。

除此之外，另一個(gè)群體，高成長(cháng)性中小B也非常值得關(guān)注。高成長(cháng)性行業(yè)雖然有很多不確定性，尤其是在現在的經(jīng)濟環(huán)境下，中小企業(yè)甚至很難生存，但也不是完全沒(méi)有機會(huì )。就在人們普遍認為BATJ壟斷下的互聯(lián)網(wǎng)很難有新貴出現，但這幾年依然出現了今日頭條、滴滴。所幸，我就在2016年抓住了出行行業(yè)（Uber、易到等）的機會(huì )，依靠大數據的反刷單解決方案在這一領(lǐng)域迅速地打開(kāi)局面，并發(fā)展壯大，形成了每年數千萬(wàn)的業(yè)務(wù)。

這就是高成長(cháng)性中小B的魅力。首先它增長(cháng)迅速，也會(huì )帶動(dòng)生態(tài)鏈上的其他企業(yè)快速增長(cháng)，想象空間很大；其次，中小B本身沒(méi)有很復雜的決策鏈，決策周期很短，一般2-4個(gè)月，比較容易試錯，這對于初創(chuàng )團隊是非常關(guān)鍵的；再者，高成長(cháng)性中小B在高速發(fā)展中，不可能完全依靠自己的力量解決所有的問(wèn)題，這就為建立生態(tài)鏈創(chuàng )造了客觀(guān)的土壤。這一點(diǎn)，在去年9月參加的一次大數據峰會(huì )上，聽(tīng)到了興業(yè)金服的一位負責人也表達了類(lèi)似的觀(guān)點(diǎn)。

大數據不同于以往的IT項目，不能單純地以甲乙方的形式存在，已經(jīng)超出了傳統的建設和被建設的關(guān)系。取而代之的，是一個(gè)合作共贏(yíng)，長(cháng)期共存的生態(tài)鏈。

由于資源（外部數據）的局限，客戶(hù)不可能通過(guò)服務(wù)提供商的一次建設，就能夠完全掌握并獨立運營(yíng)。時(shí)代的發(fā)展也不允許客戶(hù)有時(shí)間去慢慢消化、學(xué)習、獨立運營(yíng)所有的系統，他們必須要引入數據服務(wù)合作伙伴，整合雙方的資源，而迅速地形成生產(chǎn)力。社會(huì )的成熟，分工進(jìn)一步細化，“TIME to Market”決定了你沒(méi)必要也不可能每一件事兒都自己去做。行業(yè)客戶(hù)將注意力更好地聚焦在自己的主業(yè)上，而數據部分，會(huì )依賴(lài)數據合作伙伴來(lái)一起參與，共同經(jīng)營(yíng)。

所以，客戶(hù)對外部數據合作伙伴的訴求，是“外部數據”+數據處理“（包括數據處理系統以及數據處理能力）+”數據融合“（這并不等同于數據處理，主要側重于數據應用；不但需要數據服務(wù)提供商具有豐富的數據應用經(jīng)驗，還需要數據服務(wù)提供商具有豐富的行業(yè)經(jīng)驗，即真正的數據解決方案提供商）。

誤區

在幾年的數據應用實(shí)踐中，發(fā)現了很多誤區。

一是很多客戶(hù)認為大數據就等于買(mǎi)數據，在應用的過(guò)程中生搬硬套；二是對大數據的不切實(shí)際的預期，要么是將其神話(huà)，要么就對應用的過(guò)程缺乏耐心；三是認為有很多數據就應該能馬上產(chǎn)生價(jià)值，但實(shí)際情況是數據準備不足，基礎薄弱。

誤區一：大數據等于買(mǎi)數據

很多行業(yè)客戶(hù)最初對外部數據的認知是從購買(mǎi)外部數據開(kāi)始。無(wú)論是用戶(hù)畫(huà)像，還是做其他用途的數據�？蛻�(hù)還延續了IT建設的思維，認為所缺的只是外部的數據。有了外部數據，依靠自身的力量也完全可以完成大數據在所在行業(yè)的應用。別人搞大數據做用戶(hù)畫(huà)像，就也來(lái)畫(huà)像；別人提大數據能精準營(yíng)銷(xiāo)，那也來(lái)搞精準營(yíng)銷(xiāo)。并沒(méi)有從認知層面建立數據思維，對大數據有一個(gè)全面的有高度的理解。這種生搬硬套的做法也從某種程度上導致了數據應用效果不好的局面，沒(méi)有真正將數據發(fā)揮其應有的價(jià)值。

外部的數據應用是屬于跨域的數據應用，需要很強的專(zhuān)業(yè)性。這一工作既需要了解市場(chǎng)上各類(lèi)數據的屬性，也需要了解如何將數據加工才能滿(mǎn)足行業(yè)的需求。并不是每個(gè)數據都能為行業(yè)的某個(gè)需求做出明顯效果的；也不是經(jīng)過(guò)一次的采購就能完成的事情。也許，三五年后，當外部數據種類(lèi)穩定且成熟，行業(yè)內部自身的數據專(zhuān)家也可以主動(dòng)地去選擇外部的數據，依靠自身的力量完成與內部數據的融合，去滿(mǎn)足業(yè)務(wù)的需求；但在今天，可能更多地還要依賴(lài)外部專(zhuān)業(yè)數據團隊的幫助。

誤區二：大數據是萬(wàn)能的 大數據工程師培訓

在外部數據應用的過(guò)程中，還有一個(gè)主要的誤區就是對數據應用的不切實(shí)際的預期。要么是將大數據、人工智能神話(huà)，要么就對數據應用的過(guò)程缺乏耐心。

首先，大數據本身是一門(mén)技術(shù)，它與其他技術(shù)一樣都有著(zhù)它的局限；大數據不是萬(wàn)能的，但是數據思維是可以創(chuàng )造很大價(jià)值的。

其次，外部的數據產(chǎn)生的業(yè)務(wù)場(chǎng)景與行業(yè)不同，因而在使用的過(guò)程中，就要仔細甄別，不斷調整。距離行業(yè)需求越近的數據質(zhì)量越高，做出的產(chǎn)品就越好。但無(wú)論多近，外部數據始終是外部數據，其產(chǎn)生的環(huán)境與行業(yè)的需求大多不會(huì )100%契合，所以就需要專(zhuān)業(yè)數據團隊的進(jìn)行加工、處理，經(jīng)過(guò)幾個(gè)輪回的迭代才可能取得好的效果，要有足夠的耐心。

誤區三：有大量的數據就馬上能產(chǎn)生價(jià)值

有很多行業(yè)用戶(hù)，依靠多年的積累形成了大量的數據。他們認為有大量數據就能馬上產(chǎn)生價(jià)值。先不說(shuō)這些數據的維度和質(zhì)量能產(chǎn)生多大價(jià)值，首先面對的是大量的數據格式混亂，數據字段不一致，要想發(fā)現其價(jià)值就如從雜草堆里挑出一根針。

對于大多數行業(yè)客戶(hù)而言，首先都面臨數據的歸集與治理的工作，磨刀不誤砍柴工。

無(wú)論是“大數據等于買(mǎi)數據”，還是對“大數據是萬(wàn)能的”，還是“有大量數據就能產(chǎn)生巨大價(jià)值”都反映了數據應用在大數據在行業(yè)的應用尚屬初級階段。

挑戰

數據缺失

盡管大數據已經(jīng)經(jīng)歷了五六年的發(fā)展，數據無(wú)論在維度上還是數量上都已經(jīng)比幾年前有了很大的改變。但是客觀(guān)上講，還沒(méi)有達到質(zhì)的飛躍。由于相關(guān)的法律建設沒(méi)有完成，大量數據被滯留在少數流量入口處，形成了一個(gè)個(gè)數據的孤島。還沒(méi)有形成數據的有效打通、流轉，更談不上創(chuàng )造新的價(jià)值。

我依然堅持2017年初的判斷，數據僅在局部市場(chǎng)，特定的場(chǎng)景已經(jīng)成熟，可以為客戶(hù)創(chuàng )造很大的價(jià)值。但還沒(méi)有辦法形成規�；�市場(chǎng)，這是由于數據發(fā)展的成熟度決定的。

數據的缺失，并不能靠高明的算法彌補。這與統計模型，大數據還是人工智能都無(wú)關(guān)系。只能面對這一現實(shí)，去尋找先期成熟的市場(chǎng)，盡可能地立足現在的數據以及算法幫助客戶(hù)解決他們的實(shí)際問(wèn)題，創(chuàng )造價(jià)值，形成商業(yè)閉環(huán)；同時(shí)積極地關(guān)注其他市場(chǎng)的成熟。數據應用市場(chǎng)與其他早期市場(chǎng)并沒(méi)有不同，都是由點(diǎn)及線(xiàn)，最后再到面的。這是個(gè)螺旋上升的過(guò)程，沒(méi)有捷徑可循。

數據思維的建立

與數據的缺失相比，一個(gè)更大的挑戰在于數據思維的建立。我們正在經(jīng)歷一個(gè)從IT到DT的跨越的時(shí)代。大數據、機器學(xué)習、人工智能都是這一跨越中的工具。但不幸的是，很多用戶(hù)甚至從業(yè)者還是沉迷于技術(shù)本身，把大數據等同于一個(gè)普通的技術(shù)，沒(méi)有上升到數據思維。

數據思維絕不只是技術(shù)部門(mén)的事情，而是整體戰略的問(wèn)題。數據思維要滲透到每一個(gè)部門(mén)，每一個(gè)環(huán)節，用數據去輔助決策，讓數據去重構業(yè)務(wù)流程，數據應用才能發(fā)揮其最大的價(jià)值。只有將數據思維貫徹到企業(yè)的每一個(gè)環(huán)節中，數據才能真正轉化成生產(chǎn)力，數據的價(jià)值才能真正得以體現。

大數據技術(shù)是戰術(shù)，而數據思維是戰略。

2017年，產(chǎn)業(yè)格局越來(lái)越清晰。無(wú)論是數據服務(wù)平臺提供商，還是數據解決方案提供商，都在正確的方向上走出了堅實(shí)的一步，其價(jià)值已經(jīng)得到了各自市場(chǎng)的認可，進(jìn)入了良性的循環(huán)。雖然，我認為大數據的真正高潮還未到來(lái)，短時(shí)間內還處于投入大于產(chǎn)出的局面，但曙光在前，已經(jīng)在一個(gè)量變到質(zhì)變的積累過(guò)程當中。隨著(zhù)技術(shù)和數據的進(jìn)一步成熟，隨著(zhù)行業(yè)的深入，相信不遠的未來(lái)（可能是2-3年）將會(huì )迎來(lái)數據時(shí)代的真正高潮！