在Gartner發(fā)布《2017年度新興技術(shù)成熟度曲線(xiàn)研究報告》中提到，機器學(xué)習已經(jīng)被廣泛應用于包括語(yǔ)音翻譯、目標分類(lèi)、自動(dòng)駕駛、人臉識別、人機對話(huà)等領(lǐng)域。隨著(zhù)網(wǎng)絡(luò )攻擊的數量、種類(lèi)、手段越來(lái)越多，充分利用機器學(xué)習等技術(shù)，對傳統數據挖掘、統計計算、關(guān)聯(lián)分析方法進(jìn)行革新與豐富，將成為發(fā)現安全威脅與異常的新利器。

一、 機器學(xué)習在態(tài)勢感知的應用方向

態(tài)勢感知系統通過(guò)在一定時(shí)間及空間范圍內感知所發(fā)生的網(wǎng)絡(luò )安全事件，針對海量安全數據進(jìn)行綜合處理，分析全網(wǎng)受到的攻擊行為，評估網(wǎng)絡(luò )的整體安全狀態(tài)和預測未來(lái)的安全趨勢，展現全網(wǎng)的“全局視圖”。機器學(xué)習在態(tài)勢感知系統上的主要應用方向包括海量數據分析、未知威脅發(fā)現、潛在風(fēng)險預測和自適應聯(lián)動(dòng)響應等。

1. 海量數據分析

從大量結構繁多、來(lái)源不同且類(lèi)型復雜多樣的安全日志數據中挖掘隱藏規律，實(shí)現從海量安全日志數據向有價(jià)值威脅告警的轉化。

2. 未知威脅發(fā)現

結合外部威脅情報，在數據級、特征級、決策級三個(gè)層面利用機器學(xué)習算法進(jìn)行分析處理，從海量的原始安全數據中定位威脅線(xiàn)索，實(shí)現對未知威脅的及時(shí)發(fā)現。

3. 潛在風(fēng)險預測

通過(guò)對全網(wǎng)網(wǎng)絡(luò )資產(chǎn)、行為、流量和用戶(hù)全方位、多維度動(dòng)態(tài)分析，從大量的安全事件之中發(fā)掘隱藏的相關(guān)性，判斷潛在的風(fēng)險。

4. 自適應聯(lián)動(dòng)響應

結合上下文情境，進(jìn)行自適應決策并實(shí)時(shí)生成控制策略下發(fā)，通過(guò)聯(lián)動(dòng)響應對攻擊源進(jìn)行控制、阻斷和溯源，實(shí)現全過(guò)程閉環(huán)反饋。

二、 基于機器學(xué)習的態(tài)勢感知系統

為了有效地掌控全網(wǎng)安全狀態(tài)、風(fēng)險和趨勢，本文將機器學(xué)習應用于態(tài)勢感知系統中，首先建立基于機器學(xué)習的態(tài)勢感知系統框架，在該系統框架的基礎上按照數據管理、特征管理、特征工程、模型訓練和測試評估等流程步驟，利用業(yè)務(wù)模型完成未知威脅發(fā)現、風(fēng)險預測和自適應聯(lián)動(dòng)響應等應用，從而提升安全防御能力，優(yōu)化安全防護體系。

1. 系統框架

基于機器學(xué)習來(lái)構建“安全大腦”，對一定時(shí)間及空間范圍內大范圍樣本數據進(jìn)行智能化分析，根據基線(xiàn)或模型發(fā)現威脅風(fēng)險并預判趨勢，系統框架如圖1所示。

圖1 基于機器學(xué)習的態(tài)勢感知系統框架

針對實(shí)際網(wǎng)絡(luò )中安全數據的海量、多格式、多粒度的特點(diǎn)，基于機器學(xué)習的態(tài)勢感知系統模型主要完成如下3個(gè)部分功能:

● 數據預處理

態(tài)勢感知系統的輸入來(lái)自不同數據源，不同數據源對網(wǎng)絡(luò )安全事件的定義通常具有不同的格式，通過(guò)報文分類(lèi)和范式處理將數據歸一化為統一格式，然后進(jìn)行去除冗余及噪聲數據。

● 智能分析

根據業(yè)務(wù)邏輯不同，利用不同的機器學(xué)習算法（如分類(lèi)算法、聚類(lèi)算法、關(guān)聯(lián)規則挖掘算法、深度學(xué)習算法）訓練出相應的網(wǎng)絡(luò )流量分類(lèi)、異常流量檢測、威脅行為分析和流量趨勢預測模型，然后根據訓練出的模型進(jìn)行結果輸出。

● 評估優(yōu)化

根據知識庫中的安全量化指標體系，對分析輸出的結果進(jìn)行量化評估，通過(guò)學(xué)習和分析用戶(hù)使用過(guò)程的歷史數據反饋，用來(lái)改進(jìn)模型和算法參數，從而不斷提高模型的準確率，減低安全事件的誤報率并有效發(fā)現潛在威脅。

2. 工作流程

機器學(xué)習是人工智能的核心，也是大數據分析的基石。對網(wǎng)絡(luò )安全領(lǐng)域來(lái)說(shuō)，每個(gè)網(wǎng)絡(luò )行為樣本點(diǎn)都可以由一系列相同的特征屬性特征來(lái)表示，由于每個(gè)樣本點(diǎn)的特征屬性值不盡相同，可以根據這些樣本點(diǎn)利用機器學(xué)習算法訓練出模型，然后根據業(yè)務(wù)模型來(lái)進(jìn)行檢測�；�于機器學(xué)習的態(tài)勢感知就是從大量的安全數據中抽象出潛在的有用信息的過(guò)程，主要過(guò)程包括數據管理、特征管理、特征工程、模型訓練和測試評估等5個(gè)步驟。

圖2 基于機器學(xué)習的態(tài)勢感知系統工作流程

圖2給出了基于機器學(xué)習的態(tài)勢感知系統工作流程。首先是數據管理，該部分對大規模原始網(wǎng)絡(luò )流量進(jìn)行預處理，主要包括數據清理、數據集成、數據變換和數據簡(jiǎn)化等；其次是利用安全領(lǐng)域知識進(jìn)行特征管理，提取和變換出各種安全特征屬性；然后進(jìn)行特征工程，由于每個(gè)網(wǎng)絡(luò )樣本都可以由多維特征屬性向量來(lái)標識，但是這些屬性對分類(lèi)的貢獻度不盡相同，還需要從網(wǎng)絡(luò )流量的眾多屬性中有目的地選擇一部分特征屬性用來(lái)進(jìn)行機器學(xué)習；再次，選擇合適高效的機器學(xué)習算法建立分類(lèi)/聚類(lèi)模型，并對模型的參數進(jìn)行優(yōu)化，最后，利用建立的模型完成未知威脅發(fā)現、風(fēng)險預測、流量分類(lèi)、異常流量檢測和自適應聯(lián)動(dòng)響應等諸多具體應用。

3. 業(yè)務(wù)模型

● 威脅發(fā)現模型

在建立目標威脅模型時(shí)，分析影響威脅度的若干因素，需要選擇合適維度的特征參數，可以采用粗糙集理論中知識約簡(jiǎn)方法選擇目標的最優(yōu)特征子集；然后利用支持向量機建立威脅判斷模型，通過(guò)對知識樣本的學(xué)習，采用SVM算法獲取威脅值與特征參數的非線(xiàn)性量化關(guān)系，從而估算出目標的威脅程度。

● 風(fēng)險預測模型

基于FARIMA模型和混沌時(shí)間序列模型對網(wǎng)絡(luò )流量進(jìn)行建模，在BP神經(jīng)網(wǎng)絡(luò )預測模型中引入小波多分辨分析方法，將小波變換獨特的多分辨分析能力與神經(jīng)網(wǎng)絡(luò )的自學(xué)習自適應和非線(xiàn)性逼近功能相結合，建立小波神經(jīng)網(wǎng)絡(luò )預測模型，預測準確率可達到90%以上，再根據網(wǎng)絡(luò )流量和行為的歷史數據對未來(lái)流量和行為的風(fēng)險實(shí)現預測。

● 聯(lián)動(dòng)響應模型

構建以“知識”為中心的、以控制網(wǎng)絡(luò )行為為目的框架模型。通過(guò)引入上下文管理模塊，用于加強已知控制策略的保存和自學(xué)習，當網(wǎng)絡(luò )態(tài)勢及業(yè)務(wù)目標等發(fā)生變化時(shí)，在知識庫和策略庫的支撐下，可利用基于案例的推理（CBR）方法自適應生成和調整控制策略，從而消除或減輕由累積錯誤導致的系統可靠性不高的問(wèn)題。

4. 相關(guān)算法

根據業(yè)務(wù)邏輯不同，需要利用不同的算法訓練出相應的業(yè)務(wù)模型，涉及的機器學(xué)習算法主要包括降維算法、聚類(lèi)算法、分類(lèi)算法、回歸算法和關(guān)聯(lián)規則算法等。（1）由于每個(gè)網(wǎng)絡(luò )樣本點(diǎn)都可以由多維特征屬性來(lái)表示，通過(guò)PCA、PLS、MDS等降維算法，可以消除冗余屬性和弱相關(guān)屬性，降低特征空間維數，從而降低計算復雜度。（2）在構建威脅發(fā)現模型時(shí)，可以采用K-Means、凝聚層次聚類(lèi)、EM等聚類(lèi)算法，基于類(lèi)內相似、類(lèi)間差距最大化原則，通過(guò)計算各種距離度量將海量的網(wǎng)絡(luò )樣本點(diǎn)劃分到K類(lèi)中；也可以采用C4.5、SVM、樸素貝葉斯等分類(lèi)算法，根據已標簽的數據訓練出分類(lèi)模型，利用該模型對未知網(wǎng)絡(luò )樣本進(jìn)行分類(lèi)，從而發(fā)現潛在網(wǎng)絡(luò )威脅。（3）在構建風(fēng)險預測模型時(shí)，可以采用最小二乘法、邏輯回歸、時(shí)間序列等算法，對整個(gè)數據集中因變量和自變量之間的關(guān)系進(jìn)行建模，然后利用模型對給定的自變量進(jìn)行計算得到風(fēng)險預測值。（4）在構建聯(lián)動(dòng)響應模型時(shí)，可以采用Apriori、Eclat、FP-growth等關(guān)聯(lián)規則算法，分析同時(shí)出現次數較多的頻繁項集，并將出現次數滿(mǎn)足一定閾值的頻繁項集作為關(guān)聯(lián)項集，得到網(wǎng)元間的聯(lián)動(dòng)響應關(guān)系。

5. 實(shí)現平臺

為了提供大規模并行化機器學(xué)習處理能力，采用Spark 異構云作為實(shí)現平臺，實(shí)現面向異構集群的機器學(xué)習算法并行化。首先，集群中各異構節點(diǎn)（CPUs+GPUs 和其他異構平臺MIC等）具有不同的處理能力（不同的體系結構、不同核個(gè)數和內存容量），異構集群中各層并行體系結構蘊含了大量的多層次并行性。其次，Spark 是基于內存的分布式計算框架，可以快速地處理大數據環(huán)境下的機器學(xué)習算法。最后，異構集群具有動(dòng)態(tài)可擴展性和容錯性，適用于計算規模不斷擴大的機器學(xué)習算法應用場(chǎng)景，并可改變機器學(xué)習算法計算代價(jià)高、時(shí)間延遲大的研究現狀。

將MLLib與Spark環(huán)境整合起來(lái)構建一個(gè)大數據機器學(xué)習平臺，如圖3所示。該平臺支持包括數據預處理算法、分類(lèi)算法、聚類(lèi)算法、推薦算法、深度學(xué)習、序列模型在內的各種機器學(xué)習算法，通過(guò)GPU和CPU集群并行化計算實(shí)現高性能。

圖3 大數據機器學(xué)習平臺框架

以網(wǎng)絡(luò )流量分類(lèi)應用為例，對平臺框架的工作機理進(jìn)行說(shuō)明�；�于機器學(xué)習的網(wǎng)絡(luò )流量分類(lèi)由離線(xiàn)模型訓練和在線(xiàn)實(shí)時(shí)分類(lèi)兩部分組成。首先通過(guò)特征工程得到網(wǎng)絡(luò )流量最優(yōu)特征子集，再采用Spark MLLib庫中并行化機器學(xué)習算法通過(guò)離線(xiàn)訓練得到流量分類(lèi)模型；然后直接在Spark Streaming中調用訓練好的流量分類(lèi)模型進(jìn)行在線(xiàn)網(wǎng)絡(luò )流量實(shí)時(shí)分類(lèi)，并將分類(lèi)結果存入數據庫中供前端Web展示調用。

三、 價(jià)值體現

利用機器學(xué)習技術(shù)，可以對成千上萬(wàn)的網(wǎng)絡(luò )日志、威脅情報等信息進(jìn)行自動(dòng)分析處理與深度挖掘，從海量數據中提取出真正有用的信息，對網(wǎng)絡(luò )安全狀態(tài)進(jìn)行分析評價(jià)，感知網(wǎng)絡(luò )中的異常事件與風(fēng)險威脅，并對全網(wǎng)的趨勢進(jìn)行預測和預警，為安全態(tài)勢感知系統的技術(shù)突破創(chuàng )造了機遇。

1. 從“單點(diǎn)分析”向“云化智能”的轉變

傳統僅依靠本地數據很難發(fā)現使用0-Day漏洞的APT攻擊，采用機器學(xué)習技術(shù)后，可以將各設備的安全數據統一上傳至云端大數據平臺，基于機器學(xué)習對大范圍全局樣本數據進(jìn)行深度挖掘，發(fā)現威脅并預判趨勢。

2. 從“結果可視化”向“過(guò)程可視化”的轉變

通過(guò)機器學(xué)習引擎，對隱藏在網(wǎng)絡(luò )流量、各種設備及系統日志中的海量的正向樣本和惡意樣本進(jìn)行分析，針對全過(guò)程攻擊鏈中攻擊者留下的任意線(xiàn)索進(jìn)行多維拓展，可視化繪制出完整的攻擊鏈條，從而提前進(jìn)行防范，實(shí)現對威脅全過(guò)程的可視化溯源追蹤。

3. 從“主機IP識別”向“行為身份識別”的轉變

由于跳板主機和動(dòng)態(tài)IP的使用，傳統根據主機IP來(lái)識別用戶(hù)的難度愈來(lái)愈大，采用機器學(xué)習技術(shù)對用戶(hù)行為進(jìn)行檢測，通過(guò)多維度行為特征對用戶(hù)進(jìn)行畫(huà)像，當具體用戶(hù)行為發(fā)生的變化超過(guò)設定的閾值時(shí)候，自動(dòng)進(jìn)行告警和分析發(fā)生異常的原因。

4. 從“安全產(chǎn)品化”向“安全服務(wù)化” 的轉變

為了應對網(wǎng)絡(luò )安全的挑戰，VPN 、防火墻、IDS、身份認證、數據加密、安全審計等安全防護系統得到了廣泛應用，但這些產(chǎn)品大部分功能分散，各自為戰，形成了互相隔離的"安全孤島"。通過(guò)在云端上應用機器學(xué)習等新技術(shù)，為用戶(hù)提供相應的安全AI服務(wù)，讓每個(gè)SaaS企業(yè)都能擁有自己的“安全大腦”，實(shí)現云化防護。

四、 結束語(yǔ)

為了有效應對日益高級和復雜的攻擊手段，迫切需要將機器學(xué)習應用于態(tài)勢感知領(lǐng)域。以安全情報為驅動(dòng)，利用機器學(xué)習構建“安全大腦”，充分利用云端的檢測能力，對海量的安全信息進(jìn)行自動(dòng)分析與深度挖掘，及時(shí)掌握網(wǎng)絡(luò )的安全狀況和趨勢，提前制定有預見(jiàn)性的應急預案，實(shí)現“云網(wǎng)端”協(xié)同聯(lián)動(dòng)，形成實(shí)時(shí)、智能、敏捷、可運維的“云安全”體系，增強應對網(wǎng)絡(luò )安全威脅的能力。