H3C DataEngine平臺【豐沃創(chuàng )新網(wǎng)絡(luò )工程師培訓】
- 發(fā)布時(shí)間： 2018-3-27 10:04:27
先進(jìn)的融合計算架構
• 采用離線(xiàn)計算引擎、流式計算引擎和分布式數據庫引擎融合技術(shù)架構，對半結構化、非結構化數據提供低成本存儲，并提供低時(shí)延、高并發(fā)的查詢(xún)和分析功能；對結構化數據采用分布式數據庫引擎，支持列式存儲、分布式計算、智能索引等功能，實(shí)現高性能結構化數據分析處理。集成MapReduce、Spark、Storm、Tez等多種計算引擎，利用YARN資源管理組件統一管理調度，可在同一份數據集上運行多種計算引擎，能滿(mǎn)足高吞吐、大數據量和低時(shí)延實(shí)時(shí)處理等多方面的數據計算要求。
高性?xún)r(jià)比的分布式集群
• 基于x86服務(wù)器本地的計算與存儲資源，計算集群可以動(dòng)態(tài)調整，從數臺到數千臺之間彈性擴展，按需構建應用，減少總體成本；同時(shí)，在設計時(shí)充分考慮了硬件設備的不可靠因素，在軟件層面提供計算和存儲的高可靠保證，具備較強的容錯性。
• 多源的數據集成將不同業(yè)務(wù)系統中分散、零亂、標準不統一的各種源數據中的數據進(jìn)行匯聚。支持從DBMS、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、企業(yè)生產(chǎn)系統等各種數據源中提取數據。各類(lèi)數據經(jīng)過(guò)抽取、清洗和轉化后，實(shí)現多對多地加載到包含但不限于大數據集群和各類(lèi)關(guān)系型數據庫中。數據采集過(guò)程中將標準數據元與數據項進(jìn)行關(guān)聯(lián)，該過(guò)程由一個(gè)統一的操作接口封裝，對數據進(jìn)行檢查，經(jīng)過(guò)無(wú)代碼的可視化配置后，可實(shí)現自動(dòng)化地、分布式地執行整個(gè)ETL作業(yè)流程，并基于機器學(xué)習算法，實(shí)現數據項與標準數據元的推薦關(guān)聯(lián)。
數據分層和分級存儲
• 把數據按照不同階段分為ODS(Operational Data Store)數據、輕度匯總數據、和應用數據，分別存儲在關(guān)系型數據庫、離線(xiàn)計算引擎、流式計算引擎和分布式數據庫引擎中，滿(mǎn)足不同階段的計算需求；按照在線(xiàn)數據、歷史數據等來(lái)管理數據生命周期，滿(mǎn)足在線(xiàn)數據的高性能存儲的需求；將核心模型數據通過(guò)改造融入到數據倉庫的核心模型中，減少數據冗余，提升數據質(zhì)量。
數據分析挖掘
• 支持R語(yǔ)言，集成機器學(xué)習算法庫Mahout和Spark MLlib，包含聚類(lèi)分析、分類(lèi)算法、頻度關(guān)聯(lián)分析和推薦系統在內的常用機器學(xué)習算法。滿(mǎn)足批處理統計分析、在線(xiàn)數據檢索、R語(yǔ)言數據挖掘、實(shí)時(shí)流處理、全文搜索等全方位需求�？蓭椭髽I(yè)建立高速可擴展的數據倉庫和數據集市，結合多種報表工具提供交互式數據分析、即時(shí)報表和BI可視化展示能力。
數據服務(wù)接口
• 提供交互式SQL和可編程API，提取數據存儲計算平臺的數據處理結果，屏蔽底層細節，為上層應用提供數據服務(wù)。主要包括SQL接口、MapReduce/Spark/Storm計算 接口等多種可編程API、全文實(shí)時(shí)搜索接口、業(yè)務(wù)定向接口、關(guān)聯(lián)查詢(xún)接口，滿(mǎn)足數據查詢(xún)、可視化BI展示、數據交換、數據分析、目錄服務(wù)、綜合查詢(xún)等業(yè)務(wù)應用的需要。
數據視覺(jué)服務(wù)
• 基于B/S架構的綜合大數據可視化平臺，數據操作友好、界面生動(dòng)、表現方式豐富�？蛇M(jìn)行大屏數據可視化操作，包括數據源配置、組件配置、大屏模板編輯等，完成大屏的開(kāi)發(fā)和發(fā)布。集成豐富的圖形分析算法，能對數據進(jìn)行集成處理、數據開(kāi)發(fā)、特征提取、算法模型設計、回歸驗證、平臺對接等數據服務(wù)，實(shí)現完美數據大屏動(dòng)態(tài)展示。
• 數據視覺(jué)服務(wù)直接架構于大數據平臺之上，可無(wú)縫對接傳統的Oracle、Mysql等數據庫，也能對接MPP、Hadoop中的HBase等新型數據庫。簡(jiǎn)潔易學(xué)的開(kāi)發(fā)語(yǔ)言、不斷豐富的算法庫、多業(yè)務(wù)類(lèi)型展示框架以及增強的GPU渲染，協(xié)助客戶(hù)快速把流轉中的或沉淀的數據直觀(guān)展示出來(lái)，并可自適應多種終端設備的展示。
• 提供豐富的模板庫以及樣式庫，集成上百種二維圖表和三維組件，包括常見(jiàn)的折線(xiàn)圖、散點(diǎn)圖、柱狀圖、儀表盤(pán)等，以及三維的地球展示、行政地圖展示、以及其他各類(lèi)動(dòng)畫(huà)特效。通過(guò)向導式操作，實(shí)現大屏模板配置、背景更換、組件導入和選擇、基本控件配置、組件切換配置、組件關(guān)聯(lián)配置等功能。此外，還具備完備的權限管理、用戶(hù)管理、模板管理，方便多用戶(hù)大屏管理與發(fā)布。
• 通過(guò)拖拉拽，實(shí)現數據源配置、數據分析結果聯(lián)動(dòng)展示操作。并可實(shí)現在PC、手機端、服務(wù)端進(jìn)行版本發(fā)布，方便用戶(hù)進(jìn)行多維度的查看。提供Web圖形化界面對集群管理和監控，對集群的節點(diǎn)、主機和服務(wù)的運行狀態(tài)直觀(guān)顯示。并提供集群web化向導式安裝部署、機架展示、主機與服務(wù)管理、監控告警等功能。
相關(guān)閱讀：
- 大數據本科專(zhuān)業(yè) 5所駐濟高校獲批【豐沃創(chuàng )新】2018-3-27 9:42:46
- 34.5億元并購華坤道威 梅泰諾掘金“大數據”【豐沃創(chuàng )新】2018-3-27 9:25:57
- 大數據丨中國內地高校6個(gè)學(xué)科新進(jìn)ESI榜1‰【豐沃創(chuàng )新】2018-3-27 9:07:25
- © 2018 豐沃創(chuàng )新 京ICP備12049359號-2 Copyright 2015-2018. 試聽(tīng)報名 微信公眾平臺