近日,中國信息通信研究院(以下簡(jiǎn)稱(chēng)"中國信通院")公布了第十四批大數據產(chǎn)品能力評測結果。大華股份大數據平臺,經(jīng)過(guò)評審專(zhuān)家資料審核、測試報告審核、質(zhì)詢(xún)與答疑、集中評議的層層專(zhuān)業(yè)評測,最終獲得中國信通院"可信大數據"評估評測證書(shū),是業(yè)界首家通過(guò)中國信通院"分布式批處理大規模穩定性"資質(zhì)認證的產(chǎn)品。
大華股份大數據平臺通過(guò)中國信通院大規模穩定性專(zhuān)項評測
評測過(guò)程中,大華大數據平臺在7048節點(diǎn)大集群規模下進(jìn)行測試,單次查詢(xún)10000億+條數據,測試覆蓋17種常見(jiàn)業(yè)務(wù)場(chǎng)景,7x24小時(shí)持續觸發(fā)專(zhuān)項異常評測項,業(yè)務(wù)穩定運行無(wú)中斷,系統可容忍CPU、磁盤(pán)、內存、網(wǎng)絡(luò )等10大類(lèi)異常情況,在持續異常測試中,業(yè)務(wù)查詢(xún)時(shí)間抖動(dòng)<5%, 通過(guò)分布式批處理大規模穩定性專(zhuān)項測試,顯示出大華大數據平臺具備解決大規模分布式系統擴展、性能、容災等穩定性問(wèn)題的能力。
同時(shí),大華大數據平臺憑借穩定性評估的優(yōu)異表現,獲得中國信通院云計算與大數據研究所的頒發(fā)的"穩定性實(shí)踐先鋒"的授牌。
大華大數據平臺(HDP)定位于數據智能引擎的統一核心數據底座,基于云原生自主可信,提供包含海量視圖數據存儲、物聯(lián)感知數據離線(xiàn)批處理、視頻流任務(wù)實(shí)時(shí)分析能力等一站式智慧物聯(lián)大數據平臺能力,廣泛應用于城市、交通、教育、能源、金融等行業(yè),賦能千行百業(yè)數智化轉型。大華大數據平臺,在計算和存儲的大規模技術(shù)能力已具備萬(wàn)臺節點(diǎn)規模集群下長(cháng)周期系統性穩定運行,全流程打通實(shí)現yarn on k8s,支持動(dòng)態(tài)資源彈性擴縮,讓業(yè)務(wù)更敏捷,讓計算更高效,實(shí)現普惠數據價(jià)值。其具有如下優(yōu)勢:
擁抱開(kāi)源,降低使用門(mén)檻
基于業(yè)界主流開(kāi)源技術(shù),大華大數據平臺經(jīng)過(guò)深度自研,平臺全面兼容Hadoop2.X/3.X,并涵蓋Hdfs、Yarn、Hbase、Hive、ZooKeeper、Spark等20+個(gè)組件,為客戶(hù)提供高性能、低成本、靈活易用的全棧大數據平臺。
融入云原生,優(yōu)化資源效能
平臺基于k8s基本架構,對全局資源進(jìn)行監控、運維、分析,從而更合理與充分利用集群計算資源。平臺全流程打通實(shí)現yarn on k8s,支持動(dòng)態(tài)資源擴縮,讓資源調度計算更加高效。
異構融合,挖掘數據價(jià)值
平臺將視頻圖像分為非結構化數據和結構化數據,采用統一元數據管理,構建邏輯數據湖,在數據不入湖的前提下,實(shí)現跨多種數據源的聯(lián)合查詢(xún)計算,并支持對接多種計算引擎,打破數據孤島,進(jìn)一步挖掘業(yè)務(wù)價(jià)值?;诋悩嬘嬎憧蚣?,貫通數據融合存儲統一應用,結合智能計算和數據計算構建業(yè)務(wù)模型,讓數據計算創(chuàng )造價(jià)值,輔助業(yè)務(wù)向縱深發(fā)展。
智能計算框架,提升計算性能
平臺提供離線(xiàn),實(shí)時(shí)、流式等多種計算框架,支持行業(yè)大規模節點(diǎn)高復雜業(yè)務(wù)計算場(chǎng)景閉環(huán),兼顧數據大規模以及實(shí)時(shí)性,提升數據計算效率,使得數據分析結果可以更高效迅速的展現出來(lái)。計算框架深度融合GPU能力調度計算,AI診斷流式/批處理任務(wù)業(yè)務(wù),提升任務(wù)最優(yōu)資源參數,數據庫執行性能全面提升。
多重機制,保障數據安全
管理平臺集成kerberos與ranger組件,保障集群環(huán)境認證統一及用戶(hù)權限精細,SQL任務(wù)權限管理精細可控,提升數據安全可信可靠。此外,平臺從冗余結構、數據備份、故障預警等方面考慮,健全完善多層級容災系統結構設計,提高數據的持續可用性,保障平臺穩定運行。
圍繞"Dahua Think# 云聯(lián)萬(wàn)物 數智未來(lái)"戰略,大華股份將"以數據為基礎,以業(yè)務(wù)為牽引",依托自身大數據能力和技術(shù)優(yōu)勢,結合千行百業(yè)數智解決方案業(yè)務(wù)沉淀,持續聚焦數據智能能力建設和數據安全隱私保護,積極推動(dòng)大數據技術(shù)與實(shí)體經(jīng)濟深度融合,讓數據驅動(dòng)業(yè)務(wù)創(chuàng )新,賦能千行百業(yè)數智化轉型。