對于運營商而言,數據分(fēn)析是一項常年的(de)重要工作,經營分(fēn)析系統的(de)曆史數據規模經常會達到PB級,如曆史通(tōng)話詳情、寬帶辦理(lǐ)、話費充值信息等,在進行話費清單查詢等業務時,大(dà)量數據需要進行熱數據分(fēn)析和(hé)關聯查詢。5G時代的(de)到來,讓本就龐大(dà)的(de)數據規模迎來進一步暴增,如何高(gāo)效存儲和(hé)管理(lǐ)這些海量數據是運營商持續面臨的(de)問題。
作爲一家專注大(dà)數據、雲計算(suàn)等領域核心技術的(de)高(gāo)科技軟件企業,北(běi)京東方國信科技股份有限公司(簡稱“東方國信”)一直爲運營商提供大(dà)數據分(fēn)析解決方案,爲了(le)存儲這些海量數據,東方國信BEH大(dà)數據企業版主要采用(yòng)傳統存算(suàn)融合架構進行數據分(fēn)析和(hé)存儲,但是存算(suàn)融合架構仍然面臨的(de)諸多(duō)的(de)挑戰,例如——
文件規模:使用(yòng)單個NameNode性能受限于單節點性能瓶頸,通(tōng)常更大(dà)文件規模量級隻能支持到億級别。
存儲成本:BEH與HDFS相同,存儲機制采用(yòng)三副本存儲,空間利用(yòng)率低,有效存儲可(kě)用(yòng)空間利用(yòng)率33%,随著(zhe)數據量的(de)持續增長,存儲成本居高(gāo)不下(xià)。
擴展難題:因計算(suàn)和(hé)存儲融合,單台服務器的(de)存儲空間有限,針對單台進行容量擴展導緻計算(suàn)資源“空旋”浪費。
深信服EDS存算(suàn)分(fēn)離解決方案,讓海量數據存儲不再成爲困擾
爲了(le)解決傳統存算(suàn)融合架構長久以來存在的(de)弊端,東方國信BEH和(hé)深信服分(fēn)布式存儲EDS研發人(rén)員經過近半年的(de)不斷投入和(hé)測試,終于探索出了(le)一條新的(de)大(dà)數據存儲管理(lǐ)方案——EDS大(dà)數據存算(suàn)分(fēn)離解決方案,構建新一代運營商經分(fēn)系統大(dà)數據存儲建設之道。
在近半年的(de)測試中,雙方基于運營商大(dà)數據實際業務場景與傳統存算(suàn)一體融合方案,進行了(le)全面細緻,多(duō)場景,多(duō)維度的(de)嚴格對比測試。測試結果表明(míng)在大(dà)數據存算(suàn)分(fēn)離場景下(xià),東方國信BEH大(dà)數據企業版與深信服EDS企業級分(fēn)布式存儲能夠實現相互兼容,且在高(gāo)壓力環境下(xià)針對TestDFSIO大(dà)文件讀寫、TeraSort數據排序、倉儲場景下(xià)冷(lěng)熱數據關聯查詢、存量數據遷移,Hbase随機讀寫等對比測試中,EDS存算(suàn)分(fēn)離方案各項性能表現優異。
在文件規模、存儲成本以及擴展性方面,EDS存算(suàn)分(fēn)離方案實現了(le)全面升級。
1.突破性能瓶頸
EDS存算(suàn)分(fēn)離方案采用(yòng)全分(fēn)布式Namenode,相比于單個Namenode存儲架構,不再受限于性能瓶頸,單一命名空間文件數量支持可(kě)達百億級别。
2.降低存儲成本
通(tōng)過糾删碼技術提供高(gāo)存儲利用(yòng)率來進行曆史數據保存,相比BEH存儲可(kě)用(yòng)空間提高(gāo)2倍以上,在不影(yǐng)響在線熱數據的(de)性能的(de)前提下(xià),幫助用(yòng)戶節省針對曆史數據的(de)開支和(hé)成本。
3.解決擴展難題
EDS 分(fēn)布式存儲HDFS提供統一命名空間,分(fēn)布式命名空間架構無規模瓶頸,可(kě)以持續擴展集群以存儲曆史數據,提高(gāo)大(dà)數據集群靈活性并消除瓶頸規模,也(yě)避免了(le)計算(suàn)節點的(de)資源浪費。
本次測試的(de)各項優異表現,使雙方增加了(le)重構運營商傳統大(dà)數據經分(fēn)系統數據存儲管理(lǐ)架構的(de)信心,未來雙方将共同爲運營商等企業級用(yòng)戶提供存儲效率更高(gāo)、性價比更優、管理(lǐ)更智能的(de)大(dà)數據存算(suàn)分(fēn)離解決方案。