對于運營商而言，數據分(fēn)析是一項常年的(de)重要工作，經營分(fēn)析系統的(de)曆史數據規模經常會達到PB級，如曆史通(tōng)話詳情、寬帶辦理(lǐ)、話費充值信息等，在進行話費清單查詢等業務時，大(dà)量數據需要進行熱數據分(fēn)析和(hé)關聯查詢。5G時代的(de)到來，讓本就龐大(dà)的(de)數據規模迎來進一步暴增，如何高(gāo)效存儲和(hé)管理(lǐ)這些海量數據是運營商持續面臨的(de)問題。
作爲一家專注大(dà)數據、雲計算(suàn)等領域核心技術的(de)高(gāo)科技軟件企業，北(běi)京東方國信科技股份有限公司（簡稱“東方國信”）一直爲運營商提供大(dà)數據分(fēn)析解決方案，爲了(le)存儲這些海量數據，東方國信BEH大(dà)數據企業版主要采用(yòng)傳統存算(suàn)融合架構進行數據分(fēn)析和(hé)存儲，但是存算(suàn)融合架構仍然面臨的(de)諸多(duō)的(de)挑戰，例如——
文件規模：使用(yòng)單個NameNode性能受限于單節點性能瓶頸，通(tōng)常更大(dà)文件規模量級隻能支持到億級别。
存儲成本：BEH與HDFS相同，存儲機制采用(yòng)三副本存儲，空間利用(yòng)率低，有效存儲可(kě)用(yòng)空間利用(yòng)率33%，随著(zhe)數據量的(de)持續增長，存儲成本居高(gāo)不下(xià)。
擴展難題：因計算(suàn)和(hé)存儲融合，單台服務器的(de)存儲空間有限，針對單台進行容量擴展導緻計算(suàn)資源“空旋”浪費。
深信服EDS存算(suàn)分(fēn)離解決方案，讓海量數據存儲不再成爲困擾
爲了(le)解決傳統存算(suàn)融合架構長久以來存在的(de)弊端，東方國信BEH和(hé)深信服分(fēn)布式存儲EDS研發人(rén)員經過近半年的(de)不斷投入和(hé)測試，終于探索出了(le)一條新的(de)大(dà)數據存儲管理(lǐ)方案——EDS大(dà)數據存算(suàn)分(fēn)離解決方案，構建新一代運營商經分(fēn)系統大(dà)數據存儲建設之道。
在近半年的(de)測試中，雙方基于運營商大(dà)數據實際業務場景與傳統存算(suàn)一體融合方案，進行了(le)全面細緻，多(duō)場景，多(duō)維度的(de)嚴格對比測試。測試結果表明(míng)在大(dà)數據存算(suàn)分(fēn)離場景下(xià)，東方國信BEH大(dà)數據企業版與深信服EDS企業級分(fēn)布式存儲能夠實現相互兼容，且在高(gāo)壓力環境下(xià)針對TestDFSIO大(dà)文件讀寫、TeraSort數據排序、倉儲場景下(xià)冷(lěng)熱數據關聯查詢、存量數據遷移，Hbase随機讀寫等對比測試中，EDS存算(suàn)分(fēn)離方案各項性能表現優異。
在文件規模、存儲成本以及擴展性方面，EDS存算(suàn)分(fēn)離方案實現了(le)全面升級。
1.突破性能瓶頸
EDS存算(suàn)分(fēn)離方案采用(yòng)全分(fēn)布式Namenode，相比于單個Namenode存儲架構，不再受限于性能瓶頸，單一命名空間文件數量支持可(kě)達百億級别。
2.降低存儲成本
通(tōng)過糾删碼技術提供高(gāo)存儲利用(yòng)率來進行曆史數據保存，相比BEH存儲可(kě)用(yòng)空間提高(gāo)2倍以上，在不影(yǐng)響在線熱數據的(de)性能的(de)前提下(xià)，幫助用(yòng)戶節省針對曆史數據的(de)開支和(hé)成本。
3.解決擴展難題
EDS 分(fēn)布式存儲HDFS提供統一命名空間，分(fēn)布式命名空間架構無規模瓶頸，可(kě)以持續擴展集群以存儲曆史數據，提高(gāo)大(dà)數據集群靈活性并消除瓶頸規模，也(yě)避免了(le)計算(suàn)節點的(de)資源浪費。
本次測試的(de)各項優異表現，使雙方增加了(le)重構運營商傳統大(dà)數據經分(fēn)系統數據存儲管理(lǐ)架構的(de)信心，未來雙方将共同爲運營商等企業級用(yòng)戶提供存儲效率更高(gāo)、性價比更優、管理(lǐ)更智能的(de)大(dà)數據存算(suàn)分(fēn)離解決方案。
客服1 
客服2