數字化(huà)時代，各行業每天都會面對大(dà)量數據的(de)使用(yòng)與存放，如企業業務往來的(de)訂單數據、醫院每天大(dà)量産生的(de)醫療影(yǐng)像、政府機關單位各類電子檔案、廣電日常素材采集等，也(yě)包括ERP、HIS、MES等業務系統數據。“掌管”各種業務數據存、管、用(yòng)的(de)存儲，其性能将會對業務的(de)運轉産生很大(dà)影(yǐng)響。
評估一套存儲，性能是核心指标之一。而影(yǐng)響存儲性能的(de)因素通(tōng)常有很多(duō)種，比如硬件配置、網絡時延、存儲軟件處理(lǐ)流程等。爲了(le)了(le)解深信服分(fēn)布式存儲EDS在每一部分(fēn)的(de)優化(huà)措施，我們将一個業務I/O流程歸納爲以下(xià)四層：
結合上述分(fēn)層方式，我們來介紹EDS如何激發卓越性能。
客戶端業務網絡層優化(huà)
1.降低業務網絡層時延
EDS通(tōng)過增強支持NVMe-oF協議，來代替iSCSI和(hé)FC協議，并通(tōng)過RDMA技術減少數據在客戶端内存拷貝，縮短客戶端IO路徑，降低客戶端CPU開銷。
目前在實驗室内測結果表示，NVMe-oF相比于通(tōng)過FC接入在小塊随機讀寫時延上降低60%以上(NVME-oF的(de)IO傳輸時延在10us以内，而FC通(tōng)常在30us，iSCSI通(tōng)常在70us）。
2.提升網絡接入并發
EDS通(tōng)過虛拟IP池的(de)方式實現客戶端統一IP接入，EDS服務端IO多(duō)路徑映射到存儲節點間均衡負載，每一個節點都可(kě)以參與IO接收和(hé)處理(lǐ)，因此EDS可(kě)以通(tōng)過橫向地增加存儲節點獲得(de)線性提升的(de)網絡接入并發IO能力。值得(de)一提的(de)是，部分(fēn)分(fēn)布式存儲雖然存儲節點可(kě)以橫向擴展，但接入網關會限制在4個節點以内，因此接入IO并發有限。
存儲軟件邏輯層優化(huà)
1.降低IO路徑時延
（1）更高(gāo)效的(de)副本分(fēn)發機制
EDS通(tōng)過多(duō)副本和(hé)糾删碼的(de)方式進行數據冗餘，以副本機制爲例，多(duō)份副本并發寫入存儲節點的(de)固态盤，寫入成功即向應用(yòng)返回成功，沒有主備副本之分(fēn)。對比開源存儲架構CEPH的(de)副本分(fēn)發機制，EDS的(de)I/O路徑更短，寫時延更低。
（2）更高(gāo)效的(de)分(fēn)層機制
在混合盤配置下(xià)，固态盤作爲高(gāo)性能層提供讀寫加速能力，EDS通(tōng)過獨特的(de)Tier分(fēn)層減少了(le)數據寫入固态盤後的(de)數據二次複制，降低固态盤壽命損耗，提高(gāo)IO處理(lǐ)效率。
（3）更高(gāo)的(de)分(fēn)層命中率
EDS的(de)業務讀操作會優先從Tier分(fēn)層讀取，所以業務讀性能跟SSD命中率強相關。由于性能層容量有限，如何把業務需要頻繁訪問的(de)數據（即熱數據）留存在成爲提升業務讀性能的(de)關鍵。EDS通(tōng)過更智能的(de)熱力圖算(suàn)法決定那部分(fēn)數據留存在性能層，相比于傳統LRU算(suàn)法可(kě)大(dà)幅度提升性能層命中率，提升業務讀性能。
（4）更智能的(de)内存預加載
爲了(le)提升業務讀性能，EDS文件存儲支持内存預加載技術，提前将數據按以下(xià)機制預加載到高(gāo)速内存中，業務可(kě)直接從内存獲取數據。
◦基于目錄的(de)預加載機制：大(dà)部分(fēn)應用(yòng)場景，一個目錄保存的(de)文件相關性較強，若目錄内數據量較小，則将整個目錄的(de)文件都加載到内存。
◦基于時間的(de)預加載機制：若目錄内的(de)數據量較大(dà)，則通(tōng)過創建時間将目錄内的(de)文件進行分(fēn)組，當某個組中的(de)文件在短時間内被讀取超過3個，則将整個組中的(de)文件加載到内存。
2.提升多(duō)磁盤并發
EDS通(tōng)過自适應條帶化(huà)和(hé)自研分(fēn)布算(suàn)法來充分(fēn)發揮同一主機内多(duō)塊磁盤的(de)并發能力。
（1）自适應條帶化(huà)技術
條帶化(huà)技術是指将一塊連續的(de)數據切分(fēn)成很多(duō)個小的(de)數據塊，然後并發地存儲到不同物(wù)理(lǐ)硬盤上，實現對數據進行寫入或讀取時可(kě)以獲得(de) 大(dà)程度上的(de)I/O并發能力。
爲了(le)保證獲得(de) 優的(de)I/O性能，EDS的(de)條帶數會根據集群配置進行自适應調整，無需用(yòng)戶配置。
（2）性能 優分(fēn)布算(suàn)法
爲了(le)保證性能 優，EDS數據分(fēn)布會優先遵循以下(xià)三大(dà)策略：
◦主機内優先跨磁盤組分(fēn)布策略：每個磁盤組由1塊SSD和(hé)多(duō)塊HDD組成，跨越多(duō)個磁盤組，可(kě)以利用(yòng)到更多(duō)的(de)SSD的(de)加速能力。
◦磁盤組内優先跨磁盤分(fēn)布策略：在混合盤配置中，爲了(le)避免對一個條帶組内的(de)數據進行并發讀寫時對機械硬盤産生随機的(de)I/O（機械盤受限于物(wù)理(lǐ)結構，随機I/O性能較差），數據在磁盤組内優先跨磁盤分(fēn)布。
◦優先選擇組件剩餘容量 多(duō)策略：爲了(le)保證數據分(fēn)布均衡，主機或磁盤的(de)剩餘容量大(dà)小也(yě)是數據分(fēn)布時的(de)一個重要考量因素。
3.提升小文件/對象寫入性能
在海量小文件/對象承載場景下(xià)EDS通(tōng)過小文件合并技術大(dà)幅降低元數據規模，保證關鍵元數據都能夠完全存儲在有限的(de)SSD上，并利用(yòng)自研PhxKV數據庫對元數據進行管理(lǐ)，提升元數據訪問效率及故障修複的(de)效率，從而提升EDS對海量小文件/對象讀寫效率，可(kě)以輕松承載百億級别的(de)小文件/對象存儲。
服務器硬件層優化(huà)
EDS支持在通(tōng)用(yòng)X86或ARM架構的(de)服務器上進行部署，相比于傳統存儲使用(yòng)的(de)專有硬件，所需投入的(de)成本更低，并且EDS聯合Intel推出了(le)精選解決方案：
對于普通(tōng)生産業務承載，EDS推薦高(gāo)性價比混閃方案，通(tōng)過配置少量固态盤（SATA/NVMe/Optane）作爲高(gāo)性能層提供讀寫加速能力，配置大(dà)容量機械盤作爲容量層承載更多(duō)數據。
對于核心高(gāo)負載業務承載，EDS可(kě)以采用(yòng)全閃存方案，支持全SATA和(hé)全NVMe SSD組成的(de)高(gāo)性能存儲資源池，通(tōng)過25Gb/40Gb RoCE組網，爲金融核心交易系統、測繪航測建模系統、醫療HIS等場景提供穩定高(gāo)性能的(de)生産存儲。
存儲網絡層優化(huà)
EDS的(de)存儲網絡用(yòng)來進行節點間數據同步，以多(duō)副本機制爲例，由于存儲的(de)多(duō)個副本之間要保證強一緻性和(hé)數據可(kě)靠性，多(duō)個副本必須同時寫入到不同的(de)存儲節點，因此存儲網絡時延也(yě)是影(yǐng)響性能的(de)關鍵因素之一。EDS通(tōng)過RDMA技術來減少内存拷貝，降低CPU消耗，從而将存儲網時延降低到10微秒以内。
在多(duō)項性能優化(huà)措施的(de)加持下(xià)，EDS在塊、文件、對象存儲性能實現了(le)進一步升級。
塊存儲性能優化(huà)
使用(yòng)3節點混合盤配置的(de)EDS集群（每節點配置2塊SATA接口固态盤作爲緩存盤，6塊SATA 機械盤做(zuò)數據盤）可(kě)提供43萬IOPS 性能，發揮物(wù)理(lǐ)硬件性能的(de)92%以上。
并且性能可(kě)以橫向擴展，EDS集群規模擴展至8節點時，混合盤配置4KB随機讀可(kě)達120萬IOPS。
對象存儲性能優化(huà)
EDS對象存儲在3節點混合盤配置下(xià)可(kě)以承載100億個小對象數據，且性能下(xià)降不超過5%。而開源CEPH在對象規模實測達到3億時，性能下(xià)降已超過60%。
文件存儲性能優化(huà)
使用(yòng)3節點混合盤配置的(de)EDS集群，EDS文件存儲可(kě)提供6GB/s的(de)讀寫吞吐能力。
對存儲而言，性能優化(huà)可(kě)謂是一場沒有終點的(de)馬拉松，持續在通(tōng)用(yòng)硬件上激發出更高(gāo)、更穩定的(de)存儲性能，用(yòng)戶便可(kě)以用(yòng)更低的(de)成本投入獲得(de)可(kě)支撐核心業務運行的(de)存儲産品。基于性能優化(huà)，目前深信服EDS已經承載了(le)廣電非編、AI訓練、醫療影(yǐng)像長期歸檔、人(rén)臉圖像識别、制造業MES生産、金融交易清算(suàn)等豐富的(de)業務場景。EDS将持續通(tōng)過大(dà)量的(de)研發投入，和(hé)持續的(de)版本叠代，讓用(yòng)戶擁有更優的(de)存儲選擇。
文章(zhāng)轉載：深信服科技
客服1 
客服2