深信服統一存儲EDS 520 版本,是一款專爲AI大(dà)模型打造的(de)統一存儲平台,可(kě)以實現數據采集、标記、訓練、推理(lǐ)和(hé)歸檔的(de)全流程承載。
一套存儲滿足AI大(dà)模型開發全流程的(de)數據需求
基于NFS+技術優化(huà)的(de)存儲系統,通(tōng)過RDMA技術、多(duō)路徑并行訪問以及多(duō)級緩存機制,在4K小文件混合讀寫IOPS和(hé)1M大(dà)文件混合讀寫吞吐方面,分(fēn)别達到行業領先水(shuǐ)平的(de)1.7 倍和(hé)5.7倍,3節點吞吐達到120GB/s,RDMA多(duō)路徑帶寬性能比TCP單路徑提升将近50倍,将訓練階段GPU平均利用(yòng)率從傳統存儲的(de)30%提升至70%。
這樣的(de)設計不僅提高(gāo)了(le)大(dà)模型處理(lǐ)數據的(de)效率,結合更高(gāo)的(de)讀寫速度和(hé)OPS,讓大(dà)模型在讀取或輸出視頻數據時能達到更快(kuài)速度;而且增強了(le)系統的(de)靈活性和(hé)擴展性,使大(dà)模型應用(yòng)可(kě)以應對各種類型和(hé)規模數據的(de)處理(lǐ)需求,讓大(dà)模型訓練可(kě)以更高(gāo)效地管理(lǐ)和(hé)存儲數據。
此外,在高(gāo)性價比上,深信服EDS存儲實現了(le)單TB可(kě)用(yòng)容量成本降低50%,幫助用(yòng)戶降低了(le)AI模型訓練的(de)總體成本。實現硬件成本降低的(de)同時,還基于深舟數據管理(lǐ)平台對數據的(de)高(gāo)效壓縮和(hé)管理(lǐ)能力,64GB可(kě)以承載億級以上規模小文件的(de)高(gāo)速讀寫。