龍存高性能并行存儲支撐AI人工智能！

　　龍存科技（北京）股份有限公司

　　龍存高性能并行存儲支持AI人工智能

　　一、人工智能發展如火如荼，存儲系統重要性不容忽視

　　最近幾年人工智能在給各行各業賦能，各項技術發展迅速，整體的GPU/CPU算力提升迅猛。企業為了構建AI人工智能平臺所投入的金額也非常龐大。隨著算力的迅速提升，支撐數據存儲的存儲系統的重要性也顯得更加重要。如若存儲系統的性能無法匹配強大的算力，那么GPU/CPU算力將會由于數據無法跟上而處于等待狀態，將會嚴重浪費龐大、昂貴的算力基礎資源。

　　當前用來支撐商用HPC、人工智能計算平臺數據存儲的系統只有有限的產品方案選擇，傳統的集中存儲系統無法支撐龐大的并發讀寫訪問，而開源的文件系統也由于沒有技術服務以及缺少重要企業級功能而不能支撐愈加重要的算力平臺數據存儲。

　　二、傳統并行文件系統存在的問題

　　01

　　不支持糾刪碼，無法保障業務連續性和數據完整性

　　當前隨著單塊磁盤容量越來越大（10TB～20TB），單套存儲系統管理的硬盤數量越來越多，RAID技術已經暴露出越來越多的問題，比如重建速度慢、容錯等級低下、故障點多等問題。

　　1、RAID+IO節點熱備HA技術：傳統的并行文件系統往往基于存儲節點/磁盤陣列自身的RAID+IO節點HA方式的安全性問題越來越突出，已經難以支撐更大規模的存儲系統構建。

　　2、RAID+鏡像副本技術：通過存儲節點自身的RAID+存儲節點之間做數據鏡像的方式則導致存儲空間利用率異常低下（低于45%），浪費了太多的存儲資源。

　　02

　　元數據處理能力弱，小文件性能低下

　　人工智能非常重要的場景就是通過GPU進行視頻圖像的處理，該場景往往會產生海量的小文件數據，從而對于存儲系統的元數據處理能力帶來了嚴重的挑戰。當前傳統的并行文件系統的元數據處理方面采用了如下的辦法并暴露出了相關的技術問題：

　　1、NSD（網絡共享磁盤）的方案：該方案服務器可以更容易針對跨元節點的并發元數據訪問進行調整，但是在作出調整方面的選擇時犧牲了其他性能上的提升，從而導致元數據處理能力低下。

　　2、使用的串行元數據訪問模型：該方案只有單臺元數據服務器，或者單個文件系統目錄只能訪問某臺元數據服務器。在高并發訪問的情況下，元數據訪問就需要串型排隊處理，這使得許多人工智能分析的工作負載所需的眾多并發文件操作非常慢。

　　三、龍存推出面向人工智能AI的并行文件系統方案

　　01

　　采用糾刪碼數據冗余保護，提升AI計算連續性

　　LoongStore并行文件系統支持多種靈活的冗余模式，同時支持多副本和糾刪碼技術。系統最大支持4節點同時宕機而不影響業務，可根據系統規模選擇更合適業務數據的數據保護策略。同時，系統支持基于目錄的在線冗余模式調整，最大限度保證數據安全性，同時將系統可使用空間最大化，空間使用率最高可達94%。LoongStore可同時提供文件級及塊級別數據保護，用戶可以在目錄、文件、子目錄、塊設備和集群上設置不同的保護級別。

　　LoongStore使用N+M糾刪碼技術。N+M數據模型，N代表節點或硬盤的數量，M代表在不發生數據丟失的前提下，集群所允許的同時發生故障的節點數或磁盤數。例如，當采用N+4模式時，整個LoongStore集群存儲系統允許同時損壞4個存儲節點或任意4塊硬盤。

　　LoongStore的磁盤損壞以后的數據重建速度比傳統RAID快了五倍以上，每TB數據重建時間不超過30分鐘，從而大幅度的提升數據安全性和業務訪問的連續性。

　　02

　　高效的元數據處理能力

　　LoongStore元數據服務是一種擴展服務，這意味著在LoongStore文件系統中可以有一個或多個元數據服務。每個元數據服務負責其在全局命名空間中的獨占部分，因此擁有更多的元數據服務器可以提高整體系統性能，并且以后添加更多的元數據服務器。

　　通常，元數據目標是基于閃存硬盤單盤、RAID1或RAID10的存儲，因為較低的元數據訪問延遲可以提高文件系統的響應能力。LoongStore元數據非常小，并且與用戶創建的文件數呈線性增長。512GB的可用元數據容量可以容納大約超過1億個用戶文件。

　　由于文件系統元數據操作占典型文件系統工作負載的一半，有效的元數據管理對整個系統性能至關重要。元數據管理在分布式文件系統中也提出了一個關鍵的可伸縮性挑戰。隨著添加了更多的存儲設備，容量和聚合I/O速率可以任意伸縮，但是元數據操作涉及到更大程度的相互依賴性，這使得可擴展的一致性和一致性管理更加困難。

　　LoongStore采用了一種基于動態子樹劃分的新型元數據集群體系結構。該體系結構能夠自適應地、智能地將管理文件系統目錄層次結構的責任分配給數個甚至數百個元數據節點。一個（動態的）分層分區在每個元數據節點的工作負載中保持局部性，有助于高效的更新和積極的預取，以提高高負載下的性能。LoongStore能夠在任何工作負載下有效地利用可用的元數據節點資源，并實現元數據節點數量的近似線性擴展。

　　03

　　存算融合，多級存儲滿足不同階段的數據存儲需求

　　當前GPU/CPU計算節點中一般都會配置部分數據磁盤。這些計算節點內部硬盤的問題在于它們既沒有跨多臺機器的單個命名空間所具有的優點，也沒有共享并行文件系統的靈活性和性能。

　　所以除了使用LoongStore并行文件系統構建獨立的共享文件系統存儲池以外，LoongStore還可以整合計算節點內置的硬盤，使之構建為全局名字空間的文件系統存儲池。所以LoongStore完全針對作業的運行時環境，“按照具體作業”跨所有計算節點創建一個共享的并行文件系統，所有計算節點都參與處理某個特定的計算作業。具體配置如下：

　　并行文件系統&GPU/CPU計算融合部署運行

　　通過此種方案配置，CPU、GPU計算作業可以像訪問本地目錄一樣訪問并行文件系統基于服務器內置磁盤構建的全局共享文件系統存儲池，實現文件共享和高并發讀寫訪問。

　　該并行文件系統和CPU、GPU計算任務等同一個物理節點進行部署的方案可以更好的實現存儲和計算融合，并且方案可以根據需要靈活配置節點數量來擴展GPU/CPU計算資源、存儲資源，實現動態擴展來匹配業務需求。

　　04

　　更高的計算節點客戶端讀寫性能

　　LoongStore提供了高性能的操作系統內核原生POSIX客戶端，以一客戶端對多臺存儲節點的方式并行讀寫數據，并且支持RDMA。在實際的運行過程中，LoongStore的單臺計算節點進行數據讀寫能夠充分利用自身的網絡吞吐極限能力，讀寫帶寬可以達到網絡帶寬的90%以上，從而更加充分地滿足計算節點所需要的數據讀寫性能。比如配置了200Gbps Inifiniband網絡的單臺節點通過POSIX客戶端最高可以獲得超過20GB/s讀寫帶寬的性能。

　　05

　　更高的存儲硬件性能發揮百分比

　　LoongStore基于RDMA以及基于內核級別的程序設計、緩存策略等技術實現，可以更大化的發揮基礎硬件和網絡的性能，單臺存儲節點配置四塊Nvme-SSD就可以提供17.4GB/s的聚合讀寫能力。LoongStore的測試性能表現突出，主要如下：

　　1、每塊Nvme-SSD在文件系統中可以提供超過4.3GB/s的讀寫性能。

　　2、每塊SATA硬盤可以在文件系統中可以提供超過150MB/s的讀寫性能。

　　06

　　全面的跨芯片服務器兼容能力

　　LoongStore基本上與硬件無關。從CPU層面來看，LoongStore支持市場上的所有CPU，無論是X86還是飛騰、鯤鵬、海光、申威、龍芯，并且還支持跨芯片架構服務器混合部署為一套存儲系統。

　　LoongStore并行文件系統依靠更高的可靠性、讀寫性能、兼容能力等，持續替代傳統的文件系統支撐了大量AI人工智能、商用HPC項目的數據存儲應用，支持了諸如超過五千臺計算節點客戶端、超過五百臺存儲節點的單一文件系統、超過100PB裸容量的單一存儲池等諸多大規模項目，給AI人工智能加速。

　　400 803 6006

　　[email protected]

　　www.loongstore.com.cn

　　北京市海淀區知春路63號51號樓5層502