項(xiàng)目概況
項(xiàng)目背景
舊數(shù)據(jù)時(shí)代，存儲(chǔ)主要面對(duì)數(shù)據(jù)庫(kù)、文件和流媒體等傳統(tǒng)應(yīng)用，整體性能訴求較低。但在新興技術(shù)驅(qū)動(dòng)下，存儲(chǔ)需面對(duì)云、大數(shù)據(jù)、AI等大規(guī)模數(shù)據(jù)應(yīng)用型場(chǎng)景，挑戰(zhàn)日益嚴(yán)峻。
南京大學(xué)某課題組在人工智能科研中，正面臨著模型訓(xùn)練數(shù)據(jù)的日益激增，其現(xiàn)存儲(chǔ)集群容量已達(dá)上限，傳統(tǒng)架構(gòu)下的帶寬和IOPS也成為瓶頸，考慮到后期數(shù)據(jù)的持續(xù)性增長(zhǎng)，課題組需對(duì)現(xiàn)有存儲(chǔ)集群進(jìn)行改造及擴(kuò)容。
解決方案
為助力客戶消除傳統(tǒng)存儲(chǔ)架構(gòu)存在的性能瓶頸，進(jìn)一步滿足人工智能場(chǎng)景下高帶寬、高并發(fā)的海量數(shù)據(jù)存取需求，超集信息為其部署了MatrixStore分布式存儲(chǔ)解決方案。
MatrixStore用數(shù)據(jù)通道與元數(shù)據(jù)通道分離的形式實(shí)現(xiàn)，且元數(shù)據(jù)服務(wù)器與數(shù)據(jù)存儲(chǔ)服務(wù)器可動(dòng)態(tài)進(jìn)行擴(kuò)容，從而加大元數(shù)據(jù)服務(wù)器檢索能力及數(shù)據(jù)傳輸?shù)男阅堋２⑶?，元?shù)據(jù)集群和存儲(chǔ)集群可以在線動(dòng)態(tài)擴(kuò)展，在擴(kuò)展過(guò)程中無(wú)需中斷存儲(chǔ)系統(tǒng)上應(yīng)用的運(yùn)行，擴(kuò)展的容量即插即用；擴(kuò)容后數(shù)據(jù)自動(dòng)遷移實(shí)現(xiàn)均衡，硬盤之間利用率差距不超過(guò)3%，充分發(fā)揮硬件性能。
客戶價(jià)值
通過(guò)MatrixStore構(gòu)建的分布式存儲(chǔ)系統(tǒng)，不僅助力消除了傳統(tǒng)存儲(chǔ)架構(gòu)存在的性能瓶頸，為客戶提供了提供全局統(tǒng)一的存儲(chǔ)系統(tǒng)映像和按需調(diào)配的存儲(chǔ)資源池，而且規(guī)避了原有集群中，數(shù)據(jù)在歸集、預(yù)處理、訓(xùn)練、推理流程中的算力等待問(wèn)題，提升了整體資源利用效率，有效推進(jìn)了科研進(jìn)程。
