2023年7月14日，華為發(fā)布大模型時代AI存儲新品，為基礎模型訓練、行業(yè)模型訓練、細分場景模型訓練推理提供存儲解決方案，助力釋放AI新動能。
數(shù)據(jù)決定智能的高度，數(shù)據(jù)存儲當作先鋒
從互聯(lián)網(wǎng)到移動化，從云計算到智能化，每一輪技術變革都為千行百業(yè)帶來深遠影響。而從通用大模型到行業(yè)大模型，AI大模型的持續(xù)迭代也將助推新一輪的科技革命。在從0到1構建AI大模型創(chuàng)新應用的同時，企業(yè)應該找到適配自身發(fā)展需求的數(shù)據(jù)底座，將數(shù)據(jù)存儲建設作為AI建設的下一個加速點。
當前，企業(yè)在開發(fā)及實施大模型應用過程中，面臨四大挑戰(zhàn)：
第一，數(shù)據(jù)準備時間長，數(shù)據(jù)來源分散，歸集慢，預處理百TB級數(shù)據(jù)需10天左右；第二，多模態(tài)大模型以海量文本、圖片為訓練集，當前海量小文件的加載速度不足100MB/s，訓練集加載效率低；第三，大模型參數(shù)頻繁調(diào)優(yōu)，訓練平臺不穩(wěn)定，平均約2天將出現(xiàn)一次訓練中斷，需要Checkpoints機制恢復訓練，故障恢復耗時超過一天；第四，大模型實施門檻高，系統(tǒng)搭建繁雜，資源調(diào)度難，圖形處理器（GPU）資源利用率通常不到40%。
構建數(shù)據(jù)新范式，釋放AI新動能
作為數(shù)據(jù)的載體，數(shù)據(jù)存儲成為AI大模型的關鍵基礎設施。順應AI發(fā)展趨勢，針對不同行業(yè)、不同場景大模型應用，華為推出OceanStorA310深度學習數(shù)據(jù)湖存儲與FusionCubeA3000訓/推超融合一體機，幫助解決企業(yè)開發(fā)及實施大模型應用難題。
OceanStorA310深度學習數(shù)據(jù)湖存儲，面向基礎/行業(yè)大模型數(shù)據(jù)湖場景，實現(xiàn)從數(shù)據(jù)歸集、預處理到模型訓練、推理應用的AI全流程海量數(shù)據(jù)管理。OceanStorA310單框5U支持400GB/s帶寬以及1200萬IOPS的性能，可線性擴展至4096節(jié)點，實現(xiàn)多協(xié)議無損互通。全局文件系統(tǒng)GFS實現(xiàn)跨地域智能數(shù)據(jù)編織，簡化數(shù)據(jù)歸集流程；通過近存計算實現(xiàn)近數(shù)據(jù)預處理，減少數(shù)據(jù)搬移，預處理效率可提升30%。
FusionCubeA3000訓/推超融合一體機，面向行業(yè)大模型訓練/推理場景，針對百億級模型應用，集成OceanStorA300高性能存儲節(jié)點、訓/推節(jié)點、交換設備、AI平臺軟件與管理運維軟件，為大模型伙伴提供全方位的部署體驗，實現(xiàn)一站式交付。開箱即用，2小時內(nèi)即可完成部署。訓/推節(jié)點與存儲節(jié)點均可獨立水平擴展，以匹配不同規(guī)模的模型需求。同時，F(xiàn)usionCubeA3000通過高性能容器實現(xiàn)多個模型訓練推理任務共享GPU，將資源利用率從40%提升到70%以上。FusionCubeA3000支持兩種靈活的商業(yè)模式，包括華為昇騰一站式方案以及開放計算、網(wǎng)絡、AI平臺軟件的第三方伙伴一站式方案。
合作開放，推動“產(chǎn)學研”同頻共振
本次發(fā)布會上，華為數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰博士對話華為蘇黎世研究所存儲首席科學家張霽，就數(shù)據(jù)安全流轉、企業(yè)數(shù)據(jù)接入大模型等話題展開探討。張霽是華為眾多新生代技術青年的代表，還有更多的華為員工在遍布全球的研究所開展前沿研究，一起挑戰(zhàn)難題、創(chuàng)造價值、推動科技發(fā)展。
截至目前，華為數(shù)據(jù)存儲在全球擁有12個研發(fā)中心、4000多名研發(fā)人員、3000多項專利授權，并且與超過25所中國高校、30所海外高校建立合作關系，并成立8個聯(lián)合實驗室。華為自2019年起設置奧林帕斯獎，以激勵全球科研工作者，突破存儲領域關鍵技術難題。到2023年，已有多位來自全球頂尖高校與科研機構的專家獲獎，他們在存儲創(chuàng)新架構、創(chuàng)新算法等課題上取得了技術性突破，加速了科研成果產(chǎn)業(yè)化，實現(xiàn)產(chǎn)學研合作共贏。
在本次發(fā)布會上，中國科學院自動化研究所紫東太初大模型中心、武漢人工智能研究院的專家及科大訊飛、智譜AI等企業(yè)相關負責人分別就AI大模型的應用實踐以及基于華為AI存儲的聯(lián)合創(chuàng)新進行探討，并對未來同華為在數(shù)據(jù)存儲領域的合作進行展望。
數(shù)據(jù)來源：華為
