2023年7月14日，華為發(fā)布大模型時(shí)代AI存儲新品，為基礎模型訓練、行業(yè)模型訓練、細分場(chǎng)景模型訓練推理提供存儲解決方案，助力釋放AI新動(dòng)能。
數據決定智能的高度，數據存儲當作先鋒
從互聯(lián)網(wǎng)到移動(dòng)化，從云計算到智能化，每一輪技術(shù)變革都為千行百業(yè)帶來(lái)深遠影響。而從通用大模型到行業(yè)大模型，AI大模型的持續迭代也將助推新一輪的科技革命。在從0到1構建AI大模型創(chuàng )新應用的同時(shí)，企業(yè)應該找到適配自身發(fā)展需求的數據底座，將數據存儲建設作為AI建設的下一個(gè)加速點(diǎn)。
當前，企業(yè)在開(kāi)發(fā)及實(shí)施大模型應用過(guò)程中，面臨四大挑戰：
第一，數據準備時(shí)間長(cháng)，數據來(lái)源分散，歸集慢，預處理百TB數據需10天左右；第二，多模態(tài)大模型以海量文本、圖片為訓練集，當前海量小文件的加載速度不足100MB/s，訓練集加載效率低；第三，大模型參數頻繁調優(yōu)，訓練平臺不穩定，平均約2天將出現一次訓練中斷，需要Checkpoint機制恢復訓練，故障恢復耗時(shí)超過(guò)一天；第四，大模型實(shí)施門(mén)檻高，系統搭建繁雜，資源調度難，GPU資源利用率通常不到40%。
構建數據新范式，釋放AI新動(dòng)能
作為數據的載體，數據存儲成為AI大模型的關(guān)鍵基礎設施。順應AI發(fā)展趨勢，針對不同行業(yè)、不同場(chǎng)景大模型應用，華為推出OceanStor A310深度學(xué)習數據湖存儲與FusionCube A3000訓/推超融合一體機，幫助解決企業(yè)開(kāi)發(fā)及實(shí)施大模型應用難題。
OceanStor A310深度學(xué)習數據湖存儲，面向基礎/行業(yè)大模型數據湖場(chǎng)景，實(shí)現從數據歸集、預處理到模型訓練、推理應用的AI全流程海量數據管理。OceanStor A310單框5U支持400GB/s帶寬以及1200萬(wàn)IOPS的性能，可線(xiàn)性擴展至4096節點(diǎn)，實(shí)現多協(xié)議無(wú)損互通。全局文件系統GFS實(shí)現跨地域智能數據編織，簡(jiǎn)化數據歸集流程；通過(guò)近存計算實(shí)現近數據預處理，減少數據搬移，預處理效率可提升30 %。
FusionCube A3000訓/推超融合一體機，面向行業(yè)大模型訓練/推理場(chǎng)景，針對百億級模型應用，集成OceanStor A300高性能存儲節點(diǎn)、訓/推節點(diǎn)、交換設備、AI平臺軟件與管理運維軟件，為大模型伙伴提供拎包入住式的部署體驗，實(shí)現一站式交付。開(kāi)箱即用，2小時(shí)內即可完成部署。訓/推節點(diǎn)與存儲節點(diǎn)均可獨立水平擴展，以匹配不同規模的模型需求。同時(shí)，FusionCube A3000通過(guò)高性能容器實(shí)現多個(gè)模型訓練推理任務(wù)共享GPU，將資源利用率從40%提升到70%以上。FusionCube A3000支持兩種靈活的商業(yè)模式，包括華為昇騰一站式方案以及開(kāi)放計算、網(wǎng)絡(luò )、AI平臺軟件的第三方伙伴一站式方案。
合作開(kāi)放，推動(dòng)產(chǎn)學(xué)研同頻共振
本次發(fā)布會(huì )上，華為數據存儲產(chǎn)品線(xiàn)總裁周躍峰博士對話(huà)華為蘇黎世研究所存儲首席科學(xué)家張霽，就數據安全流轉、企業(yè)數據接入大模型等話(huà)題展開(kāi)探討。張霽在2020年通過(guò)華為天才少年項目加入華為后，扎根AI存儲架構研究，發(fā)表多篇頂級論文與專(zhuān)利，并已在華為數據存儲產(chǎn)品中全面落地。
目前，張霽與其團隊正在瑞士蘇黎世研究所與蘇黎世聯(lián)邦理工大學(xué)Onur Mutlu教授等頂尖科學(xué)家們開(kāi)展研究與合作。張霽是華為眾多新生代技術(shù)青年的代表，還有更多的華為員工在遍布全球的研究所開(kāi)展前沿研究，一起挑戰難題、創(chuàng )造價(jià)值、推動(dòng)科技發(fā)展。
截至目前，華為數據存儲在全球擁有12個(gè)研發(fā)中心、4000多名研發(fā)人員、3000多項專(zhuān)利授權，并且與超過(guò)25所中國高校、30所海外高校建立合作關(guān)系，并成立8個(gè)聯(lián)合實(shí)驗室。華為自2019年起設置奧林帕斯獎，以激勵全球科研工作者，突破存儲領(lǐng)域關(guān)鍵技術(shù)難題。到2023年，已有來(lái)自于清華大學(xué)舒繼武教授、華中科技大學(xué)馮丹教授、蘇黎世聯(lián)邦理工大學(xué)Onur Mutlu教授等來(lái)自全球頂尖高校與科研機構的專(zhuān)家獲獎，他們在存儲創(chuàng )新架構、創(chuàng )新算法等課題上取得了技術(shù)性突破，加速了科研成果產(chǎn)業(yè)化，實(shí)現產(chǎn)學(xué)研合作共贏(yíng)。
在本次發(fā)布會(huì )上，中國科學(xué)院自動(dòng)化研究所紫東大模型中心、武漢人工智能研究院的專(zhuān)家及科大訊飛、智譜AI等企業(yè)相關(guān)負責人分別就AI大模型的應用實(shí)踐以及基于華為AI存儲的聯(lián)合創(chuàng )新進(jìn)行探討，并對未來(lái)同華為在數據存儲領(lǐng)域的合作進(jìn)行展望。
