重磅!PerfXLM+推理框架支持DeepSeek全系列模型!

熱點(diǎn)
TIME
2025-02-07 10:18
科技在線(xiàn)
分享

  澎峰科技最新消息,公司自主研發(fā)的PerfXLM+推理框架已基于海光DCU,完成對DeepSeek全系列模型的深度適配與優(yōu)化,AI大模型應用效能大幅提升。

  PerfXLM+推理框架通過(guò)底層架構優(yōu)化,全面適配海光DCU算力平臺,為DeepSeek模型提供了高性能支持。針對DeepSeek-R1-Distill系列等模型,框架結合海光DCU的并行計算能力,可顯著(zhù)降低資源消耗,在同等硬件條件下進(jìn)一步提高了推理效率。

  另外,海光DCU作為關(guān)鍵“媒介”,采用兼容度最高的GPGPU通用加速計算架構,可支撐DeepSeek模型直接運行,大幅減少底層適配工作量,技術(shù)團隊僅需聚焦模型精度驗證與持續性能優(yōu)化,即可實(shí)現高效部署。

  PerfXLM+推理框架目前已覆蓋自然語(yǔ)言處理、多模態(tài)理解等核心場(chǎng)景,客戶(hù)可基于海光DCU集群實(shí)現模型快速迭代與彈性擴展,滿(mǎn)足各行各業(yè)的實(shí)時(shí)推理需求。

  并且,PerfXLM+推理框架通過(guò)模型量化、算子融合等核心技術(shù),正在進(jìn)一步挖掘海光DCU的異構計算潛力,為企業(yè)提供更高質(zhì)量、低成本的AI推理服務(wù)。

  隨著(zhù)“框架+硬件+模型”的全棧能力構建完畢,國產(chǎn)廠(chǎng)商或將加速打破企業(yè)AI部署門(mén)檻。


THE END
免責聲明:本文系轉載,版權歸原作者所有;刊載之目的為傳播更多信息,如內容不適請及時(shí)通知我們。

相關(guān)熱點(diǎn)

  辛選集團關(guān)聯(lián)公司廣州辛選網(wǎng)絡(luò )信息科技有限公司因虛假宣傳違法行為,于今年 1 月被廣州市白云區市場(chǎng)監督管理局罰款 175 萬(wàn)元?! √幜P事由顯示,當事人通過(guò)某平臺直...
電商
  具體來(lái)說(shuō),根據分析機構TechInsights和市場(chǎng)研究公司Canalys的數據,2024年蘋(píng)果手機在中國的智能手機市場(chǎng)出貨量大幅下降。TechInsights的數據顯示,2024年第四季度,盡管中...
數碼

相關(guān)推薦

1
3
人人狠狠综合久久亚洲88_国产超薄丝袜足底脚交国产_日本wvvw高清中文字幕_97国产品香蕉在线观看