全球首個(gè)!中國電信發(fā)布單體稠密萬(wàn)億參數語(yǔ)義模型Tele-FLM-1T

業(yè)界
TIME
2024-06-19 15:55
快科技 鹿角
分享

  據中國電信官微發(fā)文,中國電信人工智能研究院(TeleAI)聯(lián)合北京智源人工智能研究院發(fā)布全球首個(gè)單體稠密萬(wàn)億參數語(yǔ)義模型Tele-FLM-1T,成為國內首批發(fā)布稠密萬(wàn)億參數大模型的機構。

  面對大模型訓練過(guò)程中算力消耗巨大的挑戰,TeleAI與智源通過(guò)深度研發(fā),結合模型生長(cháng)和損失預測等關(guān)鍵技術(shù),成功推出了Tele-FLM系列模型。這一系列模型在算力資源的使用上,僅消耗了業(yè)界普通訓練方案的9%,展現出極高的算力能效。

  通過(guò)使用112臺A800服務(wù)器,TeleAI團隊在短短4個(gè)月內完成了3個(gè)模型總計2.3T tokens的訓練,全程無(wú)需任何調整和重試,充分證明了模型訓練的穩定性和收斂性。

  值得一提的是,Tele-FLM-1T版本即將開(kāi)源,此舉旨在為社區提供訓練萬(wàn)億稠密模型的技術(shù)參考,有效解決萬(wàn)億模型訓練收斂難等問(wèn)題,進(jìn)一步推動(dòng)大模型技術(shù)的進(jìn)步。

  TeleAI不僅在技術(shù)創(chuàng )新上不斷突破,還積極通過(guò)開(kāi)源方式推動(dòng)大模型技術(shù)的普及和國產(chǎn)化進(jìn)程。他們接連開(kāi)源了7B、12B、52B參數規模的大模型,這些模型在開(kāi)源社區中引發(fā)了廣泛討論和使用,開(kāi)源模型下載量已超過(guò)萬(wàn)次,吸引了超過(guò)40萬(wàn)用戶(hù)。

THE END
免責聲明:本文系轉載,版權歸原作者所有;刊載之目的為傳播更多信息,如內容不適請及時(shí)通知我們。

相關(guān)熱點(diǎn)

  據國內媒體報道,隨著(zhù)銷(xiāo)量大幅下滑,國內傳統豪華品牌也開(kāi)啟了以?xún)r(jià)換量模式,尤其是德系豪華品牌BBA,價(jià)格下探幅度歷年罕見(jiàn)?! 蟮婪Q(chēng),目前,奔馳旗下多款車(chē)型開(kāi)啟了腰斬式...
汽車(chē)
  據美國“太空”網(wǎng)站18日報道,美國國家航空航天局(NASA)的月球勘測軌道飛行器(LROC)首次在月球背面拍攝到中國嫦娥六號月球探測器的著(zhù)陸點(diǎn)?! ?月2日6時(shí)23分,嫦娥六號著(zhù)...
業(yè)界

相關(guān)推薦

1
3
人人狠狠综合久久亚洲88_国产超薄丝袜足底脚交国产_日本wvvw高清中文字幕_97国产品香蕉在线观看