6月19日消息,據(jù)“中國電信”官微發(fā)文,中國電信人工智能研究院(TeleAI)聯(lián)合北京智源人工智能研究院發(fā)布全球首個單體稠密萬億參數(shù)語義模型Tele-FLM-1T,成為國內(nèi)首批發(fā)布稠密萬億參數(shù)大模型的機構。
面對大模型訓練過程中算力消耗巨大的挑戰(zhàn),TeleAI與智源通過深度研發(fā),結合模型生長和損失預測等關鍵技術,成功推出了Tele-FLM系列模型。這一系列模型在算力資源的使用上,僅消耗了業(yè)界普通訓練方案的9%,展現(xiàn)出極高的算力能效。
通過使用112臺A800服務器,TeleAI團隊在短短4個月內(nèi)完成了3個模型總計2.3T tokens的訓練,全程無需任何調整和重試,充分證明了模型訓練的穩(wěn)定性和收斂性。
值得一提的是,Tele-FLM-1T版本即將開源,此舉旨在為社區(qū)提供訓練萬億稠密模型的技術參考,有效解決萬億模型訓練收斂難等問題,進一步推動大模型技術的進步。
TeleAI不僅在技術創(chuàng)新上不斷突破,還積極通過開源方式推動大模型技術的普及和國產(chǎn)化進程。他們接連開源了7B、12B、52B參數(shù)規(guī)模的大模型,這些模型在開源社區(qū)中引發(fā)了廣泛討論和使用,開源模型下載量已超過萬次,吸引了超過40萬用戶。
發(fā)布日期: 2024-08-28
發(fā)布日期: 2024-04-25
發(fā)布日期: 2024-03-08
發(fā)布日期: 2024-11-11
發(fā)布日期: 2024-05-09
發(fā)布日期: 2024-11-08
發(fā)布日期: 2024-05-08
發(fā)布日期: 2024-07-14
發(fā)布日期: 2025-03-31
發(fā)布日期: 2025-03-31
發(fā)布日期: 2025-03-31
發(fā)布日期: 2025-03-31
發(fā)布日期: 2025-03-31
尋找更多銷售、技術和解決方案的信息?
廣州綠測電子科技有限公司(簡稱:綠測科技)成立于2015年11月,是一家專注于耕耘測試與測量行業(yè)的技術開發(fā)公司。綠測科技以“工程師的測試管家”的理念向廣大客戶提供專業(yè)的管家服務。綠測科技的研發(fā)部及工廠設立于廣州番禺區(qū),隨著公司業(yè)務的發(fā)展,先后在廣西南寧、深圳、廣州南沙、香港等地設立了機構。綠測科技經(jīng)過深耕測試與測量領域多年,組建了一支經(jīng)驗豐富的團隊,可為廣大客戶提供品質過硬的產(chǎn)品及測試技術服務等支持。
技術工程師
020-22042442