日前,Meta大模型團隊人員流失大半問(wèn)題引發(fā)熱議。據統計,今年2月發(fā)表Llama最初研究論文的14位作者中,已有超半數離開(kāi)了Meta;2022年5月發(fā)布的OPT論文的19位作者中,也有大約一半選擇了離開(kāi)。究其原因,是算力資源短缺導致內斗,繼而造成了人才的大量出走。
據了解,2013年成立的FAIR(Facebook AI Research)曾是Meta AI方面負責研究的核心,Llama由FAIR位于巴黎的團隊負責,OPT則是由FAIR位于美國的團隊負責。
由于沒(méi)有盡快采購英偉達的GPU芯片等原因,導致Meta算力不足?;AAI研究負責人Joelle Pineau坦誠,Llama和OPT團隊在算力分配的問(wèn)題上“有些緊張”。這一情況下,雖然Meta加大了對生成式AI的關(guān)注,但投入相對有限,Meta的CFO Susan Li也表示,“基本上所有的AI算力都投向了廣告、信息流和短視頻項目”。
算力的短缺成為兩個(gè)團隊內斗的根源,并且,因為算力資源分配低于北美的OPT團隊,Llama的研究人員因此感覺(jué)自己被Meta所冷落,這導致兩個(gè)團隊內斗加劇,人員開(kāi)始不斷離開(kāi)。
今年2月,Llama正式發(fā)布一周前,FAIR的聯(lián)合負責人兼巴黎分部負責人Antoine Bordes離開(kāi)了Meta。三個(gè)月后,Llama論文作者兼FAIR研究總監Armand Joulin也選擇離職,加入了蘋(píng)果。另外兩名作者Timothée Lacroix和Guillaume Lample則于6月,在法國共同創(chuàng )立了初創(chuàng )公司MistralAI,還邀請了另一名作者M(jìn)arie-Anne Lachaux加入。
OPT同樣如此,據報道,Meta放棄了OPT團隊想要研發(fā)的更大規模的模型,直接導致了OPT大量人員的離職。
最終,這場(chǎng)內斗以?xún)蓚€(gè)團隊的合并告終,FAIR領(lǐng)導人召集OPT團隊的部分成員,讓其加入Llama團隊,專(zhuān)注于模型二代的研發(fā)。
值得注意的是,Meta在A(yíng)I領(lǐng)域依舊在加大投入,“內斗”或許也將持續。Llama研究團隊之外,Meta成立了一個(gè)專(zhuān)攻應用的生成式AI團隊。該團隊由蘋(píng)果前高管Ahmad Al-Dahle帶隊,已經(jīng)吸引了多個(gè)FAIR研發(fā)人員的加入。