馬斯克大模型創始團隊曝光!華人占三分之一:清華浙大校友在列
毫無預警地,馬斯克剛剛在推特突然宣布——
成立公司xAI,目標是理解宇宙的真實本質。
更多消息被創始團隊成員透露,xAI,大概率也是錨定大模型領域:
為大型神經網絡開發“萬物理論”,將成為AI提升到新水平的核心攻關點。
一同對外亮相的還有創始團隊,包括馬斯克在內,共12人。
xAI官網介紹,這支由馬斯克領導的輕騎兵,組成人員有谷歌學術超過20萬引用的大佬,還有ChatGPT的項目組成員、AlphaStar的背后參與者、Transformer-XL的共同作者等。
這些人曾在OpenAI、DeepMind、微軟和特斯拉等公司,以及多倫多大學等學術機構任職。
而且,華人在其中占據了4個席位,備受矚目。
他們每個人的推特后面,都跟著醒目的xAI公司logo圖標。
如此陣仗,難怪有網友“驚訝”分享自己的新發現:
哦吼,這是一家員工100%使用推特的AI初創公司哎!
雖然由馬斯克帶隊,但xAI將會是一個獨立的公司。
不過,團隊還是會和X(Twitter)、特斯拉、SpaceX等馬老板旗下的其他公司,展開密切的合作關系。
消息來得太過突然,不僅打了OpenAI、Anthropic等公司一個措手不及,連吃瓜群眾都興奮中帶著懵圈。
由于受命于同一個大老板,有推特在職員工都激動湊熱鬧:
我有一個朋友,他讓我幫忙問問,能不能同時在推特和xAI工作啊?(doge)
LinkedIn創始人霍夫曼也發話,他覺得馬斯克是很有能力推動AI發展的。
不過,霍夫曼同時還是OpenAI的前董事會成員,以及風頭正勁的AI初創公司Inflection AI的聯合創始人。
面對此情此景,他不由得還問出了心中疑惑:
咱就是說,當馬斯克自己下場,試圖加快AI發展的時候,我就有點懷疑他之前鬧著要全球AI暫停發展6個月,初衷到底是個啥。
華人占創始團隊名單三分之一
xAI簡單到不行(只有一頁)的官網上,最引人關注的就是列出的12人名單。
量子位還注意到,這12個人中,有4人都是華人面孔。
分別是Yuhuai(Tony) Wu、Greg Yang、Guodong Zhang和Zihang Dai。
吳宇懷Yuhuai(Tony) Wu,斯坦福大學博士后,博士畢業于多倫多大學;
楊格Greg Yang,在哈佛本科畢業后,在微軟研究院工作;
張國棟Guodong Zhang,多倫多大學碩博畢業,本科時是浙大的學生;
戴子航Zihang Dai,先后就讀于清華大學、CMU,博士畢業后在谷歌研究院上班。
來整體看看xAI官網是怎么介紹這12個人的過往經歷的——
整個團隊由馬斯克本人親自領導。
其余創始團隊成員曾在DeepMind、OpenAI、Googel Research,微軟研究院,特斯拉和多倫多大學工作過。
這些人曾在Transformer-XL,Autoformalization,the Memorizing Transformer,Batch Size Scaling,and μTransfer方面,擔任團隊領導角色或做出過學術貢獻。
經他們之手的項目,有AlphaStar,AlphaCode,Inception,Minerva,GPT-3.5和GPT-4等等。
更多消息,官網上也沒有表露。
量子位順藤摸瓜探了探他們入職xAI前的底細,并按照此前經歷做了簡單的梳理。
(僅含11名創始團隊成員,馬斯克其人本文不多作詳細介紹)。
OpenAI前員工:1人
Kyle Kosic,OpenAI前工程師,研究興趣是自動化、可擴展性和分布式計算。
再往前看,他曾在一家制造模擬云平臺的公司OnScale工作。
3個月前,Kyle還在Linkedin上激情轉發ChatGPT Plugin的動態文章。
DeepMind前員工:4人
xAI創始團隊中,一共有4人曾是DeepMind的全職員工。
張國棟,前DeepMind研究科學家,xAI四張華人面孔之一。
浙江大學信息工程專業本科畢業后,他在多倫多大學獲得博士學位,并且曾在谷歌大腦和微軟研究院實習。研究方向主要是ML和AI,目前專注于訓練、調優和對齊大型語言模型。
曾在ICML、ICLR和NeurIPS多個計算機國際頂會發表過論文。
Igor Babuschkin,一個在DeepMind和OpenAI反復橫跳的人。
2018年起,他在DeepMind工作了3年多,是AlphaStar(DeepMind 星際爭霸 AI 模型)登上《Nature》論文的主要作者之一。
而后,他跳槽到OpenAI。
據介紹,這期間,Igor是ChatGPT項目組的成員。
但是去年4月,他又以資深主任工程師的身份回到了DeepMind。
Manuel Kroiss,和上面這位一樣,也是前DeepMind AI部門的資深研究員。
今年3月就有消息傳出,馬斯克把這人挖去了推特,沒想到最終的歸宿是xAI。
Toby Pohlen,在DeepMind的“練習”時長有6年3個月之久。
在職期間,他開發了AlphaStar參與聯賽的評估系統——AlphaStar是DeepMind開發的AI,會玩《星際爭霸II》,參加三場比賽的表現都被評為大師級,在官方的人類玩家排名中,排名前99.8%。
Linkedin資料顯示,2021年起,Toby的工作就轉而面向致力于大型語言模型的服務和評估工具。
微軟前員工:1人
楊格,離職前是微軟雷蒙德研究院的首席軟件工程師。
此前,他還有蘋果(2019.4-2021.2)和谷歌(2013.9-2018.10)的就職經歷。
他的主要行業經驗集中在構建、啟動和維護大型分布式系統和基礎設施組件,對TensorPrograms和neuralnetworks.有深入研究。
目前,他也是唯一一個已經在推特個人簡介上標明“xAI聯創”的人。
在 xAI 官宣成立后,楊格表示:
開發大型神經網絡的“萬物理論”將是將人工智能提升到新水平的核心。另一方面,這種AI將使每個人都能以此前難以想象的方式理解我們的數學宇宙。
Google前員工:3人
12人中,有3人加入xAI前的最后足跡留在了谷歌。
Christian Szegedy,曾在Google Research擔任研究科學家。
他發明了最早的目標檢測算法之一adversarial examples,主要工作面向深度學習,致力于通過深度學習進行ML、AI和CV。
在Google Shcolar上,這位大佬的總被引數超過了20萬。
戴子航,四張華人面孔之一,先后就讀于清華大學、CMU。
博士畢業后在谷歌研究院上班。是谷歌前研究科學家。
他的履歷還顯示,他曾經在百度從事深度學習方面的工作,后來還在圖靈獎得主、深度學習三巨頭之一Yoshua Bengio領導的AI實驗室MILA待過一段時間。
2019 年,CMU的預訓練模型工作XLNet中,戴子航與現清華叉院助理教授、國內AI初創公司月之暗面創始人楊植麟并列為共同一作。
吳懷宇,四張華人面孔之一,博士畢業于多倫多大學,后在斯坦福大學攻讀博士后。
他的主要研究興趣是制造可以推理的機器,目標是做個有關自動化的數學家。
值得一提的是,博士就讀期間,吳懷宇的指導老師名單上,就有本次創始團隊的成員之一Jimmy Ba的名字。
他曾在DeepMind和OpenAI實習,畢業后,加入了谷歌的N2Formal團隊。
去年,他參與的3篇論文在計算機國際頂會ICLR 2022發表,8篇論文發表被頂會NeurIPS 2022接收。
特斯拉前員工:1人
Ross Nordeen,特斯拉超級計算和機器學習部門的前技術項目經理。
加入xAI以前,媒體報道Ross已經在去年10月被馬斯克“調任”到推特,管理一些招聘和訪問事宜。
多倫多大學教職人員:1人
Jimmy Ba,多倫多大學的明星青年副教授,他本人也是在多倫多大學完成了了本碩博的學習,跟隨圖靈獎得主Geoffrey Hinton拿下博士學位。
Jimmy Ba的研究重點為深度神經網絡的高效學習算法的開發,是訓練深度學習模型的首選算法之一Adam Optimizer的開發者。
今年年初,他獲得了被稱為“諾獎風向標”的斯隆研究獎。
有趣的事是,他的推特個人簡介上寫道:
我所有的帖子都是由 GPT 生成的。
馬斯克開搞大模型
OpenAI+DeepMind+微軟+谷歌+特斯拉+多倫多大學,可以說,xAI創始團隊的AI buff疊滿了!
鑒于xAI的團隊成員曾參與過的項目,已經有不少網友猜測,xAI的成立就是馬斯克進軍大模型和AIGC的號角,與OpenAI激烈競爭。
今年年初OpenAI一通連轟帶炸后,馬斯克就已經嘴炮連連。
一方面是與Yoshua Bengio、Stability AI的CEO、DeepMind研究人員等1000多位大佬聯名,要求至少6個月暫停GPT的訓練。
另一方面,持續對外發聲,說OpenAI已經不Open了,并表示自己會推出一個叫TruthGPT的AI的平臺,并聲稱“這可能是通往安全的最佳途徑”。
說起來,xAI是馬斯克現在帶隊的第6家公司,另外5家分別是特斯拉,SpaceX,推特,Neuralink和Boring Co.。
官網上白紙黑字寫得明白,xAI是一家獨立公司,但會與SpaceX,推特等有深度合作。
那么,這家馬斯克一手打造的AI新星,到底是要做什么?
用馬斯克的話說,是要理解現實(understand reality),更進一步的,可以通過官網上的另一句話來理解:
“為了理解宇宙的真正本質(understand the true nature of the universe)”。
更多事宜目前并沒有公開,xAI賣了個關子,并歡迎大家在當地時間7月14日(本周五)的推特Space聊天中,向團隊直接提問。
有心人已經偷偷扒出了xAI的更多信息。
譬如,今年3月9日,馬斯克就已經注冊成立了xAI這家公司,馬斯克自己當董事。
3月初就注冊成立了,為啥選擇今天官宣?
馬斯克見沒什么人朝這個方向討論,自己下場刨了自己埋下的包袱。
原因只有一個,那就是他在玩梗,畢竟“42是宇宙的終極答案”。
說回正題,3月成立時的這個時間點,略顯微妙。
已經有網友猜測,4月初馬斯克為推特購買的1萬個GPU,有沒有可能是明修棧道,暗渡陳倉,其實偷偷在為xAI成立后,開發自家的大語言模型做準備?
永遠奔赴在AI吃瓜第一線的英偉達AI科學家Jimmy Fan發推分析了一波:
什么對話文本啊、圖像啊、長視頻啊、推特上有大量的多模態數據。xAI可是唯一一家可以直接合法合理訪問這個龐大、每日還在拓展的語料庫的AI初創公司啊!!!
額外提一嘴,除了創始12人,xAI官網上還有個人的名字:公司顧問,丹·亨德利克斯(Dan Hendrycks)。
他的另一重身份是國際AI領域非營利組織“人工智能安全中心”(Center for AI Safety)的主任,這個組織就是今年5月30日,發布僅22個單詞公開信的那家。
信里是這樣說的:
減輕人工智能帶來的人類滅絕風險,應該與大流行病和核戰爭等其他影響社會的大規模風險一同成為全球性的優先事項。
不知道這人的加入,能不能避免馬斯克一直對外表示的“AI發展過快帶來風險”等問題。
One More Thing
馬斯克官宣以后,xAI已經熱火朝天開了聊天貼,和網友們聊起來了。
但承載xAI初亮相的推特這頭,有一些同樣crazy的事情正在發生。
近期的推特不僅陷入了限流爭議,還被喂了口訴訟索賠的官司——
馬斯克去年收購推特后,辭退了數千名員工。
按道理講,這些員工應該拿到共計至少5億美元的遣散費,但推特不僅沒有按2019年起公司內部規定給足,最多只給了被辭退人員一個月的遣散費,有的人甚至一分錢都沒從推特身上拔下來。
上個月,訴訟通知已經落到推特頭上了,公司也沒能支付拖欠員工的數百萬美元獎金。
推特的說法是,這事兒“告我不合理”。
Emmmm……大概只有和馬斯克一起在“理解宇宙的真實本質”后,才能理解推特不根據自家規定支付遣散費的原因吧。
本站所有文章、數據、圖片均來自互聯網,一切版權均歸源網站或源作者所有。
如果侵犯了你的權益請來信告知我們刪除。郵箱:business@qudong.com