偉大的技術(shù)、產(chǎn)品公司，有時(shí)會(huì)折戟于管理。就好比巔峰期的雅達(dá)利因質(zhì)量品控體系松弛而崩潰。

技術(shù)和管理到底能否兼具？類似的考題，被擺在OpenAI面前。

5月15日，GPT-4o發(fā)布后僅一天，OpenAI再次成為了萬眾矚目的焦點(diǎn)。不過與此前的技術(shù)突破不同，此次OpenAI的話題點(diǎn)在于，開始其首席科學(xué)家Ilya和超級(jí)對(duì)齊團(tuán)隊(duì)的集體出走。

此前，超級(jí)對(duì)齊團(tuán)隊(duì)曾擁有OpenAI20%的算力資源。因此難免讓人懷疑，此次OpenAI短時(shí)間、大規(guī)模的人事變動(dòng)是否是其發(fā)展戰(zhàn)略變動(dòng)的前哨？

分歧已久

OpenAI內(nèi)部的分歧存在已久，在去年11月的“宮斗”事件中早已公之于眾。此次Ilya Sutskever等一行人的出走，可以看作是歷史矛盾的延續(xù)。

Ilya辭職前，OpenAI內(nèi)部最大的分歧之一在于對(duì)AI安全問題的態(tài)度上。

科技巨頭和初創(chuàng)公司的互卷下，AI技術(shù)研發(fā)在快車道上一往直前，AGI時(shí)代離我們也越來越近。有人認(rèn)為“OpenAI正在訓(xùn)練更強(qiáng)大的AI系統(tǒng)，目標(biāo)是最終全面超越人類智能”。

未知的全新力量下蘊(yùn)藏著未知的風(fēng)險(xiǎn)。用前員工的一句話講，這可能是人類有史以來發(fā)生過的最好的事情，但如果我們不小心行事，也可能是最糟糕的事情。

當(dāng)前的AI監(jiān)管主要集中于“評(píng)估風(fēng)險(xiǎn)和采取緩解措施”的組合上，這種組合很容易被大型公司鉆空子，最終反而疏于了對(duì)最需要被監(jiān)管的前型AI實(shí)驗(yàn)室的監(jiān)管。超級(jí)對(duì)齊團(tuán)隊(duì)解散前，對(duì)于不同時(shí)間尺度的AI風(fēng)險(xiǎn)，OpenAI有三個(gè)團(tuán)隊(duì)來分別應(yīng)對(duì)。

“對(duì)齊”或“超級(jí)對(duì)齊”是人工智能領(lǐng)域中使用的術(shù)語，指訓(xùn)練人工智能系統(tǒng)在人類需求和優(yōu)先事項(xiàng)范圍內(nèi)運(yùn)行的工作。2023年6月5日，超級(jí)對(duì)齊AI團(tuán)隊(duì)首次對(duì)外宣布成立。這支團(tuán)隊(duì)的使命旨在“解決如果公司成功構(gòu)建AGI，實(shí)際上會(huì)出現(xiàn)不同類型的安全問題”——也就是AI智能水平不斷提高后未來可能出現(xiàn)的安全問題。

師從人工智能教父Geoffray Hinton的Ilya是堅(jiān)持安全第一的安全派。2016年，Ilya以聯(lián)合創(chuàng)始人、研究總監(jiān)的身份加入OpenAI，并于2018年擔(dān)任首席科學(xué)家。研發(fā)期間，Ilya一直在關(guān)注AI大模型的安全問題。

Sam Altman則是商業(yè)派，致力于開發(fā)“更閃亮的產(chǎn)品”，與谷歌等競(jìng)爭(zhēng)對(duì)手的卯足了勁較量。在他看來，AGI的安全治理問題優(yōu)先級(jí)遠(yuǎn)遠(yuǎn)不如推出“閃亮的產(chǎn)品”。雖然Altman在采訪中屢次表示對(duì)安全問題的重視，但就實(shí)際操作而言，算力資源的天平在不斷向著研發(fā)的一側(cè)傾斜。對(duì)于Altman來說，相對(duì)于未來態(tài)的安全治理，如何加足馬力在當(dāng)前的這場(chǎng)AI競(jìng)賽中拔得頭籌顯然更為重要。

對(duì)此，OpenAI的前員工、超級(jí)對(duì)齊成員之一William Saunders在Less Wrong論壇上表示，對(duì)OpenAI能否在AGI時(shí)代負(fù)責(zé)任的行動(dòng)失去了信心。

William Saunders并非個(gè)例。對(duì)OpenAI未來AGI安全部署工作的失望成為超級(jí)對(duì)其團(tuán)隊(duì)不少人離開的關(guān)鍵要素。不少人認(rèn)為，Ilya出走很可能是已經(jīng)看到了AGI的安全隱患。

OpenAI“權(quán)力的游戲”還有幾季？

在技術(shù)驅(qū)動(dòng)的進(jìn)步面紗下，未來安全團(tuán)隊(duì)被迫“重組”。事實(shí)上，OpenAI在安全方面的人事一直在不斷“跳躍”。

2021年，GPT-3的團(tuán)隊(duì)負(fù)責(zé)人Dario和Daniela Amodei因“對(duì)安全研究的優(yōu)先次序”存在分歧而辭職，轉(zhuǎn)身創(chuàng)辦了Anthropic。

同年，RLHF的發(fā)明者兼安全研究主管Dr.Paul Christiano從安全團(tuán)隊(duì)中辭職，創(chuàng)辦了一個(gè)非盈利性的校準(zhǔn)研究中心。

2023年11月，OpenAI圍繞安全問題爆發(fā)宮斗，Sam Altman在被撤職100小時(shí)后重返OpenAI。

2024年，這場(chǎng)“權(quán)力的游戲”繼續(xù)上演。

2024年2月15日，安全研究員 William Saunders 在 EA 論壇上總結(jié)了自己在 OpenAI 作為超級(jí)對(duì)齊團(tuán)隊(duì)一部分的工作。表示已從OpenAI辭職。

3月17日，Jan Leike 離職。Jan Leike參與開發(fā)了ChatGPT的核心技術(shù)之一——人類反饋強(qiáng)化學(xué)習(xí)RLHF，在其加入OpenAI后，從代碼大模型Codex、ChatGPT的前身InstrucGPT，到ChatGPT、GPT-4，他都是重要貢獻(xiàn)者。

4月，Daniel Kokotajlo在拒絕簽署離職協(xié)議的情況下辭職，并在此后的媒體采訪中公開表示“OpenAI正在訓(xùn)練更強(qiáng)大的AI系統(tǒng)，目標(biāo)是最終全面超越人類智能。”，自己已經(jīng)“逐漸對(duì)OpenAO領(lǐng)導(dǎo)層以及他們負(fù)責(zé)地處理AGI的能力失去了信心”。

4月11日，安全團(tuán)隊(duì)的Leopold Aschenbrenner與推理團(tuán)隊(duì)的Pavel Izmailov因涉嫌信息泄密而被開除。安全研究員 Cullen O'Keefe 也離開了OpenAI。

5月15日，OpenAI的聯(lián)合創(chuàng)始人及首席科學(xué)家Ilya宣布離職，并在社交平臺(tái)X上表示自己將開啟“接下來的計(jì)劃——這個(gè)項(xiàng)目對(duì)我個(gè)人來說意義重大，我會(huì)在適當(dāng)?shù)臅r(shí)候分享細(xì)節(jié)。”

Ilya宣布離開幾小時(shí)后，Ilya的同事，OpenAI超級(jí)對(duì)齊團(tuán)隊(duì)聯(lián)合主管Jan Leike光速宣布辭職，在X上留下兩個(gè)字母：I resigned。Leike 自2021 年加入 OpenAI，并于2023年開始領(lǐng)導(dǎo)超級(jí)對(duì)齊團(tuán)隊(duì)。在此后幾天，Jan Leike陸續(xù)在X上揭開此次出走的“內(nèi)幕”：“我與 OpenAI 領(lǐng)導(dǎo)層在公司的核心優(yōu)先事項(xiàng)上存在分歧已有一段時(shí)間，直到我們最終達(dá)到了臨界點(diǎn)”“過去幾個(gè)月，我的團(tuán)隊(duì)一直在逆風(fēng)前行”“建造比人類更聰明的機(jī)器本質(zhì)上是一項(xiàng)危險(xiǎn)的工作……但在過去的幾年里，安全文化和流程已經(jīng)讓位于閃亮的產(chǎn)品”。他認(rèn)為OpenAI“應(yīng)該把更多的精力花在為下一代模型做準(zhǔn)備上，包括安全性、監(jiān)控、準(zhǔn)備、安全、對(duì)抗魯棒性、（超級(jí)）對(duì)齊、保密性、社會(huì)影響和相關(guān)主題，這些問題很難解決，我擔(dān)心我們還沒有走上正確的軌道。”

超級(jí)對(duì)齊成員之一William Saunders，以及參與過GPT-4對(duì)抗性測(cè)試的Daniel Kokotajlo，此前兩人均已離開OpenAI。

在諸多離職的人中，Daniel Kokotajlo和Jan Leike屬于敢直接批判OpenAI在安全領(lǐng)域和發(fā)展方向存在問題的“特殊群體”。個(gè)中原因很可能是OpenAI的“封口協(xié)議”。 根據(jù)OpenAI前員工Kelsey Piper 爆料，OpenAI的員工需簽署一份帶有非貶低協(xié)議的離職協(xié)議，如果拒絕簽署，其拿到的股權(quán)獲益將被取消。而Daniel Kokotajlo則拒絕簽署這一協(xié)議。

在Sutskever和Leike 退出后，OpenAI向CNN 證實(shí)，最近幾周已開始解散其超級(jí)對(duì)齊團(tuán)隊(duì)，轉(zhuǎn)而整合各個(gè)研究小組的團(tuán)隊(duì)成員。OpenAI的發(fā)言人表示，該結(jié)構(gòu)將幫助 OpenAI 更好地實(shí)現(xiàn)其超級(jí)對(duì)齊目標(biāo)。事實(shí)上，該業(yè)務(wù)線新的領(lǐng)導(dǎo)者John Schulma此前是負(fù)責(zé)OpenAI現(xiàn)有產(chǎn)品的安全問題。而將縱向超級(jí)對(duì)齊團(tuán)隊(duì)橫向合并也意味著，未來安全把關(guān)人在一定程度上的消失。

浮世新人換舊人，Sam Altman在社交平臺(tái)X上表達(dá)了對(duì)于Ilya離開的遺憾，表示“他走后的OpenAI不再和從前一樣”，但旋即又在同一條帖子宣布任命了新的首席科學(xué)家Jakub Pachoki。此外，OpenAI近日還聘請(qǐng)了在Google搜索廣告業(yè)務(wù)工作了多年的資深人士Shivakumar Venkataraman。

自此，OpenAI的發(fā)展戰(zhàn)略階段性地實(shí)現(xiàn)了表面一致——以“黨同伐異”的代價(jià)。