鵝廠搞了個150多人的“翻譯公司”，從老板到員工都是AI智能體！

主營業務是翻譯網絡小說，質量極高，參與評價的讀者認為比真人翻譯得還要好。

而且相比于雇傭真人，用它來翻譯文學作品，成本降低了近80倍。

公司名為TransAgents，每個崗位都配備了30個不同的職工，能夠根據語言、體裁和目標受眾適配不同的翻譯風格。

相比于傳統的翻譯，產出的譯文更加靈活多樣，也更符合目標語言的表達習慣，文學性也更強。

所以，TransAgents雖然在以相似度為基礎的自動評估中“失敗”，卻贏得了讀者和專業人士的大力肯定。

這樣的表現甚至讓人感嘆說，或許人類對人工智能生成的內容更加青睞的時代，就要來了。

還有人表示，TransAgents是證明自己錯看了人工智能的又一證據——本以為由于模型限制，小說的翻譯對AI會極其困難，結果AI智能體把這個任務完成得非常好。

所以，TransAgents到底有沒有那么神呢？

真人和GPT-4都說好

為了評估TransAgents的翻譯質量，作者選擇了WMT2023數據集，需要對其進行篇章級的文學翻譯。

該數據集從12部網絡小說中各截取了20個連續的章節，涉及如下八種類型：

游戲類（Video Games，VG）

東方玄幻類（Eastern Fantasy，EF）

科幻愛情類（Sci-fi Romance，SR）

當代愛情類（Contemporary Romance，CR）

玄幻類（Fantasy，F）

科幻類（Science Fiction，SF）

恐怖驚悚類（Horror & Thriller，HT）

玄幻愛情類（Fantasy Romance，FR）

起初，作者使用d-BLEU進行了自動評估，該方法會與參考樣本進行相似度計算，相似度越高得分也就越高。

具體到本項目當中，參考樣本一共有兩組，樣本一是人工給出的翻譯結果，樣本二是對網絡中的雙語文本進行對齊后得到。

結果，TransAgents的得分并不理想，只有25分，連SOTA的一半都不到。

但這并不意味著TransAgents的翻譯質量不行，而是因為用相似度來衡量文學作品翻譯的表現，本身就有失偏頗。

文學翻譯不是逐字對照，而是需要在語義、語氣、風格等方面進行創造性的轉換，這些轉換可能導致譯文與參考譯文在表面上差異較大，相似度不高自然就不意外了。

所以，作者干脆直接讓真人（至少10人）來評價翻譯的質量，順便也讓GPT-4（0125-Preview）來看了看，在TransAgents、GPT-4（1106-Preview）和真人當中，誰的翻譯最好。

測評者會看到針對同一段原文的不同翻譯，其中真人只看譯文，GPT-4則是原文譯文都看。

結果，真人測評者有超過一半都認為TransAgents比人類翻譯得更好，8.4%認為兩者質量相當，GPT-4也認為TransAgents比自己（和人類）的翻譯質量高。

除了這些大眾評審之外，兩名專業的翻譯也認為，雖然人工翻譯更加忠實于原文，但TransAgents給出的翻譯明顯更有文學色彩，更加簡潔、在遣詞用句上體現出了語言天賦和深厚的文學表現力。

MATTR和MTLD測試指標也證明了這一點，尤其是在MTLD上，TransAgents的語言多樣性比真人和GPT-4高出了三分之一左右。

在作者展示的案例中，TransAgents會根據目標語言的習慣對翻譯內容做出調整，真人（Ref1）和GPT-4雖然翻的也沒錯，但相比之下不如TransAgents符合語言習慣。

另外在前后一致性上，TransAgents也超過了單純使用GPT-4，對相同的原文保持使用一樣的譯文。

當然，也不是說所有類型它都擅長，在前面提到的8種類型中，TransAgents在游戲、科幻愛情等類型上的表現突出，而在恐怖驚悚等類型上就比較平庸了。

△圖中虛線代表50%Win rate

同時作者也發現，TransAgents在翻譯時并非“照單全收”，而是會出現一定程度的遺漏現象。

不過從測試中未看過原文的讀者給出的評分來看，這樣的遺漏似乎沒有影響到他們的閱讀體驗。

所以，這家“翻譯公司”是如何運行的呢？

多智能體分工協作

在這個公司當中，不同的智能體分別扮演著CEO、初/高級編輯、真·翻譯、本地化專家和校對（Proofreader）這些不同的職位，除CEO外每個職位各有30人，每個人擅長的領域也有所不同，另外還有一個Ghost Agent。

這些智能體由GPT-4-Turbo驅動，每個角色都包含姓名、年齡、職位、工作年限及掌握的語言等多維度的設定。

接到“客戶”的翻譯要求后，CEO會綜合分析原文和目標語言、體裁、目標受眾等信息，從幾位高級編輯中選擇擅長領域最匹配的一位。

此時，Ghost Agent會對CEO的選擇進行評估，告知其人選是否合適，從而減少選擇失當的現象。

被選定的高級編輯會與CEO合作，再次結合任務需求和個人特點，從公司人才庫中進一步選擇初級編輯、翻譯、本地化專家和校對等團隊成員。

團隊組建好后，首先由初級編輯逐章節識別所有潛在的關鍵術語，生成初始術語表，交由高級編輯審查，刪除其中的通用術語，生成修訂后的術語表，反復迭代直到不需要進一步修改。

然后，結合術語在不同語境下的意義，高級編輯會將術語表中的關鍵術語翻譯為目標語言。

有了術語表后，初級編輯會為每一章生成詳細的章節摘要，盡可能保留關鍵信息和細節，然后還是讓高級編輯來審查，并刪除冗余或不必要的信息，讓章節摘要更加簡明扼要。

接著，高級編輯根據修訂后的章節摘要編寫全書的摘要，概括主要情節、人物和主題，并隨機選擇書中的一章，分析其語氣、風格和目標受眾，制定翻譯風格指南。

翻譯風格指南會發送給項目團隊所有成員，以確保譯文風格的一致性。

根據風格指南，公司中的真·譯員會逐章節進行初步翻譯，把初稿交給初級編輯審查，檢查是否遵循翻譯風格指南，并提出改進意見。

在此基礎之上，高級編輯會評估經過修改的譯文質量，決定是否需要進一步修改，譯員、初級編輯和高級編輯反復迭代，直到譯文質量滿足要求。

但此時得到的翻譯文本并不是終稿，還要交給本地化專家進行調整。專家會識別可能需要文化調適的內容，如習語、隱喻等等，并對這些內容進行調整，使其在保留原文意圖的基礎之上更貼近目標語言和文化。

調整后的文本會讓初級編輯和高級編輯再次審查，確保譯文在文化適應性和忠實度之間取得平衡。

這之后，還有校對人員再次檢查語法、拼寫、標點和格式錯誤，如果有修改，還要再讓編輯進一步審核。

這些流程都走完后，高級編輯會進行最后的終審，重點關注相鄰章節之間的連貫性，確保情節、人物、主題等元素在全書范圍內保持一致，一旦發現問題則發回給前面的團隊成員進行修改，直到形成最終的譯本。

如果客戶對譯本有修改意見，則會再次由高級編輯牽頭，組織相關人員進行修改，直到定稿。

不僅是在工作流程上極其嚴格規范，在客戶對譯本滿意后，高級編輯還會組織項目團隊“開會”進行項目總結，分享經驗教訓。

過程中積累的有價值的術語、翻譯技巧、文化調適策略等知識會被整理歸納，上傳至公司的知識庫，供后續項目參考。

One More Thing

TransAgents已經不是第一個由智能體組成的“公司”了，去年就有來自清華的“游戲公司”ChatDev爆紅網絡，背后所運用的核心技術就是多智能體。

如果把視線放寬，不只看“公司”，還有斯坦福的AI小鎮、清華的AI狼人殺游戲，都在使用多智能體進行著真實人類社會的模擬。

總之隨著大模型研究的深入，智能體和群體智能實驗已成AI研究最熱門方向之一，而且從這次的TransAgents來看，多智能體協同已經開始顯現出了實際效益。

（順便提一句，有網友發現，從斯坦福小鎮到ChatDev，再到這次的TransAgents，多智能體研究的作者是真的喜歡《星露谷物語》式的繪畫風格。）

當然，也有人對此表示了擔憂，認為由AI來主導翻譯，會導致語言的同質化，讓各種語言中獨特的表達消失。

更有甚者，已經跳出TransAgents本身，想到Ilya對大規模Agent合作的恐懼了……

那么你認為在群體智能這條路上還能創造出什么新奇的成果呢？歡迎在評論區曬出你的腦洞。

論文地址：https://arxiv.org/abs/2405.11804