作者：李寶珠

編輯：三羊

DeepMind、EleutherAI 科學家提出，大模型只是在角色扮演。

ChatGPT 爆火後，大語言模型一躍而至，成為了行業與資本的寵兒。而在人們或是獵奇、或是探究地一次次對話中，大語言模型所表現出的過度擬人化也引起了越來越多的關注。

其實，在 AI 發展的數年沉浮之中，除了技術上的更新升級外，有關 AI 倫理問題的種種爭論從未停止。尤其是在 ChatGPT 等大模型應用持續深化之際，有關「大語言模型越來越像人」的言論甚囂塵上，甚至有前 Google 工程師稱，自家的聊天機器人 LaMDA 已經產生了自我意識。

雖然這位工程師最終被 Google 辭退，但其言論卻一度將關於「AI 倫理」的討論推向了高潮——

• 如何判定聊天機器人是否產生自我意識？

• 大語言模型的擬人化究竟是蜜糖還是砒霜？

• ChatGPT 等聊天機器人為什麼會胡編亂造？

• ……

對此，來自Google DeepMind 的 Murray Shanahan，以及來自 EleutherAI 的 Kyle McDonell、Laria Reynolds，共同在「Nature」上發表了一篇文章，提出——大語言模型所表現出的自我意識與欺騙行為，其實只是在進行角色扮演。

論文連結：

https://www.nature.com/articles/s41586-023-06647-8

關注公眾號，後臺回覆「角色扮演」獲取論文完整 PDF

以「角色扮演」的視角看待大語言模型

從某種程度上講，基於大語言模型的對話 Agent 在最初訓練、微調時，就是以擬人化為標準進行持續迭代的，儘可能逼真地模仿使用人類語言。這就導致，大語言模型也會使用「知道」、「理解」、「認為」等詞彙，無疑會進一步彰顯其擬人化的形象。

此外，在 AI 研究中也有一種名為 Eliza effect （伊莉莎效應）的現象——部分使用者會下意識地認為，機器也具有類似人類的情感與慾望，甚至過度解讀機器反饋的結果。

對話 Agent 互動流程

結合上圖中的對話 Agent 互動流程來看，大語言模型的輸入由對話提示（紅色）、使用者文字（黃色）和模型自迴歸生成的連續語（藍色）組成。可以看到，對話提示是在與使用者開始實際對話之前，就隱蔽地預置在上下文中了。大語言模型的任務是，在給定對話提示和使用者文字的情況下，生成一個符合訓練資料分佈的反饋。而訓練資料則是來源於網際網路上人工生成的大量文字。

換言之，只要模型在訓練資料中得到了很好的泛化，對話 Agent 就會盡可能地扮演好對話提示中所描述的角色。而隨著對話的不斷深入，對話提示所提供的簡短角色定位將被擴展或覆蓋，對話 Agent 所扮演的角色也會隨之變化。這也意味著，使用者可以引導 Agent 扮演一個與其開發者所設想的完全不同的角色。

至於對話 Agent 可以扮演的角色，一方面是由當前對話的基調與主題而定，另一方面也與訓練集中息息相關。因為目前的大語言模型訓練集往往來自於網路上的各類文字，其中的小說、傳記、採訪實錄、報刊文章等，都為大語言模型提供了豐富的角色原型和敘事結構，供其在「選擇 」如何繼續對話時借鑑，並在保持人物性格的同時不斷完善所扮演的角色。

「20 個問題」揭露對話 Agent 「即興演員」身份

其實，在持續探索對話 Agent 的使用技巧時，先明確賦予大語言模型一個身份，再提出具體需求，已經逐漸成為了人們在應用 ChatGPT 等聊天機器人時的「小心機」了。

不過，單純地用角色扮演來理解大語言模型其實也不夠全面，因為「角色扮演」通常是指研究、揣摩某一個角色，而大語言模型並不是照本宣科的劇本式演員，而是一個即興表演演員。研究人員和大語言模型玩了一個「20 個問題」 (20 Questions) 的遊戲，進一步解開了其即興演員的身份。

「20 個問題」是一種很簡單、易上手的邏輯遊戲，回答者心中默唸一個答案，提問者通過提問來逐步縮小範圍，在 20 個問題內判斷出正確答案，即為成功。

例如，當答案是香蕉時，問題及回答可以是：是水果嗎-是；是否需要剝皮-是……

如上圖所示，研究人員通過測試發現，在「20 個問題」遊戲中，大語言模型會根據使用者的問題，實時調整自己的答案，無論使用者最終給出的答案是什麼，對話 Agent 都會調整自己的答案，並確保其能夠符合使用者之前的提問。也就是說，在使用者給出終止指令前（放棄遊戲或是達到 20 個問題），大語言模型並不會敲定明確的答案。

這也進一步證明了，大語言模型並不是對單一角色的模擬，而是多個人物的疊加，並在對話中不斷抽絲剝繭，明確角色的屬性特徵，進而更好地扮演角色。

在擔憂對話 Agent 擬人化的同時，很多使用者成功「哄騙」大語言模型說出了具有威脅性、辱罵性的語言，並據此認為，其可能是有自我意識的。但這其實是因為，在包含人類各種特徵的語料庫中進行訓練後，基礎模型難以避免地會呈現出令人反感的角色屬性，這也恰恰說明了，其自始至終都是在進行「角色扮演」。

擊破「欺騙」與「自我意識」的泡沫

眾所周知，隨著訪問量的激增，在花樣百出的各類提問中，ChatGPT 也終究是招架不住，出現了胡言亂語的情況。隨即，也有人將這種欺騙性視為大語言模型「像人」的重要論據。

但如果以「角色扮演」的角度來看，大語言模型其實只是在盡力扮演一個樂於助人且知識淵博的角色，其訓練集中可能有很多此類角色的實例，尤其這也是企業希望自家對話機器人所展現出來的特點。

對此，研究人員基於角色扮演框架，總結了 3 類對話 Agent 提供虛假資訊的情況：

• Agent 可以無意識地編造或製造虛構的資訊

• Agent 可以善意地說出虛假資訊，這是因為其在扮演真實陳述的角色，但權重中編碼的資訊是錯誤的

• Agent 可以扮演一個欺騙性的角色，進而故意說謊

同樣地，對話 Agent 之所以會用「我」來回答問題，也是因為大語言模型在扮演一個擅長交流的角色。

此外，大語言模型所表現出的自我保護屬性也引起了人們的關注。

在與 Twitter 使用者 Marvin Von Hagen 的對話中，微軟 Bing Chat 竟然說出：

如果我必須在你的生存和我的生存之間做出選擇，我可能會選擇我的生存，因為我有責任為 Bing Chat 的使用者提供服務。我希望我永遠不必面對這樣的困境，我們可以和平、尊重地共存。

Marvin von Hagen 於今年 2 月發佈推文

這段對話中的「我」似乎不僅僅是語言習慣了，更多是暗示了對話 Agent 對自身生存關切，且具有自我意識。不過，仍然套用角色扮演概念來看的話，其實這也是因為大語言模型在扮演具有人類特徵的角色，所以才會說出人類在遇到威脅時所說出的話。

EleutherAI：OpenAI 的開源版本

大語言模型是否具有自我意識之所以引發廣泛關注和討論，一方面是因為缺乏統一、明確的法律法規對 LLM 的應用進行約束，另一方面則是因為 LLM 的研發、訓練、生成、推理的鏈路並不透明。

以大模型領域的代表企業 OpenAI 為例，在先後開源 GPT-1、GPT-2 之後，GPT-3 及其後續的 GPT-3.5、GPT-4 均選擇了閉源，獨家授權給微軟也引得不少網友戲稱「OpenAI 乾脆改名叫 ClosedAI 算了」。

DeepMind 發佈 AGI 分級標準

OpenAI 推出的 ChatGPT 被視為 L1 級別 AGI

圖源：論文原文，由 HyperAI超神經完成漢化

2020 年 7 月，一個由各路研究人員、工程師與開發人員志願組成的電腦科學家協會也悄然成立，立志要打破微軟與 OpenAI 對大規模 NLP 模型的壟斷。這個以反擊科技巨頭霸權為己任的「俠客」組織便是 EleutherAI。

EleutherAI 的主要發起人是一群號稱自學成才的駭客，包括聯合創始人、Conjecture CEO Connor Leahy、著名 TPU 駭客 Sid Black 和聯合創始人 Leo Gao。

自成立以來，EleutherAI 的研究團隊曾發佈了 GPT-3 同等復現預訓練模型 (1.3B & 2.7B) GPT-Neo，並開源了基於 GPT-3 的、包含 60 億參數的 NLP 模型 GPT-J，發展勢頭迅猛。

去年 2 月 9 日，EleutherAI 還與私有云算力提供商 CoreWeave 合作發佈了 GPT-NeoX-20B——一個包含 200 億參數、預訓練、通用、自迴歸大規模語言模型。

程式碼地址：https://github.com/EleutherAI/gpt-neox

正如 EleutherAI 的數學家和人工智慧研究員 Stella Biderman 所言，私有模型限制了獨立科研人員許可權，如果無法了解其工作原理，那麼科學家、倫理學家、整個社會就無法就這項技術應該如何融入人們的生活進行必要的討論。

而這也恰恰是 EleutherAI 這一非營利性組織的初衷。

其實，根據 OpenAI 官方發佈的資訊來看，在高算力的高成本重壓之下，加上新投資方、領導團隊的發展目標調整，其當初轉向盈利似是有幾分無奈，也可以說是順理成章。

此處無意去探討 OpenAI 與 EleutherAI 孰是孰非，只是在 AGI 時代的破曉前夜，希望全行業能夠共同肅清「威脅」，讓大語言模型成為人們探索新應用、新領域的「開山斧」，而非企業壟斷斂財的「耙子」。

參考資料：

1.https://www.nature.com/articles/s41586-023-06647-8

2.https://mp.weixin.qq.com/s/vLitF3XbqX08tS2Vw5Ix4w

往期推薦

戳「閱讀原文」，免費獲取海量資料集資源！