機器之心報道

機器之心編輯部

游戲行業(yè)可能要變天？

(相關(guān)資料圖)

通用 AI 大模型 GPT-4 進游戲了，進的是開放世界，而且玩出了高水平。

昨天，英偉達發(fā)布的 VOYAGER 給 AI 圈內(nèi)帶來了一點小小的震撼。

VOYAGER 是第一個大模型驅(qū)動，可以終身學習的游戲智能體，著名 AI 學者，剛回 OpenAI 的 Andrej Karpathy 看論文了之后表示：還記得在大約 2016 年的時候，在像《我的世界》這樣的環(huán)境里開發(fā) AI 代理是多么絕望的一件事嗎？

現(xiàn)在畫風變了 —— 正確的做法是忘記所有這些，首先用全網(wǎng)數(shù)據(jù)去訓練一個大語言模型（LLM）學習世界知識，推理和工具使用（編碼），然后以英偉達這種方式讓它去解決問題。

Karpathy 最后總結(jié)道：如果在 2016 年讀到這種「無梯度」的代理方法，我肯定會大驚失色。

專家說完了，其他人的想法很直接：看起來離通用人工智能（AGI）更近了一步。

也有人在設(shè)想未來游戲的場景，由大模型帶動 NPC，勃勃生機萬物競發(fā)的境界躍然眼前：

我們知道，引領(lǐng)科技潮流的 ChatGPT 是一種文本交互的聊天機器人，又因為 GPT-4 升級了多模態(tài)能力，人們經(jīng)常預言通用 AI 的下一步在于把這種大模型放在機器人里，讓它與現(xiàn)實世界產(chǎn)生交互。

而在機器人與現(xiàn)實 / 虛擬世界交互的方式上，類似 GPT-4 這樣的先進大模型解鎖了一種新范式：「訓練」是代碼執(zhí)行而非梯度下降?！赣柧毢玫哪Ｐ汀故?VOYAGER 迭代組合的技能代碼庫，而不是浮點數(shù)矩陣。現(xiàn)在，我們正在將無梯度架構(gòu)推向極限。

在《我的世界》里，VOYAGER 迅速成為了經(jīng)驗豐富的探險家，它獲得的獨特物品增加了 3.3 倍，行進距離增加了 2.3 倍，解鎖關(guān)鍵科技樹里程碑的速度比之前的方法快了 15.3 倍。

英偉達把 VOYAGER 的研究進行了徹底的開源：

論文鏈接：https://arxiv.org/pdf/2305.16291.pdf

項目主頁：https://voyager.minedojo.org/

GitHub：https://github.com/MineDojo/Voyager

研究背景

構(gòu)建具有通用能力的具身智能體，在開放的世界中不斷探索、計劃和發(fā)展新的技能，是人工智能領(lǐng)域的一個巨大挑戰(zhàn)。傳統(tǒng)的方法采用強化學習和模仿學習的方法，這些方法基于原始行為運作，對于系統(tǒng)性的探索、可解釋性和概括性來說，可能是個挑戰(zhàn)。

近期，基于大型語言模型（LLM）的智能體在這些方面獲得了突破，利用預訓練 LLM 中封裝的世界知識，生成一致的行動計劃或可執(zhí)行的策略。它們被應用于像游戲和機器人這樣的體現(xiàn)性任務，以及沒有體現(xiàn)性的 NLP 任務。然而，這些智能體不是終身學習者，不能在較長的時間跨度內(nèi)逐步獲得、更新、積累和遷移知識。

與人工智能中研究的大多數(shù)其他游戲不同，《我的世界》沒有強加一個預定的最終目標或固定的故事情節(jié)，而是提供了一個具有無限可能性的獨特游樂場。一個高效的終身學習智能體應該具有與人類玩家類似的能力：

（1）根據(jù)其當前的技能水平和世界狀態(tài)提出合適的任務，例如，如果它發(fā)現(xiàn)自己處于沙漠而不是森林，就會在打鐵前學會獲取沙子和仙人掌；

（2）根據(jù)環(huán)境反饋完善技能，并將掌握的技能存入記憶，以便將來在類似情況下重復使用（例如，打僵尸與打蜘蛛類似）；

（3）不斷探索世界，以自驅(qū)動的方式尋找新任務。

VOYAGER 是第一個由 LLM 驅(qū)動的體現(xiàn)終身學習的智能體，可以在《我的世界》中驅(qū)動探索，掌握廣泛的技能，并在沒有人類干預的情況下不斷地做出新的發(fā)現(xiàn)。

研究者使用了代碼作為行動空間，而不是低級的運動指令，因為程序可以自然地表示時間上的擴展和組合行動，這對于《我的世界》中的許多長線任務是至關(guān)重要的。

VOYAGER 通過 prompt 和上下文學習與黑盒子 LLM（GPT-4）互動。值得注意的是，該方法避開了對模型參數(shù)訪問和明確的基于梯度的訓練或微調(diào)的需要。

具體地說，VOYAGER 試圖解決由自動課程提出的逐漸困難的任務。該課程是由 GPT-4 根據(jù) 「盡可能多發(fā)現(xiàn)不同的東西」的總體目標生成的。這種方法可以被看作是一種上下文式的新穎性搜索。通過存儲有助于成功解決某個任務的行動程序，VOYAGER 逐步建立起一個技能庫。每個程序都由其描述的嵌入來索引，未來可以在類似情況下進行檢索。復雜的技能則可以通過組成更簡單的程序來合成，這使 VOYAGER 的能力隨著時間的推移迅速變得「復合」，緩解了其他持續(xù)學習方法中的「災難性遺忘」。

方法

VOYAGER 由三個新型組件組成： ( 1 ) 自動課程，用于提出開放式探索的目標； ( 2 ) 技能庫，用于開發(fā)越來越復雜的行為； ( 3 ) 迭代 prompt 機制，用于為具身控制生成可執(zhí)行代碼。

自動課程

具身智能體在開放模式下會遇到各種不同復雜程度的目標環(huán)境。自動課程這個組件為開放式探索提供了許多好處，實現(xiàn)了具有挑戰(zhàn)性但可管理的學習過程，培養(yǎng)了好奇心驅(qū)動的內(nèi)在動機，供智能體學習和探索，并鼓勵開發(fā)通用和靈活的問題解決策略。

自動課程組件利用互聯(lián)網(wǎng)規(guī)模的知識，通過促使 GPT-4 提供源源不斷的新任務或挑戰(zhàn)，提供非常強大的適應性和響應能力。自動課程會根據(jù)探索進度和智能體的狀態(tài)使探索最大化。該課程由 GPT-4 基于「發(fā)現(xiàn)盡可能多的不同事物」的總體目標生成。

技能庫

隨著自動課程不斷提出越來越復雜的任務，VOYAGER 需要有一個技能庫，作為學習和進化的基礎(chǔ)。受程序的通用性、可解釋性和普遍性的啟發(fā)，研究團隊用可執(zhí)行代碼表示每項技能，這些代碼支持臨時擴展，以完成自動課程提出的特定任務。

具體來說，技能庫的頂部用于添加新技能。每個技能都通過其描述的嵌入進行索引，將來可以在類似情況下檢索到。

技能庫的底部是技能檢索。當自動課程提出新任務時，技能庫會執(zhí)行查詢以確定最相關(guān)的 5 項技能。復雜的技能可以通過編寫更簡單的程序來合成。這種做法讓 VOYAGER 的能力隨著時間的推移迅速增強，并緩解了「災難性遺忘」問題。

迭代 prompt 機制

研究團隊通過三種類型的反饋引入自我提升的迭代 prompt 機制，包括環(huán)境反饋、執(zhí)行錯誤、檢查任務成功與否的自我驗證。

下圖（左）是一個環(huán)境反饋的例子：GPT-4 意識到在制作木棍之前還需要 2 個木板。執(zhí)行錯誤的例子如下圖（右）所示， GPT-4 意識到它應該制作木斧而不是灌木斧，因為《我的世界》中沒有灌木斧。

下圖是一個自我驗證的例子。通過向 GPT-4 提供智能體的當前狀態(tài)和任務，GPT-4 會充當「評論者」并通知程序是否完成了任務。此外，如果任務失敗，它會「批評」智能體并提供如何完成任務的建議。

實驗

在實驗中，研究者系統(tǒng)對比了 VOYAGER 和基線的探索性能、技術(shù)樹的掌握情況、地圖覆蓋率以及對新世界中新任務的零樣本泛化能力。

他們利用 OpenAI 的 gpt-4-0314 和 gpt-3.5-turbo-0301 的 API 來完成文本，同時利用 text-embedding-ada-002 API 進行文本嵌入。所有的溫度設(shè)置為 0，除了 automatic curriculum 需要使用溫度 = 0.1 來鼓勵任務多樣性。模擬環(huán)境建立在 MineDojo 的基礎(chǔ)上，并利用 Mineflayer 的 JavaScript APIs 進行電機控制。

評估結(jié)果如下：

明顯更強的探索能力

VOYAGER 的優(yōu)勢體現(xiàn)在它能夠不斷取得新的進展（如圖 1），比如能在 160 次 prompt 迭代中發(fā)現(xiàn)了 63 個獨特的項目，數(shù)量是同類的 3.3 倍。另一方面，AutoGPT 在發(fā)現(xiàn)新項目方面明顯滯后，而 ReAct 和 Reflexion 則難以取得重大進展。

科技樹的掌握

《我的世界》中技術(shù)樹測試的是智能體制作和使用工具層次的能力。通過這棵樹（木制工具→石制工具→鐵制工具→鉆石工具）的進展需要智能體掌握系統(tǒng)性和構(gòu)成性的技能。

在表 1 中，分數(shù)表示三次總運行中的成功試驗次數(shù)。數(shù)字是三次試驗中平均的 prompt 迭代次數(shù)，迭代次數(shù)越少，方法就越有效。與基線相比，VOYAGER 解鎖木質(zhì)等級的速度快了 15.3 倍（就 prompt 迭代而言），解鎖石質(zhì)等級快了 8.5 倍，解鎖鐵質(zhì)等級快了 6.4 倍，VOYAGER 是唯一能解鎖科技樹中鉆石等級的模型。

廣泛的地圖遍歷

與基線相比，VOYAGER 的行動范圍能夠覆蓋 2.3 倍的距離，可穿越各種地形，而基線智能體往往發(fā)現(xiàn)自己被限制在本地，這大大阻礙了他們發(fā)現(xiàn)新知識的能力（圖 7）。

對未見任務的零樣本泛化能力

為了評估零樣本泛化能力，研究者清除了智能體的庫，將其重置到一個的實例化的世界，并用未見過的任務來測試。對于 VOYAGER 和 AutoGPT，他們利用 GPT-4 將任務分解為一系列的子目標。

如表 2 和圖 8 所示，VOYAGER 可以持續(xù)地解決所有的任務，而基線不能在 50 次 prompt 迭代內(nèi)解決任何任務。值得注意的是，從終身學習中構(gòu)建的技能庫不僅增強了 VOYAGER 的性能，而且也給 AutoGPT 帶來了提升。這表明，技能庫是一個多功能的工具，可以隨時被其他方法所采用，有效地作為一種即插即用的資產(chǎn)來提高性能。

消融研究

研究者在 VOYAGER 中消融了 6 個設(shè)計選擇（自動課程、技能庫、環(huán)境反饋、執(zhí)行錯誤、自我驗證和用于代碼生成的 GPT-4），并研究它們對探索性能的影響，結(jié)果如圖 9 所示。

VOYAGER 的性能優(yōu)于所有替代方案，表明了每個組件的關(guān)鍵作用。此外，GPT-4 在代碼生成方面明顯優(yōu)于 GPT-3.5。

最后，英偉達的研究者也指出了一些局限性和未來的工作方向。

首先是成本問題。GPT-4 API 導致了巨大的成本。它比 GPT-3.5 的成本高 15 倍。然而，VOYAGER 需要 GPT-4 實現(xiàn)代碼生成質(zhì)量的飛躍，這是 GPT-3.5 和開源的 LLM 都無法提供的。

其次，盡管有迭代 prompt 機制，但仍有智能體卡住而無法生成正確技能的情況。自動課程有靈活性，可以在以后的時間里重新嘗試這項任務。自我驗證模塊偶爾也可能失敗，例如不能識別出蜘蛛串正是打倒蜘蛛的成功信號。

然后是大模型的「幻覺」問題。自動課程偶爾會提出無法完成的任務，例如可能要求智能體制作游戲中并不存在的「銅劍」或「銅胸甲」?；糜X也會發(fā)生在代碼生成過程中，例如 GPT-4 傾向于使用鵝卵石作為燃料輸入，這在游戲中是一個無效的燃料來源。此外，它可能會調(diào)用所提供的控制原始 API 中沒有的函數(shù)，導致代碼執(zhí)行錯誤。研究者認為，GPT API 模型的改進以及微調(diào)開源 LLM 的新技術(shù)將在未來克服這些限制。

更多研究細節(jié)，可參考原論文。

THE END

轉(zhuǎn)載請聯(lián)系本公眾號獲得授權(quán)

投稿或?qū)で髨蟮溃篶ontent@jiqizhixin.com