整理 / 王丹

在近日舉辦的 2023 游戲開發(fā)者大會（Game Developers Conference）上，騰訊 AI Lab 發(fā)表了題為《AI Enhanced Procedural City Generation》的演講，提出自研的 3D 虛擬場景自動生成解決方案，幫助游戲開發(fā)者以更低成本創(chuàng)造風(fēng)格多樣、貼近現(xiàn)實的虛擬城市，提升 3D 虛擬場景的生產(chǎn)效率。

【資料圖】

《AI Enhanced Procedural City Generation》效果展示

會上，騰訊展示了使用 AI 從零開始迅速搭建一座 3D 虛擬城市的過程，所建虛擬城市面積達(dá)到 25 平方公里，包含 130 千米路網(wǎng)、 4416 棟建筑以及超過 38 萬個室內(nèi)映射。這樣一座大規(guī)模城市的 " 構(gòu)建 "，過去往往需要多名美術(shù)師以年為單位的時間才能完成，而結(jié)合 AI 只需要數(shù)周。

團(tuán)隊重點分享了城市布局生成、建筑外觀生成、室內(nèi)映射生成三大核心能力，以下為具體介紹。

01

城市布局生成

城市布局的真實感與多樣化，主要來源于兩方面：道路布局和建筑布局。

第一步，創(chuàng)造真實感的道路布局?，F(xiàn)實中的城市路網(wǎng)復(fù)雜多樣，布局疏密彎曲，且不少城市獨具風(fēng)格。傳統(tǒng)程序化生成的路網(wǎng)通常橫平豎直、風(fēng)格單一，要實現(xiàn)不同城市風(fēng)格必須手動設(shè)計和反復(fù)修改，耗時至少一周。

騰訊 AI Lab 的解決方案，是讓 AI 學(xué)習(xí)現(xiàn)實世界路網(wǎng)，再自動創(chuàng)造新道路，不僅生成結(jié)果更貼近現(xiàn)實，且操作簡便高效：用戶只需要輸入城市主干道和海岸線，模型在 1 分鐘內(nèi)即可填充合理、多樣的路網(wǎng)細(xì)節(jié)。同時，工具支持實時修改輸入，快速生成不同變體；也可在生成結(jié)果上進(jìn)行細(xì)節(jié)微調(diào)，得到更符合需求的路網(wǎng)。整個過程僅需不到 30 分鐘，相比手動設(shè)計效率提升近 100 倍。

調(diào)整輸入（左）快速生成不同路網(wǎng)（右）

具體到技術(shù)實現(xiàn)，首先是數(shù)據(jù)的準(zhǔn)備，包括數(shù)據(jù)的提取、篩選、裁剪及繪制。然后，訓(xùn)練一個擴散模型來學(xué)習(xí)這些數(shù)據(jù)的規(guī)律，得到不同城市風(fēng)格的路網(wǎng)生成模型，最后將該模型嵌入到路網(wǎng)生產(chǎn)管線中。

路網(wǎng)生成模型

第二步，在路網(wǎng)基礎(chǔ)上實現(xiàn)多樣化的建筑布局?，F(xiàn)有的程序化生成技術(shù)，同樣只能生成風(fēng)格有限的建筑輪廓，且建筑排布規(guī)律單一，實現(xiàn)多樣性仍要依賴手工設(shè)計。

為解決以上問題，騰訊 AI Lab 基于大量真實建筑的輪廓數(shù)據(jù)及建筑排布信息，通過生成技術(shù)學(xué)習(xí)數(shù)據(jù)中的規(guī)律，從而生成大量真實多樣且符合現(xiàn)實世界規(guī)律的建筑輪廓及建筑排布，最后把這些生成的建筑單元填充到路網(wǎng)中，從而完成建筑布局的制作。以演講展示的 demo 為例，操作者在路網(wǎng)基礎(chǔ)上，用 10 分鐘就完成了這一過程。

多樣化建筑布局

02

建筑外觀生成

完成城市布局生成后，下一步是給建筑設(shè)計獨特的外觀。目前常用的程序化生成管線包含以下步驟：收集圖片、定義建筑拆解組合方式、準(zhǔn)備 3D 素材庫、參考照片制作獨特建筑、已有建筑隨機組合出更多變體、增加裝飾。其中主要效率瓶頸在于參考照片制作單個獨特建筑，所以通常只會制作少量獨特建筑，而依賴隨機組合產(chǎn)生的多樣性較為有限，容易讓生成的場景產(chǎn)生重復(fù)感。

騰訊 AI Lab 的解決方案將 AI 與程序化生成結(jié)合，加速了 2D 照片到 3D 建筑的制作過程，將單個獨特建筑的制作時間降低至 17.5 分鐘，使低成本、高效率生成大量多樣化建筑外觀成為可能。同時，借助自研的圖像生成能力，批量生成大量外觀獨特的 2D 建筑照片，提升了建筑外觀的豐富度。

靜態(tài)圖為 AI 生成的 2D 照片，動態(tài)圖為基于照片生成的 3D 建筑

通過單張 2D 照片生成 3D 建筑，其難點是對 3D 信息的準(zhǔn)確估計。結(jié)合建筑的結(jié)構(gòu)特點，騰訊 AI Lab 創(chuàng)新地提出合理的先驗假設(shè)，有效解決了從 2D 照片提取 3D 信息的難題，較好地實現(xiàn)了從單張照片提取 3D 建筑的立面結(jié)構(gòu)和表觀細(xì)節(jié)（如凸起的陽臺、墻面凹凸等）。

從輸入照片中提取建筑立面結(jié)構(gòu)和表觀細(xì)節(jié)

然后，將照片中檢測到的各個單元，如窗戶和陽臺，自動映射到預(yù)先準(zhǔn)備好的 3D 素材，以及將墻面映射到預(yù)先準(zhǔn)備好的材質(zhì)。以上提取的信息接入程序化管線即可完成圖片到 3D 建筑的生成。

將照片中檢測到的單元映射到 3D 素材

對于圖像中不可見的部分（如房頂）和易遮擋的部分（如底層），騰訊 AI Lab 通過程序化管線補全得到了完整建筑?；谝陨瞎芫€他們制作了 157 棟獨特建筑，借助這些豐富的建筑立面資產(chǎn)，即可變化出數(shù)以千計的建筑外觀。

批量生成建筑立面

03

室內(nèi)映射生成

為了讓城市更具真實感，通常會增加建筑窗戶上的室內(nèi)效果。實現(xiàn)的第一步是構(gòu)建虛擬房間，騰訊 AI Lab 的方法是將現(xiàn)實中的房間拍照重建。相比于傳統(tǒng)美術(shù)建模，可以直接獲取現(xiàn)實房間的豐富內(nèi)容和細(xì)節(jié)，提高制作效率。

具體步驟包括，給一個房間拍攝多張連續(xù)照片，估計相機位姿，訓(xùn)練 NeRF 模型，合成新視角圖片作為后續(xù)材質(zhì)制作的輸入。

室內(nèi)映射生成步驟

考慮游戲運行性能，騰訊 AI Lab 基于 NeRF 輸出的給定視角的顏色圖和深度圖，制作內(nèi)部映射材質(zhì)實現(xiàn)偽三維效果。相比于業(yè)內(nèi)常見的兩視圖方案（下圖左），騰訊 AI Lab 采用三視圖方案（下圖右），顯著減少渲染效果中的拖影，同時兼顧性能。

最后，用程序化 UV 計算，將這些 " 偽 3D" 房間填充到之前生成好的建筑外墻上，城市里即充滿了各式各樣的房間。

程序化 UV 計算步驟

增加室內(nèi)映射后的建筑效果

基于以上技術(shù)，真實感虛擬城市所需要的多樣化城市布局、多風(fēng)格城市建筑等核心要素已基本具備。然后，借助程序化生成，完成路面、植被等標(biāo)準(zhǔn)元素，再把所有元素轉(zhuǎn)移至游戲引擎中，增加動態(tài)變化天氣、車流與行人等，一個活靈活現(xiàn)的虛擬城市輕松落成。

騰訊 AI Lab 表示，團(tuán)隊已在 AI 與游戲應(yīng)用的結(jié)合上取得多項成果，包括運用 AI 進(jìn)行游戲平衡性測試、游戲新手教學(xué)、關(guān)卡生成等。未來面向游戲行業(yè)，騰訊 AI Lab 將聚焦 AI Bot 與 AIGC 兩大方向，探索 AI 與游戲產(chǎn)業(yè)的深度融合，覆蓋從游戲研發(fā)到運營的全鏈路 AI 解決方案，助力游戲產(chǎn)業(yè)發(fā)展。

游戲葡萄招聘內(nèi)容編輯，