蕾師師 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
小明隨意地塗鴉了一個頭部，再簡單地畫了個翅膀，加上一個大尾巴……再單擊「轉換」鍵。
一隻面目猙獰、皮膚粗糙、紋理細緻的大怪獸就創造出來了。
這是Google研究人員製作的AI工具 奇美拉畫家 （Chimera Painter）。
這是個線上繪畫工具，可以將塗鴉變成一個栩栩如生的怪物。
奇美拉的條件型GAN
研究人員建立了一個生物混合體的概念，就像是一個紙牌遊戲。
比如你拿到一張「鯨」卡，通過組合，可以變成一個「鯨VS大象」的嵌合體怪獸。
這個組合而成藝術作品，還能保留原始圖像的視覺特徵。
在此之前生成式對抗網路 （GAN, Generative Adversarial Networks ）被廣泛用於圖像創作上。GAN一般包含兩個模塊：
- 生成模型（Generative Model）
- 判別模型（Discriminative Model）
兩個模塊互相博弈學習產生相當好的輸出。一個優秀的GAN應用需要有良好的訓練方法，否則可能由於神經網路模型的自由性而導致輸出不理想。
例如，麻省理工學院和IBM合作，開發出了「GAN繪畫工作室」。
允許用戶上傳自選圖像以從多種角度修改其外觀，從更改對象的大小到添加全新的物體，例如如樹木、窗戶、建築物、桌子……等等。
再有，英偉達（Nvidia）最新的AI軟體將粗糙的塗鴉變成真實的風景。
而在奇美拉畫家中，與前兩者注重照片寫實的GAN不一樣，他們採用了一種稱作 條件型GAN的方法。
這種方法與一般的GAN不一樣，一般的GAN是在一系列圖片基礎上，生成器和判別器相互對抗磨合，形成全新的圖。
奇美拉畫家則是需要在生成器中輸入一張創作圖，在此基礎上，再通過GAN生成新圖。
將怪獸肢解建模，再組合渲染
為了訓練GAN，研究人員創建了10000多個全彩色圖像的數據集，包含不同生物的3D模型。
在這個生物模型的資料庫中，不僅描繪了每個生物整體的大小和形狀，還提供了肢體、器官、軀幹的分割圖。
藝術家就在這些「肢解」模型的基礎上，重新組合出新的「生物」。可以選擇頭、牙齒、軀幹、翅膀等不同部分進行繪畫。
可以看到左側有各種肢體部分選項按鈕。
然後經過GAN，選出組合得最好的模型，將之合併，輸出到Chimera Painter中。
得先製作生物紋理
在GAN模型中，在渲染對比度低的圖像部分時，會有跳格，使圖像失去空間連貫性。
為了解決這個問題，奇美拉畫家的研究人員開發了一種新的半自動化方法。
奇美拉畫家對每種所需的生物類型（例如鬣狗或獅子）都會建立一個模型。
然後，藝術家使用虛幻引擎製作了疊加在3D模型上的彩色紋理。
再將「分割圖」的單色（例如頭，耳，頸等部分）套用到模型上，確保GAN了解到藝術家指定的的結構，形狀，紋理和比例。
再次使用虛幻引擎將3D生物模型放置在簡單的3D場景中。
為了增加資料庫的模型數量，一個自動化腳本會主動採用這個3D場景。在10000張生物模型的基礎上，繼續補充，生成了10000+張圖像+分割圖。
根據生物的不同姿勢，在視點和縮放級別之間進行插值，創建出全色圖像和分割圖，形成GAN新的訓練數據集。
而每次手動創建這些數據，需要20多分鐘。
谷歌表示，奇美拉畫家為藝術家節省了數百萬小時的時間。
https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html
— 完—
本文系網易新聞•網易號特色內容激勵計劃簽約賬號【量子位】內容，未經賬號授權，禁止隨意轉載。
量子位年度智能商業大會啟幕，大咖已就位！
12月16日，李開復博士、 尹浩院士、清華 唐傑教授，以及來自 小米， 美團， 愛奇藝， 小冰， 亞信， 浪潮， 容聯， 澎思， 地平線， 7國集團等知名AI大廠的大咖嘉賓將齊聚MEET2021大會，期待關注AI的朋友報名參會、共探新形勢下智能產業發展之路。
▽早鳥票限時優惠，掃碼鎖定席位吧~
量子位 QbitAI · 頭條號簽約作者
վ’ᴗ’ ի 追蹤AI技術和產品新動態
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見~