Categories
最新消息

谷歌上線AI新玩法:隨手亂塗鴉,一鍵變怪獸


蕾師師 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

小明隨意地塗鴉了一個頭部,再簡單地畫了個翅膀,加上一個大尾巴……再單擊「轉換」鍵。

一隻面目猙獰、皮膚粗糙、紋理細緻的大怪獸就創造出來了。

谷歌上線AI新玩法:隨手亂塗鴉,一鍵變怪獸

這是Google研究人員製作的AI工具 奇美拉畫家 Chimera Painter)。

這是個線上繪畫工具,可以將塗鴉變成一個栩栩如生的怪物。

奇美拉的條件型GAN

研究人員建立了一個生物混合體的概念,就像是一個紙牌遊戲。

比如你拿到一張「鯨」卡,通過組合,可以變成一個「鯨VS大象」的嵌合體怪獸。

這個組合而成藝術作品,還能保留原始圖像的視覺特徵。

谷歌上線AI新玩法:隨手亂塗鴉,一鍵變怪獸

在此之前生成式對抗網路 (GAN, Generative Adversarial Networks )被廣泛用於圖像創作上。GAN一般包含兩個模塊:

  • 生成模型(Generative Model)
  • 判別模型(Discriminative Model)

兩個模塊互相博弈學習產生相當好的輸出。一個優秀的GAN應用需要有良好的訓練方法,否則可能由於神經網路模型的自由性而導致輸出不理想。

例如,麻省理工學院和IBM合作,開發出了「GAN繪畫工作室」。

允許用戶上傳自選圖像以從多種角度修改其外觀,從更改對象的大小到添加全新的物體,例如如樹木、窗戶、建築物、桌子……等等。

谷歌上線AI新玩法:隨手亂塗鴉,一鍵變怪獸

再有,英偉達(Nvidia)最新的AI軟體將粗糙的塗鴉變成真實的風景。

谷歌上線AI新玩法:隨手亂塗鴉,一鍵變怪獸

而在奇美拉畫家中,與前兩者注重照片寫實的GAN不一樣,他們採用了一種稱作 條件型GAN的方法。

這種方法與一般的GAN不一樣,一般的GAN是在一系列圖片基礎上,生成器和判別器相互對抗磨合,形成全新的圖。

奇美拉畫家則是需要在生成器中輸入一張創作圖,在此基礎上,再通過GAN生成新圖。

將怪獸肢解建模,再組合渲染

為了訓練GAN,研究人員創建了10000多個全彩色圖像的數據集,包含不同生物的3D模型。

在這個生物模型的資料庫中,不僅描繪了每個生物整體的大小和形狀,還提供了肢體、器官、軀幹的分割圖。

藝術家就在這些「肢解」模型的基礎上,重新組合出新的「生物」。可以選擇頭、牙齒、軀幹、翅膀等不同部分進行繪畫。

可以看到左側有各種肢體部分選項按鈕。

谷歌上線AI新玩法:隨手亂塗鴉,一鍵變怪獸

然後經過GAN,選出組合得最好的模型,將之合併,輸出到Chimera Painter中。

谷歌上線AI新玩法:隨手亂塗鴉,一鍵變怪獸

得先製作生物紋理

在GAN模型中,在渲染對比度低的圖像部分時,會有跳格,使圖像失去空間連貫性。

谷歌上線AI新玩法:隨手亂塗鴉,一鍵變怪獸

為了解決這個問題,奇美拉畫家的研究人員開發了一種新的半自動化方法。

奇美拉畫家對每種所需的生物類型(例如鬣狗或獅子)都會建立一個模型。

然後,藝術家使用虛幻引擎製作了疊加在3D模型上的彩色紋理。

谷歌上線AI新玩法:隨手亂塗鴉,一鍵變怪獸

再將「分割圖」的單色(例如頭,耳,頸等部分)套用到模型上,確保GAN了解到藝術家指定的的結構,形狀,紋理和比例。

谷歌上線AI新玩法:隨手亂塗鴉,一鍵變怪獸

再次使用虛幻引擎將3D生物模型放置在簡單的3D場景中。

為了增加資料庫的模型數量,一個自動化腳本會主動採用這個3D場景。在10000張生物模型的基礎上,繼續補充,生成了10000+張圖像+分割圖。

根據生物的不同姿勢,在視點和縮放級別之間進行插值,創建出全色圖像和分割圖,形成GAN新的訓練數據集。

而每次手動創建這些數據,需要20多分鐘。

谷歌表示,奇美拉畫家為藝術家節省了數百萬小時的時間。

https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html

本文系網易新聞•網易號特色內容激勵計劃簽約賬號【量子位】內容,未經賬號授權,禁止隨意轉載。

量子位年度智能商業大會啟幕,大咖已就位!

12月16日,李開復博士、 尹浩院士、清華 唐傑教授,以及來自 小米美團愛奇藝小冰亞信浪潮容聯澎思地平線7國集團等知名AI大廠的大咖嘉賓將齊聚MEET2021大會,期待關注AI的朋友報名參會、共探新形勢下智能產業發展之路。

早鳥票限時優惠,掃碼鎖定席位吧~

量子位 QbitAI · 頭條號簽約作者

վ’ᴗ’ ի 追蹤AI技術和產品新動態

一鍵三連「分享」、「點贊」和「在看」

科技前沿進展日日相見~