擴散模型就是自動編碼器! DeepMind研究學者提出新觀點並論證


明敏發自凹非寺

量子位| 公眾號QbitAI

由於在影像生成效果上可以與GAN媲美,擴散模型最近成為了AI界關注的焦點。

谷歌、OpenAI過去一年都提出了自家的擴散模型,效果也都非常驚豔。

另一邊,劍橋大學的學者David Krueger提出,自動編碼器會不會捲土重來成為研究熱潮。

就在最近,DeepMind的一位研究科學家Sander Dieleman基於以上兩股熱潮,提出了自己的觀點:

擴散模型就是自動編碼器啊!

這一觀點立刻引起了不少網友的注意,大家看了Sander的闡述,都覺得說得很有道理,並且給了自己不少啟發。

那麼,他到底是如何論證自己這一觀點的呢?

我們一起來看。

去噪自動編碼器=擴散模型

想要看透這二者之間的聯絡,首先要看看它們自身的特點。

擴散模型是一種新的影像生成方法,其名字中的“擴散”本質上是一個迭代過程。

它最早於2015提出,是定義了一個馬爾可夫鏈,用於在擴散步驟中緩慢地向資料新增隨機噪聲,然後透過學習逆轉擴散過程從噪聲中構建所需的資料樣本。

相比GAN、VAE和基於流的生成模型,擴散模型在效能上有不錯的權衡,最近已被證明在影像生成方面有很大的潛力,尤其是與引導結合來兼得保真度和多樣性。

比如去年穀歌提出的級聯(Cacade)擴散模型SR3,就是以低解析度影像為輸入,從純噪聲中構建出對應的高解析度影像。

OpenAI的GLIDE、ADM-G也是用上了擴散模型,以此能生成更加更真實、多樣、複雜的影像。

△GLIDE模型效果

接下來,再來看自動編碼器的原理。

推薦文章  資本寒冬已至,企微生態裡的SCRM賽馬為何火熱

自動編碼器可以理解為一個試圖去還原原始輸入的系統,模型如下所示:

它的主要目的是將輸入轉換為中間變數,然後再將中間變數轉化為輸出,最後對比輸入和輸出,使它們二者之間無限接近。

當模型框架中存在瓶頸層或者輸入被損壞時,自動編碼器能夠學習輸入本質特徵的特性,就可以大顯身手了。

在這裡,作者主要拿來和擴散模型對比的,便是去噪自動編碼器。

它可以將損壞資料作為輸入,透過訓練來預測未損壞的原始資料作為輸出。

看到這裡是不是有點眼熟了?

向輸入中加入噪聲,不就是一種破壞輸入的方法嗎?

那麼,去噪自動編碼器和擴散模型,原理上不就是有著異曲同工之妙嗎?

二者是如何等價的?

為了驗證自己的這一想法,作者從原理方面對擴散模型進行了拆解。

擴散模型的關鍵,在於一個分數函式(score function)

需要注意的是,這和

不同。 (求梯度的引數不同)

透過後者,我們可以知道如何改變模型引數來增加向下輸入的可能性,而前者能夠讓我們知道如何改變輸入本身來增加可能性。

在訓練過程中,希望在去噪中的每一點都使用相同的網路。

為了實現這個,需要引入一個額外的輸入

,由此可以看到在去噪中進行到了哪一部分

當t=0時,對應無噪聲資料;t=1時,對應純噪聲資料。

推薦文章  王亞平在太空演唱《聽我說謝謝你》,網友調侃她不知這首歌的評價

訓練這個網路的方法,就是用新增噪聲

來破壞輸入x。然後從

中預測

需要注意的是,在這裡方差大小取決於t,因為它可以對應特定點的噪聲水平。損失函式通常使用均方誤差(MSE),有時會用λ

假設λ

或x(它們二者是等價的),在這裡可以用公式:

為了確保它們是等價的,可以考慮使用訓練模型

來預測

,並加上一個新的殘差連線。從輸入到輸出的比例係數均為-1,這個調整後的模型則實現了:

由此,一個擴散模型便逐漸變成一個去噪自動編碼器了!

One More Thing

不過部落格的作者也強調,雖然擴散模型和去噪自動編碼器的效果等價,但是二者之間不可完全互換。

並且以上得到的這個去噪自動編碼器,和傳統型別也有不同:

第一,附加輸入t可以使單個模型用一組共用引數來處理噪聲級別不同的情況;

第二,因為更加關注模型的輸出,所以內部沒有瓶頸層,這可能會導致“弊大於利”的結果。

而作者更想強調的是這二者之間存在的聯絡。

此外他還表示,模型效果好的關鍵應該在於共用引數,這種方法已經被廣泛應用在表示學習上。

從這些成果中也能發現一個規律:

噪聲含量越高的模型,往往更容易學習到影像的特徵;

推薦文章  《影帝的公主》劇中劇太感人,明華自盡太傅一夜白頭,只因一個夢

噪聲含量越低的模型,則會更專注於細節。

作者認為以上規律值得進一步研究:

這意味著隨著噪聲水平逐步降低,擴散模型能夠補充影像細節也就越來越多。

最後,我們再來介紹一下這一發現的提出者——Sander Dieleman。

他現在是DeepMind的一位研究科學家,主要研究領域為生成模型和音樂合成。

參與的主要研究工作有Spotify音樂平臺的內容推薦模型。

.

Scroll to Top