關於機器學習這門煉丹術,理論基礎到底有多可靠?


知其然,知其所以然。

機器學習領域近年的發展非常迅速,然而我們對機器學習理論的理解還很有限,有些模型的實驗效果甚至超出了我們對基礎理論的理解。

目前,領域內越來越多的研究者開始重視和反思這個問題。近日,一位名為Aidan Cooper 的資料科學家撰寫了一篇部落格,梳理了模型的實驗結果和基礎理論之間的關係。以下是部落格原文:

機器學習領域中,有些模型非常有效,但我們並不能完全確定其原因。相反,一些相對容易理解的研究領域則在實踐中適用性有限。本文基於機器學習的效用和理論理解,探討各個子領域的進展。

這裡的「實驗效用」是一種綜合考量,它考慮了一種方法的適用性廣度、實施的難易程度,以及最重要的因素,即現實世界中的有用程度。有些方法不僅實用性高,適用範圍也很廣;而有些方法雖然很強大,但僅限於特定的領域。可靠、可預測且沒有重大缺陷的方法則被認為具有更高的效用。

所謂理論理解,就是要考慮模型方法的可解釋性,即輸入與輸出之間是什麼關係,怎樣才能獲得預期的結果,這種方法的內部機制是什麼,並考量方法涉及文獻的深度和完整性。

理論理解程度低的方法在實現時通常會採用啟發式方法或大量試錯法;理論理解程度高的方法往往具有公式化的實現,具有強大的理論基礎和可預測的結果。較簡單的方法(例如線性迴歸)具有較低的理論上限,而更復雜的方法(例如深度學習)具有更高的理論上限。當談到一個領域內文獻的深度和完整性時,則根據該領域假設的理論上限來評估該領域,這在一定程度上依賴於直覺。

我們可以將效用矩陣構造為四個象限,座標軸的交點代表一個假設的參考領域,具有平均理解和平均效用。這種方法使得我們能夠根據各領域所在的象限以定性的方式解釋它們,如下圖所示,給定象限中的領域可能具有部分或全部該象限對應的特徵。

2022 年的機器學習領域

並非上圖所有領域都完全包含在機器學習(ML) 中,但它們都可以應用於ML 的語境中或與之密切相關。許多被評估的領域是重疊的,並且無法清晰地描述:強化學習、聯邦學習和圖ML 的高階方法通常基於深度學習。因此,我考慮了它們理論與實際效用的非深度學習方面。

右上象限:高理解、高效用

線性迴歸是一種簡單、易於理解且高效的方法。雖然經常被低估和忽視。 ,但它的使用廣度和透徹的理論基礎讓其處於圖中右上角的位置。

傳統的機器學習已經發展為一個高度理論理解和實用的領域。複雜的ML 演算法,例如梯度提升決策樹(GBDT),已被證明在一些複雜的預測任務中通常優於線性迴歸。大資料問題無疑就是這種情況。可以說,對過引數化模型的理論理解仍然存在漏洞,但實現機器學習是一個精細的方法論過程,只要做得好,模型在行業內也能可靠地執行。

然而,額外的複雜性和靈活性確實會導致出現一些錯誤,這就是為什麼我將機器學習放線上性迴歸的左側。一般來說,有監督的機器學習比它的無監督* 對應物更精細,更有影響力,但兩種方法都有效地解決了不同的問題空間。

貝葉斯方法擁有一群狂熱的從業者,他們宣揚它優於更流行的經典統計方法。在某些情況下,貝葉斯模型特別有用:僅點估計是不夠的,不確定性的估計很重要;當資料有限或高度缺失時;並且當您瞭解要在模型中明確包含的資料生成過程時。貝葉斯模型的實用性受到以下事實的限制:對於許多問題,點估計已經足夠好,人們只是預設使用非貝葉斯方法。更重要的是,有一些方法可以量化傳統ML 的不確定性(它們只是很少使用)。通常,將ML 演算法簡單地應用於資料會更容易,而不必考慮資料生成機制和先驗。貝葉斯模型在計算上也很昂貴,並且如果理論進步產生更好的取樣和近似方法,那麼它會具有更高的實用性。

右下象限:低理解,高效用

與大多數領域的進展相反,深度學習取得了一些驚人的成功,儘管理論方面被證明從根本上難以取得進展。深度學習體現了一種鮮為人知的方法的許多特徵:模型不穩定、難以可靠地構建、基於弱啟發式進行配置以及產生不可預測的結果。諸如隨機種子“調整” 之類的可疑做法非常普遍,而且工作模型的機制也很難解釋。然而,深度學習繼續推進並在計算機視覺和自然語言處理等領域達到超人的效能水平,開闢了一個充滿其他難以理解的任務的世界,如自動駕駛。

假設,通用AI 將佔據右下角,因為根據定義,超級智慧超出了人類的理解範圍,可以用於解決任何問題。目前,它僅作為思想實驗包含在內。

推薦文章  今年五一檔,撤還是不撤?

每個象限的定性描述。欄位可以透過其對應區域中的部分或全部描述來描述

左上象限:高理解,低效用

大多數形式的因果推理不是機器學習,但有時是,並且總是對預測模型感興趣。因果關係可以分為隨機對照試驗(RCT) 與更復雜的因果推理方法,後者試圖從觀察資料中測量因果關係。 RCT 在理論上很簡單並給出嚴格的結果,但在現實世界中進行通常既昂貴又不切實際——如果不是不可能的話——因此效用有限。因果推理方法本質上是模仿RCT,而無需做任何事情,這使得它們的執行難度大大降低,但有許多限制和陷阱可能使結果無效。總體而言,因果關係仍然是一個令人沮喪的追求,其中當前的方法通常不能滿足我們想要提出的問題,除非這些問題可以透過隨機對照試驗進行探索,或者它們恰好適合某些框架(例如,作為“自然實驗” 的偶然結果)。

聯邦學習(FL)是一個很酷的概念,卻很少受到關注– 可能是因為它最引人注目的應用程式需要分發到大量智慧手機裝置,因此FL 只有兩個參與者才能真正研究:Apple 和谷歌。 FL 存在其他用例,例如彙集專有資料集,但協調這些舉措存在政治和後勤挑戰,限制了它們在實踐中的效用。儘管如此,對於聽起來像是一個奇特的概念(大致概括為:“將模型引入資料,而不是將資料引入模型”),FL 是有效的,並且在鍵盤文字預測和個性化新聞推薦等領域有切實的成功案例. FL 背後的基本理論和技術似乎足以讓FL 得到更廣泛的應用。

強化學習(RL)在國際象棋、圍棋、撲克和DotA 等遊戲中達到了前所未有的能力水平。但在影片遊戲和模擬環境之外,強化學習還沒有令人信服地轉化為現實世界的應用程式。機器人技術本應成為RL 的下一個前沿領域,但這並沒有實現——現實似乎比高度受限的玩具環境更具挑戰性。也就是說,到目前為止,RL 的成就是鼓舞人心的,真正喜歡國際象棋的人可能會認為它的效用應該更高。我希望看到RL 在將其置於矩陣右側之前實現其一些潛在的實際應用。

左下象限:低理解,低效用

圖神經網路(GNN)現在是機器學習中一個非常熱門的領域,在多個領域都取得了可喜的成果。但是對於其中許多示例,尚不清楚GNN 是否比使用更傳統的結構化資料與深度學習架構配對的替代方法更好。資料自然是圖結構的問題,例如化學資訊學中的分子,似乎具有更引人注目的GNN 結果(儘管這些通常不如非圖相關的方法)。與大多數領域相比,用於大規模訓練GNN 的開源工具與工業中使用的內部工具之間似乎存在很大差異,這限制了大型GNN 在這些圍牆花園之外的可行性。該領域的複雜性和廣度表明理論上限很高,因此GNN 應該有成熟的空間並令人信服地展示某些任務的優勢,這將導致更大的實用性。 GNN 也可以從技術進步中受益,因為圖目前不能自然地適用於現有的計算硬體。

推薦文章  2-0!打出賽季最具統治力一戰!尤文升至第四,爭冠不是沒有可能

可解釋的機器學習(IML)是一個重要且有前途的領域,並繼續受到關注。 SHAP 和LIME 等技術已經成為真正有用的工具來詢問ML 模型。然而,由於採用有限,現有方法的效用尚未完全實現——尚未建立健全的最佳實踐和實施指南。然而,IML 目前的主要弱點是它沒有解決我們真正感興趣的因果問題。 IML 解釋了模型如何進行預測,但沒有解釋基礎資料如何與它們因果關係(儘管經常被錯誤地解釋像這樣)。在取得重大理論進展之前,IML 的合法用途大多僅限於模型除錯/ 監控和假設生成。

量子機器學習(QML)遠遠超出我的駕駛室,但目前似乎是一個假設性的練習,耐心等待可行的量子計算機可用。在那之前,QML 微不足道地坐在左下角。

漸進式進步、技術飛躍和正規化轉變

領域內主要透過三種主要機制來遍歷理論理解與經驗效用矩陣(圖2)。

欄位可以遍歷矩陣的方式的說明性示例。

漸進式進展是緩慢而穩定的進展,它在矩陣的右側向上移動英寸場。過去幾十年的監督機器學習就是一個很好的例子,在此期間,越來越有效的預測演算法被改進和採用,為我們提供了我們今天喜歡的強大工具箱。漸進式進步是所有成熟領域的現狀,除了由於技術飛躍和正規化轉變而經歷更劇烈運動的時期之外。

由於由於技術的飛躍,一些領域看到了科學進步的階梯式變化。 * 深度學習* 領域並沒有被它的理論基礎所解開,這些基礎是在2010 年代深度學習熱潮之前20 多年發現的——它是由消費級GPU 支援的並行處理推動了它的復興。技術飛躍通常表現為沿經驗效用軸向右跳躍。然而,並非所有以技術為主導的進步都是飛躍。今天的深度學習的特點是透過使用更多的計算能力和越來越專業的硬體訓練越來越大的模型來實現漸進式進步。

在這個框架內科學進步的最終機制是正規化轉變。正如托馬斯· 庫恩(Thomas Kuhn)在他的著作《科學革命的結構》中所指出的,正規化轉變代表了科學學科的基本概念和實驗實踐的重要變化。 Donald Rubin 和Judea Pearl 開創的因果框架就是這樣一個例子,它將因果關係領域從隨機對照試驗和傳統統計分析提升為更強大的數學化學科,形式為因果推理。正規化轉變通常表現為理解的向上運動,這可能會跟隨或伴隨著效用的增加。

然而,正規化轉換可以在任何方向上遍歷矩陣。當神經網路(以及隨後的深度神經網路)將自己確立為傳統ML 的獨立正規化時,這最初對應於實用性和理解力的下降。許多新興領域以這種方式從更成熟的研究領域分支出來。

推薦文章  《新蝙蝠俠》沒有超能力的蝙蝠俠,不僅能飛還能打怪獸,真愛了!

預測和深度學習的科學革命

總而言之,以下是我認為未來可能發生的一些推測性預測(表1)。右上象限中的欄位被省略,因為它們太成熟而看不到重大進展。

表1:機器學習幾大領域未來進展預測。

然而,比個別領域如何發展更重要的觀察是經驗主義的總體趨勢,以及越來越願意承認全面的理論理解。

從歷史經驗上看,一般是理論(假設)先出現,然後再製定想法。但深度學習引領了一個新的科學過程,顛覆了這一點。也就是說,在人們關注理論之前,方法就有望展示最先進的效能。實證結果為王,理論是可選的。

這導致了機器學習研究中系統的廣泛博弈,透過簡單地修改現有方法並依靠隨機性來超越基線,而不是有意義地推進該領域的理論,從而獲得了最新的最新成果。但也許這就是我們為新一波機器學習繁榮付出的代價。

圖3:2022 年深度學習發展的3 個潛在軌跡。

深度學習是否不可逆轉地以結果為導向的過程並將理論理解降級為可選的2022 年可能是轉折點。我們應該思考如下幾個問題:

理論突破是否會讓我們的理解趕上實用性,並將深度學習轉變為像傳統機器學習一樣更有條理的學科?

現有的深度學習文獻是否足以讓效用無限地增加,僅僅透過擴充套件越來越大的模型?

或者,一個經驗性的突破會帶領我們進一步深入兔子洞,進入一種增強效用的新正規化,儘管我們對這種正規化瞭解得更少?

這些路線中的任何一條都通向通用人工智慧嗎?只有時間能給出答案。

.

Scroll to Top