只要你用了 ReLU，我們就是好朋就是 " 淺度學(xué)習(xí) "。

【資料圖】

最近有研究證明，所有基于 ReLU 的深度神經(jīng)網(wǎng)絡(luò)都可以重寫為功能相同的 3 層神經(jīng)網(wǎng)絡(luò)。

基于這個證明，倫敦國王學(xué)院的研究團隊還提出一種為任意 ReLU 網(wǎng)絡(luò)找到相應(yīng)淺層網(wǎng)絡(luò)的算法。

由此產(chǎn)生的淺層網(wǎng)絡(luò)是透明的，可用于解釋網(wǎng)絡(luò)的行為。

只要通過算法，就能找到任意深度 ReLU 網(wǎng)絡(luò)的對應(yīng)淺層網(wǎng)絡(luò)。

對此網(wǎng)友驚呼：我要讀這篇論文，立刻馬上！任何深度 ReLU 網(wǎng)絡(luò)都是淺層的

ReLU 是深度學(xué)習(xí)領(lǐng)域最常用的一種激活函數(shù)，由 Nair & Hintonw 在 2010 為限制玻爾茲曼機 ( restricted Boltzmann machines ) 提出的。

由于常常在實踐中有著比其他常用激勵函數(shù)（例如邏輯函數(shù)）更好的效果，而被深度神經(jīng)網(wǎng)絡(luò)廣泛用于圖像識別等計算機視覺人工智能領(lǐng)域。

論文指出，每個深度 ReLU 網(wǎng)絡(luò)都可以轉(zhuǎn)換為一個功能相同且具有 " 三個隱藏層 " 的淺層網(wǎng)絡(luò)。并提供了一個找到對應(yīng)淺層網(wǎng)絡(luò)權(quán)重的算法，提高神經(jīng)網(wǎng)絡(luò)的全局可解釋性。

簡單來說就是，通過劃分輸入空間，使用線性函數(shù)對每個分區(qū)進行建模，來實現(xiàn)深層網(wǎng)絡(luò)淺化。

具體分為這三步。首先，需要構(gòu)建一個將線性模型和半空間編碼的第一層，通過使用一個矩陣來表示半空間條件，其中每個行向量表示一個半空間的線性方程。

然后，構(gòu)建第二層，該層根據(jù)輸入的所屬區(qū)域決定哪些邊界是活躍的。

最后，構(gòu)建第三層，通過將輸入與每個線性模型相乘并使用指示函數(shù)來選擇正確的模型。

基于此，每一個深度 ReLU 網(wǎng)絡(luò)都可以被轉(zhuǎn)換為一個功能上相同的三層網(wǎng)絡(luò)，其權(quán)重值在擴展實數(shù)中。

當然要完成淺化，還需要一些咒（suan）語（fa）。

根據(jù)論文，使用算法時只需找到 H、c、α、β 這些參數(shù)，并知道每個區(qū)域所需的半空間就可以，主要分三步。

首先，識別可行的模式集，對于每個可行模式，計算全局線性規(guī)劃的參數(shù) A ( l ) 和 d ( l ) 。

然后，確定半空間條件，將這些矩陣堆疊起來，確定每個激活模式的半空間條件。最終得到矩陣 H 和向量 c。

最后，計算局部線性模型，根據(jù)模型的權(quán)重和激活模式，使用顯式公式，計算局部線性模型 α 和 β。

簡單理解，就是根據(jù)已訓(xùn)練好的網(wǎng)絡(luò)，通過啟發(fā)式搜索在可能的神經(jīng)元激活空間中找到合適的權(quán)重值。

通過構(gòu)建淺層白盒網(wǎng)絡(luò)，能夠快速計算出每個數(shù)據(jù)點的 SHAP 值，大大提高數(shù)據(jù)的可解釋性。

實驗表明，通過上面算法就可以找到給定深度 ReLU 網(wǎng)絡(luò)對應(yīng)的淺層網(wǎng)絡(luò)的顯式權(quán)重。

網(wǎng)友：實驗很酷，但也有些問題

論文很新穎的提出一個算法，可以實現(xiàn) " 深轉(zhuǎn)淺 "，不過該方法仍有一些缺點。

比如構(gòu)建淺層網(wǎng)絡(luò)使用了無限權(quán)重，盡管這些權(quán)重可以在 Python 中實現(xiàn)，但不能使用梯度下降進行微調(diào)。

當然，" 找茬兒 " 這塊，怎能少得了熱心腸的網(wǎng)友。

根據(jù)論文可以發(fā)現(xiàn)，如果使用團隊提供的算法，實驗過程中計算時間其實是會隨著神經(jīng)元數(shù)量增加呈指數(shù)增長。

所以就有網(wǎng)友提出疑惑：算法運行時間與神經(jīng)元數(shù)量成指數(shù)關(guān)系，12 個神經(jīng)元需要近 10 分鐘，那計算一個普通大小的 DNN 所需時間豈不是長了去了……

網(wǎng)友指出：假設(shè)單層神經(jīng)網(wǎng)絡(luò)可以計算任何函數(shù)，那么對于任何神經(jīng)網(wǎng)絡(luò)來說，這不是都成立嗎？對于這個研究，也有網(wǎng)友犀利表示：這就是個「普遍逼近定理」，沒什么大驚小怪的。

不過無論網(wǎng)友怎么說，這篇論文仍然有一些出彩點。

比如，通過這個方式得到的淺層網(wǎng)絡(luò)是透明的，可以用來生成模型行為的解釋。

此外還提供了用于復(fù)現(xiàn)實驗的代碼，供其他研究人員使用來探索和實驗。

論文地址已經(jīng)貼在下面，感興趣可以去看看～

論文傳送門：

https://arxiv.org/abs/2306.11827

參考鏈接：

[ 1 ] https://twitter.com/mathemagic1an/status/1672430954152083456?s=46&t=iTysI4vQLQqCNJjSmBODPW