原文來源：新智元
圖片來源：由無界AI生成
AI黑盒如何解？
神經網路模型在訓練的時，會有些ReLU節點「死亡」，也就是永遠輸出0，不再有用。
它們往往會被刪除或忽略。
恰好趕上了模糊了生與死的界限的節日——萬聖節，所以這是探索那些「死節點」的好時機。
對於大多數影像生成模型來說，會輸出正面的影像。但是優化演算法，可以讓模型產生更多詭異、恐怖的圖像。
就拿CLIP模型來說，可以衡量一段文字和一張圖片的匹配程度。
給定一段描述怪誕場景的文本，使用最佳化演算法透過最小化CLIP的損失，來產生一張與這段文字相符的、嚇人的圖片。
當你不斷探索損失函數的最深最恐怖的區域，就像進入了一個瘋狂的狀態。
就會發現這些詭異圖片超乎想像。
最重要的是，它們只是透過CLIP模型優化生成，並沒有借助其他的模型。
優化演算法，可以讓我們對神經網路進行「解剖」，特徵視覺化（feature visualization）可以找到一個最大激活單一神經元的圖像。
吳恩達和Jeff Dean曾在2012年就ImageNet影像分類模型上做過這樣的實驗，並發現了一個對黑色貓有反應的神經元。
對此，馬裡蘭大學和NYU的研究人員使用「特徵視覺化」來剖析CLIP模型，發現了一個非常令人不安的神經元：
完全是一個類似骷髏頭的圖像。
但它真的是「骷髏頭神經元」嗎？顯然不是，實際上它代表的是某種更神秘、難以解釋的模式。
究竟怎麼回事？
模型反轉，成交量積網ViT不適用
想要解釋AI產生的影像，需要用到的一種手段－模型反轉（model inversion）。
「模型反轉」是視覺化和解釋神經架構內部行為、理解模型學到的內容，以及解釋模型行為的重要工具。
一般來說，「模型反轉」通常會尋找可以啟動網路中某個特徵的輸入（即特徵視覺化），或產生某個特定類別的高輸出響應（即類別反轉）。
然鵝，神經網路架構不斷發展，為現有的「模型反轉」方案帶來了重大挑戰。
成交量積網長期以來，一直是CV任務的預設方法，也是模型反轉領域研究的重點。
隨著Vision Transformer（ViT）、MLP-Mixer、ResMLP等其他架構的出現，大多數現有的模型反轉方法無法很好地應用到這些新結構上。
總而言之，目前需要研發可以應用到新結構上的模型反轉方法。
對此，馬裡蘭和NYU研究人員將焦點放在了「類別反轉」（class inversion）。
目標是，在不知道模型訓練資料的情況下，找到可以最大化某個類別輸出分數的可解釋影像。
類別反轉已在模型解釋、影像合成等任務中應用，但存在幾個關鍵缺陷：產生影像品質對正則化權重高度敏感；需要批次標準化參數的方法不適用於新興架構。
研究者再此提出了基於資料增強的類反轉方法－Plug-In Inversion（PII）。
論文網址：https://arxiv.org/pdf/2201.12961.pdf
PII的好處在於不需要明確的正規化，因此不需要為每個模型或影像實例調節超參數。
實驗結果證明，PII可以使用相同的架構無關方法和超參數反轉CNN、ViT和MLP架構。
全新類反轉—PII
先前，關於類反轉的研究，常常使用抖動之類的增強功能。
它會在水平和垂直方向上隨機移動影像，以及水平Ips來提高反轉影像的品質。
在最新研究中，作者探討了其他有利於反轉的增強，然後再描述如何將它們組合起來形成PII演算法。
限制搜尋空間
作者考慮2種增強方法來提高倒置影像的空間品質－居中（Centering）和縮放（Zoom）。
這些方法的設計是基於這樣的假設：限制輸入最佳化空間，可以得到更好的特徵佈局。
兩種方法都從小尺寸開始，逐步擴大空間，迫使放置語意內容在中心，目的是產生更具解釋性和可識別性的反轉影像。
圖1和圖2分別顯示了，居中和縮放過程中每個步驟測影像狀態。
ColorShift增強
之前展示的反轉影像，顏色看起來很不自然。
這是由於研究人員現在提出的一種全新增強方法——ColorShift所造成的。
ColorShift是隨機擾動每個顏色通道的平均值和方差，改變影像顏色，目的是產生更豐富多樣的反轉影像顏色。
下圖，作者視覺化了ColorShift的穩定效果。
整合
整合是一種成熟的工具，經常用於從增強推理到資料集安全性等應用程式。
研究人員發現，優化由相同影像的不同ColorShift組成的整體，可以同時提高反轉方法的效能。
圖4顯示了與ColorShift一起應用整合的結果。
可以觀察，到較大的集成似乎給出了輕微的改進，但即使是大小為1或2的集成，也能產生令人滿意的結果。
這對於像ViT這樣的模型很重要，因為可用的GPU記憶體限制了該集合的可能大小。
到這裡，你就明白什麼是PII了，即結合了抖動、整合、ColorShift、居中和縮放技術，並將結果命名為「插件反轉」。
它可以應用到任何可微分模型（包括ViT和MLP），只需要一組固定超參數。
多種網路架構適用
那麼，PII效果究竟如何呢？
實驗結果發現，PII可以應用在不同的模型。需要強調是的是，研究者在所有情況下都對PII參數使用相同的設定。
圖6中，描繪了透過反轉各種架構的Volcano類別所產生的影像，包括CNN、ViT和MLP的範例。
雖然不同神經網路的影像品質有所不同，但它們都包含可區分，且位置適當的視覺訊息。
在圖7中，研究人員也顯示了PII從幾個任意ImageNet類別的每種主要架構類型的代表所產生的影像。
可以看到，每行有獨特視覺風格，說明模型反轉可以用來理解不同模型的學習資訊。
在圖8中，作者使用PII來反轉在ImageNet上訓練，並在CIFAR-100上進行微調的ViT模型。
圖9顯示了在CIFAR-10上微調的模型的反轉結果。
為了定量評估全新方法，作者反轉預訓練的ViT模型和預訓練的ResMLP模型，使用PII為每個類別產生一張影像，並使用DeepDream執行相同的操作。
然後使用各種預先訓練的模型對這些圖像進行分類。
表1包含這些模型的平均top-1和top-5分類精度，以及每種方法產生的影像的初始分數。
圖10顯示了PII和DeepInversion產生的一些任意類別的影像。
參考資料：
When we use feature visualization to dissect CLIP, we find one neuron that is oddly disturbing. Here’s its optimized image.
We see what looks like skulls. But is it a skull neuron?
No. It’s something more nefarious. pic.twitter.com/Ba3zfDuo04
— Tom Goldstein (@tomgoldsteincs) October 30, 2023
https://arxiv.org/pdf/2201.12961.pdf
資訊來源：由0x資訊編譯自8BTC。版權所有，未經許可，不得轉載