[論文筆記]DeepFake-Adapter:用於 DeepFake 偵測的雙層級 Adapter

 



論文名稱:DeepFake-Adapter: Dual-Level Adapter for DeepFake Detection
發表時間:2025 年 1 月 24 日

論文連結: 
https://link.springer.com/article/10.1007/s11263-024-02274-6

期刊:INTERNATIONAL JOURNAL OF COMPUTER VISION(IJCV)
2025 Journal Impact Factor:10.3(Q1)
2025 Journal Citation Indicator:1.58(Q1)

SourceCode:
https://github.com/rshaojimmy/DeepFake-Adapter


研究問題:
  • 既定deepfake偵測方法較難以泛化,此外容易對低階偽造模式樣本產生過擬合。
  • 難以良好泛化至未見過或品質劣化的樣本。
  • 現有深偽檢測方法大多僅著重於利用局部紋理中的低階偽造特徵、融合邊界或頻域資訊。

核心貢獻:
  • 為了有效且高效地將大型預訓練 ViT 中具泛化性的高階語義調適至 deepfake 偵測,提出探索一種快速調適方法,即 DeepFake-Adapter,採用參數高效微調方式。
  • DeepFake-Adapter 僅需訓練少量模型參數(16.9M,佔 ViT-Base 參數的 19%),亦即 adapter 模組,而模型骨幹中的絕大多數預訓練參數則維持凍結。
  • 打破了過往偽造偵測只盯著局部紋理或邊界等低層線索的盲點,直接引進預訓練 Vision Transformer 的高層人臉語意。
  • 作者發現,直接全微調八千五百多萬參數的 ViT 反而容易破壞通用特徵,因此提出凍結主幹、只微調不到兩成參數的雙層 Adapter。
  • 作者用預訓練好的特徵直接接一個簡單線性分類器,發現 ViT 的真假人臉特徵分得非常乾淨,這證明了高層語意特徵確實天生具有辨識偽造的潛力。作者不更新任何骨幹權重,只訓練最末端的線性分類器,直接測量預訓練特徵在未經任何偽造微調時,能在多大程度上將真臉與假臉分開。
  • 從上圖即可清楚發覺,傳統CNN的Xception模型方式會過度重疊,而ViT相對的真實、偽造分布間距均遠大於 Xception 特徵。


實驗方法:

  • 採用 FaceForensics++ (FF++) 的 c23(高品質)與 c40(低品質)版本,以檢驗模型對不同品質偽造內容的深偽偵測能力。
  • 在實驗對比的設計上,作者將 DeepFake-Adapter 與傳統的 Full-tuning 全微調方法做比較。
  • 實驗假設,就是證明只微調不到百分之二十的轉接器參數,在面對未見過的換臉手法或嚴重壓縮時,表現能徹底擊倒全微調的 ViT。
  • 使用在ImageNet-21K上的預訓練的 ViT-Base,包含12個Blocks,均勻劃分成3個stages。
  • 每個 MLP 並聯一個 GBA(共 12 個 GBA,bottleneck 維度為 64),每個 stage 放置一個 LSA(共 3 個 LSA)。

模型由 N 個階段組成。每個階段都包含預訓練 ViT 的 MHSA 與 MLP 層,以及所提出 DeepFake-Adapter 的 GBA 和 LSA(LSA-H 與 LSA-I)




Step1.Patch Embedding


起初會先將輸入進去的整張影像做Patch Embedding,也就是切塊、攤平再變身成特徵向量。
  • 切塊:將影像分割為菲重疊的PxP小塊,比方寬高分別為W、H的影像,H、W皆可被P整除,其總塊數就會是HxW/P^2。
  • 假設輸入是一張常見的224x224彩色人臉,我們用16x16的小方塊去切它。
  • 長和寬各切出14排,整張圖就剛好被拆成196個小方塊,每一個16x16的小塊,因為有紅綠藍三個顏色通道,把裡面的像素排成一條直線,就得到長度768的數值。
  • 196個小塊各自排成一條,合起來就是196乘768的二維矩陣。
  • 最後通過一個線性投影層,就變成了 Transformer 可以直接閱讀的196個向量。





在整體架構上,作者把這十二個 ViT block 均分成三個階段,每個階段配置四個 ViT block、四個 GBA(Globally-aware Bottleneck Adapter),以及一個LSA(Locally-aware Spatial Adapter) 互動模組。





筆記:

為什麼 DeepFake-Adapter 選擇凍結預訓練 ViT 主幹,而不是進行全微調 (Full Fine-tuning)?
  • 原因在於現實中偽造人臉資料集相對有限,而完整的 ViT-Base 包含八千五百多萬個參數。
  • 全面微調不僅容易過擬合,還容易洗掉大規模預訓練學到的泛化語意,因此作者選擇凍結主幹。

在論文的Table1中,從左到右依序是ViT、GBA、LSA的參數配置表。

  • 本篇論文的Dual-Level Adapter只有16.9百萬參數(將1.19M+15.73M加總起來獲得佔據16.9百萬個參數),可從表中的Vit主幹(凍結)屬於不能訓練的部分,而其餘GBA、LSA則是可訓練部分。
  • 佔 ViT-Base 參數的 19%,占比計算是用16.92/85.8去計算得出19%的。
  • 佔整體模型參數計算占比則占據16.5%,由16.92/(85.8+1.19+15.73)計算可得知。
關於全域感知瓶頸轉接器 (GBA) 的架構與定位?

平行接入ViT各Block的MLP層旁邊,採用降維再升維的瓶頸結構,藉此捕捉如融合邊界等全域低階偽影。

在線性探測 (Linear Probe) 實驗中,解讀 ViT-Base 與 Xception 特徵分離度差異時應注意什麼邊界條件?

Vit_Base採用ImageNet-21K預訓練,而Xception採用ImageNet-1K。
因此資料量也有影響,分離度優勢不能單純完全歸功於 Transformer 架構本身。

實驗中的改進版Ours*是如何實現的?

透過額外解凍ViT第一個Block的字注意力層進行微調,僅微增少量可訓練參數(至19.28M),即可在更困難的偽造偵測中達到SOTA性能。





論文的限制:

論文指出 GBA 與 LSA 僅需訓練少於 ViT 原本 20% 的參數;限制則是由於受大模型高階語義正則化約束,面對像 Face2Face、NeuralTexture等改動微小低階模式而少有高階語義變化的臉部重演時可能受限,因此主要聚焦於換臉檢測。











留言

這個網誌中的熱門文章

何謂淨重(Net Weight)、皮重(Tare Weight)與毛重(Gross Weight)

外貿Payment Term 付款條件(方式)常見的英文縮寫與定義

何謂商品?可以賣的東西就叫商品嗎?_原料與物料如何區分?