[論文筆記]DeepFake-Adapter:用於 DeepFake 偵測的雙層級 Adapter
論文名稱:DeepFake-Adapter: Dual-Level Adapter for DeepFake Detection 發表時間:2025 年 1 月 24 日 論文連結: https://link.springer.com/article/10.1007/s11263-024-02274-6 期刊:INTERNATIONAL JOURNAL OF COMPUTER VISION(IJCV) 2025 Journal Impact Factor:10.3(Q1) 2025 Journal Citation Indicator:1.58(Q1) SourceCode: https://github.com/rshaojimmy/DeepFake-Adapter 研究問題: 既定deepfake偵測方法較難以泛化,此外容易對低階偽造模式樣本產生過擬合。 難以良好泛化至未見過或品質劣化的樣本。 現有深偽檢測方法大多僅著重於利用局部紋理中的低階偽造特徵、融合邊界或頻域資訊。 核心貢獻: 為了有效且高效地將大型預訓練 ViT 中具泛化性的高階語義調適至 deepfake 偵測,提出探索一種快速調適方法,即 DeepFake-Adapter,採用參數高效微調方式。 DeepFake-Adapter 僅需訓練少量模型參數(16.9M,佔 ViT-Base 參數的 19%) ,亦即 adapter 模組,而模型骨幹中的絕大多數預訓練參數則維持凍結。 打破了過往偽造偵測只盯著局部紋理或邊界等低層線索的盲點,直接引進預訓練 Vision Transformer 的高層人臉語意。 作者發現,直接全微調八千五百多萬參數的 ViT 反而容易破壞通用特徵,因此 提出凍結主幹、只微調不到兩成參數的雙層 Adapter。 作者用預訓練好的特徵直接接一個簡單線性分類器,發現 ViT 的真假人臉特徵分得非常乾淨,這證明了 高層語意特徵確實天生具有辨識偽造的潛力 。作者不更新任何骨幹權重,只訓練最末端的線性分類器,直接測量預訓練特徵在未經任何偽造微調時,能在多大程度上將真臉與假臉分開。 從上圖即可清楚發覺,傳統CNN的Xception模型方式會過度重疊,而ViT相對的真實、偽造分布間距均遠大於 Xception 特徵。 實驗方法: 採用 FaceForensics++ ...