[論文筆記]一種基於生物訊號傅立葉轉換的 Deepfake 檢測演算法
論文名稱:A Deepfake Detection Algorithm Based on Fourier Transform of Biological Signal
發表時間:2024 年 6 月 20 日
論文連結:
研究問題:
- 許多研究人員開發了專注於生物辨識特徵的檢測方法。這些方法利用分類網路來分析遠端光電容積圖（rPPG）訊號的時域和頻域特徵，從而獲得極高的檢測準確度。
- 在頻域分析中，現有方法通常僅考慮功率譜密度，而忽略了振幅譜。
- 學者們提出透過遠端光電容積圖從多個感興趣區域提取 rPPG 訊號，並使用快速傅立葉變換（FFT）進行處理。生成的時頻域訊號樣本被組織成矩陣以創建矩陣視覺化熱圖（MVHM），隨後用於訓練影像分類網路。
核心貢獻:
1.學者們體認到傅立葉轉換作為頻域表示法的重要性，並將人臉影片編碼為矩陣視覺化熱圖（MVHM），以輸入影像分類網路。並於公開資料集 DeepFakeTIMIT 上的實驗顯示，本演算法達到了 99.2% 的準確率，這表明與功率譜密度（PSD）相比，遠端光電容積脈搏波（rPPG）生物特徵訊號的快速傅立葉轉換（FFT）包含更多用於區分真假人臉的判別資訊。
2.空間注意力機制在提升 VGG19 網路性能方面發揮了關鍵作用，增幅高達 9.38 個百分點。
使用的資料集:
DeepfakeTIMIT
筆記:
在時域中，我們可從rPPG 生物特徵訊號去直觀地觀察振幅隨時間變化的情形。其表現出的週期性和波形形狀有效地反映了心臟活動。
在頻域中，訊號主要以兩種形式呈現：
- 振幅譜:提供對訊號頻率組成的見解，指出哪些頻率最為顯著，或訊號能量主要集中在何處。
- 功率譜密度（PSD）:描述了功率隨頻率分佈的函數，用於識別和分析訊號內的雜訊與振盪。
留言
張貼留言