[論文筆記]一種基於生物訊號傅立葉轉換的 Deepfake 檢測演算法
論文名稱:A Deepfake Detection Algorithm Based on Fourier Transform of Biological Signal
發表時間:2024 年 6 月 20 日
論文連結:
研究問題:
- 許多研究人員開發了專注於生物辨識特徵的檢測方法。這些方法利用分類網路來分析遠端光電容積圖（rPPG）訊號的時域和頻域特徵，從而獲得極高的檢測準確度。
- 在頻域分析中，現有方法通常僅考慮功率譜密度，而忽略了振幅譜。
- 學者們提出透過遠端光電容積圖從多個感興趣區域提取 rPPG 訊號，並使用快速傅立葉變換（FFT）進行處理。生成的時頻域訊號樣本被組織成矩陣以創建矩陣視覺化熱圖（MVHM），隨後用於訓練影像分類網路。
核心貢獻:
- 學者們體認到傅立葉轉換作為頻域表示法的重要性，並將人臉影片編碼為矩陣視覺化熱圖（MVHM），以輸入影像分類網路。並於公開資料集 DeepFakeTIMIT 上的實驗顯示，本演算法達到了 99.2% 的準確率，這表明與功率譜密度（PSD）相比，遠端光電容積脈搏波（rPPG）生物特徵訊號的快速傅立葉轉換（FFT）包含更多用於區分真假人臉的判別資訊。
- 空間注意力機制在提升 VGG19 網路性能方面發揮了關鍵作用，增幅高達 9.38 個百分點。
- 使用的資料集:
DeepfakeTIMIT
https://www.idiap.ch/en/scientific-research/data/deepfaketimit
筆記:
- 在時域中，我們可從rPPG 生物特徵訊號去直觀地觀察振幅隨時間變化的情形。其表現出的週期性和波形形狀有效地反映了心臟活動。
- 論文原文也明確點到，對時域 rPPG 訊號執行快速傅立葉轉換（FFT）以取得振幅頻譜，再辨識峰值頻率並乘以 60，即可得到瞬時心率。
根據國民健康署網站公告，以一位60歲的健康成人為例,安靜時心跳率75次／分鐘。
預估最大心跳率＝220－年齡－安靜時心跳率
靜止心率是指人在休息狀態下，每分鐘心臟跳動的次數。
頻率轉換心率的公式
如果研究員從一段深偽或真實人臉影片，擷取到rPPG訊號後做FFT。發覺頻譜在1.5Hz有個明顯尖峰。會代表人臉心率是每分鐘幾下呢?
由於一秒1.5次，答案就是1.5*60=90下(bpm)。
時域(Time Domain) : 振幅隨時間變化，看波形型態與週期。
頻域(Frequency Domain) : 看不同頻率的組成成分。
在頻域中，訊號主要又可細分為兩種形式呈現：
- FFT振幅譜:透過傅立葉轉換直接觀測頻率振幅峰值。
提供對訊號頻率組成的見解，指出哪些頻率最為顯著，或訊號能量主要集中在何處。 - 功率譜密度(PSD):能量在各頻率的分布。
描述了功率隨頻率分佈的函數，用於識別和分析訊號內的雜訊與振盪。
對多個感性區(ROIs)擷取rPPG訊號目的?
- 論文作者特別針對，額頭、雙臉頰等各部位分別擷取rPPG訊號，目的就在於為了比較各心率訊號跨區域一致性。
- 作者將多個臉部區域萃取出來的時域訊號與快速傅立葉轉換後的頻譜，排成二維特徵矩陣，並做成視覺化熱圖。
- 接著再將產生出的熱圖作為紋理特徵，丟入加入注意力機制的VGG影像分類神經網路訓練，獲得高達99.2準確率。
將訊號轉成二維熱圖輸入到卷積神經網路的好處為何?
- 因為卷積神經網路十分擅長捕捉二維影像中的局部關聯與紋理模式。
- 將不同區域的訊號整齊排列在二維矩陣，就能像比對圖像紋理般，更輕易捕抓出區域之間脈搏不協調的痕跡。可將多訊號問題轉為單張影像分類問題。
- 透過將生理訊號的頻域特徵編碼維單張熱圖，藉此避免人臉面部資訊洩漏。
VGG19 先提取 MVHM 的深層紋理特徵，再由 Attention 判斷哪些特徵位置更值得關注，最後透過殘差連接整合原始特徵與經注意力調整的特徵。
這篇論文未交代的現實挑戰
實際落地場景，通常還要處理環境干擾、頭部劇烈擺頭晃動，光照劇變等造成的雜訊。此時雜訊就不能直接等同於偽造，而規律的訊號也不能更確保絕對的真實。
Ref:
促進健康體能的方法
心跳正常值是多少？一表看懂不同年齡心率範圍，心跳過快、過慢何時要就醫？
https://ithelp.ithome.com.tw/m/articles/10332011
https://vocus.cc/article/68351cb1fd89780001c2a0d3
https://optuna.readthedocs.io/en/stable/reference/index.html
留言
張貼留言