[論文筆記]FakeCatcher：利用生物訊號偵測合成人像影片
論文名稱:FakeCatcher: Detection of Synthetic Portrait Videos using Biological Signals 發表時間:2020 年 7 月 15 日 作者: 紐約州立大學賓漢頓分校-電腦科學系:Lijun Yin、Umur Aybars Ciftci Intel Corp:Ilke Demir 論文連結: https://ieeexplore.ieee.org/document/9141516 https://arxiv.org/abs/1901.02212 發布期刊: IEEE Transactions on Pattern Analysis and Machine Intelligence 研究問題 提出一種透過生物訊號新方法來檢測人像影片中是否有合成內容，作為應對深度偽造威脅的預防性解決方案。 Deepfake影片相較於靜態影像，又多一個時間維度。因此 時序一致性 和 空間一致性 則共同構成偵測真實內容的關鍵先驗條件。 針對來自不同臉部區域的訊號、在影像失真情況下、不同片段長度、來自不同生成器的內容、未見過資料集，以及採用多種維度縮減技術等情境，進行分析。 基於偽造內容無法在時空維度上完整保留生物訊號之特性，學者提出假設：人像影片中隱藏的生物訊號，可作為判定影像真實性的隱含描述符。為驗證並落實此一論點，本文依序完成以下實踐： 首先學者們針對 成對分離問題 進行了 數種訊號變換 ，並達成了 99.39% 的準確度。 其次，學者們透過分析所提出的訊號變換及其對應的特徵集，將這些發現應用於建構一個針對偽造內容的通用分類器。 第三，學者們生成新型訊號地圖，並運用卷積神經網路（CNN）來改進傳統分類器，以提升對合成內容的偵測能力。 提出的方法能達到更顯著高的偵測率，且不受偽造內容的來源、生成器或特性的影響。 核心貢獻: 針對生物訊號的空間相干性與時間一致性，提出訊號轉換的建模方法與實驗驗證，以應用於成對及一般真實性分類。 一種可在真實環境中運作、兼具通用性與可解釋性的深度偽造偵測器。 一種用於訓練神經網路以進行真偽鑑別的創新生物訊號地圖建構方法。 一套多樣化的肖像影片資料集，用以建立一個用於在真實環境中檢測偽造內容的測試平台。 研究背景: 近期偽造人像影片的泛濫，對社會、法律及隱私...
