[論文筆記]FakeCatcher：利用生物訊號偵測合成人像影片
論文名稱:FakeCatcher: Detection of Synthetic Portrait Videos using Biological Signals
發表時間:2020 年 7 月 15 日
作者:
- 紐約州立大學賓漢頓分校-電腦科學系:Lijun Yin、Umur Aybars Ciftci
- Intel Corp:Ilke Demir
論文連結:
發布期刊: IEEE Transactions on Pattern Analysis and Machine Intelligence
研究問題
- 提出一種透過生物訊號新方法來檢測人像影片中是否有合成內容，作為應對深度偽造威脅的預防性解決方案。
- Deepfake影片相較於靜態影像，又多一個時間維度。因此時序一致性和空間一致性則共同構成偵測真實內容的關鍵先驗條件。
- 針對來自不同臉部區域的訊號、在影像失真情況下、不同片段長度、來自不同生成器的內容、未見過資料集，以及採用多種維度縮減技術等情境，進行分析。
- 基於偽造內容無法在時空維度上完整保留生物訊號之特性，學者提出假設：人像影片中隱藏的生物訊號，可作為判定影像真實性的隱含描述符。為驗證並落實此一論點，本文依序完成以下實踐：
- 首先學者們針對成對分離問題進行了數種訊號變換，並達成了 99.39% 的準確度。
- 其次，學者們透過分析所提出的訊號變換及其對應的特徵集，將這些發現應用於建構一個針對偽造內容的通用分類器。
- 第三，學者們生成新型訊號地圖，並運用卷積神經網路（CNN）來改進傳統分類器，以提升對合成內容的偵測能力。
- 提出的方法能達到更顯著高的偵測率，且不受偽造內容的來源、生成器或特性的影響。
核心貢獻:
- 針對生物訊號的空間相干性與時間一致性，提出訊號轉換的建模方法與實驗驗證，以應用於成對及一般真實性分類。
- 一種可在真實環境中運作、兼具通用性與可解釋性的深度偽造偵測器。
- 一種用於訓練神經網路以進行真偽鑑別的創新生物訊號地圖建構方法。
- 一套多樣化的肖像影片資料集，用以建立一個用於在真實環境中檢測偽造內容的測試平台。
研究背景:
- 近期偽造人像影片的泛濫，對社會、法律及隱私構成了直接威脅。誤信政治人物的偽造影片、散佈名人的偽造色情內容，以及偽造冒名影片作為法庭證據，僅是深度偽造技術在現實世界中引發的若干後果。
- 儘管在當時已有基於純深度學習的偽造內容偵測方法，但這些方法仍受限於特定的生成模型資料集、人物或人工設計的特徵。
- 別於上述所有方法，學者們選擇在真實內容中尋找某些自然先驗資訊，而非對偽造內容做出假設。
資料集:
- UADFV
- Face Forensics
- Face Forensics++
- CelebDF
- 跟自行建立的Deep Fakes 資料集，蒐集了超過 140 部線上影片，彙整成一個總容量達 30GB 的「深度偽造資料集」。包含「真實環境中」的影片，這些影片不受生成模型、解析度、壓縮方式、內容及上下文的影響。
實驗方法
未來展望
[71]A Novel Framework for Remote Photoplethysmography Pulse Extraction on Compressed Videos
留言
張貼留言