研究紀錄簿_遠程光體積變化描記圖法(remote Photoplethysmography, rPPG)首篇探討以脈搏檢測作為臉部防欺騙問題

在2016論文此篇文獻中，主要是首篇探討議題是從臉部影像偵測脈搏藉此來達成泛化性人臉防偽偵測。早期針對遠程光體積變化描記圖法(remote Photoplethysmography, rPPG)大部分聚焦在生理健康監控方面應用。

文獻探討到人臉生物辨識系統在早期時常會受到偽裝攻擊，包括出示某個使用者照片通關或用影片、3D面具等手法。早期手法是透過影像的局部描述子去擷取紋理上固有差異，而這類方法的限制在於，不適用於未見過的攻擊類型，比方更仿真的真實皮膚紋理的3D面具，即可能造成失效。

因此論文主要採用從人臉影片或視訊去進行活體檢測的泛化解法，首先透過3DMAD面具偽裝資料庫(The 3D Mask Attack Database)，官方提供的評估方法，來驗證再偵測3D面具攻擊方式的有效性。

此篇論文也去探討之前Erdogmus 等學者們 [11] 透過釋出第一個 3D 面具攻擊資料集 3DMAD 來處理這個問題，資料集中攻擊者佩戴目標人物的 3D 臉部面具。

他們也展示了這類攻擊能夠騙過利用眼睛眨動 [8] 或深度資訊 [10] 的防偽方法。

受 [7] 啟發，Erdogmus 等人使用基於局部二值模式（LBP） [12] 的臉部紋理表示來偵測 3D 面具攻擊。雖然基於紋理的方法在 3DMAD 上表現良好，但一個潛在限制值得關注。3DMAD 所包含的面具存在明顯的 3D 列印痕跡。從圖1中可觀測到當拿更逼真的面具時，LBP方式會失真，不再能依賴單純紋理特徵作假臉鑑別。

圖1. 3DMAD（左）與 REAL-F（右）中使用面具的比較。

3DMAD資料集Link:https://www.idiap.ch/en/scientific-research/data/3dmad

https://github.com/blancaag/face-datasets/blob/master/3D/README.md

Printed 3D Masks Attacks Dataset - 3,800+ videos

https://www.kaggle.com/datasets/unidpro/3d-mask-attack

https://www.face-rec.org/databases/

https://www.idiap.ch/en/scientific-research/data/3dmad

3DMAD資料集主要包含 17 位受試者的 76500 幀影像，透過 Kinect 錄製，包括真實存取與偽造攻擊兩種情形。在受控條件下進行，採正面視角且表情中性。所有受試者的資料在 3 個不同場次收集，每個場次為每位受試者錄製 5 支 300 幀的影片。

每一幀包含：

1. 深度影像（640x480 像素 – 1x11 位元）
2. 對應的 RGB 影像（640x480 像素 – 3x8 位元）
3. 手動標註的眼睛位置（相對於 RGB 影像）。

因此學者們採用偵測脈搏以進行臉部反偽造。從臉部測量心率在當時是一個新興議題，起源自光體積描記法（photoplethysmography, PPG）技術。當光線照射到裸露的皮膚部位如手腕、手指，臉部等這類淺層血管中血紅素會吸收部分光線。心跳的週期性改變局部區域中血紅素的量，而PPG則藉由被吸收光量的改變去測量心律變化，進而達成測量脈搏的目的。

學者們的方法是

Part1.臉部偵測與 ROI 追蹤

以一段影片作為輸入。先去精準定位追蹤臉部皮膚區域，只抓取下半臉，包含雙臉頰、下巴、鼻子、嘴巴等，而額頭跟眼睛被排除，因為有可能受限於被頭髮、眼鏡遮蔽。

第一幀上套用 Viola-Jones 臉部偵測器(opencv內建的Haar 級聯的人臉檢測器)，接著使用 discriminative response map fitting (DRMF) 方法，於臉部邊界框內找到 66 個臉部關鍵點，藉此去定位圖3中的ROI，ROI則藉由Kanade-Lucas-Tomasi (KLT) 演算法 [19] 在所有影格中進行追蹤。

https://ieeexplore.ieee.org/document/6619286

被追蹤的 ROI 包含隨心跳脈動而改變色值的臉部皮膚像素，三個RGB通道各自原始脈搏訊號。

假設影片有 $n$ 個影格。

作者在每個影格中，分別計算 ROI 內所有皮膚像素的各通道平均值：

• Red 平均值
• Green 平均值
• Blue 平均值

因此會得到三條時間序列各自是一維向量：

$$r_{\text{raw}}=[r_1,r_2,\dots,r_n]$$ $$g_{\text{raw}}=[g_1,g_2,\dots,g_n]$$ $$b_{\text{raw}}=[b_1,b_2,\dots,b_n]$$

例如 $g_i$ 表示第 $i$ 幀中，ROI 內所有像素的綠色通道平均值。

• RGB亮度改變會伴隨心跳有規律的變化，這些數值隨時間的微小變化，理論上會包含心跳所造成的週期訊號。
• 隨著心臟收縮時，臉部微血管中的血液容量增加；心臟舒張時，血液容量下降。
• 血液中的血紅素會吸收部分光線，因此皮膚反射至攝影機的 RGB 強度會發生微小變化。
• 一般情況下，綠色通道的脈搏訊號通常會相對明顯，但這篇論文仍保留 R、G、B 三個通道，以增加不同光線和膚色條件下的穩定性。

Generalized face anti-spoofing by detecting pulse from face videos

https://ieeexplore.ieee.org/document/7900300

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7900300

Robust Discriminative Response Map Fitting with Constrained Local Models

https://ieeexplore.ieee.org/document/6619286