Head Pose estimation_PnP(Perspective-n-Point)多點透視問題_ 2D and 3D feature-based alignment
頭部姿態的三個自由度 A survey of head pose estimation methods 在2020年一篇IEEE論文是有關於「頭部姿態估計方法綜述」的回顧中，可得知頭部姿態通常以三個自由度來表示。分別是俯仰角(pitch)、偏航角(yaw)與翻滾角(roll)，頭部姿態也蘊藏豐富的資訊，比方點頭可能代表答應、理解等，搖頭則表示否定。 延伸應用時常用於視線估計、臉部表情分析，於駕駛監控系統中也十分重要，能去評估駕駛精神狀況。也有應用是分析學生上課專心程度。 傳統頭部姿態估測方法可先偵測人臉特徵點，再藉由頭部模型建立二維影像特徵點與三維模型點之間的對應關係，以估測三維頭部姿態。 特徵式對齊 feature-based alignment (特徵式對齊)是估計兩組或多組已匹配的 2D 或 3D points之間運動關係的問題。 在feature-based alignment中，有一種相當常見的特定情況，就是根據一組 2D 點的投影位置，估計物體的 3D 姿態。關於姿態估計問題也被稱為是所謂的外部參數校正。與其相對的是相機內部的參數校正，比方焦距參數。 從三個對應點中恢復姿態，需要的信息是最少的，稱為「透視三點問題」(perspective-3-point-problem, P3P)。當擴展到更多點的問題，合起來稱為「PnP」。 直接線性變換 (direct linear transform, DLT) 頭部姿態估測疲勞駕駛應用2022年的一篇學術研究 在2022年一篇IEEE論文是來自中國學者發表有關於「駕駛疲勞監測中無須感知的眼睛睜閉閾值校準」，他們此篇論文研究，主要用到了Mediapipe先捕捉到臉部特徵點並採用6個關鍵部位特徵點建立頭部座標系，分別如下6個2D影像座標 nose tip(鼻尖) chin(下巴) left corner of eye(左眼角) right corner of eye(右眼角) left corner of mouth(左嘴角) right corner of mouth(右嘴角) 後續藉由PnP算法結合C3D(3D 卷積網路) ，在 YawDD 資料集上的疲勞偵測準確率高達 98%。 Ref: 完整分析 2D Projective Transformation（一） https://www.hmoonote...