Head Pose estimation_PnP(Perspective-n-Point)多點透視問題_ 2D and 3D feature-based alignment
頭部姿態的三個自由度 A survey of head pose estimation methods 在2020年一篇IEEE論文是有關於「頭部姿態估計方法綜述」的回顧中，可得知頭部姿態通常以三個自由度來表示。分別是俯仰角(pitch)、偏航角(yaw)與翻滾角(roll)，頭部姿態也蘊藏豐富的資訊，比方點頭可能代表答應、理解等，搖頭則表示否定。 延伸應用時常用於視線估計、臉部表情分析，於駕駛監控系統中也十分重要，能去評估駕駛精神狀況。也有應用是分析學生上課專心程度。 傳統頭部姿態估測方法可先偵測人臉特徵點，再藉由頭部模型建立二維影像特徵點與三維模型點之間的對應關係，以估測三維頭部姿態。 一些先備知識可以再去這篇溫故 (幾何)相機標定_投影轉換_針孔成像_相機內外部參數_齊次座標 特徵式對齊 feature-based alignment (特徵式對齊)是估計兩組或多組已匹配的 2D 或 3D points之間運動關係的問題。 在feature-based alignment中，有一種相當常見的特定情況，就是根據一組 2D 點的投影位置，估計物體的 3D 姿態。關於姿態估計問題也被稱為是所謂的外部參數校正。與其相對的是相機內部的參數校正，比方焦距參數。 從三個對應點中恢復姿態，需要的信息是最少的，稱為「透視三點問題」(perspective-3-point-problem, P3P)。當擴展到更多點的問題，合起來稱為「PnP」。 直接線性變換 (direct linear transform, DLT) 摘自 Computer Vision Algorithms and Applications, Richard Szeliski, 2010 - Chapter 6 Feature-based alignment-6.2 Pose estimation 已知p(u,v)、p(X,Y,Z)，求出K、R、t。 我們需要知道一組2D-3D對應，並知道對應點的2D與3D座標。 將上面式子中的K[R|t]展開，變成三列四行的矩陣，K內參矩陣由於固定可省略不影響推導。 兩側相乘可得到如下三個方程 其中最底下的z 會等於右側的最底下的式子 我們可把小z帶入上面式子的zu 、 zv去 化簡變底下式子 我們的未知就是L 11到 L 34這些參...