三维人脸重建中基于双目立体视觉的标定优化方法与流程

本发明涉及睡眠数据采集领域，特别是一种三维人脸重建中基于双目立体视觉的标定优化方法。

背景技术：

双目立体视觉是根据双目摄像机同时拍摄的两张图像的二维信息得到物体的几何三维信息。从二维信息恢复到三维信息依赖于双目视觉系统的模型，最重要的是需要确定摄像机成像的几何模型，该几何模型称为摄像机的参数。摄像机的内参数是摄像机与几何和光学相关的参数，内参数只依赖于摄像机自身的制造特点，外参数是摄像机坐标系对于建立好的世界坐标系的旋转与平移。摄像机的标定过程就是确定摄像机的内、外参数的过程，标定方法的精度直接影响到计算机视觉测量的精度。因此，对摄像机进行快速、简介、精准标定的研究无疑具有重大的意义。而在人脸三维重建中，由于人脸的特殊性：光滑、特征值较不明显，同时由于摄像机漂移、镜头漂移，传统离线标定算法不能根据摄像机漂移等因素进行调整。由于焦距的变化、摄像机元件受到物理力而改变状态、摄像机含有可移动元件或者这些元件存在物理容差，亦或者运动时可能导致镜头位移，这些因素均会导致出现摄像机漂移或者镜头漂移的现象出现，从而影响摄像机的内外参数，导致使用过程中标定参数误差较大。

技术实现要素：

针对上述现有技术存在的问题，本发明提供一种三维人脸重建中基于双目立体视觉的标定优化方法。

三维人脸重建中基于双目立体视觉的标定优化方法，基于已离线标定的图像，两个摄像机的内参数，畸变系数和外参数已知，并根据畸变系数对图像做了去畸变化；具体包括以下步骤：

步骤一：对图像立体校正，使得两个摄像机的光轴平行；

步骤二：对摄像机位移后的图像进行立体匹配；

步骤三：从立体匹配中提取可靠匹配，随机选取若干个可靠匹配，映射它们到未校正但已去畸变的亚像素位置，去除不能满足于极线约束的匹配；

步骤四：在线标定，得到符合当前摄像机状态的各参数；

步骤五：再次进行立体校正。

进一步地，步骤一中，在opencv中采用的是bouguet的极线校正的算法进行立体校正。

进一步地，步骤二中，使用了具有归一化相关(ncc)的块匹配算法作为代价函数，归一化相关表达式定义如下：

其中，n表示像素数量，v0表示像素层，v1表示相对于v0的下一层像素层。

进一步地，步骤二中，从图像分辨率最低的一层开始，逐层进行立体匹配。

进一步地，步骤三中，随机选取2000个可靠匹配，并且使用八点法结合ransac方法去除不能满足于极线约束的匹配。

与现有技术相比，本发明通过上述步骤有效的测定了两摄像机发生变化时，新的内外参数，进而提高了人脸重建的准确性。

附图说明

图1为整体流程框图。

图2为立体校正原理图。

图3为立体匹配原理图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。

实施例一

如图1所示的一种基于压电传感器的实时睡眠分期检测方法，基于压电感知传感器，其特征在于，步骤如下：

三维人脸重建中基于双目立体视觉的标定优化方法，基于已离线标定的图像，两个摄像机的内参数(焦距f，主点坐标cx、cy)，畸变系数和外参数(旋转矩阵r，平移向量t)已知，并根据畸变系数对图像做了去畸变化。本实施例中单次采集的两幅图像中只要满足1000组匹配点对(correspondences)，就可以实现摄像机的自标定。由于人脸表面较为平滑，难以通过multi-viewstereo(mvs)中常规的特征提取方法(如sift,surf,fast等)提取出足够数量的特征点。为了解决这个问题，先对图像对做立体校正。接着对图像每一个像素上的特征，在其对应图像的同一行上做立体匹配。在输出的视差图(disparitymap)中，选出大约2000个较为可靠的匹配点对，并使用在线的标定方法，优化摄像机参数。最后，使用这些优化的参数，重新对图像进行立体校正。

具体包括以下步骤：

步骤一：对图像立体校正，使得两个摄像机的光轴平行；

步骤二：摄像机位移后，进行立体匹配；

步骤三：从立体匹配中提取可靠匹配，随机选取若干个可靠匹配，映射它们到未校正但已去畸变的亚像素位置，去除不能满足于极线约束的匹配；

步骤四：在线标定，得到符合当前摄像机状态的各参数；

步骤五：再次进行立体校正。

实施例二

如图1、图2和图3所示，本实施例对实施例一中各步骤进行详细阐述。

一、立体校正

在双目视觉中，我们对摄像机进行标定和校正，最终目的是使得两个摄像机的光轴完全平行，这样才能够继续后续的深度计算，三维重建。这样的校正在opencv中采用的是bouguet的极线校正的算法。

校正前的左右摄像机的光心并不是平行的，两个光心的连线就叫基线，像平面与基线的交点就是极点，像点与极点所在的直线就是极线，左右极线与基线构成的平面就是空间点对应的极平面。

校正后，极点在无穷远处，两个摄像机的光轴平行。像点在左右图像上的高度一致。这也就是极线校正的目标。校正后做后续的立体匹配时，只需在同一行上搜索左右像平面的匹配点即可，能使效率大大提高。bouguet的方法，是将opencv求解出来的旋转和平移矩阵分解成左右摄像机各旋转一半的旋转和平移矩阵r1,t1与r2,t2。分解的原则是使得，左右图像重投影造成的畸变最小，左右视图的共同面积最大。

为了使图像重投影畸变最小化，将右摄像机图像平面旋转到左摄像机图像平面的旋转矩阵r被分离成图像之间的两部分，称之为左右摄像机的两个合成旋转矩阵r1和rr。每个摄像机都旋转一半，这样其新主光线就平行的指向其原主光线(沿图像平面方向)指向的向量和方向。这样的旋转可以让摄像机共面但行不对准。为了计算将左摄像机极点变换到无穷远并使极线水平对准的矩阵rrect，我们创建一个有极点e1方向开始的旋转矩阵。

(1)构造e1。变换矩阵将左视图的极点变换到无穷远处，则使极线达到水平，可见，左右摄像机的投影中心之间的平移向量就是左极点方向：e1即左右摄像机的投影中心之间的平移向量，而t为给定立体图像间的平移，tx是t在x轴上的分量。

(2)e2方向与主光轴方向(沿着图像平面的方向)正交，沿图像方向，与e1垂直，则知e2方向可通过e1与主光轴方向的叉积并归一化获得。

(3)获取了e1与e2后，e3与e1和e2正交，e1自然就是他们两个的叉积：

e3＝e1×e2

则可将左摄像机的极点转换到无穷远处的矩阵rrect如下：

(4)这个矩阵将左图像绕着投影中心旋转，使得极线变成水平，并且极点在无穷远处。两台摄像机的行对准通过设定来实现：

(5)通过上述的两个整体旋转矩阵，就能够得到理想的平行配置的双目立体系图像。校正后根据需要对图像进行裁剪，需重新选择一个图像中心，和图像边缘从而让左、右叠加部分最大。

二、立体匹配

考虑到图像分辨率和速度的要求，本发明使用了具有归一化相关(ncc)的块匹配算法作为代价函数，ncc表达式定义如下：

每一组双目图像从图像分辨率最低的一层开始，逐层进行立体匹配，定义中，n表示扫描窗包含的像素数量，v0表示像素层，v1表示相对于v0的下一层像素层。上一层的视差经过上采样和差值，作为下一层的初始输入，在下一层中对视差进一步精细化。

三、提取可靠匹配

检验最低层(图像分辨率最高)输出的每个点的视差，提取出能够同时满足uniquenessconstraint(唯一性约束)、smoothnessconstraint(光滑性约束)、orderingconstraint(顺序性约束)这3个约束的点，在7*7的窗口内找寻更优的亚像素级匹配作为可靠匹配。随机选取2000个可靠匹配，映射它们到未校正但已去畸变(unrectifiedbutundistorted)的亚像素位置，使用八点法结合ransac方法去除不能满足于极线约束的匹配。

四、在线标定

设备在使用过程中，摄像机的安装位置可能会产生漂移，透镜位置发生偏移或焦距发生变化，这就使得之前离线标定的参数不能够完全符合当前摄像机的状态，导致错误的图像校正，进而影响立体匹配和人脸重建的精度。

提取到的可靠匹配用于最小化以下代价函数：

其中，fc为摄像机的焦距，ki为摄像机内参矩阵，ri为用于校正的旋转矩阵。为校正后的匹配对在y轴上的差距：

其中hc为摄像机的校正矩阵，由摄像机内参，校正旋转矩阵和联合内参组成：

cf为focaladjustment(也称为点调整)，cr为rotationadjustment(也成为转动调整)：

cf＝λf(f0-f1)²

cr＝λr(||r0-r′0||²+||r1-r′1||²)

其中，λf为焦距惩罚因子，目的是使两个摄像机之间的焦距趋于一致；λr为旋转惩罚因子，目的是使两次迭代的校正旋转保持更小的变化。rc和r′c分别为第n次和第n-1次迭代的摄像机校正旋转的rodrigues向量，即可得到新的摄像机参数。