本发明涉及计算机视觉技术和无人机技术，具体涉及一种基于无人机的人脸跟踪系统及方法。
背景技术：
人脸跟踪是在视频或图像序列中确定人脸的运动轨迹即大小变化的过程。现今，利用无人机进行跟拍娱乐已经成为一种潮流，无人机已经逐渐普及到人们生活中，因此，基于无人机的计算机视觉研究非常有意义。
传统技术中的人脸跟踪方法主要是基于图像的检测跟踪方法，仅仅是在视频帧中找出目标，并不对相机位置进行调整，因而相机拍摄出的目标并不能处在图像中的有利位置，使得跟踪效果和视觉效果并不是很好，因此，这样的方法不适用于大幅度运动的航拍跟踪场景中；
专利公开号为CN 105447459，名称为《一种无人机自动检测目标及跟踪方法》的专利申请方案中的人脸跟踪方法在识别人脸的基础上，根据目标跟踪框位置调整无人机位置，能够较好地进行目标跟踪，并通过使用无人机自带的防抖摄像头进行图像去抖动，使得检测精度相对较高；但是，在无人机大幅度抖动或是目标大幅度运动造成的图像不清晰的情况下，防抖摄像头仍然无法保证所拍摄的图像清晰度，从而降低了跟踪的准确性。
技术实现要素：
本发明所要解决的技术问题是：提出一种基于无人机的人脸跟踪系统及方法，在画面发生抖动的情况下实时、精确对人脸进行跟踪。
本发明解决上述技术问题所采用的方案是：
基于无人机的人脸跟踪系统，包括：
图像采集模块，用于采集图像，并将采集的图像传给人脸检测模块；
目标框制作模块，用于制作目标框，并将制作的目标框传给目标框选择模块；
目标框选择模块，用于根据需求选择预先制作的目标框，并将选择的目标框传给目标框归一化模块；
目标框归一化模块，用于对选择的目标框进行归一化处理，获得归一化目标框，并传给人脸检测模块；
人脸检测模块，用于从采集的图像中检测出人脸，利用归一化目标框框选目标人脸，获得目标人脸图像并传给电子稳像模块；
虚拟相机坐标系建立模块，用于建立虚拟相机坐标系，并将建立的虚拟相机坐标系传给电子稳像模块；
IMU数据获取模块，用于获取无人机的IMU数据并传给电子稳像模块；
电子稳像模块，用于根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵，根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染，获得稳像后的目标人脸图像并传给人脸跟踪模块；
人脸跟踪模块，用于对稳像后的目标人脸进行跟踪。
作为进一步优化，所述目标框制作模块，用于制作大小不同的多个目标框。
作为进一步优化，该系统还包括：
无人机飞控模块，用于根据IMU数据获取模块获取的无人机的IMU数据调整无人机的飞行姿态，对目标人脸进行实时追踪。
此外，本发明还提供了一种基于无人机的人脸跟踪方法，其包括以下步骤：
a.无人机上的相机进行图像采集；
b.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；
c.建立虚拟相机坐标系；
d.根据无人机IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵；
e根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像；
f.对稳像后的图像进行实时追踪。
作为进一步优化，步骤c中，所述建立虚拟相机坐标系的方法为：
以物理相机坐标原点为原点，作一虚拟相机坐标系，所述虚拟相机坐标系与世界坐标系夹角保持不变。
作为进一步优化，步骤d中，所述无人机的IMU数据包含：相机姿态P＝(R,T)，其中，R为相机姿态P中的旋转矩阵，表示相机在相机坐标中相对于世界坐标的旋转矩阵，T为相机机姿态P中的平移向量，表示相机在相机坐标中相对于世界坐标的平移向量，其中，矩阵M＝[R,T]即为从物理相机坐标系到虚拟相机坐标系的转换矩阵。
作为进一步优化，步骤e具体包括：
e1.在虚拟相机坐标系中建立一张像素值为空的虚拟图像；
e2.将图像坐标系中的图像投影到虚拟图像中；
e3.计算虚拟图像在虚拟相机坐标系中的对应位置，即求取虚拟坐标系图像；
e4.计算虚拟坐标系图像在世界坐标系中的对应位置，即求取世界坐标系图像区域；
e5.计算世界坐标系图像区域在相机坐标系图像中的对应位置，即求取相机坐标系图像区域；
e6.计算相机坐标系图像区域在图像坐标系中的对应位置，即求取稳像图像区域；根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中。
作为进一步优化，步骤e3中，虚拟图像记为S,虚拟相机坐标系记为C1,所述虚拟图像S在虚拟相机坐标系C1中对应的虚拟坐标系图像SC1的计算方式如下：
其中，(x,y)为虚拟图像S内一点P的坐标，即P(x,y)∈S；
是虚拟相机的内参矩阵；Fvx,Fvy分别为虚拟相机在X轴和Y轴的主距，(Cvx,Cvy)为虚拟相机坐标系主点坐标；(X,Y,Z)为P在虚拟相机坐标系中的位置，为P在虚拟相机坐标系中的归一化位置，
步骤e4中，求取世界坐标系图像区域的方法为：
计算虚拟坐标系图像SC1对应在世界坐标系中的世界坐标系图像区域SW：
SW＝RW-C1SC1
其中，RW-C1为世界坐标系与虚拟相机坐标系C1之间的旋转矩阵，通过对由IMU单元获取的相机姿态P＝(R,T)中的旋转矩阵R进行滤波得到，即RW-C1＝M*R，其中，M为均值滤波器；
步骤e5中，求取相机坐标系图像区域的方法为：
计算世界坐标系图像区域SW在物理相机坐标系中对应的区域SC：
SC＝RSW；
步骤e6中，求取稳像图像区域的方法为:
计算区域SC对应在图像坐标系中的位置SI：
其中，点(x*,y*)∈SI是稳像区域内点P(x,y)在物理图像中对应的点，点为点P(x,y)在相机坐标系中对应的点；为物理相机的相机内参矩阵，通过相机标定获得，Fx,Fy分别为相机在X轴和Y轴的主距，(Cx,Cy)为相机主点坐标。
作为进一步优化，步骤e6中，所述根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中，具体包括：
得到稳像图像内的点与图像坐标系上的点的一一对应关系后，将图像上的点的像素值赋予稳像图像内的点，从而得到稳像图像，即如果则I(x,y)＝I(x*,y*)，符号表示满足映射关系。
作为进一步优化，步骤f中，所述对稳像后的图像进行实时追踪，具体包括：
实时获取相机相对于目标人脸的IMU姿态数据，并将所述姿态数据中的偏航角和俯仰角返回到无人机的飞控模块中，飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，实现无人机实时追踪所需跟踪的人脸。
作为进一步优化，所述飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，具体包括：
如果相机相对于目标人脸的偏航角不在规定范围内，则通过飞控模块根据该偏航角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的偏航角调整到所述规定范围内；如果相机相对于目标人脸的俯仰角不在规定范围内，则通过飞控模块根据该俯仰角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的俯仰角调整到所述规定范围内。
本发明的有益效果是：
通过对采集的目标人脸图像进行电子稳像处理，提高图像清晰度，然后根据相机IMU数据对无人机的姿态进行调整，从而实现在画面发生抖动的情况下能够实时精确跟踪人脸。
附图说明
图1为本发明实施例中的基于无人机的人脸跟踪系统结构框图；
图2为本发明实施例中的基于无人机的人脸跟踪方法流程图；
图3为实现电子稳像的流程图。
具体实施方式
本发明旨在提出一种基于无人机的人脸跟踪系统及方法，在画面发生抖动的情况下实时、精确对人脸进行跟踪。在本发明中，通过电子稳像对采集的图像进行稳像，根据检测到的相机相对于人脸的姿态对无人机飞行姿态进行修正，从而实现对目标人脸实时、精确跟踪。
下面结合附图及实施例对本发明的方案作进一步的描述：
如图1所示，本实施例中的基于无人机的人脸跟踪系统包括：图像采集模块、目标框制作模块、目标框选择模块、目标框归一化模块、人脸检测模块、虚拟相机坐标系建立模块、IMU数据获取模块、电子稳像模块、人脸跟踪模块；
图像采集模块，用于采集图像，并将采集的图像传给人脸检测模块；
目标框制作模块，用于制作目标框，并将制作的目标框传给目标框选择模块；
目标框选择模块，用于根据需求选择预先制作的目标框，并将选择的目标框传给目标框归一化模块；
目标框归一化模块，用于对选择的目标框进行归一化处理，获得归一化目标框，并传给人脸检测模块；
人脸检测模块，用于从采集的图像中检测出人脸，利用归一化目标框框选目标人脸，获得目标人脸图像并传给电子稳像模块；
虚拟相机坐标系建立模块，用于建立虚拟相机坐标系，并将建立的虚拟相机坐标系传给电子稳像模块；
IMU数据获取模块，用于获取无人机的IMU数据并传给电子稳像模块；
电子稳像模块，用于根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵，根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染，获得稳像后的目标人脸图像并传给人脸跟踪模块；
人脸跟踪模块，用于对稳像后的目标人脸进行跟踪。
基于上述系统，本发明实施例中提供的基于无人机的人脸跟踪方法包括以下实现步骤：
步骤1.图像采集：
即，无人机上的相机进行图像采集；
步骤2.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；
本步骤中，可以预先制定多个大小不同的目标框，在选择目标框时，选择与需要框选对象大小适宜的目标框，然后对选择的目标框进行归一化处理，将目标框坐标换算成原图中的像素坐标，使得目标框框住人脸。
步骤3.建立虚拟相机坐标系；
本步骤中，通过虚拟相机坐标系建立模块建立虚拟相机坐标系，具体操作时，以物理相机坐标原点为原点，作一虚拟相机坐标系，所述虚拟相机坐标系与世界坐标系夹角保持不变。优选的，所述虚拟坐标系与世界坐标系夹角为其水平夹角保持在45°。
步骤4.根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵：
本步骤中，由无人机飞控模块获取无人机的IMU数据包含相机姿态P＝(R,T)，R表示相机姿态P中的旋转矩阵，表示相机在相机坐标中相对于世界坐标的旋转矩阵，T表示相机机姿态P中的平移向量，表示相机在相机坐标中相对于世界坐标的平移向量，其中，矩阵M＝[R,T]即为从物理相机系到虚拟相机坐标系的转换矩阵。
步骤5.根据转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像：
本步骤中，电子稳像的具体流程如图3所示，下面进行具体说明：
步骤5.1在虚拟相机坐标系中建立一张像素值为空的虚拟图像；
步骤5.2将图像坐标系中的图像投影到虚拟图像中；
步骤5.3计算虚拟图像在虚拟相机坐标系中的对应位置，即求取虚拟坐标系图像：
虚拟图像记为S,虚拟相机坐标系记为C1,所述虚拟图像S在虚拟相机坐标系C1中对应的虚拟坐标系图像SC1的计算方式如下：
其中，(x,y)为虚拟图像S内一点P的坐标，即P(x,y)∈S；是虚拟相机的内参矩阵；Fvx,Fvy分别为虚拟相机在X轴和Y轴的主距，(Cvx,Cvy)为虚拟相机坐标系主点坐标；(X,Y,Z)为P在虚拟相机坐标系中的位置，为P在虚拟相机坐标系中的归一化位置，
步骤5.4.计算虚拟坐标系图像在世界坐标系中的对应位置，即求取世界坐标系图像区域：
本步骤中，计算拟坐标系图像SC1对应在世界坐标系中的世界坐标系图像区域SW：
SW＝RW-C1SC1
其中，RW-C1为世界坐标系与虚拟相机坐标系C1之间的旋转矩阵，通过对由IMU单元获取的相机姿态P＝(R,T)中的旋转矩阵R进行滤波得到，即RW-C1＝M*R，其中，M为均值滤波器；利用均值滤波器对姿态进行滤波，得到虚拟相机的姿态，使得虚拟相机的姿态有较好的平稳度，从而为电子稳像做贡献。
步骤5.5.计算世界坐标系图像区域在相机坐标系图像中的对应位置，即求取相机坐标系图像区域：
本步骤中，计算世界坐标系图像区域SW在物理相机坐标系中对应的区域SC：
SC＝RSW；
步骤5.6.计算相机坐标系图像区域在图像坐标系中的对应位置，即求取稳像图像区域；根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中：
本步骤中，计算区域SC对应在图像坐标系中的位置SI：
其中，点(x*,y*)∈SI是稳像区域内点P(x,y)在物理图像中对应的点，点为点P(x,y)在相机坐标系中对应的点；为物理相机的相机内参矩阵，通过相机标定获得，Fx,Fy分别为相机在X轴和Y轴的主距，(Cx,Cy)为相机主点坐标。
所述根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中，具体包括：
得到稳像图像内的点与图像坐标系上的点的一一对应关系后，将图像上的点的像素值赋予稳像图像内的点，从而得到稳像图像，即如果则I(x,y)＝I(x*,y*)，符号表示满足映射关系。
步骤6.对稳像后的图像进行实时追踪：
本步骤中，实时获取相机相对于目标人脸的IMU姿态数据，并将所述姿态数据中的偏航角和俯仰角返回到无人机的飞控模块中，飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，实现无人机实时追踪所需跟踪的人脸，
如果相机相对于目标人脸的偏航角不在规定范围内，则通过飞控模块根据该偏航角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的偏航角调整到所述规定范围内；如果相机相对于目标人脸的俯仰角不在规定范围内，则通过飞控模块根据该俯仰角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的俯仰角调整到所述规定范围内。