一种无人机集体照拍摄方法与流程

本发明涉及无人机领域，尤其涉及一种无人机集体照拍摄方法。

背景技术：

无人驾驶飞机简称“无人机”，英文缩写为“uav”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主地操作。无人机按应用领域，可分为军用与民用。军用方面，无人机分为侦察机和靶机。民用方面，目前在航拍、农业、植保、微型自拍、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄等领域的应用，大大的拓展了无人机本身的用途，发达国家也在积极扩展行业应用与发展无人机技术。

在目前的消费级无人机中，无人机主要用于拍照，包括航拍或者超低空自拍。在现有的可实现超低空自拍的无人机中，都是以个人自拍为主要方向，在集体自拍中应用极少，或者说几乎没有。使用无人机进行集体自拍主要有两大技术难点，一是无人机如何自动筛选出用户期望的拍照人选，二是如何在合适的位置给这群人拍照，从而获取较好的拍照效果。

技术实现要素：

为了解决上述两个技术问题，本发明提出了一种无人机集体照拍摄方法，技术方案如下：

用户通过控制终端操控无人机飞至预备位置，启动无人机集体照拍照指令；无人根据获取的拍照指令，执行如下操作

s1通过人脸检测分别框出画面中所有人脸；

s2通过人脸识别，锁定画面中的目标人脸；

s3建立坐标系，求解画面中所有人脸的位置(x，y，z)；

s4遍历画面中所有人脸，筛选出期望人脸；

s5根据筛选出的期望人脸，确定关键人脸框；

s6根据关键人脸框和目标构图中人脸聚合框的位置，求解无人机目标目标机位。

s7无人机飞往目标机位进行拍照。

进一步的，无人机位于所述预备位置时，所有参与集体照拍摄的人脸应全部显示在摄像头所拍摄画面中。

进一步的，所述步骤s3坐标系建立方法为以无人机的相机传感器中心位置为原点，以光轴向前延伸的方向为z轴正方向，以图像宽度维为x轴，向右为x轴正方向，以图像高度维为y轴，向下为正方向，建立坐标系。

进一步的，所述步骤s3人脸位置的估算公式如下：

z＝(hf/h)*(h*f/hc)

y＝(hf/h)*(y+h/2.0-h/2.0)

x＝(wf/w)*(x+w/2.0-w/2.0)

其中

h，w为人脸矩形框尺寸

hf，wf为人脸通用物理尺寸

h，w为图像分辨率

hc为cdd的高

f为相机焦距

进一步的，所述步骤s4筛选出期望人脸，具体为：

以目标人脸为第一元素人脸，加入已筛选集合，其余人脸为待筛选的人脸集合，求解待筛选集合中的每个人脸到第一元素人脸的距离，若最小的距离小于设定人脸距离阈值，则判定该人脸为期望的人脸，并将其加入已筛选的人脸集合中，从待筛选的人脸集合中剔除该人脸，即更新已筛选的人脸集合和待筛选的人脸集合。遍历完成后，如果待筛选集合为空，则停止筛选，系统进行下一步，如果待筛选集合非空，则按照加入顺序，以第二元素人脸为基准，求解待筛选集合中每个人脸到第二元素人脸的位置，将符合要求的人脸加入已筛选集合，从待筛选集合中删除，本过程一直循环至待筛选集合为空，或者遍历完成已筛选集合中所有的人脸，没有新的人脸加入已筛选集合，循环停止，系统进行下一步。

进一步的，所述步骤s5建立人脸聚合框具体步骤如下：

为了获取大框，需要从该有效的人脸框中求解出大框的边界和尺寸，使得该大框刚好完全包含这些有效的人脸框。假定该大框由其中四个关键的人脸框来决定，依次决定大框的位置x的最大值，x的最小值，y的最大值，y的最小值，四个框中可能有重复相同的框，最少两个关键人脸框可以决定大框的位置和尺寸(对角线位置两个框可以决定矩形大框)，最多四个框可以决定大框的位置和尺寸(四个框位于矩形大框的四个顶点位置)。通过比较所有有效人脸框x和y值，则x值最大的即为第一个关键框，x值最小的为第二个关键框，y值最大的为第三个关键框，y值最小的为第四个关键框，如此可确定四个关键人脸框，显然，由这四个关键框就可以确定包含所有有效人脸框的大框位置和尺寸了。

进一步的，所述步骤s6目标机位求解的具体步骤如下：

(1)将无人机的空间运动矢量分解为多个单一方向运动矢量；

(2)求解单一运动矢量与人脸框初始位置&尺寸和人脸框最终位置&尺寸的关系方程组；

(3)根据步骤2求得的多个方程组，推导空间运动矢量与人脸框初始位置&尺寸和人脸框最终位置&尺寸的关系方程组一

(4)求解人脸聚合框位置&尺寸与四个关键人脸框位置&尺寸的关系方程组二

(5)将已知的目标人脸聚合框位置&尺寸和四个关键人脸框初始位置&尺寸代入方程组一和方程组二，求解无人机空间运动矢量

本发明实施例提供的技术方案带来的有益效果是：

用户通过控制终端操控无人机飞至一个可以拍摄到全部合照人员的位置，发出拍摄指令，无人机可以自动对屏幕中的人脸进行筛选，剔除非合照人员，以合照人员的人脸聚合框为基准调整无人机的拍摄机位，从而拍出具有较高质量的集体照。使用本方法，简化了拍照操作，即使是新接触无人机的用户来说，也可以拍出具有较好效果的集体照。

附图说明

图1为一种无人机集体照拍摄方法的流程示意图；

图2为无人机在预备位置拍摄到的画面示意图；

图3为集体照人脸聚合框示意图；

图4为一种无人机集体照拍摄方法效果示意图。

具体实施方式

为使本发明的目的，技术方案和优点更加清楚，下面件结合附图对本发明实施方式作进一步地描述。

如图1所示，一种无人机集体照拍摄方法，所述方法包括如下步骤：

用户通过控制终端操控无人机飞至预备位置，此时无人机拍摄的画面如图2所示，启动无人机集体照拍照指令；无人根据获取的拍照指令，执行如下操作

s1通过人脸检测框出画面中所有人脸；

s2通过人脸识别，锁定画面中的目标人脸

s3建立坐标系，求解画面中所有人脸的位置(x，y，z)

以无人机的相机传感器中心位置为原点，以光轴向前延伸的方向为z轴正方向，以图像宽度维为x轴，向右为x轴正方向，以图像高度维为y轴，向下为正方向，建立坐标系。

人脸位置的估算公式如下：

z＝(hf/h)*(h*f/hc)

y＝(hf/h)*(y+h/2.0-h/2.0)

x＝(wf/w)*(x+w/2.0-w/2.0)

其中，

h，w为人脸矩形框尺寸；

hf，wf为人脸通用物理尺寸；

h，w为图像分辨率；

hc为cdd的高；

f为相机焦距。

s4筛选出期望人脸，其步骤如下：

以目标人脸为第一元素人脸，加入已筛选集合，其余人脸为待筛选的人脸集合，求解待筛选集合中的每个人脸到第一元素人脸的距离，若最小的距离小于设定人脸距离阈值，则判定该人脸为期望的人脸，并将其加入已筛选的人脸集合中，从待筛选的人脸集合中剔除该人脸，即更新已筛选的人脸集合和待筛选的人脸集合。遍历完成后，如果待筛选集合为空，则停止筛选，系统进行下一步，如果待筛选集合非空，则按照加入顺序，以第二元素人脸为基准，求解待筛选集合中每个人脸到第二元素人脸的位置，将符合要求的人脸加入已筛选集合，从待筛选集合中删除，本过程一直循环至待筛选集合为空，或者遍历完成已筛选集合中所有的人脸，没有新的人脸加入已筛选集合，循环停止，系统进行下一步。

s5根据筛选出的期望人脸，建立人脸聚合框，确定当前人脸聚合框的位置；

为了建立人脸聚合框，需要从该有效的人脸框中求解出大框的边界和尺寸，使得该大框刚好完全包含这些有效的人脸框。假定该大框由其中四个关键的人脸框来决定，依次决定大框的位置x的最大值，x的最小值，y的最大值，y的最小值，四个框中可能有重复相同的框，最少两个关键人脸框可以决定大框的位置和尺寸(对角线位置两个框可以决定矩形大框)，最多四个框可以决定大框的位置和尺寸(四个框位于矩形大框的四个顶点位置)。通过比较所有有效人脸框x和y值，则x值最大的即为第一个关键框，x值最小的为第二个关键框，y值最大的为第三个关键框，y值最小的为第四个关键框，如此可确定四个关键人脸框，显然，由这四个关键框就可以确定如图3所示包含所有有效人脸框的大框位置和尺寸了。

s6根据当前人脸聚合框的位置和目标构图中人脸聚合框的位置，求解无人机目标目标机位

无人机的复杂运动分解为沿着光轴远离或靠近、垂直于光轴(向前后和向左右)、旋转、云台俯仰，求解聚合框对应的无人机移动问题将采用这种分解。

(1)无人机垂直于光轴前后运动：

以向前为例，无人机在o位置时，人脸框位置和尺寸为(x0,y0,w0,h0)，垂直光轴前进lvert(前进为正)，无人机飞到b位置时，人脸框位置和尺寸为(x1,y1,w1,h1)，则

x1＝x0

y1＝y0+(lvert*k*w0)/hf

w1＝w0

该过程只有y1发生变化

(2)无人机垂直于光轴左右运动：

以向左为例，无人机在o位置时，人脸框位置和尺寸为(x0,y0,w0,h0)，无人机水平向左飞行dy到b位置时(左为正)，人脸框位置和尺寸为(x2,y2,w2,h2)，则

x2＝x0+(dy*w0)/wf

y2＝y0

w2＝w0

该过程只有x2发生变化

(3)无人机沿着光轴远离或靠近运动：

以远离为例，无人机在o位置时，人脸框位置和尺寸为(x0,y0,w0,h0)，沿着光轴直线远离距离lpara，无人机飞到c位置时，人脸框位置和尺寸为(x3,y3,w3,h3)，则

x3＝[w*(2*wf*f*x0+wc*lpara*w0)]/[2*(wf*f*w+wc*lpara*w0)]

y3＝(wc*h*lpara*w0+2*wf*f*w*y0)/(2*wf*f*w+2*wc*lpara*w0)

w3＝(wf*f*w*w0)/(wf*f*w+wc*lpara*w0)

该过程x3,y3,w3均发生变化

联合上述三个过程，假设无人机先垂直光轴前进lvert(前进为正)，然后水平向左飞行dy，最后沿着光轴直线远离距离lpara，最终达到大框构图的效果。已知四个关键人脸框(四个框可能有重复)，根据lvert、dy和lpara可以求得无人机运动之后对应的四个人脸框，显然由这四个人脸框可以计算大框的构图，那么反过来若已知大框的构图，则可以计算lvert、dy和lpara

设四个关键的人脸框依次为：x值最大的框(x01,y01,w01)，x值最小的框(x02,y02,w02)，y值最大的框(x03,y03,w03)，y值最小的框(x04,y04,w04)。这四个框先垂直光轴前进lvert(前进为正)，然后水平向左飞行dy，最后沿着光轴直线远离距离lpara，最终达四个框依次变为(x31,y31,w31)，(x32,y32,w32)，(x33,y33,w33)，(x34,y34,w34)。设目标构图大框的参数为(xcluster,ycluster,wcluster,hcluster)，则大框的尺寸与位置满足下列方程组：

xcluster＝(x32-w32/2+x31+w31/2)/2

ycluster＝(y34-k*w34/2+y33+k*w33/2)/2

wcluster＝(x31-x32+w32/2+w31/2)

hcluster＝(y33-y34+k*w34/2+k*w33/2)

由于求解时，大框的宽和高只用到其中一个方程，所以实际求解时只有三个方程，若四个关键框组成的大框的宽高比大于构图大框的宽高比时，则选取构图大框的宽wcluster这个方程来求解：

xcluster＝(x32-w32/2+x31+w31/2)/2

ycluster＝(y34-k*w34/2+y33+k*w33/2)/2

wcluster＝(x31-x32+w32/2+w31/2)

若四个关键框组成的大框的宽高比小于构图大框的宽高比时，则选取构图大框的高hcluster这个方程来求解：

xcluster＝(x32-w32/2+x31+w31/2)/2

ycluster＝(y34-k*w34/2+y33+k*w33/2)/2

hcluster＝(y33-y34+k*w34/2+k*w33/2)

求解上述的三个方程，即可求出lpara，dy和lpara，最后由

求解dx,dy,dz，其中phi为云台当前的俯视角

该求解过程中默认无人机正对人脸，此时无人机无需旋转，同时云台保持不动

s7无人机飞往目标机位进行拍照，所拍照片如图4所示。