一种自动环绕目标拍摄方法及系统与流程

本发明涉及人工智能技术领域，尤其涉及一种自动环绕目标拍摄方法及系统。

背景技术：

随着智能设备的大众化，消费用户对各类智能电子设备的使用强度与热度越来越高，其中，拍照以及视频录制是当下智能设备中热门的功能，且消费者的使用频率属最高。

现有技术中，人们在创造目标更加灵动、场景切换更灵活的视频素材时，采用的方式无外乎是人工跟拍，即采用遥控无人机航拍或者是手持相机加稳定器跟拍，然而手持稳定器跟拍需要拍摄者投入较大的精力去跟随，包括稳定相机，费神费力；而航拍的追踪强度不够，对于针对式的视频拍摄功能不够强大，且续航能力较差，且这两种跟拍方式都需要两个甚至更多的跟拍者，不符合全智能化自动化的初衷。

技术实现要素：

本发明所要解决的技术问题是提供一种自动环绕目标拍摄方法及系统，以达到自动环绕目标进行拍摄的目的。

第一方面，本发明实施例提供了一种自动环绕目标拍摄方法，其包括：获得yaw轴云台角度参数，对摄像头所获取的图像进行处理以获取距离参数；根据所述yaw轴云台角度参数和距离参数计算获得舵机转角控制参数；根据yaw轴云台角度参数控制云台相机云台的转动进而控制摄像头的转向，且根据舵机转角控制参数控制用于放置云台相机的拍摄移动装置中舵机的转动角度，以使得拍摄移动装置环绕跟踪目标，以环绕目标进行拍摄。

第二方面，本发明实施例还提供了一种自动环绕目标拍摄系统，其包括云台相机以及拍摄移动装置，所述云台相机包括云台、设置在云台上的摄像头以及控制器，所述云台用于调整摄像头的镜头转向角度；所述拍摄移动装置用于放置云台相机，且该拍摄移动装置上设有用于控制拍摄移动装置的转向的舵机；其中，所述控制器包括：第一处理单元，用于获得yaw轴云台角度参数，对摄像头所获取的图像进行处理以获取距离参数；第二处理单元，用于根据所述yaw轴云台角度参数和距离参数计算获得舵机转角控制参数；控制调整单元，包括云台控制单元以及舵机控制单元，其中，所述云台控制单元用于根据yaw轴云台角度参数控制云台相机云台的转动进而控制摄像头的转向；所述舵机控制单元用于根据舵机转角控制参数控制拍摄移动装置中舵机的转动角度，以使得拍摄移动装置环绕跟踪目标，以环绕目标进行拍摄。

与现有技术相比，本发明通过拍摄移动装置承载云台相机，云台相机获取yaw轴云台角度参数，根据摄像头摄取的图像进行处理以获取距离参数，且根据所述yaw轴云台角度参数和距离参数计算获得舵机转角控制参数，以根据yaw轴云台角度参数控制云台相机云台的转动进而控制摄像头的转向，并根据舵机转角控制参数控制用于放置云台相机的拍摄移动装置中舵机的转动角度，以使得拍摄移动装置的前进方向始终与该拍摄移动装置和目标的连线呈直角，同时该拍摄移动装置与目标的距离保持不变，从而达到环绕跟踪目标拍摄的目的，可知，本发明通过调整摄像头的镜头转向角度来保证跟踪目标的拍摄效果，且通过调整拍摄移动装置舵机的转动角度以在跟踪目标移动时保持环绕跟随。

附图说明

图1为本发明实施例提供的自动环绕目标拍摄系统的实物示意图；

图2为本发明实施例提供的自动环绕目标拍摄系统的示意性框图；

图3为本发明实施例提供的自动环绕目标拍摄系统中控制器的示意性框图；

图4为本发明实施例提供的自动环绕目标拍摄方法的流程示意图；

图5为本发明实施例提供的自动环绕目标拍摄方法的子流程示意图。

具体实施方式

为使本领域的普通技术人员更加清楚地理解本发明的目的、技术方案和优点，以下结合附图和实施例对本发明做进一步的阐述。

参照图1及图2，图1和图2分别为本发明实施例提供的自动环绕目标拍摄系统300的实物图和示意性框图。如图所示，该自动环绕目标拍摄系统300包括云台相机310以及拍摄移动装置320，所述云台相机310包括云台311、设置在云台311上的摄像头312以及控制器313，本发明把摄像头312架设在云台311上，开启摄像头312对目标进行图像或视频拍摄，其中，云台311采用现有的三轴云台，能够带动摄像头312进行各个方向上的转动，实现角度的全方位调整，以围绕着目标转动；本发明中，所述控制器313可选用所有基于arm-m3/m4内核架构的mcu，例如stm32系列、gd32系列或者其他平台的32位微控制芯片，优选地，选用型号为gd32f330的微控制芯片作为本实施例的控制器313，所述控制器313包括有第一处理单元3131、第二处理单元3132及控制调整单元3133，本实施例中，所述第一处理单元3131、第二处理单元3132及控制调整单元3133为可被型号为gd32f330的微控制芯片执行的程序模块；所述拍摄移动装置320用于放置云台相机310，该拍摄移动装置320上设有用于控制拍摄移动装置320的转向的舵机321及用于控制摄移动装置320运行速度的电机，本实施例中，所述拍摄移动装置320中的电机的运行速度不做动态控制，即拍摄移动装置320环绕的速度是固定的，可理解地，舵机321的转向控制上嵌套有一层yaw轴(航向轴)角度的控制环及距离的控制环，且该yaw轴角度的控制环及距离的控制环同时作用于舵机321的转动，优选地，本实施例中，所述拍摄移动装置320为智能小车，其底盘上设置有悬挂式避震结构，且其用于放置云台相机310的放置平台设计有二级减震结构，其所采用的电机为高速无刷直流电机。

本实施例中，所述第一处理单元3131用于获得yaw轴云台角度参数，对摄像头312所获取的图像进行处理以获取距离参数；本发明中，第一处理单元3131基于深度学习神经网络直接获取yaw轴云台角度参数，且基于深度学习神经网络从图像中获取目标与摄像头312的距离即距离参数，该技术为本领域技术人员常用的技术手段，在此不再赘述；所述第二处理单元3132用于根据所述yaw轴云台角度参数和距离参数计算获得舵机转角控制参数；所述控制调整单元3133包括云台控制单元1331以及舵机控制单元1332，其中，所述云台控制单元1331用于根据yaw轴云台角度参数控制云台相机310云台311的转动进而控制摄像头312的转向；所述舵机控制单元1332用于根据舵机转角控制参数控制拍摄移动装置320中舵机321的转动角度，以使得拍摄移动装置320环绕跟踪目标，以环绕目标进行拍摄。可理解地，控制调整单元3133中的云台控制单元1331发送控制信号至云台311，其中的舵机控制单元1332发送控制信号至舵机321，两者发送的控制信号可经过滤波放大等处理后分别经云台311以及舵机321内的驱动电路驱动所述云台311和舵机321工作。可知，本发明中，控制调整单元3133中的云台控制单元1331根据yaw轴云台角度参数控制云台相机310中三轴云台的yaw轴转动以带动摄像头312转动，同时舵机控制单元1332根据舵机转角控制参数控制智能小车的舵机321的转动角度，以使得拍摄移动装置320的前进方向始终与该拍摄移动装置320和目标的连线呈直角，即使得智能小车的车头始终朝向环绕路径的切线方向，同时该拍摄移动装置320与目标的距离保持不变，从而达到环绕跟踪目标拍摄的目的，则本发明自动环绕目标拍摄系统300可调整摄像头312的拍摄角度，使得摄像头312的镜头朝向目标，以保证目标始终位于镜头内，同时拍摄移动装置320可在跟踪目标自由移动时保持环绕跟随。

在一些实施例中，如图3所示，所述第二处理单元3132包括第一计算单元1321以及pid计算单元1322；所述云台控制单元1331包括第二计算单元3311以及转动控制单元3312。

其中，所述第一计算单元1321用于计算yaw轴云台角度参数与预设角度参数的角度偏差值以及所述距离参数与预设半径的距离偏差值；本发明中，当需要环绕跟踪目标拍摄时，为获得更好的拍摄效果，摄像头312设置为朝向目标，则三轴云台的yaw轴会转动至与车身正向方向呈90°或-90°夹角的位置处，更进一步地，云台相机310与拍摄移动装置320需保持相对静止，则将所述预设角度参数设置为90°或-90°(分别对应于逆时针和顺时针环绕)，则本实施例中，当yaw轴云台角度参数为负数时所述预设角度参数为90°，而当yaw轴云台角度参数为正数时所述预设角度参数为-90°；本实施例中，所述yaw轴云台角度参数与预设角度参数的角度偏差值为实际采样值(镜头当前相对于正方向的角度，即三轴云台yaw轴相对于正方向的角度)与预设角度值的差值；所述距离偏差值为实际距离值(摄像头312相对于目标的距离)与预设半径的差值，优选地，为了获得更好的拍摄效果，所述预设半径可设置为1m，而在某些其他实施例中，也可根据实际需求进行设置。所述pid计算单元1322用于利用pid算法根据所述角度偏差值和所述距离偏差值计算获得舵机转角控制参数；具体地，所述pid计算单元包括：利用pid算法根据公式计算获得舵机转角控制参数；其中，kpyaw和kpl分别为角度偏差和距离偏差的比例项的系数，kiyaw和kil分别为角度偏差和距离偏差的积分项的系数，kdyaw和kdl分别为角度偏差和距离偏差的微分项的系数；参数kiyaw、kil、kdyaw和kdl的取值均为0，erroryaw和errorl分别为角度偏差值和距离偏差值，uyaw和ul分别为角度控制参数和距离控制参数，a和b分别为角度权重系数和距离权重系数。

具体地，所述第二计算单元3311用于计算yaw轴云台角度参数与预设角度参数的角度偏差值；所述转动控制单元3312用于根据所述角度偏差值控制云台相机云台的转动进而控制摄像头的转向。本发明中通过调整摄像头312的拍摄角度，使得摄像头312的镜头朝向目标，以保证目标始终位于镜头内。

本实施例中，取a:b为1:1，即将舵机转角控制参数和距离参数的控制相对权重比设置为1:1，在智能小车舵机321的控制上，yaw轴角度的控制环和距离的控制环同时影响着舵机321的转动角度，因本发明的所采用的舵机321最大和最小的转动角度分别为40°和-40°，则限制距离的控制环和yaw轴角度的控制环的最大和最小pid输出均分别为20°和-20°；可理解地，在本发明环绕模式下，直流无刷电机速度被定死，不存在动态控制，当yaw轴转角有负偏置时，小车如果保持方向不变，它总是朝着远离目标的方向运动，而当yaw轴转角有正偏置时，小车如果保持方向不变，它总是朝着接近目标的方向运动；且如果距离大于参考环绕半径即预设半径，则此时距离的控制环相对于yaw轴角度的控制环为累加效应，如果距离小于参考环绕半径，则此时距离的控制环相对于yaw轴角度的控制环为抵消效应。

综上可知，本发明的自动环绕目标拍摄系统300通过智能小车承载云台相机310，云台相机310中三轴云台的yaw轴根据yaw轴云台角度参数进行转动，以带动摄像头312转动，使得摄像头312朝向目标，以保证拍摄效果，同时利用pid算法进行舵机321的转向控制，以使得拍摄移动装置320的前进方向始终与该拍摄移动装置320和目标的连线呈直角，即始终使得车身正向方向与三轴云台的yaw轴呈90°或-90°，同时该拍摄移动装置320与目标的距离保持不变，以在跟踪目标自由移动时保持环绕跟随，且智能小车使用的二级减震结构能够使得拍摄出来的视频更加平稳，舵机321在追踪目标方向突变时能够迅速响应不跟丢。

参照图4，图4为本发明实施例提供的自动环绕目标拍摄方法的流程示意图。如图所示，该方法包括以下步骤s110-s130：

s110、获得yaw轴云台角度参数，对摄像头所获取的图像进行处理以获取距离参数。

本发明中，基于深度学习神经网络从图像中可直接获取yaw轴云台角度参数，yaw轴云台角度参数用于控制云台相机摄像头的转向，以使得摄像头的镜头朝向目标；同样，基于深度学习神经网络对摄像头所获取的图像进行处理可获取目标与摄像头的距离，该距离即为距离参数。

本实施例中，所述云台相机包括云台及设置在云台上的摄像头，即把摄像头架设在云台上，开启摄像头对目标进行图像或视频拍摄，其中，本发明中的云台采用现有的三轴云台，能够带动摄像头进行各个方向上的转动，实现角度的全方位调整，以围绕着目标转动，且摄像头也为本领域技术人员常用的摄像头，在此不再赘述。而本实施例中，云台相机放置于拍摄移动装置上，该拍摄移动装置为智能小车，以带动云台相机跟踪拍摄目标，其上设有舵机和电机，本发明中电机的的运行速度固定，不做动态控制。

s120、根据所述yaw轴云台角度参数和距离参数计算获得舵机转角控制参数。

具体地，在一些实施例中，如图5所示，所述步骤s120可包括步骤s121-s122。

s121、计算yaw轴云台角度参数与预设角度参数的角度偏差值以及所述距离参数与预设半径的距离偏差值。

本发明中，为了获得更好的环绕拍摄效果，摄像头设置为朝向目标，则三轴云台的yaw轴会转动至与车身正向方向呈90°或-90°夹角的位置处，更进一步地，云台相机与拍摄移动装置需保持相对静止，则将所述预设角度参数设置为90°或-90°(分别对应于逆时针和顺时针环绕)，则本实施例中，当yaw轴云台角度参数为负数时所述预设角度参数为90°，而当yaw轴云台角度参数为正数时所述预设角度参数为-90°。

该步骤中，yaw轴云台角度参数与预设角度参数的角度偏差值为实际采样值(镜头当前相对于正方向的角度，即三轴云台yaw轴相对于正方向的角度)与预设角度值的差值；所述距离偏差值为实际距离值与预设半径的差值，本实施例中，所述预设半径可设置为1m，而在某些其他实施例中，也可根据实际需求进行设置。

s122、利用pid算法根据所述角度偏差值和所述距离偏差值计算获得舵机转角控制参数。

具体地，该步骤中，利用pid算法(比例-积分-微分控制算法)根据公式计算获得舵机转角控制参数；其中，kpyaw和kpl分别为角度偏差和距离偏差的比例项的系数，kiyaw和kil分别为角度偏差和距离偏差的积分项的系数，kdyaw和kdl分别为角度偏差和距离偏差的微分项的系数；erroryaw和errorl分别为角度偏差值和距离偏差值，uyaw和ul分别为角度控制参数和距离控制参数，u为舵机转角控制参数，即为舵机转向控制的输入控制参数，a和b分别为角度权重系数和距离权重系数，本实施例中，由于需要小车快速响应，为了不对微小的偏差带来时间积分的效应，参数kiyaw、kil、kdyaw和kdl的取值均为0。且优选地，取a:b为1:1，即将舵机转角控制参数和距离参数的控制相对权重比设置为1:1。

s130、根据yaw轴云台角度参数控制云台相机云台的转动进而控制摄像头的转向，且根据舵机转角控制参数控制用于放置云台相机的拍摄移动装置中舵机的转动角度，以使得拍摄移动装置环绕跟踪目标，以环绕目标进行拍摄。

具体地，该步骤中，所述根据yaw轴云台角度参数控制云台相机云台的转动进而控制摄像头的转向，包括：计算yaw轴云台角度参数与预设角度参数的角度偏差值；根据所述角度偏差值控制云台相机云台的转动进而控制摄像头的转向。本发明中根据角度偏差值调整摄像头的拍摄角度，使得摄像头的镜头朝向目标，以保证目标始终位于镜头内，

由于拍摄目标在拍摄过程中可能存在位移，本发明在小车和目标距离发生变化时利用pid算法根据角度控制参数和距离控制参数同时控制拍摄移动装置舵机的转动角度，来进行环绕路径的控制，即使得拍摄移动装置的前进方向始终与该拍摄移动装置和目标的连线呈直角，以使得智能小车的车头始终朝向环绕路径的切线方向，同时该拍摄移动装置与目标的距离保持不变。

可理解地，本发明中，在智能小车舵机的控制上，yaw轴角度的控制环和距离的控制环同时影响着舵机的转动角度，以始终使得车身正向方向与三轴云台的yaw轴呈90°或-90°，本发明中，直流无刷电机速度被定死，不存在动态控制，当yaw轴转角有负偏置时，小车如果保持方向不变，它总是朝着远离目标的方向运动，而当yaw轴转角有正偏置时，小车如果保持方向不变，它总是朝着接近目标的方向运动；且如果距离大于参考环绕半径即预设半径，则此时距离的控制环相对于yaw轴角度的控制环为累加效应，如果距离小于参考环绕半径，则此时距离的控制环相对于yaw轴角度的控制环为抵消效应。

综上所述，本发明通过拍摄移动装置承载云台相机，云台相机获取yaw轴云台角度参数，根据摄像头摄取的图像进行处理以获取距离参数，且根据所述yaw轴云台角度参数和距离参数计算获得舵机转角控制参数，以根据yaw轴云台角度参数控制云台相机云台的转动进而控制摄像头的转向，并根据舵机转角控制参数控制用于放置云台相机的拍摄移动装置中舵机的转动角度，以使得拍摄移动装置的前进方向始终与该拍摄移动装置和目标的连线呈直角，同时该拍摄移动装置与目标的距离保持不变，从而达到环绕跟踪目标拍摄的目的，可知，本发明通过调整摄像头的镜头转向角度来保证跟踪目标的拍摄效果，且通过调整拍摄移动装置舵机的转动角度以在跟踪目标移动时保持环绕跟随。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。而对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

以上所述仅为本发明的优选实施例，而非对本发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进，凡在权利要求范围内所做的等同变化或修饰，均应落入本发明的保护范围之内。