控制无人机追踪拍摄的方法及装置的制造方法
【专利摘要】本发明涉及控制无人机追踪拍摄的方法及装置，包括：接收无人机发送的目标的参考帧图像，并计算目标在参考帧图像中的像素信息；接收无人机发送的目标的当前帧图像，并计算目标在当前帧图像中的像素信息；根据目标在参考帧图像中的像素信息以及目标在当前帧图像中的像素信息确定待调节方向；根据待调节方向调整无人机的拍摄姿态。根据本发明实施例的控制无人机追踪拍摄的方法及装置能够在无人机追踪拍摄的过程中，保持无人机与目标之间的相对距离，且保证拍摄目标在图像中心，从而能够提高无人机的追踪精度和拍摄的图像质量，避免跟丢目标，且简化了人为操作，提高了航拍的用户体验。
【专利说明】
控制无人机追踪拍摄的方法及装置
技术领域
[0001]本发明涉及拍摄技术领域，尤其涉及一种控制无人机追踪拍摄的方法及装置。【背景技术】
[0002]无人机航拍摄影是以无人驾驶飞机作为空中平台，以机载遥感设备，如高分辨率 CCD(Charge-Coupled Device，电荷親合元件)数码相机、轻型光学相机、红外扫描仪、激光扫描仪、磁测仪等获取信息，用计算机对图像信息进行处理，并按照一定的精度要求制作成图像。全系统在设计和最优化组合方面具有突出的特点，是集成了高空拍摄、遥控、遥测、视频影像微波传输和计算机影像信息处理的新型应用技术。目前用于无人机追踪的技术包括 GPS(Global Posit1n System，全球定位系统)定位导航、惯性导航、超声波导航、激光测距导航以及视觉导航等。
[0003]目前基于视觉导航的方法主要有光流法，利用Kinect等深度传感器进行环境三维重建的方法，以及单目相机深度测距法。光流法利用角点处提取光流信息并求解延伸焦点来估计障碍物的位置，该方法存在较大的估计误差。深度传感器受到红外测距范围的限制， 不适合应用于室外环境的深度测量。
[0004]综上，现有的无人机的追踪拍摄技术的精度较低，且受环境限制，容易追踪失败。
【发明内容】
[0005]技术问题
[0006]有鉴于此，本发明要解决的技术问题是，现有的无人机的追踪拍摄技术的精度较低，且受环境限制，容易追踪失败。
[0007]解决方案
[0008]为了解决上述技术问题，根据本发明的一实施例，提供了一种控制无人机追踪拍摄的方法，包括:
[0009]接收所述无人机发送的目标的参考帧图像，并计算所述目标在所述参考帧图像中的像素信息；
[0010]接收所述无人机发送的所述目标的当前帧图像，并计算所述目标在所述当前帧图像中的像素信息；
[0011]根据所述目标在所述参考帧图像中的像素信息以及所述目标在所述当前帧图像中的像素信息确定待调节方向；
[0012]根据所述待调节方向调整所述无人机的拍摄姿态。
[0013]对于上述方法，在一种可能的实现方式中，在接收所述无人机发送的目标的参考帧图像之前，所述方法还包括:
[0014]接收所述无人机拍摄的视频帧图像，并显示所述视频帧图像；
[0015]根据用户在所述视频帧图像中选定所述目标的指令，发送第一拍摄请求至所述无人机，以使所述无人机根据所述第一拍摄请求拍摄所述目标的参考帧图像。
[0016]对于上述方法，在一种可能的实现方式中，根据用户在所述视频帧图像中选定所述目标的指令，发送第一拍摄请求至所述无人机，包括:
[0017]根据用户在所述视频帧图像中选定所述目标的指令，调整所述无人机的拍摄姿态，以使所述无人机将所述目标作为拍摄中心；
[0018]在接收的所述视频帧图像中所述目标的几何中心与所述视频帧图像的几何中心重合的情况下，发送第一拍摄请求至所述无人机。
[0019]对于上述方法，在一种可能的实现方式中，计算所述目标在所述参考帧图像中的像素信息，包括:计算所述目标在所述参考帧图像中包括的像素数，得到第一像素数；
[0020]计算所述目标在所述当前帧图像中的像素信息，包括:计算所述目标在所述当前帧图像中包括的像素数，得到第二像素数。
[0021]对于上述方法，在一种可能的实现方式中，根据所述目标在所述参考帧图像中的像素信息以及所述目标在所述当前帧图像中的像素信息确定待调节方向，包括:
[0022]获取所述目标的指定位置在所述参考帧图像中的坐标，得到第一坐标；
[0023]获取所述目标的指定位置在所述当前帧图像中的坐标，得到第二坐标；
[0024]根据所述第二坐标相对于所述第一坐标的方向，以及所述第二像素数与所述第一像素数的差值或比值，确定所述待调节方向。
[0025]对于上述方法，在一种可能的实现方式中，计算所述目标在所述参考帧图像中的像素信息，包括:计算所述目标在所述参考帧图像中包括的像素数，得到第一像素数;在所述参考帧图像中生成覆盖所述目标的矩形区域，所述矩形区域的几何中心与所述目标的几何中心重合；
[0026]计算所述目标在所述当前帧图像中的像素信息，包括:计算所述当前帧图像中所述目标与所述矩形区域重合的像素数，得到第三像素数。
[0027]对于上述方法，在一种可能的实现方式中，根据所述目标在所述参考帧图像中的像素信息以及所述目标在所述当前帧图像中的像素信息确定待调节方向，包括:
[0028]根据所述当前帧图像中所述目标的几何中心相对于所述矩形区域的几何中心的方向，以及所述第三像素数与所述第一像素数的差值或者比值，确定所述待调节方向。
[0029]对于上述方法，在一种可能的实现方式中，计算所述目标在所述参考帧图像中的像素信息，还包括:计算所述矩形区域在所述参考帧图像中包括的像素数，得到第四像素数;计算所述第一像素数与所述第四像素数的比值，得到所述目标在所述参考帧图像中的第一像素密度；
[0030]计算所述目标在所述当前帧图像中的像素信息，还包括:计算所述第三像素数与所述第四像素数的比值，得到所述目标在所述当前帧图像中的第二像素密度；
[0031]根据所述目标在所述参考帧图像中的像素信息以及所述目标在所述当前帧图像中的像素信息确定待调节方向，包括:根据所述当前帧图像中所述目标的几何中心相对于所述矩形区域的几何中心的方向，以及所述第二像素密度与所述第一像素密度的差值或者比值，确定所述待调节方向。
[0032]为了解决上述技术问题，根据本发明的另一实施例，提供了一种控制无人机追踪拍摄的装置，包括:
[0033]第一像素信息计算单元，用于接收所述无人机发送的目标的参考帧图像，并计算所述目标在所述参考帧图像中的像素信息；
[0034]第二像素信息计算单元，用于接收所述无人机发送的所述目标的当前帧图像，并计算所述目标在所述当前帧图像中的像素信息；
[0035]待调节方向确定单元，用于根据所述目标在所述参考帧图像中的像素信息以及所述目标在所述当前帧图像中的像素信息确定待调节方向；
[0036]拍摄姿态调整单元，用于根据所述待调节方向调整所述无人机的拍摄姿态。
[0037]对于上述装置，在一种可能的实现方式中，所述装置还包括:[〇〇38]视频帧图像接收与显示单元，用于接收所述无人机拍摄的视频帧图像，并显示所述视频帧图像；
[0039]第一拍摄请求发送单元，用于根据用户在所述视频帧图像中选定所述目标的指令，发送第一拍摄请求至所述无人机，以使所述无人机根据所述第一拍摄请求拍摄所述目标的参考帧图像。
[0040]对于上述装置，在一种可能的实现方式中，所述第一拍摄请求发送单元包括:
[0041]拍摄姿态调整子单元，用于根据用户在所述视频帧图像中选定所述目标的指令， 调整所述无人机的拍摄姿态，以使所述无人机将所述目标作为拍摄中心；
[0042]第一拍摄请求发送子单元，用于在接收的所述视频帧图像中所述目标的几何中心与所述视频帧图像的几何中心重合的情况下，发送第一拍摄请求至所述无人机。
[0043]对于上述装置，在一种可能的实现方式中，所述第一像素信息计算单元包括:第一像素数计算子单元，用于计算所述目标在所述参考帧图像中包括的像素数，得到第一像素数；
[0044]所述第二像素信息计算单元包括:第二像素数计算子单元，用于计算所述目标在所述当前帧图像中包括的像素数，得到第二像素数。
[0045]对于上述装置，在一种可能的实现方式中，所述待调节方向确定单元包括:
[0046]第一坐标获取子单元，用于获取所述目标的指定位置在所述参考帧图像中的坐标，得到第一坐标；
[0047]第二坐标获取子单元，用于获取所述目标的指定位置在所述当前帧图像中的坐标，得到第二坐标；
[0048]第一待调节方向确定子单元，用于根据所述第二坐标相对于所述第一坐标的方向，以及所述第二像素数与所述第一像素数的差值或比值，确定所述待调节方向。
[0049]对于上述装置，在一种可能的实现方式中，所述第一像素信息计算单元包括:第一像素数计算子单元，用于计算所述目标在所述参考帧图像中包括的像素数，得到第一像素数;矩形区域生成子单元，用于在所述参考帧图像中生成覆盖所述目标的矩形区域，所述矩形区域的几何中心与所述目标的几何中心重合；
[0050]所述第二像素信息计算单元包括:第三像素数计算子单元，用于计算所述当前帧图像中所述目标与所述矩形区域重合的像素数，得到第三像素数。
[0051]对于上述装置，在一种可能的实现方式中，所述待调节方向确定单元包括:
[0052]第二待调节方向确定子单元，用于根据所述当前帧图像中所述目标的几何中心相对于所述矩形区域的几何中心的方向，以及所述第三像素数与所述第一像素数的差值或者比值，确定所述待调节方向。
[0053]对于上述装置，在一种可能的实现方式中，所述第一像素信息计算单元还包括:第四像素数计算子单元，用于计算所述矩形区域在所述参考帧图像中包括的像素数，得到第四像素数;第一像素密度计算子单元，用于计算所述第一像素数与所述第四像素数的比值， 得到所述目标在所述参考帧图像中的第一像素密度；[〇〇54]所述第二像素信息计算单元还包括:第二像素密度计算子单元，用于计算所述第三像素数与所述第四像素数的比值，得到所述目标在所述当前帧图像中的第二像素密度；
[0055]所述待调节方向确定单元包括:第三待调节方向确定子单元，用于根据所述当前帧图像中所述目标的几何中心相对于所述矩形区域的几何中心的方向，以及所述第二像素密度与所述第一像素密度的差值或者比值，确定所述待调节方向。
[0056]有益效果
[0057]通过接收无人机发送的目标的参考帧图像和当前帧图像，计算目标在参考帧图像和当前帧图像中的像素信息，根据目标在参考帧图像和当前帧图像中的像素信息确定待调节方向，并根据待调节方向调整无人机的拍摄姿态，根据本发明实施例的控制无人机追踪拍摄的方法及装置基于视觉导航原理，利用图像处理技术控制无人机按照目标的运动方向运动，由此能够在无人机追踪拍摄的过程中，保持无人机与目标之间的相对距离，且保证拍摄目标在图像中心，从而能够提高无人机的追踪精度和拍摄的图像质量，避免跟丢目标，且简化了人为操作，提高了航拍的用户体验。
[0058]根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。【附图说明】
[0059]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。
[0060]图1示出根据本发明一实施例的控制无人机追踪拍摄的方法的实现流程图；[0061 ]图2示出根据本发明另一实施例的控制无人机追踪拍摄的方法的实现流程图； [〇〇62]图3示出根据本发明一实施例的控制无人机追踪拍摄的方法步骤S202的具体实现流程图；
[0063]图4示出根据本发明另一实施例的控制无人机追踪拍摄的方法的实现流程图；
[0064]图5示出根据本发明另一实施例的控制无人机追踪拍摄的方法的实现流程图；
[0065]图6示出根据本发明另一实施例的控制无人机追踪拍摄的方法的实现流程图；
[0066]图7a示出根据本发明一实施例的控制无人机追踪拍摄的方法中参考帧图像中矩形区域71与目标72的示意图；
[0067]图7b示出根据本发明一实施例的控制无人机追踪拍摄的方法中当前帧图像中矩形区域71与目标72的示意图；
[0068]图8示出根据本发明一实施例的控制无人机追踪拍摄的装置的结构框图；
[0069]图9示出根据本发明另一实施例的控制无人机追踪拍摄的装置的结构框图。【具体实施方式】
[0070]以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。[0071 ]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性” 所说明的任何实施例不必解释为优于或好于其它实施例。
[0072]另外，为了更好的说明本发明，在下文的【具体实施方式】中给出了众多的具体细节。 本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。
[0073]实施例1
[0074]图1示出根据本发明一实施例的控制无人机追踪拍摄的方法的实现流程图。如图1 所示，该方法主要包括:
[0075]在步骤S101中，接收无人机发送的目标的参考帧图像，并计算目标在参考帧图像中的像素信息。
[0076]需要说明的是，本发明实施例的执行主体可以为地面站，该地面站可以为手机、掌上电脑等智能终端，在此不作限定。
[0077]在这里，计算目标在参考帧图像中的像素信息包括:利用图像处理算法获得目标在参考帧图像中的轮廓信息，将目标在参考帧图像中的轮廓信息转化为轮廓坐标，并在参考帧图像中目标的边缘取N个坐标确定目标轮廓，以在后续控制无人机追踪拍摄的过程中， 根据该目标轮廓控制无人机追踪目标，避免跟丢目标，其中，N为大于1的整数。
[0078]在步骤S102中，接收无人机发送的目标的当前帧图像，并计算目标在当前帧图像中的像素信息。
[0079]在无人机追踪拍摄的过程中，随着目标的运动，无人机与目标之间的距离可能变大或变小，因此，以设定的目标轮廓去采集的目标在当前帧图像中的像素信息可能发生变化。
[0080]在步骤S103中，根据目标在参考帧图像中的像素信息以及目标在当前帧图像中的像素信息确定待调节方向。
[0081]在步骤S104中，根据待调节方向调整无人机的拍摄姿态。
[0082]其中，调整无人机的拍摄姿态可以包括:调节无人机的飞行姿态，和/或调节无人机的摄像头的拍摄角度等。例如，地面站向无人机的飞控模块发送飞行控制指令，以调整无人机的飞行姿态(向上、向下、向左、向右、俯仰、旋转等)，从而带动摄像头改变拍摄姿态。再如，地面站向无人机的摄像头的控制模块发送旋转控制命令，控制摄像头在任意方向的旋转角度，从而调整摄像头的拍摄姿态。
[0083]图2示出根据本发明另一实施例的控制无人机追踪拍摄的方法的实现流程图。如图2所示，该方法主要包括:[〇〇84]在步骤S201中，接收无人机拍摄的视频帧图像，并显示视频帧图像。
[0085]在步骤S202中，根据用户在视频帧图像中选定目标的指令，发送第一拍摄请求至无人机，以使无人机根据第一拍摄请求拍摄目标的参考帧图像。
[0086]在本发明实施例中，地面站实时接收并显示无人机拍摄的视频帧图像。在接收到用户在视频帧图像中选定目标的指令的情况下，地面站可以发送第一拍摄请求至无人机。 其中，用户可以在视频帧图像中选定某个目标，从而产生选定目标的指令。例如，用户在触摸显示屏所显示的视频帧图像中触摸目标对应的区域，从而生成选定目标的指令。再如，用户还可以操作键盘或鼠标等，使得光标指向视频帧图像中目标对应的区域，从而生成选定目标的指令。本实施例不限定用户选定目标的具体方式。在接收到用户在视频帧图像中选定目标的指令时，地面站生成第一拍摄请求，并通过通信链路上传该第一拍摄请求。
[0087]在步骤S203中，接收无人机发送的目标的参考帧图像，并计算目标在参考帧图像中的像素信息。
[0088]在步骤S204中，接收无人机发送的目标的当前帧图像，并计算目标在当前帧图像中的像素信息。
[0089]在步骤S205中，根据目标在参考帧图像中的像素信息以及目标在当前帧图像中的像素信息确定待调节方向。
[0090]在步骤S206中，根据待调节方向调整无人机的拍摄姿态。
[0091]图3示出根据本发明一实施例的控制无人机追踪拍摄的方法步骤S202的具体实现流程图。参照图3,为了获得更好的跟踪拍摄效果，可以预先将目标调整到拍摄中心，步骤 S202具体包括:
[0092]在步骤S301中，根据用户在视频帧图像中选定目标的指令，调整无人机的拍摄姿态，以使无人机将目标作为拍摄中心。[〇〇93]在步骤S302中，在接收的视频帧图像中目标的几何中心与视频帧图像的几何中心重合的情况下，发送第一拍摄请求至无人机。
[0094]作为本发明的一个实施例，在接收到用户在视频帧图像中选定目标的指令的情况下，地面站可以控制无人机调整拍摄姿态，以使无人机将用户选定的目标作为拍摄中心。具体而言，在接收的视频帧图像中目标的几何中心与视频帧图像的几何中心大致重合的情况下，地面站可以发送第一拍摄请求至无人机，以使无人机根据第一拍摄请求拍摄的参考帧图像中，目标位于中心，即参考帧图像的几何中心与目标的几何中心大致重合。
[0095]需要说明的是，目标的几何中心可以根据目标轮廓对应的N个坐标确定，在此不作限定。例如，将目标轮廓对应的N个坐标的几何中心作为目标的几何中心。[〇〇96]这样，通过接收无人机发送的目标的参考帧图像和当前帧图像，计算目标在参考帧图像和当前帧图像中的像素信息，根据目标在参考帧图像和当前帧图像中的像素信息确定待调节方向，并根据待调节方向调整无人机的拍摄姿态，根据本发明实施例的控制无人机追踪拍摄的方法基于视觉导航原理，利用图像处理技术控制无人机按照目标的运动方向运动，由此能够在无人机追踪拍摄的过程中，保持无人机与目标之间的相对距离，且保证拍摄目标在图像中心，从而能够提高无人机的追踪精度和拍摄的图像质量，避免跟丢目标，且简化了人为操作，提高了航拍的用户体验。
[0097]实施例2
[0098]图4示出根据本发明另一实施例的控制无人机追踪拍摄的方法的实现流程图。如图4所示，该方法主要包括:[〇〇99]在步骤S401中，接收无人机发送的目标的参考帧图像，并计算目标在参考帧图像中包括的像素数，得到第一像素数。
[0100]在步骤S402中，接收无人机发送的目标的当前帧图像，并计算目标在当前帧图像中包括的像素数，得到第二像素数。
[0101]在步骤S403中，获取目标的指定位置在参考帧图像中的坐标，得到第一坐标。[〇1〇2]在步骤S404中，获取目标的指定位置在当前帧图像中的坐标，得到第二坐标。[〇1〇3]在步骤S405中，根据第二坐标相对于第一坐标的方向，以及第二像素数与第一像素数的差值或比值，确定待调节方向。
[0104]在步骤S406中，根据待调节方向调整无人机的拍摄姿态。
[0105]作为本发明的一个实施例，目标在参考帧图像中的像素信息包括目标在参考帧图像中包括的像素数，目标在当前帧图像中的像素信息包括目标在当前帧图像中包括的像素数。在本发明实施例中，根据第二像素数与第一像素数的差值或比值可以判断出是否需要增大或减小无人机与目标之间的距离。例如，在第二像素数与第一像素数的差值大于〇,或者第二像素数与第一像素数的比值大于1的情况下，判定需要增大无人机与目标之间的距离;在第二像素数与第一像素数的差值小于0,或者第二像素数与第一像素数的比值小于1 的情况下，判定需要减小无人机与目标之间的距离;在第二像素数与第一像素数的差值等于0,或者第二像素数与第一像素数的比值等于1的情况下，判定无需调整无人机与目标之间的距离。在判定需要增大无人机与目标之间的距离的情况下，将无人机的飞行姿态调整为朝向远离目标的方向；在判定需要减小无人机与目标之间的距离的情况下，将无人机的飞行姿态调整为朝向接近目标的方向。根据第二像素数与第一像素数的差值或比值，来调整无人机的拍摄姿态，从而使无人机与目标之间始终保持相对固定的拍摄距离。
[0106]在本发明实施例中，目标的指定位置在参考帧图像中的坐标可以为目标的左上角在参考帧图像中的坐标，目标的右上角在参考帧图像中的坐标，或者目标的几何中心在参考帧图像中的坐标等，在此不作限定。根据第二坐标相对于第一坐标的方向，来控制无人机的拍摄姿态，从而将目标始终保持在当前帧图像的中心位置。[〇1〇7]这样，通过接收无人机发送的目标的参考帧图像和当前帧图像，计算目标在参考帧图像的第一像素数和目标在当前帧图像中的第二像素数，获取目标的指定位置在参考帧图像中的第一坐标和目标的指定位置在当前帧图像中的第二坐标，根据第二坐标相对于第一坐标的方向以及第二像素数与第一像素数的差值或比值，确定待调节方向，并根据待调节方向调整无人机的拍摄姿态，根据本发明实施例的控制无人机追踪拍摄的方法能够在无人机追踪拍摄的过程中，始终保持无人机与目标之间的相对固定的拍摄距离，且始终保持目标在当前帧图像的中心位置，从而能够提高无人机的追踪精度和拍摄的图像质量，避免跟丢目标，且简化了人为操作，提高了航拍的用户体验。
[0108]实施例3
[0109]图5示出根据本发明另一实施例的控制无人机追踪拍摄的方法的实现流程图。如图5所示，该方法主要包括:
[0110]在步骤S501中，接收无人机发送的目标的参考帧图像，计算目标在参考帧图像中包括的像素数，得到第一像素数。
[0111]在步骤S502中，在参考帧图像中生成覆盖目标的矩形区域，矩形区域的几何中心与目标的几何中心重合。
[0112]在步骤S503中，接收无人机发送的目标的当前帧图像，计算当前帧图像中目标与矩形区域重合的像素数，得到第三像素数。
[0113]在步骤S504中，根据当前帧图像中目标的几何中心相对于矩形区域的几何中心的方向，以及第三像素数与第一像素数的差值或者比值，确定待调节方向。
[0114]在步骤S505中，根据待调节方向调整无人机的拍摄姿态。
[0115]作为本发明的一个实施例，目标在参考帧图像中的像素信息包括目标在参考帧图像中包括的像素数，目标在当前帧图像中的像素信息包括在当前帧图像中目标与矩形区域重合的像素数。由于在参考帧图像中生成的矩形区域覆盖目标，因此，参考帧图像中目标与矩形区域重合的像素数等于目标在参考帧图像中包括的像素数。在本发明实施例中，根据第三像素数与第一像素数的差值或比值可以判断出是否需要增大或减小无人机与目标之间的距离。例如，在第三像素数与第一像素数的差值大于0,或者第三像素数与第一像素数的比值大于1的情况下，判定需要增大无人机与目标之间的距离;在第三像素数与第一像素数的差值小于0,或者第三像素数与第一像素数的比值小于1的情况下，判定需要减小无人机与目标之间的距离;在第三像素数与第一像素数的差值等于0,或者第三像素数与第一像素数的比值等于1的情况下，判定无需调整无人机与目标之间的距离。在判定需要增大无人机与目标之间的距离的情况下，将无人机的飞行姿态调整为朝向远离目标的方向；在判定需要减小无人机与目标之间的距离的情况下，将无人机的飞行姿态调整为朝向接近目标的方向。根据第三像素数与第一像素数的差值或比值，来调整无人机的拍摄姿态，从而使无人机与目标之间始终保持相对固定的拍摄距离。
[0116]在本发明实施例中，根据当前帧图像中目标的几何中心相对于矩形区域的几何中心的方向，来控制无人机的拍摄姿态，从而将目标始终保持在当前帧图像的中心位置。
[0117]这样，通过接收无人机发送的目标的参考帧图像和当前帧图像，计算目标在参考帧图像的第一像素数和目标在当前帧图像中的第三像素数，根据当前帧图像中目标的几何中心相对于矩形区域的几何中心的方向，以及第三像素数与第一像素数的差值或比值，确定待调节方向，并根据待调节方向调整无人机的拍摄姿态，根据本发明实施例的控制无人机追踪拍摄的方法能够在无人机追踪拍摄的过程中，始终保持无人机与目标之间的相对固定的拍摄距离，且始终保持目标在当前帧图像的中心位置，从而能够提高无人机的追踪精度和拍摄的图像质量，避免跟丢目标，且简化了人为操作，提高了航拍的用户体验。
[0118]实施例4
[0119]图6示出根据本发明另一实施例的控制无人机追踪拍摄的方法的实现流程图。如图6所示，该方法主要包括:
[0120]在步骤S601中，接收无人机发送的目标的参考帧图像，计算目标在参考帧图像中包括的像素数，得到第一像素数。[〇121]在步骤S602中，在参考帧图像中生成覆盖目标的矩形区域，矩形区域的几何中心与目标的几何中心重合。
[0122]在步骤S603中，计算矩形区域在参考帧图像中包括的像素数，得到第四像素数。
[0123]在步骤S604中，计算第一像素数与第四像素数的比值，得到目标在参考帧图像中的第一像素密度。
[0124]在步骤S605中，接收无人机发送的目标的当前帧图像，计算当前帧图像中目标与矩形区域重合的像素数，得到第三像素数。
[0125]在步骤S606中，计算第三像素数与第四像素数的比值，得到目标在当前帧图像中的第二像素密度。
[0126]在步骤S607中，根据当前帧图像中目标的几何中心相对于矩形区域的几何中心的方向，以及第二像素密度与第一像素密度的差值或者比值，确定待调节方向。
[0127]在步骤S608中，根据待调节方向调整无人机的拍摄姿态。
[0128]作为本发明的一个实施例，目标在参考帧图像中的像素信息包括目标在参考帧图像中的第一像素密度，目标在当前帧图像中的像素信息目标在当前帧图像中的第二像素密度。在本发明实施例中，根据第二像素密度与第一像素密度的差值或比值可以判断出是否需要增大或减小无人机与目标之间的距离。例如，在第二像素密度与第一像素密度的差值大于0,或者第二像素密度与第一像素密度的比值大于1的情况下，判定需要增大无人机与目标之间的距离;在第二像素密度与第一像素密度的差值小于〇，或者第二像素密度与第一像素密度的比值小于1的情况下，判定需要减小无人机与目标之间的距离;在第二像素密度与第一像素密度的差值等于〇,或者第二像素密度与第一像素密度的比值等于1的情况下， 判定无需调整无人机与目标之间的距离。在判定需要增大无人机与目标之间的距离的情况下，将无人机的飞行姿态调整为朝向远离目标的方向；在判定需要减小无人机与目标之间的距离的情况下，将无人机的飞行姿态调整为朝向接近目标的方向。根据第二像素密度与第一像素密度的差值或比值，来调整无人机的拍摄姿态，从而使无人机与目标之间始终保持相对固定的拍摄距离。
[0129]在本发明实施例中，根据当前帧图像中目标的几何中心相对于矩形区域的几何中心的方向，来控制无人机的拍摄姿态，从而将目标始终保持在当前帧图像的中心位置。 [〇13〇]这样，通过接收无人机发送的目标的参考帧图像和当前帧图像，计算目标在参考帧图像的第一像素密度和目标在当前帧图像中的第二像素密度，根据当前帧图像中目标的几何中心相对于矩形区域的几何中心的方向，以及第二像素密度与第一像素密度的差值或比值，确定待调节方向，并根据待调节方向调整无人机的拍摄姿态，根据本发明实施例的控制无人机追踪拍摄的方法能够在无人机追踪拍摄的过程中，始终保持无人机与目标之间的相对固定的拍摄距离，且始终保持目标在当前帧图像的中心位置，从而能够提高无人机的追踪精度和拍摄的图像质量，避免跟丢目标，且简化了人为操作，提高了航拍的用户体验。
[0131]图7a示出根据本发明一实施例的控制无人机追踪拍摄的方法中参考帧图像中矩形区域71与目标72的示意图。图7b示出根据本发明一实施例的控制无人机追踪拍摄的方法中当前帧图像中矩形区域71与目标72的示意图。由图7a和7b可知，目标在当前帧图像的第二像素密度小于目标在参考帧图像的第一像素密度，因此需要减小无人机与目标之间的距离。
[0132]实施例5
[0133]图8示出根据本发明一实施例的控制无人机追踪拍摄的装置的结构框图。该装置可以为地面站，在此不作限定。为了便于说明，仅示出了与本发明实施例相关的部分。参照图8,该装置包括:
[0134]第一像素信息计算单元81，用于接收所述无人机发送的目标的参考帧图像，并计算所述目标在所述参考帧图像中的像素信息；
[0135]第二像素信息计算单元82,用于接收所述无人机发送的所述目标的当前帧图像， 并计算所述目标在所述当前帧图像中的像素信息；
[0136]待调节方向确定单元83,用于根据所述目标在所述参考帧图像中的像素信息以及所述目标在所述当前帧图像中的像素信息确定待调节方向；
[0137]拍摄姿态调整单元84,用于根据所述待调节方向调整所述无人机的拍摄姿态。
[0138]图9示出根据本发明另一实施例的控制无人机追踪拍摄的装置的结构框图。为了便于说明，仅示出了与本发明实施例相关的部分。图9中标号与图8相同的组件具有相同的功能，为简明起见，省略对这些组件的详细说明。参照图9，该装置还包括:
[0139]视频帧图像接收与显示单元85,用于接收无人机拍摄的视频帧图像，并显示视频帧图像；
[0140]第一拍摄请求发送单元86,用于根据用户在视频帧图像中选定目标的指令，发送第一拍摄请求至无人机，以使无人机根据第一拍摄请求拍摄目标的参考帧图像。
[0141]对于上述装置，在一种可能的实现方式中，第一拍摄请求发送单元86包括:
[0142]拍摄姿态调整子单元861，用于根据用户在视频帧图像中选定目标的指令，调整无人机的拍摄姿态，以使无人机将目标作为拍摄中心；
[0143]第一拍摄请求发送子单元862,用于在接收的视频帧图像中目标的几何中心与视频帧图像的几何中心重合的情况下，发送第一拍摄请求至无人机。
[0144]对于上述装置，在一种可能的实现方式中，第一像素信息计算单元81包括:第一像素数计算子单元811，用于计算目标在参考帧图像中包括的像素数，得到第一像素数；
[0145]第二像素信息计算单元82包括:第二像素数计算子单元821，用于计算目标在当前帧图像中包括的像素数，得到第二像素数。
[0146]对于上述装置，在一种可能的实现方式中，待调节方向确定单元83包括:
[0147]第一坐标获取子单元831，用于获取目标的指定位置在参考帧图像中的坐标，得到第一坐标；
[0148]第二坐标获取子单元832,用于获取目标的指定位置在当前帧图像中的坐标，得到第二坐标；
[0149]第一待调节方向确定子单元833,用于根据第二坐标相对于第一坐标的方向，以及第二像素数与第一像素数的差值或比值，确定待调节方向。
[0150]对于上述装置，在一种可能的实现方式中，第一像素信息计算单元81包括:第一像素数计算子单元811，用于计算目标在参考帧图像中包括的像素数，得到第一像素数;矩形区域生成子单元812,用于在参考帧图像中生成覆盖目标的矩形区域，矩形区域的几何中心与目标的几何中心重合；
[0151]第二像素信息计算单元82包括:第三像素数计算子单元822,用于计算当前帧图像中目标与矩形区域重合的像素数，得到第三像素数。
[0152]对于上述装置，在一种可能的实现方式中，待调节方向确定单元83包括:
[0153]第二待调节方向确定子单元834,用于根据当前帧图像中目标的几何中心相对于矩形区域的几何中心的方向，以及第三像素数与第一像素数的差值或者比值，确定待调节方向。
[0154]对于上述装置，在一种可能的实现方式中，第一像素信息计算单元81还包括:第四像素数计算子单元813,用于计算矩形区域在参考帧图像中包括的像素数，得到第四像素数;第一像素密度计算子单元814,用于计算第一像素数与第四像素数的比值，得到目标在参考帧图像中的第一像素密度；
[0155]第二像素信息计算单元82还包括:第二像素密度计算子单元823，用于计算第三像素数与第四像素数的比值，得到目标在当前帧图像中的第二像素密度；[〇156]待调节方向确定单元83包括:第三待调节方向确定子单元835，用于根据当前帧图像中目标的几何中心相对于矩形区域的几何中心的方向，以及第二像素密度与第一像素密度的差值或者比值，确定待调节方向。
[0157]这样，通过接收无人机发送的目标的参考帧图像和当前帧图像，计算目标在参考帧图像和当前帧图像中的像素信息，根据目标在参考帧图像和当前帧图像中的像素信息确定待调节方向，并根据待调节方向调整无人机的拍摄姿态，根据本发明实施例的控制无人机追踪拍摄的装置基于视觉导航原理，利用图像处理技术控制无人机按照目标的运动方向运动，由此能够在无人机追踪拍摄的过程中，保持无人机与目标之间的相对距离，且保证拍摄目标在图像中心，从而能够提高无人机的追踪精度和拍摄的图像质量，避免跟丢目标，且简化了人为操作，提高了航拍的用户体验。
[0158]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
【主权项】
1.一种控制无人机追踪拍摄的方法，其特征在于，包括:接收所述无人机发送的目标的参考帧图像，并计算所述目标在所述参考帧图像中的像素信息；接收所述无人机发送的所述目标的当前帧图像，并计算所述目标在所述当前帧图像中 的像素信息；根据所述目标在所述参考帧图像中的像素信息以及所述目标在所述当前帧图像中的 像素信息确定待调节方向；根据所述待调节方向调整所述无人机的拍摄姿态。2.根据权利要求1所述的方法，其特征在于，在接收所述无人机发送的目标的参考帧图 像之前，所述方法还包括:接收所述无人机拍摄的视频帧图像，并显示所述视频帧图像；根据用户在所述视频帧图像中选定所述目标的指令，发送第一拍摄请求至所述无人 机，以使所述无人机根据所述第一拍摄请求拍摄所述目标的参考帧图像。3.根据权利要求2所述的方法，其特征在于，根据用户在所述视频帧图像中选定所述目 标的指令，发送第一拍摄请求至所述无人机，包括:根据用户在所述视频帧图像中选定所述目标的指令，调整所述无人机的拍摄姿态，以 使所述无人机将所述目标作为拍摄中心；在接收的所述视频帧图像中所述目标的几何中心与所述视频帧图像的几何中心重合 的情况下，发送第一拍摄请求至所述无人机。4.根据权利要求1至3任意一项所述的方法，其特征在于，计算所述目标在所述参考帧 图像中的像素信息，包括:计算所述目标在所述参考帧图像中包括的像素数，得到第一像素 数；计算所述目标在所述当前帧图像中的像素信息，包括:计算所述目标在所述当前帧图 像中包括的像素数，得到第二像素数。5.根据权利要求4所述的方法，其特征在于，根据所述目标在所述参考帧图像中的像素 信息以及所述目标在所述当前帧图像中的像素信息确定待调节方向，包括:获取所述目标的指定位置在所述参考帧图像中的坐标，得到第一坐标；获取所述目标的指定位置在所述当前帧图像中的坐标，得到第二坐标；根据所述第二坐标相对于所述第一坐标的方向，以及所述第二像素数与所述第一像素 数的差值或比值，确定所述待调节方向。6.根据权利要求1至3任意一项所述的方法，其特征在于，计算所述目标在所述参考帧 图像中的像素信息，包括:计算所述目标在所述参考帧图像中包括的像素数，得到第一像素 数;在所述参考帧图像中生成覆盖所述目标的矩形区域，所述矩形区域的几何中心与所述 目标的几何中心重合；计算所述目标在所述当前帧图像中的像素信息，包括:计算所述当前帧图像中所述目 标与所述矩形区域重合的像素数，得到第三像素数。7.根据权利要求6所述的方法，其特征在于，根据所述目标在所述参考帧图像中的像素 信息以及所述目标在所述当前帧图像中的像素信息确定待调节方向，包括:根据所述当前帧图像中所述目标的几何中心相对于所述矩形区域的几何中心的方向，以及所述第三像素数与所述第一像素数的差值或者比值，确定所述待调节方向。8.根据权利要求6所述的方法，其特征在于，计算所述目标在所述参考帧图像中的像素 信息，还包括:计算所述矩形区域在所述参考帧图像中包括的像素数，得到第四像素数;计 算所述第一像素数与所述第四像素数的比值，得到所述目标在所述参考帧图像中的第一像 素密度；计算所述目标在所述当前帧图像中的像素信息，还包括:计算所述第三像素数与所述 第四像素数的比值，得到所述目标在所述当前帧图像中的第二像素密度；根据所述目标在所述参考帧图像中的像素信息以及所述目标在所述当前帧图像中的 像素信息确定待调节方向，包括:根据所述当前帧图像中所述目标的几何中心相对于所述 矩形区域的几何中心的方向，以及所述第二像素密度与所述第一像素密度的差值或者比 值，确定所述待调节方向。9.一种控制无人机追踪拍摄的装置，其特征在于，包括:第一像素信息计算单元，用于接收所述无人机发送的目标的参考帧图像，并计算所述 目标在所述参考帧图像中的像素信息；第二像素信息计算单元，用于接收所述无人机发送的所述目标的当前帧图像，并计算 所述目标在所述当前帧图像中的像素信息；待调节方向确定单元，用于根据所述目标在所述参考帧图像中的像素信息以及所述目 标在所述当前帧图像中的像素信息确定待调节方向；拍摄姿态调整单元，用于根据所述待调节方向调整所述无人机的拍摄姿态。10.根据权利要求9所述的装置，其特征在于，所述装置还包括:视频帧图像接收与显示单元，用于接收所述无人机拍摄的视频帧图像，并显示所述视 频帧图像；第一拍摄请求发送单元，用于根据用户在所述视频帧图像中选定所述目标的指令，发 送第一拍摄请求至所述无人机，以使所述无人机根据所述第一拍摄请求拍摄所述目标的参 考帧图像。11.根据权利要求10所述的装置，其特征在于，所述第一拍摄请求发送单元包括:拍摄姿态调整子单元，用于根据用户在所述视频帧图像中选定所述目标的指令，调整所述无人机的拍摄姿态，以使所述无人机将所述目标作为拍摄中心；第一拍摄请求发送子单元，用于在接收的所述视频帧图像中所述目标的几何中心与所 述视频帧图像的几何中心重合的情况下，发送第一拍摄请求至所述无人机。12.根据权利要求9至11任意一项所述的装置，其特征在于，所述第一像素信息计算单 元包括:第一像素数计算子单元，用于计算所述目标在所述参考帧图像中包括的像素数，得 到第一像素数；所述第二像素信息计算单元包括:第二像素数计算子单元，用于计算所述目标在所述 当前帧图像中包括的像素数，得到第二像素数。13.根据权利要求12所述的装置，其特征在于，所述待调节方向确定单元包括:第一坐标获取子单元，用于获取所述目标的指定位置在所述参考帧图像中的坐标，得到第一坐标；第二坐标获取子单元，用于获取所述目标的指定位置在所述当前帧图像中的坐标，得到第二坐标；第一待调节方向确定子单元，用于根据所述第二坐标相对于所述第一坐标的方向，以 及所述第二像素数与所述第一像素数的差值或比值，确定所述待调节方向。14.根据权利要求9至11任意一项所述的装置，其特征在于，所述第一像素信息计算单 元包括:第一像素数计算子单元，用于计算所述目标在所述参考帧图像中包括的像素数，得 到第一像素数;矩形区域生成子单元，用于在所述参考帧图像中生成覆盖所述目标的矩形 区域，所述矩形区域的几何中心与所述目标的几何中心重合；所述第二像素信息计算单元包括:第三像素数计算子单元，用于计算所述当前帧图像 中所述目标与所述矩形区域重合的像素数，得到第三像素数。15.根据权利要求14所述的装置，其特征在于，所述待调节方向确定单元包括:第二待调节方向确定子单元，用于根据所述当前帧图像中所述目标的几何中心相对于所述矩形区域的几何中心的方向，以及所述第三像素数与所述第一像素数的差值或者比 值，确定所述待调节方向。16.根据权利要求14所述的装置，其特征在于，所述第一像素信息计算单元还包括:第 四像素数计算子单元，用于计算所述矩形区域在所述参考帧图像中包括的像素数，得到第 四像素数;第一像素密度计算子单元，用于计算所述第一像素数与所述第四像素数的比值， 得到所述目标在所述参考帧图像中的第一像素密度；所述第二像素信息计算单元还包括:第二像素密度计算子单元，用于计算所述第三像 素数与所述第四像素数的比值，得到所述目标在所述当前帧图像中的第二像素密度；所述待调节方向确定单元包括:第三待调节方向确定子单元，用于根据所述当前帧图 像中所述目标的几何中心相对于所述矩形区域的几何中心的方向，以及所述第二像素密度 与所述第一像素密度的差值或者比值，确定所述待调节方向。
【文档编号】H04N7/18GK105959625SQ201610290866
【公开日】2016年9月21日
【申请日】2016年5月4日
【发明人】高鹏, 李彪
【申请人】北京博瑞爱飞科技发展有限公司