航拍图像处理方法、无人机、头戴显示设备及系统与流程

本发明涉及无人机视频图像处理技术，具体涉及一种航拍图像处理及获取方法、无人机、头戴显示设备及系统。

背景技术：

在无人机航拍过程中，通过全景第一人称视角(First Person View，简称为FPV)的方式，操作者可实时的沉浸式体验航拍视角，并通过头戴显示设备(如虚拟现实(Virtual Reality简称为VR)头盔)内部的加速度传感器将头部转动信息实时发送给飞机上的云台等镜头控制单元，让镜头跟着操作者的头部运动方向运动，使操作者可自由控制其在空中的视角。

无人机接收到头戴显示设备传来的姿态信息后，要通过控制云台的电机运作使镜头完成相应的姿态变换动作，以切换到操作者期望的视角上。但是，由于机电转换过程中存在延迟问题，目前无法将镜头的反应延迟缩短至100ms以内，因此操作者在转动头部时，会感觉到头戴显示设备显示屏上接收到的航拍视频存在延迟，一般操作者在操作1～2分钟后，可能会由于神经反馈紊乱的原因而发生眩晕现象，因而导致这种全景FPV的模式很难推广开来成为常规的无人机操作及航拍的模式。

技术实现要素：

本发明提供一种航拍图像处理方法，包括：

获取头戴显示设备的视野变化坐标，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；

从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像；

将所述视场角的图像发送至所述头戴显示设备。

本发明提供一种无人机，包括：

信息获取单元，用于获取头戴显示设备的视野变化坐标，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；

图像截取单元，用于从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像；

图像发送单元，用于将所述视场角的图像发送至所述头戴显示设备。

本发明提供一种航拍图像获取方法，包括：

确定视野变化坐标，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；

将所述视野变化坐标发送至无人机；

接收所述无人机的发送的图像，其中，所述图像为所述无人机从拍摄图像中截取的与所述视野变化坐标对应的视场角的图像。

本发明提供一种头戴显示设备，包括：

信息确定单元，用于确定视野变化坐标，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；

信息发送单元，用于将所述视野变化坐标发送至无人机；

图像接收单元，用于接收所述无人机的发送的图像，其中，所述图像为所述无人机从拍摄图像中截取的与所述视野变化坐标对应的视场角的图像。

本发明提供一种航拍系统，包括：无人机及头戴显示设备，所述无人机与头戴显示设备无线连接；

所述头戴显示设备用于确定视野变化坐标，并将所述视野变化坐标发送至无人机，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；

所述无人机用于接收所述视野变化坐标，从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像，并将所述视场角的图像发送至所述头戴显示设备；

所述头戴显示设备接收所述视场角的图像并显示。

本发明实施例中，可以消除由于图像传输的时间延迟导致用户眩晕的问题。

当然实施本申请的任一产品或者方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例的应用场景示意图；

图2为本发明一实施例的航拍图像处理方法流程图；

图3为本发明实施例的视野变化坐标确定方法流程图；

图4为本发明实施例的头戴显示设备的结构示意图；

图5为本发明实施例的信息确定单元的结构框图；

图6为本发明实施例的坐标确定模块的结构框图；

图7为本发明实施例的航拍图像处理方法流程图；

图8为本发明实施例的无人机的结构示意图；

图9为本发明实施例的图像截取单元的结构示意图；

图10为本发明实施例的航拍系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一实施例的应用场景示意图。本发明实施例的技术方案可以在无人机101与头戴显示设备102之间实现相关操作。现有技术中在实现相关操作时，头戴显示设备102通过其上的传感部件测量姿态信息并传输至无人机101，无人机101接收到头戴显示设备传来的姿态信息后，要通过控制云台的电机运作使镜头完成相应的姿态变换动作，以切换到操作者期望的视角上。但是，由于机电转换过程中存在延迟问题，佩戴头戴显示设备的操作者在转动头部时，会感觉到头戴显示设备的显示屏上接收到的航拍视频存在延迟，从而发生眩晕现象。基于此，本发明通过头戴显示设备102确定用户的视野变化坐标并传输给无人机101，无人机101根据视野变化坐标从图像中抽取用户欲观看的图像部分，然后再进行将图像传输给头戴显示设备102，可以改善图像传输的延迟问题，其中，该无人机101可以为固定翼飞机或者为多旋翼飞机。

图2是本申请提出的航拍图像处理方法的一种实施例的方法流程图，虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块结构。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本申请实施例提供的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

图2为本发明实施例的航拍图像处理方法流程图，如图2所示，该航拍图像处理方法可以包括如下步骤：

S201：确定视野变化坐标；

S202：将所述视野变化坐标发送至无人机；

S203：接收所述无人机的发送的图像，其中，所述图像为所述无人机从拍摄图像中截取的与所述视野变化坐标对应的视场角的图像。

图1所示航拍图像处理方法的执行主体可以为头戴显示设备，由图1所示的流程可知，本发明中，头戴显示设备通过确定用户的视野变化坐标，发送给无人机，并接收无人机根据视野变化坐标从拍摄图像中截取的视场角的图像，最后将该图像显示于头戴显示设备的显示屏上。这样，本实施例的延迟只包括视野变化坐标发送至无人机的时间延迟及接收视场角的图像的时间延长，总延迟时间较小，可以消除用户眩晕。

本发明实施例中，视野变化坐标用于指示佩戴所述头戴显示设备的用户的视野变化，基于该视野变化坐标，无人机才能从无人机获得视野变化坐标对应的视场角的图像。

一实施例中，如图3所示，确定视野变化坐标，包括如下步骤：

S301：获取头戴显示设备上的姿态传感部件采集的头戴显示设备的初始姿态信息及实时姿态信息。

姿态传感部件可以用于测量头戴显示设备处于初始姿态以及处于实时姿态时的姿态信息，姿态传感部件包括加速度传感器以及陀螺仪至少之一。

一实施例中，初始姿态信息及实时姿态信息均可以包括头戴显示设备的显示屏的关键点坐标，显示屏可以至少为以下其中之一：

显示屏为矩形，关键点坐标包括矩形的四个顶点坐标；

显示屏为椭圆形，关键点坐标包括椭圆的四个顶点坐标；

显示屏为圆形，关键点坐标包括圆形相互垂直两条直径与圆的交点的坐标。

姿态传感部件采集初始姿态信息时，可以直接利用加速度传感器和/或陀螺仪获得关键点坐标。

姿态传感部件采集初始姿态信息时，可以通过如下方法得到：首先，加速度传感器和/或陀螺仪测量头戴显示设备的加速度信息，根据该加速度信息，可以得到头戴显示设备的实时位移信息，根据位移信息及初始姿态信息对应的关键点坐标可以得到头戴显示设备的关键点坐标，即得到头戴显示设备的实时姿态信息。

头戴显示设备与无人机连接时，头戴显示设备处于初始姿态，可以实现静态图像传输，此时可以需要将头戴显示设备与无人机进行标定，标定头戴显示设备处于初始姿态时当前视野的预设关键点坐标，同时可以获取姿态传感部件采集的上述初始姿态信息。

标定头戴显示设备当前视野的预设关键点坐标时，初始姿态可以按照如下方式得到：佩戴头戴显示设备的用户选好起始站立位置及朝向，并在该站立位置保持头部水平向前，此时头戴显示设备的姿态作为初始姿态。

佩戴头戴显示设备的用户转动头部时，姿态传感部件就可以采集头戴显示设备实时姿态信息。

S302：依据所述初始姿态信息及实时姿态信息确定所述视野变化坐标。

一实施例中，可以依据初始姿态信息及实时姿态信息之间的变化量确定所述预设关键点坐标的变化量。该预设关键点坐标的变化量可以指示视野变化坐标，头戴显示设备从无人机获取的视场角的图像为无人机根据该预设关键点坐标的变化量从拍摄图像中截取图像。

利用本实施例的航拍图像处理方法，可以使得时间延迟只包括视野变化坐标发送至无人机的时间延迟及接收视场角的图像的时间延长，总延迟时间较小，可以消除用户眩晕。

基于与上述图2所示的航拍图像获取方法相同的发明构思，本申请提供一种头戴显示设备，如下面实施例所述。由于该头戴显示设备解决问题的原理与上述航拍图像获取方法相似，因此该头戴显示设备的实施可以参见上述航拍图像获取方法的实施，重复之处不再赘述。

图4为本发明实施例的头戴显示设备的结构示意图，如图4所示，该头戴显示设备包括：

信息确定单元401，用于确定视野变化坐标，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；信息确定单元401是头戴显示设备中确定用户的视野变化的部分，可以是软件、硬件或二者的结合，例如可以是完成确定用户的视野变化的功能的输入输出接口、处理芯片等元器件。

信息发送单元402，用于将所述视野变化坐标发送至无人机；信息发送单元402是头戴显示设备中发送视野变化坐标的部分，可以是软件、硬件或二者的结合，例如可以是完成确定视野变化坐标发送功能的输入输出接口、处理芯片等元器件。

图像接收单元403，用于接收所述无人机的发送的图像，其中，所述图像为所述无人机从拍摄图像中截取的与所述视野变化坐标对应的视场角的图像。图像接收单元403是头戴显示设备中接收无人机发送到图像的部分，可以是软件、硬件或二者的结合，例如可以是完成图像接收功能的输入输出接口、处理芯片等元器件。

一实施例中，如图5所示，信息确定单元401包括：

信息获取模块501，用于获取头戴显示设备上的姿态传感部件采集的头戴显示设备的初始姿态信息及实时姿态信息；

坐标确定模块502，用于依据所述初始姿态信息及实时姿态信息确定所述视野变化坐标。

姿态传感部件可以用于测量头戴显示设备处于初始姿态以及处于实时姿态时的姿态信息，姿态传感部件包括加速度传感器以及陀螺仪至少之一。

一实施例中，如图6所示，坐标确定模块502包括：

标定模块601，在所述头戴显示设备处于初始姿态时标定当前视野的预设关键点坐标，同时获取所述初始姿态信息；

变化量确定模块602，用于依据所述初始姿态信息及实时姿态信息之间的变化量确定所述预设关键点坐标的变化量，其中，所述预设关键点坐标的变化量指示所述视野变化坐标。

本发明实施例中，初始姿态信息及实时姿态信息均可以包括头戴显示设备的显示屏的关键点坐标，显示屏可以至少为以下其中之一：

显示屏为矩形，关键点坐标包括矩形的四个顶点坐标；

显示屏为椭圆形，关键点坐标包括椭圆的四个顶点坐标；

显示屏为圆形，关键点坐标包括圆形相互垂直两条直径与圆的交点的坐标。

姿态传感部件采集初始姿态信息时，可以直接利用加速度传感器和/或陀螺仪获得关键点坐标。

姿态传感部件采集初始姿态信息时，可以通过如下方法得到：首先，加速度传感器和/或陀螺仪测量头戴显示设备的加速度信息，根据该加速度信息，可以得到头戴显示设备的实时位移信息，根据位移信息及初始姿态信息对应的关键点坐标可以得到头戴显示设备的关键点坐标，即得到头戴显示设备的实时姿态信息。

利用本实施例的头戴显示设备，可以使得时间延迟只包括视野变化坐标发送至无人机的时间延迟及接收视场角的图像的时间延长，总延迟时间较小，可以消除用户眩晕。

图7为本发明实施例的航拍图像处理方法流程图，如图7所示，该航拍图像处理方法可以包括如下步骤：

S701：获取头戴显示设备的视野变化坐标；

S702：从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像；

S703：将所述视场角的图像发送至所述头戴显示设备。

图7所示航拍图像处理方法的执行主体可以为无人机，由图1所示的流程可知，本发明中，无人机首先获取头戴显示设备的视野变化坐标，然后从无人机拍摄的图像中截取与视野变化坐标对应的视场角的图像，最后将视场角的图像发送至所述头戴显示设备，本发明只需将截取的视场角的图像发送至头戴显示设备，可以减少图像传输的时间延迟，消除用户眩晕的问题。

S701中，视野变化坐标用于指示佩戴所述头戴显示设备的用户的视野变化，基于该视野变化坐标，无人机才能从无人机获得视野变化坐标对应的视场角的图像。

该视野变化坐标可以由头戴显示设备的初始姿态信息及实时姿态信息确定。头戴显示设备与无人机连接时，头戴显示设备处于初始姿态，此时可以需要将头戴显示设备与无人机进行标定，标定头戴显示设备处于初始姿态时当前视野的预设关键点坐标。头戴显示设备处于预设关键点坐标时代姿态信息为初始姿态信息，佩戴头戴显示设备的用户转动头部时，可以获得头戴显示设备的实时姿态信息。

一实施例中，头戴显示设备可以依据初始姿态信息及实时姿态信息之间的变化量可以确定预设关键点坐标的变化量，其中，该预设关键点坐标的变化量指示该视野变化坐标。根据该预设关键点坐标的变化量，无人机可以从无人机拍摄的图像中截取与视野变化坐标对应的视场角的图像。

将初始姿态信息对应的关键点坐标作为全景视频的起始参考点，那么初始姿态信息对应的关键点坐标的范围将作为参考基准区域(即视野范围，该视野范围为视场角的参数，例如视场角为110度电情况下，视野范围为110度)，根据参考基准区域，就可以从拍摄的全景图像中找到实时姿态信息中的关键点坐标的范围对应的视场角的图像，从拍摄的全景图像中将该视场角的图像截取下来即可得到用户头部转到当前位置需要观看的图像。

S702中，需要先获取无人机的相机拍摄的图像，基于无人机对相机拍摄的图像，可以从中截取与视野变化坐标对应的视场角的图像。本发明实施例中，无人机的相机拍摄的图像可以为单镜头拍摄的非全景图像，可以为全景相机拍摄的全景图像，下面以全景图像为例进行说明，并非用于限定。

获取无人机的相机拍摄的图像时，可以根据无人机上的全景相机的采样间隔以及接收到视野变化坐标的延迟确定待存储的图像的帧数并存储该待存储的图像，具体描述如下：

无人机上的全景相机拍摄的全景视频会实时缓存在无人机上的存储空间里，缓存的全景图像的帧数需要根据全景摄像头的采样间隔及无人机接收到视野变化坐标的延迟确定。实践中，该延迟一般需要小于10ms。理论上，30帧的全景相机的摄像头采样间隔是33ms，60帧的全景相机的摄像头采样间隔是16.5ms，均大于10ms的传输延迟，所以只要缓存1帧全景图像，就能保证保存下10ms之前的那一帧全景图像。同理，120帧的摄像头，采样间隔是8.25ms，小于10ms，仅缓存1帧图像的话，可能10ms之后截取全景图像的指令到达时，其所对应的那帧全景图像经过8.25ms后被新的缓存帧全景图像覆盖掉，所以至少要缓存2帧全景图像，才能保障与指令对应的那帧全景图像被保存了下来。从存储(缓存)的全景图像中，可以截取与视野变化坐标对应的视场角的图像。

另外，为保障可靠性，多缓存一帧全景图像进行冗余，例如，对于30帧及60帧的全景相机的摄像头，可以缓存2帧全景图像，对于120帧的全景相机的摄像头，可以缓存3帧全景图像。

利用本发明的航拍图像处理方法，航拍视频视角变换的延迟只包括无人机接收到视野变化坐标的延迟(头戴显示设备的视野变化坐标到达无人机的延迟，小于10ms)及视场角的图像发送至头戴显示设备的延迟(可以小于40ms)，这样就可以保障操作者(头戴显示设备佩戴着)视角变换时，头戴显示设备显示的图像变换延迟小于50ms。经过实践的结果可知，这种量级的图传延迟，绝大部分操作者已经无法分辨出，可以长期保持在全景FPV的模式下而不会眩晕。

基于与图7所示的航拍图像处理方法相同的发明构思，本申请提供一种无人机，如下面实施例所述。由于该无人机解决问题的原理与航拍图像处理方法相似，因此该无人机的实施可以参见上述航拍图像处理方法的实施，重复之处不再赘述。

图8为本发明实施例的无人机的结构示意图，如图8所示，该无人机包括：

信息获取单元801，用于获取头戴显示设备的视野变化坐标，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化；信息获取单元801是无人机中获取视野变化坐标的部分，可以是软件、硬件或二者的结合，例如可以是完成视野变化坐标获取功能的输入输出接口、处理芯片等元器件。

图像截取单元802，用于从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像；图像截取单元802是无人机中截取图像的部分，可以是软件、硬件或二者的结合，例如可以是完成图像截取功能的输入输出接口、处理芯片等元器件。

图像发送单元803，用于将所述视场角的图像发送至所述头戴显示设备。图像发送单元803是无人机中发送图像的部分，可以是软件、硬件或二者的结合，例如可以是完成图像发送功能的输入输出接口、处理芯片等元器件。

一实施例中，如图9所示，图像截取单元802包括：

图像获取模块901，用于获取所述无人机拍摄的图像，所述图像为全景图像；

图像截取模块902，用于从获取所述图像中截取与所述述视野变化坐标对应的视场角的图像。

一实施例中，图像获取模块901可以用于：根据所述无人机上的摄像头的采样间隔以及接收到视野变化坐标的延迟确定待存储的图像的帧数并存储所述待存储的图像。

本发明实施例中，无人机的相机拍摄的图像可以为单镜头拍摄的非全景图像，可以为全景相机拍摄的全景图像，下面以全景图像为例进行说明，并非用于限定。

图像获取模块901获取无人机的相机拍摄的图像时，可以根据无人机上的全景相机的采样间隔以及接收到视野变化坐标的延迟确定待存储的图像的帧数并存储该待存储的图像，具体描述如下：

无人机上的全景相机拍摄的全景视频会实时缓存在无人机上的存储空间里，缓存的全景图像的帧数需要根据全景摄像头的采样间隔及无人机接收到视野变化坐标的延迟确定。实践中，该延迟一般需要小于10ms。理论上，30帧的全景相机的摄像头采样间隔是33ms，60帧的全景相机的摄像头采样间隔是16.5ms，均大于10ms的传输延迟，所以只要缓存1帧全景图像，就能保证保存下10ms之前的那一帧全景图像。同理，120帧的摄像头，采样间隔是8.25ms，小于10ms，仅缓存1帧图像的话，可能10ms之后截取全景图像的指令到达时，其所对应的那帧全景图像经过8.25ms后被新的缓存帧全景图像覆盖掉，所以至少要缓存2帧全景图像，才能保障与指令对应的那帧全景图像被保存了下来。从存储(缓存)的全景图像中，可以截取与视野变化坐标对应的视场角的图像。

另外，为保障可靠性，多缓存一帧全景图像进行冗余，例如，对于30帧及60帧的全景相机的摄像头，可以缓存2帧全景图像，对于120帧的全景相机的摄像头，可以缓存3帧全景图像。

利用本发明的无人机，可以使得航拍视频视角变换的延迟只包括无人机接收到视野变化坐标的延迟(头戴显示设备的视野变化坐标到达无人机的延迟，小于10ms)及视场角的图像发送至头戴显示设备的延迟(可以小于40ms)，这样就可以保障操作者(头戴显示设备佩戴着)视角变换时，头戴显示设备显示的图像变换延迟小于50ms。经过实践的结果可知，这种量级的图传延迟，绝大部分操作者已经无法分辨出，可以长期保持在全景FPV的模式下而不会眩晕。

图10为本发明实施例的航拍系统的结构示意图，如图10所示，该航拍系统包括：无人机1001及头戴显示设备1002，无人机1001与头戴显示设备1002无线连接；

头戴显示设备1002用于确定视野变化坐标，并将所述视野变化坐标发送至无人机1001，其中，所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化。

无人机1001用于头戴显示设备1002发送到视野变化坐标，从无人机上的相机拍摄的图像中截取与视野变化坐标对应的视场角的图像，并将视场角的图像发送至所述头戴显示设备1002。

头戴显示设备1002接收无人机1001发送到视场角的图像并显示。

利用本发明实施例的航拍系统，可以使得延迟只包括视野变化坐标发送至无人机的时间延迟及接收视场角的图像的时间延长，总延迟时间较小，可以消除用户眩晕。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。