本发明涉及图像处理技术领域，特别涉及一种基于无人机的成像系统和方法。
背景技术：
无人机和增强现实(augmentedreality，简称ar)技术是目前最火的两个技术，在遥控无人机领域，玩具无人机、航拍摄影无人机、农业无人机等等各种无人机百花齐放竞相争鸣，在增强现实领域，各种ar游戏层出不穷，火爆异常。但是如何将这两者进行结合一直是一个难题。
例如，开发的一种基于无人飞机的增强现实游戏，即利用无人机作为载体，由操纵者扮演飞行员，通过增强现实技术将无人机的(摄像头)视野与操纵者的(显示器显示的)视野同步，将给操纵者带来真实的空战体验。
技术实现要素：
为了解决以上技术问题，根据本发明的第一个方面，提供了一种基于无人机的成像系统其包括：无人机和成像控制装置；其中，无人机包括：3个以上的无人机摄像头；多路视频处理模块；以及无人机通信模块，成像控制装置包括：头戴式显示屏，其用于显示无人机发送的图像；眼球跟踪单元，其用于跟踪使用者的虹膜的方位角和仰角变化；以及控制装置通信单元，其用于与无人机通信模块通信。
进一步地，成像控制装置还包括：头部姿态感知单元，其用于捕捉使用者头部的方位角和仰角变化；肩部姿态感知单元，其用于捕捉使用者肩部的方位角变化。
进一步地，成像控制装置还包括图像处理单元，用于将虚拟图像叠加到无人机发送的图像上，并发送给头戴式显示屏显示。
进一步地，眼球跟踪单元包括两个以上的红外线摄像头；所述头部姿态感知单元包括角加速度传感器，所述肩部姿态感知单元包括两个以上的加速度传感器。
进一步地，每个无人机摄像头在水平面上的视域小于180度，且多个无人机摄像头在水平面上的重合视域大于180度；每个无人机摄像头的视域与相邻的无人机摄像头的视域有重合。
进一步地，相邻的无人机摄像头的视域之间的重合区大于等于无人机向成像控制装置发送的图像的视域。
根据本发明的第二个方面，提供了一种基于无人机的成像方法，其用于本发明第一方面的成像系统，该方法包括以下步骤：跟踪使用者的眼球和头部的姿态；基于眼球和头部的姿态，定位头戴式显示屏的显示区在多个无人机摄像头的重合视域中的位置；将其视域位于头戴式显示屏显示区的无人机摄像头设置为高清摄像模式，其视域位于头戴式显示屏显示区以外的无人机摄像头设置为低清摄像模式；当头戴式显示屏的显示区包括多个无人摄像头的视域的重合区时，拼合所述多个摄像头拍摄的图像，并定位头戴式显示屏的显示区在拼合后的图像中的位置；将头戴式显示屏的显示区对应的图像发送到成像控制装置的头戴式显示屏。
进一步地，该方法还包括步骤：跟踪使用者的肩部姿态；基于该肩部姿态，配置无人机的飞行姿态。
根据本发明的第三个方面，提供了一种基于无人机的成像方法，其用于本发明第一方面的成像系统，该方法包括以下步骤：跟踪使用者的眼球和头部的姿态；基于眼球和头部的姿态，定位头戴式显示屏的显示区在多个无人机摄像头的重合视域中的位置；将其视域位于头戴式显示屏显示区的无人机摄像头设置为高清摄像模式，其视域位于头戴式显示屏显示区以外的无人机摄像头设置为低清摄像模式；当头戴式显示屏的显示区完全位于多个无人摄像头的视域的重合区时，基于眼球和头部姿态的运动方向切换无人机摄像头，并定位头戴式显示屏的显示区在切换后的图像中的位置；将头戴式显示屏的显示区对应的图像发送到成像控制装置的头戴式显示屏。
进一步地，该方法还包括步骤：跟踪使用者的肩部姿态；基于该肩部姿态，配置无人机的飞行姿态。
本发明的有益效果在于：可以提高图像的视角切换的响应速度，快速地改变头戴式显示屏视角，实现浸入式的体验。降低数据的传输量，降低因制造180度以上的超广角镜头的成本。
附图说明
图1表示根据本发明的实施例的成像控制装置；
图2表示根据本发明的实施例的无人机；
图3表示图2中的无人机的无人机摄像头在水平面上的视域。
具体实施方式
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接相合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在二个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在二个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员应当理解，在本申请的说明书中，“首先”、“其次”、“第一”、“第二”、“a”、“b”等用语，如无特别声明并不表示对先后顺序的限制。例如，“步骤三”可以在“步骤一”之前，“d”也可以和“a”同时进行。
无人机和增强现实(augmentedreality，简称ar)技术是目前最火的两个技术，在遥控无人机领域，玩具无人机、航拍摄影无人机、农业无人机等等各种无人机百花齐放竞相争鸣，在增强现实领域，各种ar游戏层出不穷，火爆异常。但是如何将这两者进行结合一直是一个难题。例如，开发的一种基于无人飞机的增强现实游戏，即利用无人机作为载体，由操纵者扮演飞行员，通过增强现实技术将无人机的(摄像头)视野与操纵者的(显示器显示的)视野同步，将给操纵者带来真实的空战体验。传统的同步方法通过无人机载的摄像头向地面的控制设备传输一个固定视角的影像，随着全景相机技术的兴起，一部分无人机利用装载在其上的全景相机(具有前后对置的两个视角为180度以上的超广角镜头)向头戴式显示器提供一个视角变换的全景影像，以提供更具交互性的沉浸式的同步体验。但是，一方面，高质量的超广角镜头(例如视角为180度左右)造价昂贵且畸变和色散难以控制，另一方面，全景影像产生的数据流极大，对无人机的传输速率和续航时间是一个严峻的挑战。
此外，目前头戴式显示器的视角变换主要靠头部转动来完成，随着技术的发展，人们对沉浸式体验的期望要求越来越高，只靠陀螺仪，靠头部转动来实现视角变换的交互方式已经不能为人们带来满意且惊艳的产品体验。此外，经研究发现人们更多地习惯通过眼球的转动来观察显示范围内的画面，而不是转头。当场景与现实中的习惯相违背时，不仅沉浸感会大大折扣，还会产生眩晕。
本发明的发明人认识到：眼球追踪与头部转动的结合可以解决这一问题，眼球追踪与头部转动相互协作，共同控制视角变化，模拟现实中的视角变化。通过眼部控制，来完成一些菜单操作，减少头部转动频率，让人摆脱不自然的头部操作和晃动的画面。人眼视度即指人的肉眼可视角度的度数。人单眼的水平视角最大可达156度，双眼的水平视角的理论最大值可达188度。人两眼重合视域为124度，单眼舒适视域为60度。当集中注意力时，该范围还会大幅缩小至原先的五分之一。此外，通常情况下人们习惯通过眼球的转动观察水平±25°，垂直±10°角度的范围。因此，在无需转动头部的前提下，人眼大约能够高速的实现水平150度，垂直70度左右的舒适的视域，大致呈一个椭圆形(近圆角矩形)，我们将这个无需转动头部而仅通过眼球运动实现高速视角切换的区域定义为高速区。当使用者再结合头部的转动时，大致能实现扩展至水平200度，垂直80度左右的舒适的大致呈椭圆形视域，我们将追加了头部转动后扩增的视域定义为中速区。当使用者再追加以肩部为主的身体运动时，视域可以扩展至水平及垂直各360度的全景视角，我们将除高速区和中速区以外的范围定义为低速区。另外，装载在无人机上的相机本身也可以通过无人机的运动(例如，在球坐标系内的翻转、偏航、俯仰灯)来改变相机拍摄图像的视角。当使用者的视角在高速区和中速区移动时，对显示的图像的视角切换的响应速度较高，仅凭借无人机的运动难以实现低时滞的图像同步。当使用者的视角在低速区移动时，对显示的图像的视角切换的响应速度较低，可以通过以无人机本身运动的方式来切换视角。可见，当无人机采用全景相机时，仅需满足使用者通过眼球运动覆盖的高速区的视域和头部运动覆盖的中速区内的高速图像同步即可。
参照图1-2，根据本公开的第一实施例，提供了一种基于无人机的成像系统其包括：无人机和成像控制装置100；其中，无人机200包括：3个以上的无人机摄像头211、212a、212b；多路视频处理模块(图未示出)；以及无人机通信模块104，成像控制装置100包括：头戴式显示屏101，其用于显示无人机发送的图像；眼球跟踪单元102，其用于跟踪使用者的虹膜的方位角和仰角变化；以及控制装置通信单元103，其用于与无人机通信模块104通信。
其中，3个以上的无人机摄像头在水平面上平行排列，每个无人机摄像头在水平面上的视域小于180度，且多个无人机摄像头在水平面上的重合视域大于180度；每个无人机摄像头的视域与相邻的无人机摄像头的视域有重合区，以保证由该3个以上的无人机摄像头组成的重合视域基本覆盖本公开所定义的高速区和至少一部分中速区。示例性地，图3的a、b、c分别表示图2中无人机摄像头211、212a、212b的视角。无人机摄像头211、212a、212b的视角a、b、c均为120度，且包括左右两个30度的重合区。但是，本领域技术人员应当知悉，无人机摄像头也可以被设置为140度、160度、180度等其他视角，重合区也可以包含45度、60度、90度等其他范围，无人机摄像头中的每一个可以设定为不同的视角范围。由此，可以降低超广角镜头的加工精度，减少图像传输的数据量。多路视频处理模块用于同时接收来自上述3个以上的无人机摄像头发送的多路图像(在本例中无人机摄像头为3个，因此为3路图像)，并将多个图像处理后经由无人机通信模块104发送到成像控制装置100，从而在头戴式显示屏101上输出。多路视频处理模块处理图像的方式包括两种，一种是将3路图像拼合为一个在水平方向上的宽度大于垂直方向上的高度的近似矩形的拼合图像，以拟合使用者视角能够快速变化的范围(即高速区与中速区)，多个视角小于180度的摄像头可以降低镜片的制造成本，此外拼合形成拼合图像的视角省略了使用者快速视角切换的盲区，降低了数据的传输量，有效地延长了无人机系统的续航时间。多路视频处理模块可以采用专用dsp或者fpga构成。
眼球跟踪单元102是一种光学传感装置，设置在眼睛的前部。眼球跟踪单元102可以采取以下方法之一跟踪眼球的运动，第一，根据眼球和眼球周边的特征变化进行跟踪；第二，根据虹膜角度变化进行跟踪；第三，主动投射红外线等光束到虹膜来提取特征。其中，在本例中，眼球跟踪单元102包括两个以上的红外线摄像头，根据两个以上的红外线摄像头分别拍摄各眼球的虹膜角度变化进行跟踪。从而得到使用者视域的变化。
在一个或多个实施例中，成像控制装置100还包括：头部姿态感知单元，其用于捕捉使用者头部的方位角和仰角变化；肩部姿态感知单元，其用于捕捉使用者肩部的方位角变化。示例性的，头部姿态感知单元设置颈部后侧，包括角加速度传感器；肩部姿态感知单元包括两个以上的加速度传感器，分别设置在使用者的肩部。
成像控制装置100还包括图像处理单元，用于将虚拟图像叠加到无人机发送的图像上，并发送给头戴式显示屏101显示。例如生成虚拟驾驶舱界面，显示剩余电量等。
进一步地，每个无人机摄像头在水平面上的视域小于180度，且多个无人机摄像头在水平面上的重合视域大于180度；每个无人机摄像头的视域与相邻的无人机摄像头的视域有重合。或者可选择地，相邻的无人机摄像头的视域之间的重合区大于等于无人机向成像控制装置100发送的图像的视域。
本实施例所述成像系统的运行方法参照后述第二实施例。
根据本公开的第二实施例，提供了一种基于无人机的成像方法，其用于本公开第一实施例的成像系统，该方法包括以下步骤：利用眼球跟踪单元102和肩部姿态感知单元跟踪使用者的眼球和头部的姿态；基于使用者的眼球和头部的姿态，定位头戴式显示屏101的显示区在多个无人机摄像头的重合视域(即由3个无人机摄像头拍摄的图像总和)中的位置(即在显示屏中显示重合视域中的哪一部分)；将其视域位于头戴式显示屏101显示区的无人机摄像头设置为高清摄像模式，其视域位于头戴式显示屏101显示区以外的无人机摄像头设置为低清摄像模式，例如在初始阶段使用者的视线面对正前方即摄像头211的位置时，由于头戴式显示屏101显示区都涵盖在摄像头211的视域内，因此摄像头211为高清摄像模式(例如较高的视频码率、帧率或者分辨率)，而摄像头212a与212b为低清摄像模式；当头戴式显示屏101的显示区包括多个无人摄像头的视域的重合区时，拼合所述多个摄像头拍摄的图像，并定位头戴式显示屏101的显示区在拼合后的图像中的位置，例如，当使用者通过移动眼球或者头部的姿势，使头戴式显示屏101显示区的位置移动到摄像头211和212a的视域的重合区(图3中a和b的重合区)，则将212a设置为与摄像头211一致的高清摄影模式，并通过多路视频处理模块将摄像头211和212a的拍摄的图像拼合成新的拼合图像；将头戴式显示屏101的显示区对应的图像发送到成像控制装置100的头戴式显示屏101。通过这种方法，可以快速地改变头戴式显示屏101视角，实现浸入式的体验。
进一步地，该方法还包括步骤：跟踪使用者的肩部姿态；基于该肩部姿态，配置无人机的飞行姿态，以改变摄像头的拍摄角度。
根据本公开的第三实施例，提供了一种基于无人机的成像方法，其用于本公开第一实施例的成像系统，该方法包括以下步骤：利用眼球跟踪单元102和肩部姿态感知单元跟踪使用者的眼球和头部的姿态；基于使用者的眼球和头部的姿态，定位头戴式显示屏101的显示区在多个无人机摄像头的重合视域(即由3个无人机摄像头拍摄的图像总和)中的位置(即在显示屏中显示重合视域中的哪一部分)；将其视域位于头戴式显示屏101显示区的无人机摄像头设置为高清摄像模式，其视域位于头戴式显示屏101显示区以外的无人机摄像头设置为低清摄像模式，例如在初始阶段使用者的视线面对正前方即摄像头211的位置时，由于头戴式显示屏101显示区都涵盖在摄像头211的视域内，因此摄像头211为高清摄像模式(例如较高的视频码率、帧率或者分辨率)，而摄像头212a与212b为低清摄像模式；当头戴式显示屏101的显示区包括多个无人摄像头的视域的重合区时，拼合所述多个摄像头拍摄的图像，并定位头戴式显示屏101的显示区在拼合后的图像中的位置，例如，当使用者通过移动眼球或者头部的姿势，使头戴式显示屏101显示区的位置移动到摄像头211和212a的视域的重合区(图3中a和b的重合区)，则将212a设置为与摄像头211一致的高清摄影模式，并通过多路视频处理模块将输出给头戴式显示屏101的图像从由摄像头211输出的影响切换至由212a拍摄的图像；将头戴式显示屏101的显示区对应的图像发送到成像控制装置100的头戴式显示屏101。通过这种方法，可以快速地改变头戴式显示屏101视角，实现浸入式的体验。
进一步地，该方法还包括步骤：跟踪使用者的肩部姿态；基于该肩部姿态，配置无人机的飞行姿态。通过这种方法，可以快速地改变头戴式显示屏101视角，实现浸入式的体验。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
附图标记说明
100成像控制装置
101头戴式显示屏
102眼球跟踪单元
103控制装置通信单元
104无人机通信模块
200无人机
211无人机摄像头
212a无人机摄像头
212b无人机摄像头。