运动控制装置、头戴显示设备、无人机和飞行系统的制作方法

文档序号:14910493发布日期:2018-07-10 23:16阅读:145来源:国知局

本发明涉及通信技术领域,尤其涉及一种运动控制装置、头戴显示设备、无人机和飞行系统。



背景技术:

随着通信技术的快速发展,现出现了AR(Augmented Reality,增强现实)技术。该技术是以交互性和构想为基本特征的计算机高级人机界面,是一种全新的人机交互技术。利用该技术,可以模拟真实的现场景观。人们尝试将运用AR技术将FPV的画面(通常是运动对象所拍摄的运动场景的图片)回传到控制装置,从而控制遥控航空模型或者车辆模型进行运动。FPV,即第一人称主视角,它是一种基于遥控航空模型或者车辆模型上加装无线摄像头回传设备,在地面用头戴显示器观看的新玩法,能让用户体验驾驶飞机或者车辆的临场感。

现有的控制方式受限于真实的环境,缺少仿真运动训练所需要的辅助信息,也缺少实际场景中的重力、风向等因素,不仅使得操作者驾驶体验效果不好,而且在仿真的运动训练中效果不佳。因此,现有的控制方式仅适用于简单游戏、娱乐场景,无法满足仿真训练的要求。



技术实现要素:

鉴于以上所述一个或多个问题,本发明实施例提供了一种本发明实施例提供了一种运动控制装置、头戴显示设备、无人机和飞行系统。

第一方面,提供了一种运动控制装置,包括:

接收单元,用于实时接收运动对象在实际运动区域内运动时的环境数据、和运动数据;

控制单元,基于环境数据和运动数据,计算运动对象和实际运动区域的虚拟数据,生成虚拟运动对象在虚拟运动区域内运动的虚拟运动场景,在虚拟运动场景中矢量叠加辅助运动信息,生成增强现实AR运动场景;

显示单元,用于显示虚拟运动对象在AR运动场景内的运动情况。

在一些实施例中,控制单元包括:

计算模块,基于环境数据和运动数据,计算运动对象和实际运动区域的虚拟数据,生成虚拟运动对象在虚拟运动区域内运动的虚拟运动场景;

叠加模块,在虚拟运动场景中矢量叠加辅助运动信息,生成AR运动场景。

在一些实施例中,环境数据包括:实际运动区域的场景图像和地理位置信息。

在一些实施例中,运动数据包括:运动对象的惯性测量数据。

在一些实施例中,运动对象为无人机。

在一些实施例中,辅助运动信息包括以下信息中的至少一种:

飞行标记点、飞行轨迹、方位导向、地理数据、天气状况、驾驶仪表、飞行竞技场。

第二方面,提供了一种头戴显示设备,包括:

头戴式眼镜,和

设置在头戴式眼镜内的如第一方面描述的AR运动控制装置。

第三方面,提供了一种无人机,包括:飞机主体,分别设置在飞机主体上的接收模块、摄像模块、GPS模块、IMU模块和发送模块,其中:

接收模块,用于接收遥控装置的遥控指令,并基于遥控指令进行运动;

摄像模块,用于实时摄取运动所在的实际运动区域的场景图像;

GPS模块,用于获取实际运动区域的地理位置信息;

IMU模块,用于获取无人机的惯性测量数据。

发送模块,用于向权利要求1-6中任一项的装置发送场景图像、环境数据、和运动数据。

第四方面,提供了一种飞行系统,包括:第二方面描述的头戴显示设备;第三方面描述的无人机。

在一些实施例中,可以通过GPS坐标信息生成训飞航线,在训飞航线中生成虚拟障碍物。在生成虚拟障碍物时,可以通过判断实际航线上的空间信息来决定生成多大的障碍物,用于无人机的真实飞行训练。结合实际禁飞区,通过传感器接收实际中的障碍物信息,生成虚拟和实际障碍物结合的训飞航线。

由此,本实施例可以通过接收运动对象在实际运动区域内运动时的环境数据、和运动数据,计算运动对象和实际运动区域的虚拟数据,生成虚拟运动对象在虚拟运动区域内运动的虚拟运动场景,在虚拟运动场景中矢量叠加辅助运动信息,生成增强现实AR运动场景,并显示虚拟运动对象在AR运动场景内的运动情况,可以将虚拟与现实进行融合,可用应用于仿真要求高的训练飞行的场景。

一方面,本实施例可以使得训练者不仅能够通过虚拟现实感受到在客观物理世界中所经历的“身临其境”的逼真性,而且能够突破空间、时间以及其他客观限制,感受到在真实世界中无法亲身经历的体验。

另一方面,本实施例可以通过虚拟障碍物可以减少训练失误造成的损失和危险,降低了训练成本,提高飞行的安全性。

又一方面,本实施例在飞行训练需要受实际情况影响(风向、重力等),大幅度提高了训练效果。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明一实施例的运动控制装置的结构示意图。

图2是本发明一实施例的控制画面显示示意图。

图3是本发明一实施例的头戴显示设备的结构示意图。

图4是本发明一实施例的无人机的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1是本发明一实施例的运动控制装置的结构示意图。

如图1所示,运动控制装置10可以包括:接收单元101、控制单元102和显示单元103。其中:接收单元101可以用于实时接收运动对象在实际运动区域内运动时的环境数据、和运动数据;控制单元102可以基于环境数据和运动数据,计算运动对象和实际运动区域的虚拟数据,生成虚拟运动对象在虚拟运动区域内运动的虚拟运动场景,在虚拟运动场景中矢量叠加辅助运动信息,生成增强现实AR运动场景;显示单元103用于显示虚拟运动对象在AR运动场景内的运动情况。

在一些实施例中,运动对象可以为无人机。在其它可选的实施例中,运动对象可以是汽车等。

在一些实施例中,控制单元102可以包括:计算模块和叠加模块。其中,计算模块可以基于环境数据和运动数据,计算运动对象和实际运动区域的虚拟数据,生成虚拟运动对象在虚拟运动区域内运动的虚拟运动场景;叠加模块可以在虚拟运动场景中矢量叠加辅助运动信息,生成AR运动场景。

在一些实施例中,环境数据包括:实际运动区域的场景图像和地理位置信息。例如,场景图像可以是运动对象无人机所拍摄的场景照片。地理位置信息可以是无人机通过GPS获取的位置定位信息。在一些实施例中,运动数据可以包括:运动对象的惯性测量数据。例如,由IMU(Inertial Measurement Unit,惯性测量装置)所测得的数据。融合IMU和GPS所测得的数据,可以算出无人机的姿态数据和空间坐标信息。

在一些实施例中,辅助运动信息包括以下信息中的至少一种:飞行障碍物、飞行标记点、飞行轨迹、方位导向、地理数据、天气状况、驾驶仪表、飞行竞技场。

需要说明的是,本实施例中所示的功能单元或者功能模块的实现方式可以为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

另外,在本发明各个实施例中的各功能单元或者模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。

由此,本实施例可以通过接收运动对象在实际运动区域内运动时的环境数据、和运动数据,计算运动对象和实际运动区域的虚拟数据,生成虚拟运动对象在虚拟运动区域内运动的虚拟运动场景,在虚拟运动场景中矢量叠加辅助运动信息,生成增强现实AR运动场景,并显示虚拟运动对象在AR运动场景内的运动情况,可以将虚拟与现实进行融合,可用应用于仿真要求高的训练飞行的场景。

一方面,本实施例可以使得训练者不仅能够通过虚拟现实感受到在客观物理世界中所经历的“身临其境”的逼真性,而且能够突破空间、时间以及其他客观限制,感受到在真实世界中无法亲身经历的体验。

另一方面,通过虚拟障碍物可以减少训练失误造成的损失和危险,降低了训练成本,提高飞行的安全性。

又一方面,飞行训练还需要受实际情况影响(风向、重力等),大幅度提高了训练效果。

图2是本发明一实施例的控制画面显示示意图。

如图2所示,该界面包括:利用实线绘制的实际运动区域的场景图像和利用虚线绘制的辅助运动信息。实际运动区域的场景图像例如可以是:建筑物201、大山202。该场景图像可以是无人机30所拍摄的场景图(该场景图是实时变化的)。辅助运动信息例如可以是:无人机30,松树203、204和205,以及沿着飞行标记1、2、3和4延伸的飞行路线。其中,无人机30可以是由其他设备所拍摄,或者根据无人机30所定位的位置,在该位置上进行虚拟绘制而成。

建筑物201和大山202是无人机30实际飞行的场景中实际存在的固定物,如果无人机30在这个区域飞行会产生碰撞危险,所以将该区域划为禁飞区。为了达到训练效果,在非禁飞区(禁飞区以外的区域)设置了一些虚拟障碍物,如松树203、204和205。在飞行训练时,无人机30需要躲避障碍物在非禁飞区沿飞行路线进行飞行。

可以理解,上述的障碍物的数量和种类不限于图2所示,可以根据实际需要进行灵活设置。另外,辅助运动信息除了虚拟的障碍物和飞行轨迹外,还可以包括飞行标记点、方位导向、地理数据、天气状况、驾驶仪表、飞行竞技场等,此方面内容不做限制。

下面以无人机30作为运动对象,详细说明利用运动控制装置控制无人机30完成飞行训练的实施方式。

首先,为了保障无人机30飞行训练的安全性,首先检查无人机是否飞入了禁飞区。

S1,获取禁飞区坐标范围。

S2,获取无人机30当前起飞点的实际地理坐标。

S3,判断无人机30是否在禁飞区范围内,如果在禁飞区范围内,则发出报警,令无人机30停止飞行或者飞离禁飞区。如果无人机30不在禁飞区,则进行一下步的训练飞行。

其次,无人机30在非禁飞区进行安全训练。

S4,当无人机30飞行至某位置,例如飞行路线上飞行标记1处时,监测无人机30与虚拟障碍物松树203的距离。

S5,判断该距离是否近距离。可以通过将该距离与预设的极限距离相比较,如果是近距离,则说明飞行机30碰撞上了松树203,则进行警示。

S6,如果飞行机30成功避开了松树203,那么再监测飞行机30是否与其它障碍物的距离,例如,监控飞行标记2与松树204的距离,或者监控飞行标记3与松树205的距离。如果监测到的距离是近距离时,则进行警示。

在具体飞行训练时,可以累积警示次数。如果未达到预设警示次数,指示飞行训练成功,否则指示飞行训练失败。

需要说明的是,上述各步骤的实施主体可以是图1所示的运动控制装置。

图3是本发明一实施例的头戴显示设备的结构示意图。

如图3所示,头戴显示设备20可以包括:头戴式眼镜201和设置在头戴式眼镜201内的运动控制装置10。

训练者是进行飞行训练中,可以将头戴式眼镜201的固定(通过该眼镜上的绳索等固定装置)在头上。训练者的眼镜通过头戴式眼镜201的两个镜片,可以直接看到运动控制装置中的显示单元,该显示单元可以是LED。

由此,本实施例通过将运动控制装置10设置在头戴式眼镜201内,为AR运动提供了最佳沉浸式的运用环境,能将虚拟信息通过显示器呈现逼真的效果,改善了训练者的体验。

本实施例可以根据虚拟障碍物和实际障碍物的航线来实际训练无人机飞行。利用头戴式眼镜201可看到无人机经过的虚拟和实际障碍物,可根据航线控制无人机躲避各种障碍物。对于真实障碍物也可以自动感测和躲避,从而训练飞行技巧,相比完全的虚拟训练效果更佳。

图4是本发明一实施例的无人机的结构示意图。

如图4所示,无人机30可以包括:飞机主体300,分别设置在飞机主体300上的接收模块301、摄像模块302、GPS模块303、IMU模块304和发送模块305,其中:接收模块301可以用于接收遥控装置的遥控指令,并基于遥控指令进行运动;摄像模块302可以用于实时摄取运动所在的实际运动区域的场景图像;GPS模块303可以用于获取实际运动区域的地理位置信息;IMU模块304可以用于获取无人机的惯性测量数据。发送模块305可以用于向运动控制装置10发送场景图像、环境数据、和运动数据。

在一些实施例中,无人机还包括:上述各实施例中的控制单元;为了配合该控制单元,发送模块还用于将该控制单元生成的增强现实AR运动场景向上述各实施例中的装置发送,由装置的显示器显示虚拟运动对象在AR运动场景内的运动情况。

本发明还还提出了一种飞行系统,该系统包括:头戴显示设备20和无人机30。

在一些可选的实施例中,该系统还可以包括遥控器。该遥控器可以用于输入第一操作指令,并根据第一操作指令向无人机30发出指示无人机30运动的第一遥控指令;以及用于输入第二操作指令,并根据第二操作指令向头戴显示设备20发出指示头戴显示设备20进行控制的第二遥控指令。该遥控器既可以遥控无人机30的飞行,具有手柄的功能。该遥控器还可以遥控运动控制装置进行控制,具有鼠标的功能。

在一些可选的实施例中,遥控装置可以包括:第一遥控单元和第二遥控单元。其中,第一遥控单元可以用于输入第一操作指令,并根据第一操作指令向运动对象发出指示运动对象运动的第一遥控指令;第二遥控单元可以用于输入第二操作指令,并根据第二操作指令向运动控制装置发出指示运动控制装置控制的第二遥控指令。

在一些可选的实施例中,第一遥控单元包括:第一按键模块和第一输出单元。其中,第一按键模块可以用于输入第一操作指令;第一输出单元可以用于根据所述第一操作指令向运动对象发出指示所述运动对象运动的第一遥控指令。

在一些可选的实施例中,第二遥控单元可以包括:第二按键模块和第二输出单元。其中,第二按键模块可以用于输入第二操作指令;第二输出单元可以用于根据第二操作指令向运动控制装置发出指示运动控制装置控制的第二遥控指令。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及模块,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考飞行训练实施例中的对应过程。为了描述简洁,各实施例中的内容可以相互参考应用,此方面内容在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。例如,上述各实施例中的运动控制装置可以直接设置在头戴显示设备中;也可以设置在遥控器上,与遥控器集成为一体;还可以将运动控制装置中的控制单元单独设置在无人机上,用于实现对图像的叠加等处理工作。

另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1