飞行模拟方法、装置、智能终端及计算机可读存储介质与流程

文档序号:26012548发布日期:2021-07-23 21:33阅读:164来源:国知局
飞行模拟方法、装置、智能终端及计算机可读存储介质与流程

本发明涉及飞行体验技术领域,尤其涉及的是一种飞行模拟方法、装置、智能终端及计算机可读存储介质。



背景技术:

随着科学技术的迅速发展,对无人机等飞行设备的研究越来越深入,无人机等飞行设备的应用也越来越广泛。例如,可以使用无人机等飞行设备来进行航拍、巡检、实现简单动作操作如小面积灭火等。其中,航拍可以为用户提供飞行设备在高空拍摄的画面,使用户获得高空视角的画面,使用户可以体验高空画面。

现有技术中,通常通过无人机等飞行设备进行航拍,将拍摄的图像或视频存储在无人机的存储卡上,在无人机落地后,再拷贝存储的内容或者取出对应的存储卡,为用户播放高空拍摄的图像或视频。现有技术的问题在于,无法为用户实时提供对应的图像或视频,无法使用户身临其境的体验飞行的感觉和对应的飞行视角,不利于提升用户体验。

因此,现有技术还有待改进和发展。



技术实现要素:

本发明的主要目的在于提供一种飞行模拟方法、装置、智能终端及计算机可读存储介质,旨在解决现有技术中通过无人机等飞行设备进行航拍,将拍摄的图像或视频存储在无人机的存储卡上,在无人机落地后,再拷贝存储的内容或者取出对应的存储卡,为用户播放高空拍摄的图像或视频的方案无法为用户实时提供对应的图像或视频,无法使用户身临其境的体验飞行的感觉和对应的飞行视角,不利于提升用户体验的问题。

为了实现上述目的,本发明第一方面提供一种飞行模拟方法,其中,上述方法包括:

实时获取飞行设备的图像信息和飞行姿态信息;

基于上述图像信息生成立体影像;

基于上述飞行姿态信息生成模拟飞行信息;

向目标对象输出上述立体影像,并基于上述模拟飞行信息控制上述目标对象的姿态。

可选的,在上述实时获取飞行设备的图像信息和飞行姿态信息之前,上述方法还包括:

获取上述目标对象的飞行操作指令;

基于上述飞行操作指令控制上述飞行设备的飞行动作。

可选的,上述飞行设备为无人机。

可选的,上述实时获取飞行设备的图像信息和飞行姿态信息,包括:

实时获取上述无人机传输的实景高清画面,作为图像信息,其中,上述实景高清画面是上述无人机的双目摄像头拍摄的分辨率大于或等于预设分辨率的画面;

实时获取上述无人机传输的飞行姿态信息,其中,上述飞行姿态信息包括上述无人机的地理位置信息、速度信息、加速度信息、角度信息和高度信息。

可选的,上述基于上述图像信息生成立体影像,包括:

对上述实景高清画面进行实时渲染和视觉增强处理,并生成立体影像。

可选的,上述基于上述飞行姿态信息生成模拟飞行信息,包括:

基于上述飞行姿态信息,生成用于驱动动感座椅按上述无人机的飞行姿态进行运动的模拟飞行信息。

可选的,上述向目标对象输出上述立体影像,并基于上述模拟飞行信息控制上述目标对象的姿态,包括:

通过vr设备向目标对象输出上述立体影像;

基于上述模拟飞行信息驱动上述动感座椅运动,从而为上述目标对象模拟上述无人机的飞行姿态。

本发明第二方面提供一种飞行模拟装置,其中,上述装置包括:

信息获取模块,用于实时获取飞行设备的图像信息和飞行姿态信息;

立体影像生成模块,用于基于上述图像信息生成立体影像;

模拟飞行信息生成模块,用于基于上述飞行姿态信息生成模拟飞行信息;

飞行模拟模块,用于向目标对象输出上述立体影像,并基于上述模拟飞行信息控制上述目标对象的姿态。

本发明第三方面提供一种智能终端,上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的飞行模拟程序,上述飞行模拟程序被上述处理器执行时实现任意一项上述飞行模拟方法的步骤。

本发明第四方面提供一种计算机可读存储介质,上述计算机可读存储介质上存储有飞行模拟程序,上述飞行模拟程序被处理器执行时实现任意一项上述飞行模拟方法的步骤。

由上可见,本发明方案实时获取飞行设备的图像信息和飞行姿态信息;基于上述图像信息生成立体影像;基于上述飞行姿态信息生成模拟飞行信息;向目标对象输出上述立体影像,并基于上述模拟飞行信息控制上述目标对象的姿态。与现有技术中,需要等无人机落地后,再拷贝存储的内容或者取出对应的存储卡,为用户播放高空拍摄的图像或视频的方案相比,本发明方案可以实时获取飞行设备的图像信息和飞行姿态信息,并以立体影像的形式向用户实时输出对应的图像或视频,且可以根据飞行姿态信息生成模拟飞行信息以控制用户的姿态,有利于使用户身临其境的体验飞行的感觉和对应的飞行视角,有利于提升用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。

图1是本发明实施例提供的一种飞行模拟方法的流程示意图;

图2是本发明实施例提供的另一种飞行模拟方法的流程示意图;

图3是本发明实施例图2中步骤s100的具体流程示意图;

图4是本发明实施例图2中步骤s400的具体流程示意图;

图5是本发明实施例提供的一种基于无人机进行飞行模拟的示意图;

图6是本发明实施例提供的一种飞行模拟装置的结构示意图;

图7是本发明实施例提供的一种智能终端的内部结构原理框图。

具体实施方式

以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。

应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解,在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。

下面结合本发明实施例的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其它不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。

随着科学技术的迅速发展,对无人机等飞行设备的研究越来越深入,无人机等飞行设备的应用也越来越广泛。其中,小型无人机经过十几年的民用领域的高速发展已经普及到各个领域,尤其在航拍、竞速、巡检、简单动作操作如小面积灭火上有了很多消费者和不少使用案例。在操作无人机时,现有技术中用户通常在地面通过模拟无线通道的遥控器来控制或通过手机和其它智能设备配接无线模块来控制无人机飞行和执行各种动作和操作。在无人机上,根据无人机的不同售价配置了不同档次不同分辨率的数字相机,在飞行过程中通过地面遥控器的指令和设置来进行照片和视频的拍摄。在无人机上配置了一套飞控系统和图传系统,飞控系统负责控制无人机的飞行姿态,图传系统负责拍摄照片或视频并存储于无人机的内部存储卡中。使用无人机进行航拍可以为用户提供无人机在高空拍摄的画面,使用户获得高空视角的画面,使用户可以体验高空画面。

现有技术中,通常通过无人机等飞行设备进行航拍。但无人机由于受到无线传输带宽和传输距离和发射功率的限制,其拍摄的图像或视频通常存储在存储卡上,在无人机落地后,再拷贝存储的内容或者取出对应的存储卡,为用户播放高空拍摄的图像或视频。现有技术的问题在于,无法为用户实时提供对应的图像或视频,无法使用户身临其境的体验飞行的感觉和对应的飞行视角,不利于提升用户体验。因此,需要提供一种更好的飞行模拟方案,使用户获得更好的体验。

为了解决现有技术的问题,本发明提供一种飞行模拟方法,在本发明实施例中,实时获取飞行设备的图像信息和飞行姿态信息;基于上述图像信息生成立体影像;基于上述飞行姿态信息生成模拟飞行信息;向目标对象输出上述立体影像,并基于上述模拟飞行信息控制上述目标对象的姿态。与现有技术中,需要等无人机落地后,再拷贝存储的内容或者取出对应的存储卡,为用户播放高空拍摄的图像或视频的方案相比,本发明方案可以实时获取飞行设备的图像信息和飞行姿态信息,并以立体影像的形式向用户实时输出对应的图像或视频,且可以根据飞行姿态信息生成模拟飞行信息以控制用户的姿态,有利于使用户身临其境的体验飞行的感觉和对应的飞行视角,有利于提升用户体验。

示例性方法

如图1所示,本发明实施例提供一种飞行模拟方法,具体的,上述方法包括如下步骤:

步骤s100,实时获取飞行设备的图像信息和飞行姿态信息。

其中,上述飞行设备上设置有摄像头,用于进行高空拍摄,上述图像信息可以包括飞行设备拍摄的照片或视频对应的信息。上述姿态信息是上述飞行设备在高空飞行时的姿态信息,例如上升、起落、转弯对应的信息等。

可选的,上述飞行设备可以是无人机,也可以是其它可以进行高空飞行并拍摄的飞行器,例如,配置有摄像头和姿态传感器的民用小型飞行器等,在此不做具体限定。

步骤s200,基于上述图像信息生成立体影像。

具体的,可以基于获取的上述飞行设备拍摄获得的图像信息生成对应的立体影像,例如,可以生成vr影像、全息投影等立体影像,以给用户更好的观赏体验。具体的成像方式可以根据实际需求进行选择和调整,在此不做具体限定。

步骤s300,基于上述飞行姿态信息生成模拟飞行信息。

其中,上述模拟飞行信息为基于飞行设备的飞行姿态信息生成的模拟信息。实际使用中,不可能使用户保持与飞行设备完全相同的飞行姿态。例如,飞行设备上升的高度较高(如1000米)时,不可能使用户也上升同样的高度,又如,飞行设备的加速度过大时,也不可能使用户保持完全相同的加速度,因此,可以基于实际情况为用户生成对应的模拟飞行信息,适当的控制用户的运动姿态。

步骤s400,向目标对象输出上述立体影像,并基于上述模拟飞行信息控制上述目标对象的姿态。

其中,上述目标对象即为需要体验飞行模拟的用户,向上述目标对象输出对应的立体影像可以使用户获得更好的照片或视频的观赏体验,使用户体验更真实的飞行设备视角下的画面。基于上述模拟飞行信息控制上述目标对象的姿态,可以让上述目标对象体验对应的飞行设备的飞行姿态,获得更真实的飞行体验。用户结合上述立体影像和模拟的飞行姿态,可以获得身临其境的体验效果。

由上可见,本发明实施例提供的飞行模拟方法实时获取飞行设备的图像信息和飞行姿态信息;基于上述图像信息生成立体影像;基于上述飞行姿态信息生成模拟飞行信息;向目标对象输出上述立体影像,并基于上述模拟飞行信息控制上述目标对象的姿态。与现有技术中,需要等无人机落地后,再拷贝存储的内容或者取出对应的存储卡,为用户播放高空拍摄的图像或视频的方案相比,本发明方案可以实时获取飞行设备的图像信息和飞行姿态信息,并以立体影像的形式向用户实时输出对应的图像或视频,且可以根据飞行姿态信息生成模拟飞行信息以控制用户的姿态,有利于使用户身临其境的体验飞行的感觉和对应的飞行视角,有利于提升用户体验。

具体的,本实施例中,如图2所示,在上述步骤s100之前,上述飞行模拟方法还包括:

步骤a100,获取上述目标对象的飞行操作指令。

步骤a200,基于上述飞行操作指令控制上述飞行设备的飞行动作。

其中,上述飞行操作指令是目标对象发出的用于控制上述飞行设备的操作指令。本实施例中,目标对象(即用户)可以在地面发出飞行操作指令,基于无线通信等传输方式将对应的飞行操作指令发送到对应的飞行设备,从而控制飞行设备的飞行动作,例如,控制飞行设备上升、下降、转弯等,也可以控制飞行设备的拍摄视角。如此,可以使目标对象体验自由的控制飞行设备,提升用户体验。

可选的,用户可以通过仿真的飞行操纵杆或计算机等智能设备来发出对应的飞行操作指令,在此不做具体限定。

其中,上述飞行操纵杆是按真正的飞机操纵杆1:1比例制作的操纵杆。

可选的,本实施例中,上述飞行设备为无人机,方便用户进行控制。

具体的,本实施例中,如图3所示,上述步骤s100包括:

步骤s101,实时获取上述无人机传输的实景高清画面,作为图像信息,其中,上述实景高清画面是上述无人机的双目摄像头拍摄的分辨率大于或等于预设分辨率的画面。

步骤s102,实时获取上述无人机传输的飞行姿态信息,其中,上述飞行姿态信息包括上述无人机的地理位置信息、速度信息、加速度信息、角度信息和高度信息。

其中,上述无人机可以基于5g移动通讯技术进行实景高清画面和飞行姿态信息的传输,将上述实景高清画面和飞行姿态信息发送到地面的处理设备(如计算机)中进行进一步处理。在5g移动通讯的大环境下,无线通讯的下行传输带宽增加到1000mbps的量级,上行传输带宽到了100mbps量级,传输延时降低到10ms的量级。把5g的无线连接应用到无人机和地面之间的通讯,可以大大提高无人机和地面的通讯的带宽,能传输更高分辨率的实时高清视频,由于5g的传输延迟大大降低,又能大大提高这些视频的实时性和无人机和地面的传输的实时性。这样飞行中的无人机和地面的处理设备的直接通讯就能变得带宽很宽,延时很短,通讯的距离可以很长。

可选的,可以将无人机作为一个能飞行的多功能传感器,无人机本身的飞行控制由无人机的飞控模块基于对应的飞行操作指令来控制,可以实现无人机的起降、方向控制和平稳飞行。进一步的,上述无人机中可以包括3d实景图像传感器、飞行姿态传感器等。具体的,上述3d实景图像传感器也可以由双目摄像头代替,上述双目摄像头可以由两个图像传感器和两个广角镜头构成,装配在无人机的前端,上述两个广角镜头对称设置,且视场角为120°到180°,其双目间距可以调整。例如,可以通过无人机上的嵌入式系统模块上的程序来进行调整,用户也可以在地面发送调整指令,根据自身需求进行调整,在此不做具体限定。双目摄像头的两个图像传感器连接到嵌入式系统模块,进行实时图像采集和实时图像压缩,通过实时网络传输协议,通过无人机上的5g通讯模块传输到地面的处理设备中。

其中,上述预设的分辨率为预先设置的分辨率,可以根据实际需求进行设置和调整,在此不做具体限定。进行图像采集和压缩时,会保证图像的分辨率大于或等于预设的分辨率,从而为用户提供高分辨率的实景高清画面。上述图像传感器为高分辨率且高帧率的传感器。可选的,上述预设的分辨率可以为4k,对应的刷新帧率为60hz,在一种应用场景中,上述预设的分辨率还可以为8k,对应的刷新帧率为90hz,越高的分辨率越能逼真地还原实景的细节。

本实施例中,通过无人机上设置的飞行姿态传感器获取对应的无人机的飞行姿态信息,并通过5g移动通讯技术实时传输到地面的处理设备。具体的,上述飞行姿态传感器也连接到无人机的嵌入式系统,将飞行中的速度、加速度、角度、高度等飞行姿态数据通过嵌入式系统通过5g通讯模块传输到地面设备。

进一步的,上述飞行操作指令也通过5g传输网络进行传输。具体的,用户操作地面处理设备的飞行操纵杆后,信号经过实时网络控制协议软件模块通过计算机系统再通过5g网络系统传输给无人机。

可选的,本实施例中,上述步骤s200包括:对上述实景高清画面进行实时渲染和视觉增强处理,并生成立体影像。

具体的,地面的处理设备基于5g通讯网络获取上述实景高清画面之后,可以进行重构,并进行渲染和视觉增强处理,并生成立体影像,上述立体影像可以是vr影像,也可以是全息投影的立体影像,还可以是通过裸眼3d屏重构的裸眼3d影像,在此不做具体限定。

进一步的,由于无人机在飞行过程中离周边建筑物和周边风景都比较远,有几十米到数百米的距离,在这个距离上进行3d实景的采集,需要对双目间距进行实时可调。对于距离近的景致,双目摄像头的距离要适当近,直到人眼的距离65mm。对于距离远的景致,要加大眼距到150mm。这样根据外部景致的距离对摄像头眼距进行实时调整,既能保证3d实景图像的立体视觉效果,又能保证形成的3d视觉效果不会造成3d失真而造成用户的眩晕,有利于提升用户体验。双目立体图像采集后经过实时传输到地面,经过vr等方式显示,能给用户呈现立体的实景图像,为用户提供模拟真实飞行的视觉体验。

可选的,本实施例中,上述步骤s300包括:基于上述飞行姿态信息,生成用于驱动动感座椅按上述无人机的飞行姿态进行运动的模拟飞行信息。

具体的,本发明实施例中,通过动感座椅来辅助用户模拟飞行姿态。进一步的,本发明实施例中使用的是六轴动感模拟座椅,实际使用过程中可以根据实际需求进行调整,在此不做具体限定。

具体的,本实施例中,如图4所示,上述步骤s400包括:

步骤s401,通过vr设备向目标对象输出上述立体影像。

步骤s402,基于上述模拟飞行信息驱动上述动感座椅运动,从而为上述目标对象模拟上述无人机的飞行姿态。

其中,上述vr设备可以是vr眼镜或vr头盔。用户坐在上述动感座椅上,通过仿真的飞行操纵杆操控无人机,即可模拟对应的无人机的视角和飞行姿态,从而实现飞行模拟。

本实施中,还基于一种具体应用场景对所述飞行模拟方法进行说明。图5是本发明实施例提供的一种基于无人机进行飞行模拟的示意图,其中,上述无人机上搭载有飞控模块,嵌入式系统模块、双图像传感器、姿态传感器、实时图像压缩模块、实时网络传输模块、5g通讯模块和镜头间距可调的双目摄像头。如图5所示,地面系统包括网络模块、计算机模块、实时图像解压缩模块、模拟飞行软件模块、实时网络控制模块、模拟飞行操纵杆、vr头盔和六轴动感模拟座椅。具体的,无人机将感知信息实时通过5g网络以无线传输的方式传输到对应的5g基站,5g基站通过无线传输到地面系统,或以光纤的方式传输到核心网再传输到地面系统。其中,无人机的感知信息包括无人机的实景高清画面和飞行姿态信息,还可以包括飞行中的地理位置信息(如经纬度信息和高度信息)。地面系统将无人机的飞行的全部感知信息经过5g网络传输后在地面重构和进行视觉和感觉增强处理,来模拟甚至加强用户在飞行中的感官体验。具体的,网络模块接收到无人机的实时传输下来的实时实景3d图像信号和实时飞行姿态信号,送到计算机模块,计算机模块的实时解压缩模块解压缩后还原成4k60hz的高清3d实景视频信号并送到模拟飞行软件模块,经过模拟飞行软件模块的进行实时渲染和视觉增强处理,还可以进行美化、娱乐化和游戏化的包装,产生无人机实时实景飞行的景观图像。用户可以通过vr眼镜或vr头盔观察和体验到无人机飞行时的实景,具有非常高的沉浸感和现场感。进一步的,还可以叠加飞机模拟座舱和飞行参数数据的vr图像信号,使用户在看到实景景观的同时也能看到虚拟的飞机座舱和仪表参数的画面,例如可以看到飞机的仪表盘、座舱内的开关和按钮等,具体的,仪表盘还可以具体显示无人机的飞行地理信息、位置信息、姿态信息和气象信息等。用户带着vr头盔来观察这些vr信号就能做到像真实飞行看到的视角很宽广的飞行景观一样。同时,地面系统接收到无人机飞行中的飞行姿态信号,经过模拟飞行软件模块修饰和调整后连接到六轴动感座椅的电缸的驱动端,来驱动六轴动感座椅按计算机输出的飞行姿态进行运动,座椅能进行6个方向的振动运动,来模拟飞行中真实的速度感觉、加速度感觉、爬升感觉、降落感觉、转弯感觉及震动颠簸感觉等。用户坐在六轴动感座椅上感受无人机飞行时的模拟方向转动、振动及加速度,带着vr头盔观察实时3d实景的高清图像。用户手中操作模拟飞行操纵杆,操作信号通过计算机模块、模拟飞行软件模块、实时网络控制模块和网络传输模块送到无人机,无人机就能根据用户的操纵进行起飞、转弯、加速、减速降落等动作。这样地面系统与无人机结合,用户不用实际在天空中飞,只需要在地面的座椅中就能真实感知飞行的体验,能低成本、安全、逼真地全面感知飞行,且可以按照自身意愿控制无人机自由飞行,不受限制。进一步的,无人机在飞行过程中,可以跨越不同的基站,假设每个基站间距离是1000米左右,无人机采用5g的通讯协议,可以平稳地跨越基站飞行。地面系统可以采用5g连接也可以采用光纤宽带连接。传输协议采用点对点传输协议。无人机和地面系统的距离可以跨越上千公里,同时还能保证高清实景图像、飞行姿态信息和飞行操作指令的实时传输。

示例性设备

如图6中所示,对应于上述飞行模拟方法,本发明实施例还提供一种飞行模拟装置,上述飞行模拟装置包括:

信息获取模块610,用于实时获取飞行设备的图像信息和飞行姿态信息。

其中,上述飞行设备上设置有摄像头,用于进行高空拍摄,上述图像信息可以包括飞行设备拍摄的照片或视频对应的信息。上述姿态信息是上述飞行设备在高空飞行时的姿态信息,例如上升、起落、转弯对应的信息等。

可选的,上述飞行设备可以是无人机,也可以是其它可以进行高空飞行并拍摄的飞行器,例如,配置有摄像头和姿态传感器的民用小型飞行器等,在此不做具体限定。

立体影像生成模块620,用于基于上述图像信息生成立体影像。

具体的,可以基于获取的上述飞行设备拍摄获得的图像信息生成对应的立体影像,例如,可以生成vr影像、全息投影等立体影像,以给用户更好的观赏体验。具体的成像方式可以根据实际需求进行选择和调整,在此不做具体限定。

模拟飞行信息生成模块630,用于基于上述飞行姿态信息生成模拟飞行信息。

其中,上述模拟飞行信息为基于飞行设备的飞行姿态信息生成的模拟信息。实际使用中,不可能使用户保持与飞行设备完全相同的飞行姿态。例如,飞行设备上升的高度较高(如1000米)时,不可能使用户也上升同样的高度,又如,飞行设备的加速度过大时,也不可能使用户保持完全相同的加速度,因此,可以基于实际情况为用户生成对应的模拟飞行信息,适当的控制用户的运动姿态。

飞行模拟模块640,用于向目标对象输出上述立体影像,并基于上述模拟飞行信息控制上述目标对象的姿态。

其中,上述目标对象即为需要体验飞行模拟的用户,向上述目标对象输出对应的立体影像可以使用户获得更好的照片或视频的观赏体验,使用户体验更真实的飞行设备视角下的画面。基于上述模拟飞行信息控制上述目标对象的姿态,可以让上述目标对象体验对应的飞行设备的飞行姿态,获得更真实的飞行体验。用户结合上述立体影像和模拟的飞行姿态,可以获得身临其境的体验效果。

由上可见,本发明实施例提供的飞行模拟装置通过信息获取模块610实时获取飞行设备的图像信息和飞行姿态信息;通过立体影像生成模块620基于上述图像信息生成立体影像;通过模拟飞行信息生成模块630基于上述飞行姿态信息生成模拟飞行信息;通过飞行模拟模块640向目标对象输出上述立体影像,并基于上述模拟飞行信息控制上述目标对象的姿态。与现有技术中,需要等无人机落地后,再拷贝存储的内容或者取出对应的存储卡,为用户播放高空拍摄的图像或视频的方案相比,本发明方案可以实时获取飞行设备的图像信息和飞行姿态信息,并以立体影像的形式向用户实时输出对应的图像或视频,且可以根据飞行姿态信息生成模拟飞行信息以控制用户的姿态,有利于使用户身临其境的体验飞行的感觉和对应的飞行视角,有利于提升用户体验。

具体的,本实施例中,上述飞行模拟装置还用于:获取上述目标对象的飞行操作指令;基于上述飞行操作指令控制上述飞行设备的飞行动作。

其中,上述飞行操作指令是目标对象发出的用于控制上述飞行设备的操作指令。本实施例中,目标对象(即用户)可以在地面发出飞行操作指令,基于无线通信等传输方式将对应的飞行操作指令发送到对应的飞行设备,从而控制飞行设备的飞行动作,例如,控制飞行设备上升、下降、转弯等,也可以控制飞行设备的拍摄视角。如此,可以使目标对象体验自由的控制飞行设备,提升用户体验。

可选的,用户可以通过仿真的飞行操纵杆或计算机等智能设备来发出对应的飞行操作指令,在此不做具体限定。

其中,上述飞行操纵杆是按真正的飞机操纵杆1:1比例制作的操纵杆。

可选的,本实施例中,上述飞行设备为无人机,方便用户进行控制。

可选的,本实施例中,上述信息获取模块610具体用于:实时获取上述无人机传输的实景高清画面,作为图像信息,其中,上述实景高清画面是上述无人机的双目摄像头拍摄的分辨率大于或等于预设分辨率的画面;实时获取上述无人机传输的飞行姿态信息,其中,上述飞行姿态信息包括上述无人机的地理位置信息、速度信息、加速度信息、角度信息和高度信息。

其中,上述无人机可以基于5g移动通讯技术进行实景高清画面和飞行姿态信息的传输,将上述实景高清画面和飞行姿态信息发送到地面的处理设备(如计算机)中进行进一步处理。在5g移动通讯的大环境下,无线通讯的下行传输带宽增加到1000mbps的量级,上行传输带宽到了100mbps量级,传输延时降低到10ms的量级。把5g的无线连接应用到无人机和地面之间的通讯,可以大大提高无人机和地面的通讯的带宽,能传输更高分辨率的实时高清视频,由于5g的传输延迟大大降低,又能大大提高这些视频的实时性和无人机和地面的传输的实时性。这样飞行中的无人机和地面的处理设备的直接通讯就能变得带宽很宽,延时很短,通讯的距离可以很长。

可选的,可以将无人机作为一个能飞行的多功能传感器,无人机本身的飞行控制由无人机的飞控模块基于对应的飞行操作指令来控制,可以实现无人机的起降、方向控制和平稳飞行。进一步的,上述无人机中可以包括3d实景图像传感器、飞行姿态传感器等。具体的,上述3d实景图像传感器也可以由双目摄像头代替,上述双目摄像头可以由两个图像传感器和两个广角镜头构成,装配在无人机的前端,上述两个广角镜头对称设置,且视场角为120°到180°,其双目间距可以调整。例如,可以通过无人机上的嵌入式系统模块上的程序来进行调整,用户也可以在地面发送调整指令,根据自身需求进行调整,在此不做具体限定。双目摄像头的两个图像传感器连接到嵌入式系统模块,进行实时图像采集和实时图像压缩,通过实时网络传输协议,通过无人机上的5g通讯模块传输到地面的处理设备中。

其中,上述预设的分辨率为预先设置的分辨率,可以根据实际需求进行设置和调整,在此不做具体限定。进行图像采集和压缩时,会保证图像的分辨率大于或等于预设的分辨率,从而为用户提供高分辨率的实景高清画面。上述图像传感器为高分辨率且高帧率的传感器。可选的,上述预设的分辨率可以为4k,对应的刷新帧率为60hz,在一种应用场景中,上述预设的分辨率还可以为8k,对应的刷新帧率为90hz,越高的分辨率越能逼真地还原实景的细节。

本实施例中,通过无人机上设置的飞行姿态传感器获取对应的无人机的飞行姿态信息,并通过5g移动通讯技术实时传输到地面的处理设备。具体的,上述飞行姿态传感器也连接到无人机的嵌入式系统,将飞行中的速度、加速度、角度、高度等飞行姿态数据通过嵌入式系统通过5g通讯模块传输到地面设备。

进一步的,上述飞行操作指令也通过5g传输网络进行传输。具体的,用户操作地面处理设备的飞行操纵杆后,信号经过实时网络控制协议软件模块通过计算机系统再通过5g网络系统传输给无人机。

可选的,本实施例中,上述立体影像生成模块620具体用于:对上述实景高清画面进行实时渲染和视觉增强处理,并生成立体影像。

具体的,地面的处理设备基于5g通讯网络获取上述实景高清画面之后,可以进行重构,并进行渲染和视觉增强处理,并生成立体影像,上述立体影像可以是vr影像,也可以是全息投影的立体影像,还可以是通过裸眼3d屏重构的裸眼3d影像,在此不做具体限定。

进一步的,由于无人机在飞行过程中离周边建筑物和周边风景都比较远,有几十米到数百米的距离,在这个距离上进行3d实景的采集,需要对双目间距进行实时可调。对于距离近的景致,双目摄像头的距离要适当近,直到人眼的距离65mm。对于距离远的景致,要加大眼距到150mm。这样根据外部景致的距离对摄像头眼距进行实时调整,既能保证3d实景图像的立体视觉效果,又能保证形成的3d视觉效果不会造成3d失真而造成用户的眩晕,有利于提升用户体验。双目立体图像采集后经过实时传输到地面,经过vr等方式显示,能给用户呈现立体的实景图像,为用户提供模拟真实飞行的视觉体验。

可选的,本实施例中,上述模拟飞行信息生成模块630具体用于:基于上述飞行姿态信息,生成用于驱动动感座椅按上述无人机的飞行姿态进行运动的模拟飞行信息。

具体的,本发明实施例中,通过动感座椅来辅助用户模拟飞行姿态。进一步的,本发明实施例中使用的是六轴动感模拟座椅,实际使用过程中可以根据实际需求进行调整,在此不做具体限定。

具体的,本实施例中,上述飞行模拟模块640具体用于:通过vr设备向目标对象输出上述立体影像;基于上述模拟飞行信息驱动上述动感座椅运动,从而为上述目标对象模拟上述无人机的飞行姿态。

其中,上述vr设备可以是vr眼镜或vr头盔。用户坐在上述动感座椅上,通过仿真的飞行操纵杆操控无人机,即可模拟对应的无人机的视角和飞行姿态,从而实现飞行模拟。

基于上述实施例,本发明还提供了一种智能终端,其原理框图可以如图7所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中,该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和飞行模拟程序。该内存储器为非易失性存储介质中的操作系统和飞行模拟程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该飞行模拟程序被处理器执行时实现上述任意一种飞行模拟方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。

本领域技术人员可以理解,图7中示出的原理框图,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的智能终端的限定,具体的智能终端可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种智能终端,上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的飞行模拟程序,所述飞行模拟程序被所述处理器执行时进行以下操作指令:

实时获取飞行设备的图像信息和飞行姿态信息;

基于上述图像信息生成立体影像;

基于上述飞行姿态信息生成模拟飞行信息;

向目标对象输出上述立体影像,并基于上述模拟飞行信息控制上述目标对象的姿态。

本发明实施例还提供一种计算机可读存储介质,上述计算机可读存储介质上存储有飞行模拟程序,上述飞行模拟程序被处理器执行时实现本发明实施例提供的任一种飞行模拟方法的步骤。

应理解,上述实施例中各步骤的序号大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以所述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将所述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,所述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。所述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各实例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,上述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以由另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。

上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1