面向机载增强合成视景系统的大规模场景红外成像实时仿真方法与流程

文档序号:20959994发布日期:2020-06-02 20:37阅读:616来源:国知局
面向机载增强合成视景系统的大规模场景红外成像实时仿真方法与流程

技术领域:

本发明属于计算机虚拟现实仿真领域,特别是涉及一种面向机载增强合成视景系统的大规模场景红外成像实时仿真方法。



背景技术:

近年来,基于前视红外图像的增强合成视景技术(系统)在飞机上应用越来越广泛,通过将仪表叠加到三维场景上,在飞机巡航、进近着陆等过程中,能够为飞行员提供鲜明的场景信息,并通过预先叠加颜色、符号等提升显示效果,极大的增强了低能见度或低空飞行条件下飞行员的态势感知能力。

然而,增强合成视景系统实际试飞环境复杂、成本昂贵、周期漫长,而没有经过成熟测试认证的系统,难以加载到机载平台中进行验证,容易造成飞行事故。

传统的红外成像仿真系统中,通过粘贴红外纹理、直接灰度化等方式实现,并非基于物理模型,缺乏真实感,其仿真效率低、画面粗糙且价格昂贵,难以满足武器装备测试中需要的大场景实时仿真需求。



技术实现要素:

本发明的目的是:解决在面向机载增强合成视景系统的大规模场景红外成像仿真中,虚拟现实场景仿真速度慢、分辨率低、真实性差的问题。

本发明提出的技术方案是:

该面向机载增强合成视景系统的大规模场景红外成像实时仿真方法,包括以下步骤:

1)构建基于虚拟现实的可见光三维场景;

2)将机载增强合成视景系统的视点相机置于所述基于虚拟现实的可见光三维场景中,建立红外成像链路模型;

3)获取a)当前视点相机(红外传感器)在三维场景中的位置以及姿态信息;b)当前视点相机观察到的像素点所属材质及其在三维场景中的位置信息;c)预先确定或计算得到的该三维场景的场景红外特性数据和材质特性数据;

计算像素点到达视点相机的所有辐射量,进而映射得到理想的红外仿真图像;

4)基于所述理想的红外仿真图像,添加噪声并模拟机载振动影响,参考传感器的成像模型,生成机载红外仿真图像(灰度图像);

5)在所述机载红外仿真图像叠加虚拟仪表,生成机载增强合成视景系统实时仿真画面,渲染输出。

基于以上方案,本发明进一步作了如下优化:

上述三维场景的场景红外特性数据包括红外光照反射模型、天空背景辐射模型、太阳辐射模型和大气衰减系数τpath;所述材质特性数据包括材质发射率emis、材质表面反射率ref和材质的温度模型(随时间变化的温度分布,对应于材质自身的热辐射)。

上述步骤3)中所述像素点到达视点相机的所有辐射量按照下式计算:

lsensor=(bp(lsun)·ref+lsky+lthermal·emis)·τpath

式中,lsensor为传感器检测到的目标辐射总量,bp(lsun)为传感器检测到的目标表面反射的太阳辐射,lsky为传感器检测到的天空背景辐射,lthermal为传感器检测到的目标自身热辐射;ref为材质表面反射率,emis为材质发射率,τpath为大气衰减系数。

上述红外光照反射模型的表达式为:

其中:n是入射点的单位法向量;h是半角向量,h=(v+l)/2,指的是光入射方向l和视点方向v的中间向量;ks为材质的镜面反射系数;il是点光源强度,取自预先建立的大气模型中的太阳辐射强度;ns是高光指数。

对于上述构建的基于虚拟现实的可见光三维场景,预先通过语义分割对场景纹理按照材质进行分类,明确每一个像素属于哪一种材质;

将像素rgb值替换为所属材质对应的材质编号、反射率、发射率分别存入rgb三个通道,得到伪纹理;步骤3)中预先计算材质特性数据,是通过读取所述伪纹理像素信息即得到材质发射率emis和材质表面反射率ref;

或者,也可以仅存入材质编号,步骤3)中预先计算材质特性数据,是通过在线查询得到材质发射率emis和材质表面反射率ref。

上述步骤4)中添加噪声的主体为高斯白噪声。

上述步骤4)中模拟机载振动影响,是引入帧内模糊和帧间模糊处理,并加入图像抖动。

进一步的,所述帧内模糊可利用虚拟现实引擎(unrealengine4)中的着色器进行像素偏移来实现。所述帧间模糊可采用高斯模糊算法实现模糊效果。

本发明具有的优点是:

实现了大规模场景红外成像实时仿真,能够充分利用虚幻引擎及gpu并行计算能力达到较高的渲染速率和效果。该算法由于考虑了红外辐射的物理模型,利用红外波段辐射特征、目标的几何特征和大气效应等因素对目标红外辐射的综合作用进行仿真模拟,保证细节信息不失真,避免了传统算法中的手动贴图等人工痕迹,具有较好的计算效果和仿真精度。利用该方法得到的红外成像仿真画面,可以为增强合成视景等系统仿真提供有效手段,提高武器装备研发效率。

利用虚拟现实技术对增强合成视景系统的仿真可以突破时间、地域、气候的差异,为飞行器应用提供逼真的仿真效果,而且克服了真实试飞中的不可预料性与不可重复性,也为机载功能设备的研制节省了大量人力物力,并且缩短了研发周期。

附图说明:

图1为本发明的一个实施例的原理框图。

具体实施方式:

以下结合附图和实施例对本发明作进一步详述。

如图1所示,本实施例针对现代飞机典型配置的前视红外传感器,充分考虑了红外成像物理各部分计算复杂度和机载实时成像仿真特点,将成像仿真分为预处理、实时生成和机载效果合成三部分。

预处理部分,获得三维场景的场景红外特性数据和材质特性数据,以及红外传感器成像模型数据;

实时生成部分,根据红外辐射理论,建立信号感知仿真模型,与虚拟环境所描述的对应属性作用,通过虚拟现实仿真引擎,实时输出红外探测信号,模拟飞机在飞行过程中增强合成视景系统的红外视频成像工作过程;

机载效果合成,在分析机载增强合成视景工作过程后,引入帧内模糊和帧间模糊处理以及图像抖动,模拟机载恶劣成像环境造成的图像降质,并在输出画面叠加scadedisplay仪表画面,最终渲染生成逼真的机载增强合成视景系统实时仿真画面。

该方法综合利用红外波段辐射特征、目标的几何特征和大气效应等因素对目标红外辐射的综合作用进行仿真模拟,保证细节信息不失真,避免了传统算法中的手动贴图等人工痕迹,具有较好的计算效果和仿真精度。

一、关于红外成像仿真的分析:

到达红传感器的热辐射,有天空背景辐射、太阳辐射的反射、物体自身的热辐射、路径辐射等,根据热辐射相关原理,红外传感器探测到的辐射能量可由下式计算:

lsensor=(bp(lsun)·ref+lsky+lthermal·emis)·τpath

式中,lsensor为传感器检测到的目标辐射总量;bp(lsun)为传感器检测到的物体表面反射的太阳辐射;lsky为传感器检测到的天空背景辐射;lthermal为传感器检测到的目标表面热辐射;ref为材质表面反射率,emis为材质发射率;τpath为大气衰减。由于路径辐射在总辐射能量中所占比例较小,本实施例将其舍去。

1.blinn-phong红外光照反射模型

blinn-phong红外光照反射模型可采用常规的可见光光照模型blinn-phong,具有较高的运算效率和双向反射分布函数的理论精确性,更符合基本规律,效果更加真实,同条件下高光范围更大,而且渲染效果更加平滑和柔和。blinn-phong红外光照光照模型的表达式为:

其中n是入射点的单位法向量,h是半角向量,其值h=(v+l)/2,指的是光入射方向l和视点方向v的中间向量,ks为材质的镜面反射系数,il是点光源强度(建立的大气模型中的太阳辐射强度),ns是高光指数。

2.天空背景辐射与太阳辐射

天空背景辐射、太阳辐射与视点、光源、世界坐标系中的位置等有关,可以通过计算和查询相关数据得到。不同气象条件和地点,红外的背景辐射和大气数据计算复杂,难以实时运行,需要在指定的条件下提前处理使用时直接查询相关数据。天空背景辐射等数据计算复杂度非常高,目前尚不能达到实时计算,可在仿真前进行预处理。本实施例使用vegaprime来计算天空背景辐射等数据的预处理。

3.物体自身辐射计算

假设目标为灰体,可得到物体表面在一定波长范围内的辐射出射度为:

本实施例讨论的红外波段为3~5μm。故取λ1=3μm,λ2=5μm。ε为物体的发射率(即材质发射率emis),m(λ,t)是光谱辐射通量密度,单位是w·cm-2·μm-1

式中,c1是第一辐射常数,其值为c1=2πhc2=3.7418×108,c2是第二辐射常数,其值为c2=ch,c是光速,h是普朗克常数,可以得到c1=2πhc2=3.7418×108(w·m·μm-4·sr-2),c2=1.4388×104(μm·k)。

二、关于传感器效应模拟

(1)红外成像噪声仿真

与可见光不同,红外图像赖以成像的辐射能量较低,噪声对成像质量的影响较为明显。对仿真得到的红外图像添加噪声,会使红外成像仿真效果更加逼真。红外成像噪声在时间和空间上随机分布,在输出图像上表现为随机闪烁的颗粒。如热噪声、a/d转化的随机噪声等都是独立分布的,若将噪声叠加,则满足中心极限定理,高斯白噪声占主要地位。因此,本实施例模拟的噪声为高斯白噪声。

若存在随机数r1,r2服从[0,1]的均匀分布,使x满足:

则可以得到均值为μ,方差为σ的高斯噪声。且将得到的x叠加到着色程序中的颜色中就产生了高斯噪声。

(2)机载振动模拟

由于机载光电平台在曝光时间内,目标景物像与感光介质之间存在相对运动,即像移,会导致传感器图像的对比度变差、成像模糊、清晰度下降,严重影响传感器的成像质量。

帧间模糊:低频运动振动周期长,传感器的运动相对较慢,成像速度快,每帧成像时间内的振动可近似为匀速运动,相邻像素间会产生明显的偏移,图像整体上会表现出扭曲。在着色器中,用像素偏移实现。

帧内模糊:高频运动振动周期短,传感器的运动较快,曝光时间内振动了多个周期,将会导致动态图像序列帧间的晃动。使用高斯模糊算法实现模糊效果。

式中,g(x,y)为降质后图像,f(x,y)是未降质图像,h(x,y)表示高斯模糊函数,n(x,y)是加性噪声,表示卷积。

另外,还可以再加入图像抖动。

三、基于虚幻引擎(unrealengine4)的大规模场景仿真

虚幻引擎是一个纯c++引擎,专为高性能而设计,它先进的cpu/gpu性能分析工具和灵活的渲染器能高效完成高品质的虚拟现实场景设计,已在生产工艺开发仿真,海洋虚拟可视化、人类行为仿真、rov实时运动仿真、犯罪现场仿真等诸多科研领域取得成效,这得益于虚幻引擎具有以下优势:(1)仿真精度高:虚幻引擎中的物理引擎对仿真系统提供了有了强有力的支持,它不仅关注模型静态属性的精确度,更注重模型的行为属性的表现,从而使得仿真效果更为真实;(2)编程复杂度低:虚幻引擎提供了现成的3d开发框架和有关的api函数,相当于一个工具包。这样系统开发人员就不必从最底层开始写程序,只需要调用该引擎中相关的api函数来实现模型之间的通信以及相关的事件动作;(3)人机交互性好:基于虚幻引擎的仿真系统表现出优秀的人机交互性,用户在使用仿真系统时仿佛置身于现实世界里一般;(4)系统兼容性好:虚幻引擎支持htcvive等主流的虚拟现实设备,以及多种主流开发和运行平台,为大规模虚拟现实仿真提供便利。通过虚幻引擎,可以实现大规模场景的高速渲染输出。

以某型增强合成视景系统的红外成像仿真为例,具体工作步骤如下:

第一步,基于虚拟现实的可见光三维场景,通过语义分割对场景纹理按照材质进行分类,将材质的反射率、发射率存入图像,得到伪纹理。具体来说,不同材质对外界辐射的反射、自身热辐射不同,通过语义分割,对场景纹理按照材质进行分类,明确每一个像素属于哪一类材质(即确定其反射率、发射率),将每一个像素值(原本为rgb值)替换为所属材质对应的材质编号、反射率、发射率分别存入rgb三个通道;当然,也可以只存储材质编号,然后在下一步骤实时生成部分时在线查询反射率、发射率;

第二步,对特定气候的大气数据、天空背景辐射进行建模,并提前进行计算。这主要是考虑到不同气候、气象条件下,大气辐射和物体温度不同,大气数据计算复杂度很高,需要再对特定气候提前进行计算随时间变化的大气数据、天空背景辐射等,进而计算每一类材质随时间变化的温度分布。

第三步,在虚拟现实引擎unrealengine4的材质中建立经过简化的红外成像链路模型,基于当前相机及像素点位置,结合天空背景辐射、太阳反射得到目标各材质对应的温度分布,计算理想的红外仿真图像。具体例如:a、基于当前视点相机及像素点在三维场景中的位置(坐标),结合太阳、视点相机和要计算的像素点三者的相对位置,以及像素点的反射率和大气数据等,计算太阳光经像素点反射至视点相机的辐射值;b、根据视点相机在三维场景中的位姿,查询得到到达视点相机的天空背景辐射值;c、根据像素点所属材质对应的温度,利用普朗克公式以及该像素点的发射率,计算像素点自身的对外辐射值;以上三个辐射值再结合衰减系数,得到像素点到达视点相机的所有辐射量,进而映射得到红外仿真图像(灰度图像)。

第四步,加入传感器效应,即引入帧内模糊和帧间模糊处理以及图像抖动,模拟机载恶劣成像环境造成的图像降质,得到机载前视红外仿真图像。

第五步,最后叠加scadedisplay仪表画面,生成增强合成视景中红外图像仿真,渲染输出。

本实施例针对现代飞机典型配置的前视红外传感器,根据红外辐射理论,建立信号感知仿真模型,与虚拟环境所描述的对应属性作用,通过虚拟现实仿真引擎,实时输出探测信号,并叠加飞行仪表,模拟飞机在飞行过程中增强合成视景系统的红外视频成像工作过程以及机载恶劣成像环境造成的图像降质,实现大规模场景的实时仿真。整个方法针对机载环境,充分利用了gpu强大的图形渲染能力,可在1920*1080分辨率视频图像渲染速度达到30fps以上。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1