一种船用360全景影像系统的宽动态影像处理方法与流程

1.本发明涉及船舶航行辅助系统的画面优化技术领域，特别是涉及一种船用360全景影像系统的宽动态影像处理方法。


背景技术：

2.现阶段船舶行驶过程中，由于光照影响，主要面临两个问题：一个是传统的摄像机动态范围过小，强烈光照下无法获取海面场景中超出动态范围的画面；另一个是海面夜间光线过暗，航行中摄像头无法采集到清晰的画面。
3.对于摄像机动态范围过小的问题，在船用360全景影像系统中，使用宽动态技术中的多曝光融合方法来解决。宽动态技术可以将航行时周围场景中因为不同曝光量产生的极亮和极暗的部分，同时清晰的显示出来，获得清晰的影像画面。宽动态需要同时面向高动态范围(hdri)的海面场景与低动态范围(ldri)的传统摄像机，并保留画面中亮区与暗区的细节信息。其主要方法采用多曝光融合技术，对低动态范围画面进行处理。而现阶段多曝光融合的主要处理方法为直接权重平均，此方法导致融合后的图像丢失大量细节信息，影响整个系统辅助航行。对于夜间航行过程中海面光照不足引起摄像机采集不清晰的画面问题，在船用360全景影像系统中，采用夜视模式来解决。任何物体自身都具有红外辐射，夜视模式作为一种应用于图像采集与处理的技术，主要是通过主动红外线的照射提升物体红外反射强度，再通过采用光电效应原理与光电子成像方法，扩展人眼的视觉能力。现阶段，可将夜视技术划分为被动夜视与主动夜视。被动夜视具体来说就是利用已有的或是自然光线形成的红外线进行识别与监测，需要探测有热度、红外线辐射散发特定波长的物体，但是面对热源干扰，其红外穿透力比较微弱，很容易遭到遮挡与阻断。相反，主动夜视就是通过人为的方式对物体本身微弱的辐射进行增强处理，具有更强的抗干扰能力，目标亮度强并且场景反差大，可以以较低成本，提高成像的清晰度。虽然隐蔽性稍弱，但是在不需要对隐蔽性要求很高的正常海上航行来说，主动夜视是较为合适的选择。然而主动夜视通常选择普通近红外照射等作为光源，其照射距离最多150m，如果航行中遇到恶劣天气，比如大雾等，夜视性能就会明显下降，使得主动夜视系统的工作距离受到局限。


技术实现要素：

4.本发明的目的是提供一种船用360全景影像系统的宽动态影像处理方法，以解决现有技术的问题，能够全天候地获得高动态范围区域内的清晰影像画面，为智能船舶航行提供了安全的保障。
5.为实现上述目的，本发明提供了如下方案：本发明提供一种船用360全景影像系统的宽动态影像处理方法，包括：
6.s1、在船舶航行过程中，采集船舶周边环境中动态范围的场景影像数据，并对采集的所述场景影像数据进行预处理；其中，同一场景下的所述场景影像数据包括若干个不同亮度的画面；
7.s2、基于预处理后的所述场景影像数据，获取海上场景中的色度信息；
8.s3、基于海上场景中的色度信息，得到所述场景影像数据的亮度图像，并基于所述亮度图像对所述海上场景中的色度信息进行更新；
9.s4、对预处理后的所述场景影像数据中的每个像素分别进行饱和度、曝光度和对比度计算，生成所述场景影像数据的特征向量；
10.s5、对预处理后的所述场景影像数据进行标记，基于所述场景影像数据的特征向量及标记值构建为训练样本，将所述训练样本输入支持向量回归svr模型，得到训练模型；
11.s6、通过所述训练模型对所述场景影像数据的亮度图像进行重新排序，并对重新排序后的所述亮度图像进行图像融合；
12.s7、将步骤s3中更新后的色度信息与步骤s6中融合后的亮度图像进行线性组合，得到船舶航行过程中周边环境的360全景影像。
13.优选地，所述s1中，采集船舶周边环境中动态范围的场景影像数据的过程中还包括夜视模式。
14.优选地，所述夜视模式采用主动夜视方法，所述主动夜视方法的实现步骤如下：
15.在船舶航行过程中，利用红外发射器对海上目标物体进行照射，通过所述目标物体对红外线的反射，形成红外反射信号；
16.利用接收装置接收所述红外反射信号，所述红外反射信号的光线波长为800～1000nm；
17.通过摄像头中红外变相管的阴极面将接收到的所述红外反射信号由光学信号转化为电信号，形成所述目标物体的可见影像，即场景影像数据。
18.优选地，所述摄像头采用ccd传感器。
19.优选地，所述s2中，获取海上场景中的色度信息的具体方法包括：
20.根据曝光度对所述场景影像数据进行排序；
21.根据排序结果选取中间曝光度的两幅影像，并采用加权平均融合算法对选取的两幅影像进行融合，得到海上场景中的色度信息；其中，采用加权平均融合算法对选取的两幅影像进行融合如下式所示：
22.f(m，n)＝w1a(m，n)+w2b(m，n)m＝1，2，...，m n＝1，2，...，n
23.式中，(m，n)为影像中某点的像素，a(m，n)、b(m，n)为选取的两幅影像，f(m，n)为两幅影像的融合结果，w1为影像a(m，n)的权重系数，w2为影像b(m，n)的权重系数；m为影像中像素的行数，n为影像中像素的列数。
24.优选地，所述s3具体包括：
25.基于海上场景中的色度信息rs，gs和bs获取亮度图像，亮度图像is的获取如下式所示：
26.is＝0.299
×rs
+0.587
×gs
+0.114
×bs
；
27.基于所述亮度图像is对海上场景中的色度信息rs，gs和bs进行更新，如下式所示：
28.r
′s＝(rs/is)
λ
29.g
′s＝(gs/is)
λ
30.b
′s＝(bs/is)
λ
31.式中，r
′s、g
′s、b
′s为更新后的色度信息，λ为饱和度调节参数。
32.优选地，所述s4中，所述场景影像数据的曝光度的计算包括：对所述场景影像数据的红色分量、绿色分量、蓝色分量分别进行高斯处理，对所述红色分量、绿色分量、蓝色分量的高斯处理结果进行乘积，得到所述场景影像数据的曝光度；
33.所述场景影像数据的对比度的计算包括：通过laplaction滤波器对所述场景影像数据的亮度进行滤波，得到所述场景影像数据的对比度。
34.优选地，所述s5中，对预处理后的所述场景影像数据进行标记的方法包括：
35.利用预处理后的所述场景影像数据中每个正态分布区域的索引值计算器输出标记的上边界值bound，如下式所示：
[0036][0037]
式中，i表示索引值，q为场景影像数据的个数，bound(0)＝0，bound(q+1)＝0；
[0038]
预处理后的所述场景影像数据的标记值label的计算如下式所示：
[0039][0040]
式中，comi(m，n)为区域i中像素的综合特征值，comi(m，n)＝s(m，n)
×
e(m，n)
×
c(m，n)；maxcomi、mincomi分别为区域i中像素的综合特征最大值、最小值。
[0041]
优选地，所述s6具体包括：
[0042]
将所述场景影像数据的亮度图像输入所述训练模型，基于所述训练模型的支持向量回归输出对所述场景影像数据的亮度图像进行重新排序，得到其中，具有最小的支持向量回归输出，具有最大的支持向量回归输出，q为场景影像数据的个数；
[0043]
根据权重平均公式对重新排序后的所述亮度图像进行图像融合，融合后的亮度图像if如下式所示：
[0044][0045]
式中，w(i)为第i张亮度图像的权重。
[0046]
优选地，所述s7中，通过线性组合得到的船舶航行过程中周边环境的360全景影像如下式所示：
[0047]rout
＝r
′s×
if[0048]gout
＝c
′s×
if[0049]bout
＝b
′s×
if[0050]
式中，r
out
、g
out
、b
out
分别为所述360全景影像的红色分量、绿色分量、蓝色分量，if为融合后的亮度图像。
[0051]
本发明公开了以下技术效果：
[0052]
(1)本发明提供了一种船用360全景影像系统的宽动态影像处理方法，通过多曝光融合方法使用不同的曝光时间对同一场景进行多次采样，获得场景中亮度不同的区域细
节，再采用基于支持向量回归的多曝光融合算法，对同一场景不同曝光程度的图像进行有效的融合获得高动态范围的图像，同时抑制随机噪声，融合后的图像保持了全局和局部的对比度，保留了亮区与暗区内尽可能多的细节信息，从而让摄像设备即使在高动态范围区域也能获取清晰的影像画面。
[0053]
(2)本发明在场景影像数据采集过程中，提供了一种主动夜视方法，在夜视模式下，通过近红外激光发射指定波长的红外线，帮助目标提高自身红外辐射反射率，使得摄像机的光学透镜能够方便地采集到反射的光学信息，再通过接收器对光电信号的转换，能够反馈清晰的影像，从而在全天候均能提供清晰的影像；
[0054]
(3)通过本发明所提供的全天候高动态范围区域的清晰影像，能够优化辅助靠离泊、辅助驾驶、实时海面监控等系统功能，为智能船舶航行提供了安全的保障。
附图说明
[0055]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0056]
图1为本发明实施例中船用360全景影像系统的宽动态影像处理方法流程图；
[0057]
图2为本发明实施例中主动红外夜视系统组成框图。
具体实施方式
[0058]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0059]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0060]
参照图1所示，本实施例提供一种船用360全景影像系统的宽动态影像处理方法，包括：
[0061]
s1、在船舶航行过程中，采集船舶周边环境中动态范围的场景影像数据，并对采集的场景影像数据进行预处理；其中，同一场景下的场景影像数据包括若干个不同亮度的画面；
[0062]
该步骤中，通过启动船舶上安装的摄像头，在航行过程中，对船舶周边环境进行实时监控，并对现实高动态范围场景影像数据进行采集。采集过程中，使用不同的曝光时间对同一场景进行多次采样，获取同一场景下不同亮度的画面；
[0063]
对场景影像数据的预处理包括：将场景影像数据调整为相同尺寸。
[0064]
由于船舶航行不仅在白天和晚上均需要在海上航行，而晚上无法实现场景影像数据拍摄的清晰度，因此，本技术还提供夜视模式用于船舶在晚上航行的过程中，进行场景影像数据的采集。
[0065]
本实施例中，夜视模式采用主动夜视方法，此方法需要利用近红外激光灯，主动对
航行中周围海面环境中目标物体进行照射，增强实际目标红外辐射反射的强度。再通过船上摄像头光学镜头对物体反射的红外信号进行采集。
[0066]
本技术主动夜视方法的重点之一即为摄像头的选择，而图像传感器为摄像头的主要部分。在考虑主动夜视系统的构成时，ccd和cmos传感器是当前普遍采用的用作摄像机感应接收器件的两种图像传感器。本技术分析了航行时需要灵敏度较高等特性的摄像头的实际情况，选择使用ccd传感器作为船用360系统的摄像机感应接收器。与cmos传感器相比，ccd传感器具有灵敏度高、畸变小、寿命长、抗震动、抗磁场、体积小、无残影等优点。其可以将光线变为电荷并将电荷储存集转移。因此，ccd传感器为本专利理想的摄像元件。
[0067]
本技术主动夜视方法的另一重点是对光源的选择。在主动夜视系统中，光源的选择决定了系统的工作距离。一般主动夜视系统使用普通近红外照射灯作为光源。但其局限性是，在海面上只能照射最远150m的距离，而且容易受到大雾等恶劣天气的影响，这限制了主动夜视系统在航行时的工作距离。通过结合ccd光谱响应特性和视网膜有效吸收率，确定波长为760～960nm的近红外激光比较适合作为主动夜视系统的光源，并需要将激光功率密度控制在安全阈值内来保证激光对人眼不造成伤害。设计激光调制电路，实现10khz的调制频率，使激光具有抗干扰性。
[0068]
本实施例中主动红外夜视系统的组成框图如图2所示，夜视模式的实现步骤包括：
[0069]
首先，在船舶航行过程中，利用红外发射器对海上目标物体进行照射，通过目标物体对红外线的反射，形成红外反射信号；
[0070]
其次，利用接收装置光学透镜，接收红外反射信号，红外反射信号的光线波长为800～1000nm；
[0071]
再次，通过摄像头中红外变相管的阴极面将接收到的红外反射信号由光学信号转化为电信号，从而形成目标物体的可见影像，即场景影像数据。
[0072]
s2、基于预处理后的场景影像数据，获取海上场景中的色度信息；
[0073]
该步骤的具体实现方法如下：
[0074]
首先，根据曝光度对场景影像数据进行排序；
[0075]
其次，根据排序结果选取中间曝光度的两幅影像，并采用加权平均融合算法对选取的两幅影像进行融合，得到海上场景中的色度信息，标为rs，gs和bs。
[0076]
加权平均融合算法的原理是，通过对源图像赋予不同权重系数，进行求和运算，从而获得融合结果f(m，n)，如下式所示：
[0077]
f(m，n)＝w1a(m，n)+w2b(m，n)m＝1，2，...，m n＝1，2，...，n
[0078]
式中，(m，n)为影像中某点的像素，a(m，n)、b(m，n)为选取的两幅影像，w1为影像a(m，n)的权重系数，w2为影像b(m，n)的权重系数；m为影像中像素的行数，n为影像中像素的列数。
[0079]
加权平均融合算法的重点为权重系数w1、w2的取值，一般依靠经验设定，也能够通过图像灰度值计算得到，如下式所示：
[0080][0081]
因此，通过加权平均融合算法，得到新的像素点f(m，n)，该新的像素点f(m，n)即由
融合后的色度信息rs，gs和bs组成。
[0082]
s3、基于海上场景中的色度信息rs，gs和bs，得到场景影像数据的亮度图像，并基于亮度图像对海上场景中的色度信息进行更新；
[0083]
该步骤具体包括：
[0084]
首先，基于海上场景中的色度信息rs，gs和bs获取亮度图像，亮度图像is的获取如下式所示：
[0085]is
＝0.299
×rs
+0.587
×gs
+0.114
×bs
[0086]
其次，基于亮度图像is对海上场景中的色度信息rs，gs和bs进行更新，如下式所示：
[0087]r′s＝(rs/is)
λ
[0088]g′s＝(gs/is)λ
[0089]b′s＝(bs/is)
λ
[0090]
式中，r
′s、g
′s、b
′s为更新后的色度信息；λ为饱和度调节参数，用来调节场景影像数据的饱和度；
[0091]
s4、对预处理后的场景影像数据中的每个像素分别进行饱和度、曝光度和对比度计算，生成场景影像数据的特征向量；
[0092]
该步骤中，场景影像数据的饱和度s的计算如下式所示：
[0093][0094][0095]
式中，r(m，n)、g(m，n)、b(m，n)分别为像素点(m，n)的红色分量、绿色分量、蓝色分量，z(m，n)为像素点(m，n)的红色分量、绿色分量、蓝色分量的均值。
[0096]
场景影像数据的曝光度e的计算包括：
[0097]
首先，对场景影像数据的红色分量、绿色分量、蓝色分量分别进行高斯处理，如下式所示：
[0098][0099][0100][0101]
式中，r
exposure
(m，n)、g
exposure
(m，n)、b
exposure
(m，n)分别为像素点(m，n)的红色分量、绿色分量、蓝色分量的高斯处理结果；σ为标准方差，本实施例中，采用默认值σ＝0.2。
[0102]
其次，基于红色分量、绿色分量、蓝色分量的高斯处理结果的乘积，得到场景影像数据的曝光度e，如下式所示：
[0103]
e(m，n)＝r
exposure
(m，n)
×gexposure
(m，n)
×bexposure
(m，n)。
[0104]
场景影像数据的对比度c的计算包括：
[0105]
通过laplaction滤波器对场景影像数据的亮度进行滤波，得到场景影像数据的对
比度c；
[0106]
其中，laplaction滤波器的模板h如下式所示：
[0107][0108]
对比度c的计算如下式所示：
[0109][0110]
式中，l(m，n)为像素点(m，n)的亮度值，表示卷积操作，laplaction(m，n)为laplaction滤波器。
[0111]
本实施例中，场景影像数据的大小为50
×
20，针对每一个像素点(m，n)计算s(m,n)、e(m,n)和c(m,n)，组成特征向量[s(m,n),e(m,n),c(m,n)]。
[0112]
s5、对预处理后的场景影像数据进行标记，基于场景影像数据的特征向量及标记值构建为训练样本，将训练样本输入支持向量回归(svr)模型，得到训练模型。
[0113]
由于预处理后的场景影像数据符合高斯分布，所以利用每个正态分布区域的索引值计算器输出标记的上边界值bound，如下式所示：
[0114][0115]
式中，i表示索引值，q为场景影像数据的个数，设bound(0)＝0，bound(q+1)＝0。
[0116]
预处理后的场景影像数据的标记值label的计算如下式所示：
[0117][0118]
式中，comi(m，n)为区域i中像素的综合特征值，cmoi(m，n)＝s(m，n)
×
e(m，n)
×
c(m，n)；maxcomi、mincomi分别为区域i中像素的综合特征最大值、最小值。
[0119]
s6、通过训练模型对场景影像数据的亮度图像进行重新排序，并对重新排序后的亮度图像进行图像融合；
[0120]
该步骤中，对步骤s3中得到的场景影像数据的亮度图像进行重新排序后，得到其中，具有最小的支持向量回归输出，具有最大的支持向量回归输出。
[0121]
根据权重平均公式对重新排序后的亮度图像进行图像融合，融合后的亮度图像if如下式所示：
[0122][0123]
式中，w(i)为第i张亮度图像的权重。
[0124]
s7、将步骤s3中更新后的色度信息r
′s、g
′s、b
′s与步骤s6中融合后的亮度图像进行线性组合，得到船舶航行过程中周边环境的360全景影像。
[0125]
该步骤中，线性组合后输出的图像如下式所示：
[0126]rout
＝r
′s×
if[0127]gout
＝g
′s×
if[0128]bout
＝b
′s×
if[0129]
式中，r
out
、g
out
、b
out
分别为输出的图像的红色分量、绿色分量、蓝色分量。
[0130]
本发明具有如下有益效果：
[0131]
其一，在解决航行时存在高动态范围场景问题中，由于传统摄像设备与实际场景间动态范围有着巨大差距，摄像机采集到的影像会在亮区及暗区丢失很多细节，从而降低了船用360全景影像系统中辅助靠离泊、辅助驾驶功能的安全性。本发明方法可通过调整画面明暗的动态范围，处理摄像设备采集到的实时影像，让摄像设备即使在高动态范围区域也能获取清晰的影像画面。其二，在解决航行时光线过暗问题中，由于光照不足画面过暗，摄像机无法获取清晰的影像，无法利用夜间影像对目标动态进行实时的跟踪与反馈。本发明使用主动夜视技术，通过近红外激光发射指定波长的红外线，帮助目标提高自身红外辐射反射率。这样摄像机的光学透镜可以方便的采集到反射的光学信息，再通过接收器对光电信号的转换，从而反馈清晰的影像。此两项技术应用于船用360全景影像系统，可以优化辅助靠离泊、辅助驾驶、实时海面监控等系统功能，为智能船舶航行提供了安全的保障。
[0132]
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。