一种雨雪雾天实时可视增强嵌入式系统及可视增强方法

1.本发明涉及图像处理与嵌入式系统，尤其涉及一种雨雪雾天实时可视增强嵌入式系统，本发明还涉及一种雨雪雾天实时可视增强方法。


背景技术：

2.在雨、雪、雾天气拍摄到的图像，图像质量会显著地下降。同时，因雨、雪、雾天气而产生的图像退化会对自动驾驶、航拍等活动产生负面的影响，雨、雪、雾天气也会给交通、监控、车辆辅助系统等带来不利的影响，因此需要对采集到的图像或视频进行处理。
3.根据大气光照模型，人能看见物体是由于物体本身反射的光线进入到了人眼。雨、雪、雾天气情况下，大气中存在的颗粒物在吸收光的同时也会影响物体的反射光线反射，导致反射光线传播方向改变，朝多个方向散射。目前的图像增强方法虽然在精度方面取得了显著的进展，但这些方法很少考虑可落地性，其图像增强模型往往具有庞大的参数量，需要消耗大量的计算资源。
4.而在资源有限的硬件条件下，这些图像增强方法无法使用。为了增强神经网络的实用性，研究人员做了许多压缩神经网络模型的工作，如知识蒸馏、参数量化、轻量化网络设计。但是现有技术中的方法只考虑处理效果，极少考虑处理速度，很难运用在嵌入式设备上。
5.而如何在嵌入式设备上对雨雪雾天进行实时增强，目前还是一个亟需解决的技术问题。


技术实现要素：

6.发明目的：针对现有技术中存在的不足之处，本发明提出了一种雨雪雾天实时可视增强嵌入式系统，本发明还提出了一种在嵌入式设备上进行实时视觉增强的雨雪雾天实时可视增强方法，基于大气散射模型的理论基础，利用了轻量化神经网络模型强大的特征提取能力，进而预测大气散射模型中关键的参数，并在嵌入式设备上实时处理视频数据，完成视频实时增强。
7.技术方案：本发明雨雪雾天实时可视增强嵌入式系统包括图像获取模块、图像处理模块和图像输出模块；该图像获取模块获取视频数据并转为图像数据；图像处理模块对获取到的图像数据进行计算、增强；图像输出模块将增强后的图像数据进行展示。
8.图像获取模块将获取到的视频数据转为单帧的图像数据。
9.图像处理模块通过轻量化神经网络模型对图像的数据进行增强。
10.图像输出模块将增强后的图像数据输出为视频数据。
11.本发明的雨雪雾天实时可视增强方法包括以下步骤：
12.(1)通过opencv中的videocapture方法调用摄像头采集视频，并将视频读取为一幅一幅的单帧图像；
13.(2)将步骤(1)中读取到的单帧图像输入到构建的轻量化神经网络模型中，轻量化
神经网络模型对输入的单帧图像进行处理，得到包含大气透射率t(x)和大气光值a的中间参数k(x)；
14.(3)根据大气散射模型，利用轻量化神经网络模型的输出值中间参数k(x)计算出增强后的单帧图像，并使用opencv的图片可视化方法将增强后的单帧图像进行输出。
15.其中，步骤(2)包括以下过程：
16.(2.1)对输入轻量化神经网络模型的图像进行预处理：
17.利用开放计算机视觉软件库opencv中的videocapture方法，将捕捉到的视频读取为单帧图片后，将bgr格式的图片转为rgb图片，进一步将rgb图片做归一化处理；随后对图像数据进行维度扩充，将原本的三维数据扩充为四维；再将读取到的ndarray形式的图片数据转为tensor类型，并使用cuda加速计算。
18.(2.2)采用轻量化神经网络模型对图像进行特征提取：
19.所使用的轻量化神经网络模型由包含不同大小卷积核的卷积层组成，图像经过不同的卷积层时，神经网络模型提取图像中不同尺度的特征；并将提取到的不同尺度的特征图利用输出卷积层进行特征融合。
20.(2.3)采用跳跃连接的方式将不同尺度的特征图进行拼接
21.对于步骤(2.2)中的不同尺度大小的特征图，采用跳跃连接的方式将各个尺度的特征图进行拼接，将包含了多个尺度的特征图像输入随后的特征融合卷积层，以此保留多个尺度的图像特征。
22.(2.4)修正轻量化神经网络模型中的线性单元
23.对于步骤(2.2)中的结果，使用修正线性单元作为神经元的激活函数，修正线性单元将使一部分神经元的输出为0，使得网络具有稀疏性，减少了参数之间的相互依存关系，缓解过拟合问题的发生。修正线性单元如式(1)所示：
[0024][0025]
步骤(2.1)中，对图像数据进行维度扩充时，将三维数据扩充为四维数据。
[0026]
步骤(2.2)中，该卷积层包括1
×
1、3
×
3、5
×
5、7
×
7四种大小的二维卷积核。
[0027]
步骤(2.1)中，将读取到的ndarray形式的图片数据转为tensor类型，并使用cuda加速计算。
[0028]
步骤(3)中，增强图像的计算过程是：
[0029]
大气散射模型是描述模糊图像生成过程的模型，如下式所示：
[0030]
i(x)＝j(x)t(x)+a(1-t(x))
ꢀꢀꢀꢀꢀꢀ
(2)
[0031]
其中，i(x)为观测到的模糊图像，j(x)为待恢复的清晰图像，式中的两个关键参数为大气光值a和大透射率t(x)；可以看出，公式中只有观测到的模糊图像i(x)是已知的，求出a与t(x)便可求得j(x)。
[0032]
大气透射率t(x)定义为：
[0033]
t(x)＝e-βd(x)
ꢀꢀꢀꢀꢀꢀ
(3)
[0034]
其中β为大气散射系数，d(x)为物体与成像设备的距离。
[0035]
常见的方法将a和t(x)分开进行预测，这种间接优化将导致次最优解，本方法中将a和t(x)统一到一个公式，直接最小化图像的像素域的重构误差，如下式所示：
[0036][0037]
其中，t(x)和a被集中到新变量中间值k(x)中，b为常数偏差，默认值为1。
[0038]
步骤(3)中，轻量化神经网络模型的卷积核提取到单帧图像中不同尺度的特征，然后使用跳跃连接在神经网络模型的输出端将不同尺度的特征拼接并输出生成增强的图像j(x)：
[0039]
j(x)＝k(x)i(x)-k(x)+b
ꢀꢀꢀꢀꢀꢀ
(5)
[0040]
工作原理：然而普通的神经网络模型因为含有大规模的参数量以及计算量达不到实时处理的效果，本发明结合卷积神经网络强大的特征提取能力以及轻量化神经网络的设计思路，实现输入雨雪雾天的模糊图像，输出大气散射模型中关键的透射率，再利用大气散射模型对图像进行增强。
[0041]
有益效果：与现有技术相比，本发明具有以下优点：
[0042]
(1)本发明直接调取摄像头的数据，无需增加额外的硬件成本。
[0043]
(2)本发明使用opencv的图片可视化方法将单帧图像输出，采用轻量化神经网络模型在嵌入式设备上对单帧图像进行处理，处理速度为秒级，处理速度达到了40ms，实现了实时处理视频数据，并在嵌入式设备上进行视频实时增强处理。
[0044]
(3)该雨雪雾天实时可视增强嵌入式系统所采用的图像增强方法复杂度低，处理速度快，可应用在交通检测、智能驾驶方面。
附图说明
[0045]
图1为雨雪雾天实时可视增强嵌入式系统的视频增强流程图；
[0046]
图2为雨雪雾天实时可视增强嵌入式系统的示意图；
[0047]
图3-1是未经本发明处理的某雾天的道路图像；
[0048]
图3-2是对图3-1经本发明处理后的道路图像；
[0049]
图4-1是未经本发明处理的某雨天的道路图像；
[0050]
图4-2是对图4-1经本发明处理后的道路图像；
[0051]
图5-1是未经本发明处理的某雪天的户外图像；
[0052]
图5-2是对图5-1经本发明处理后的户外图像。
具体实施方式
[0053]
本发明获取雨雪雾天中模糊图像的硬件设备为，采用nvidia公司开发的jetson xavier nx测试作为去雾平台，该嵌入式设备支持gpu加速处理，且支持轻量化神经网络模型的推理。该去雾平台有六块carmel arm cpu和两个nvidia深度学习加速器，使用的操作系统为ubuntu18.04，搭载有摄像头。
[0054]
如图1所示，本发明雨雪雾天实时可视增强方法的过程如下：
[0055]
(1)通过opencv中的videocapture方法调用摄像头采集视频，并将视频分解读取为单帧图像；
[0056]
(2)将步骤(1)中读取的单帧图像输入到构建的轻量化神经网络模型中，轻量化神
经网络模型对输入的图像进行处理后，得到包含大气透射率t(x)和大气光值a的中间参数k(x)；对图像进行增强，具体过程为：
[0057]
(2.1)对输入轻量化神经网络模型的图像进行预处理：
[0058]
将步骤(1)中由videocapture捕捉到的bgr图片转为rgb图片，进一步将rgb图片做归一化处理；随后对图像数据进行维度扩充，将原本的三维数据扩充为四维；再将读取到的ndarray形式的图片数据转为tensor类型，并使用cuda加速计算。
[0059]
(2.2)采用轻量化神经网络模型对图像进行特征提取：
[0060]
该步骤中采用的轻量化神经网络模型由包含不同大小卷积核的卷积层组成，包括1
×
1、3
×
3、5
×
5、7
×
7四种大小的卷积核，图像经过不同的卷积层时，神经网络模型提取图像中不同尺寸的特征；最后将提取到的不同尺度的特征图利用输出卷积层进行特征融合。
[0061]
(2.3)采用跳跃连接的方式将不同尺度的特征图进行拼接
[0062]
对于步骤(2.2)中提取到的不同尺度大小的特征图，采用跳跃连接的方式将各个尺度的特征图进行拼接，作为之后卷积层的输入，以此保留多个尺度的图像特征。
[0063]
(2.4)修正轻量化神经网络模型中的线性单元
[0064]
对于步骤(2.2)中的结果，使用修正的线性单元作为神经元的激活函数。修正线性单元将使一部分神经元的输出为0，使得网络具有稀疏性，减少了参数之间的相互依存关系，缓解过拟合问题的发生。修正线性单元如公式(1)所示：
[0065][0066]
(3)将增强的图像可视化：即根据大气散射模型，利用神经网络的输出值中间参数k(x)计算出增强后的单帧图像，使用opencv的图片可视化方法将增强后的单帧图像拼接为视频输出，具体过程为：
[0067]
大气散射现象解释了模糊图像的成因，而大气散射模型是描述模糊图像生成过程的模型。根据式1所示的大气散射模型，找到使图像变模糊的因素，具体为：
[0068]
i(x)＝j(x)t(x)+a(1-t(x))
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0069]
该大气散射模型中的i(x)表示观测到的模糊图像，j(x)表示待恢复的清晰图像，t(x)为大气透射率，即表示受大气中悬浮颗粒影响后的物体x处表面的反射光线的透射率；a表示大气光值，即大气光照强度，通常在一个场景中的大气光照变化不会很大，因此认为a不随x变化。该公式(2)中模糊图像i(x)是已知的，求出a与t(x)便求得j(x)。
[0070]
其中，大气透射率t(x)定义为：
[0071]
t(x)＝e-βd(x)
ꢀꢀꢀꢀꢀꢀ
(3)
[0072]
公式(3)中的β为大气散射系数，d(x)为物体与相机的距离。t(x)的值介于0和1之间，若某一像素处的t(x)为0，表示该像素点的反射光无法传输到成像设备；若某一像素点处的t(x)为1，则表示该像素点的反射光线可以不受任何干扰直接传输到成像设备。
[0073]
考虑到若将a与t(x)分开进行预测，得到的是两个局部最优解，最后导致次最优解，因此将a与t(x)集中到一个公式，构造出一个中间值k(x)，最小化图像的像素域的重构误差，根据k(x)计算增强的图像，如式(4)所示，其中k(x)表示为：
[0074][0075]
t(x)和a被集中到新变量k(x)中，b为常数偏差，默认值为1。
[0076]
通过轻量化神经网络模型对k(x)进行预测，本发明使用的神经网络模型由卷积层构成，各卷积层所使用的卷积核大小也各不相同，不同大小的卷积核提取到单帧图像中不同尺度的特征，然后使用跳跃连接在神经网络模型的输出端将各种不同尺度的特征进行拼接融合。
[0077]
在神经网络的输出端，将神经网络所提取到的多个尺度的特征进行融合并输出到最终的图像恢复模块，图像恢复模块根据下式生成清晰的图像j(x)：
[0078]
j(x)＝k(x)i(x)-k(x)+b
ꢀꢀꢀꢀꢀꢀꢀ
(5)
[0079]
式中的j(x)为清晰的图像，k(x)为中间值，b为常数偏差，b的默认值为1。该图像恢复模块为轻量化神经网络模型的一个模块。
[0080]
其中，步骤(3)中将增强后的图像利用opencv中的图像可视化方法进行显示时，在本发明所选择的嵌入式设备上对大小为640
×
360的图片进行图像增强的平均处理时间为40ms，因此作为实时处理。