一种零补光实时全彩夜视成像方法及系统

1.本发明涉及图像处理领域，具体是涉及一种零补光实时全彩夜视成像方法及系统。


背景技术：

2.在民用领域中，日间成像拍摄已日渐成熟。随着更高清的传感器的问世，在白昼下民用领域中已可以实现高清甚至超高清的成像拍摄，这无疑得益于日间环境光照度条件佳带来的益处；而同样的设备在夜晚条件下工作效果则大打折扣，夜间环境下，由于环境光照度大大下降，导致日间工作正常的摄像设备在夜间无法正常获取足够的光照度，导致无法清晰拍摄夜间环境下的景物，给民用的安防监控、警用侦查等均造成了较大的障碍。
3.为了解决夜间无法清晰拍摄的问题，行业中出现了许多有针对性的方案，例如加装强爆闪灯、照明灯或者采用近红外光照明作为辅助手段，这些方案在一定程度上补充了夜间拍摄能力不足的缺憾，但同时也带来了较大的影响。首先，为了抵御夜间环境光照度极低的问题，加装的强爆闪灯和照明灯光强过大，严重影响夜间机动车及行人的视觉安全，每年因爆闪灯造成的视觉致盲引发的交通事故多达上万起；其次，采用近红外光照明虽然利用了其处在不可见光谱从而不会影响人眼视觉的特性，但由于近红外光谱谱段单一，因此拍摄成像时将场景由彩色退变为黑白色，缺失了彩色维度后场景的观测效果大大下降；最后，不管是何种补光方式，其带来的高能耗现象都是无法避免的。加装补光灯后的摄像设备其功耗相较未加装时上升了数倍有余，严重不利于国家节能减排、绿色低能耗“碳中和”的方针。
4.在军用领域中，夜间作战一直是我军的传统优势，但随着西方国家夜视技术的不断突破，已有第五代全彩军用夜视仪问世，其昼夜成像效果几乎无差，大大提高了夜间侦查及作战能力，而我国军方还停留在第三代像增强器和红外热像仪的夜视时代，夜视能力已早已和西方不可同日而语。在夜间战场环境中，补光的侦查方式是完全行不通的，这样无疑是将己方的位置明示给地方。
5.从军民两个领域中可以得知，行业急需一种可以在零补光条件下实现实时夜间全彩成像系统及方法。
6.对此，在2018年国际顶级会议cvpr上发表的《learn to see in the dark》一文，提及了一种利用暗光图像计算得到明亮图像的方法，其可以在无补光的条件下实现图像明亮，但该方法存在以下的局限性：1.该方法只能针对单个相机，如果更换相机则需要从头重新训练一遍网络，做不到普适性；2、该方法只能使用摄像机最原始的raw格式图像作为计算起点，而我们知道大部分工业相机和商用摄像设备是不提供raw格式数据给用户的，因此该方法无法大规模商用；3、该方法实时性不高，计算效率较低，只能处理图片，无法处理视频。


技术实现要素：

7.为解决上述技术问题，本发明提供了一种零补光实时全彩夜视成像系统及方法，
能够处理普通拍摄设备的图像并将其增强实现零补光条件下夜间全彩成像，可以针对多种格式的图片或视频，供大规模商用。
8.本发明所述的一种零补光实时全彩夜视成像方法，步骤为：
9.步骤1、采集多个不同场景的明亮、暗光两种图像，构建数据集；
10.步骤2、利用高斯卷积核对每个输入的暗光图像进行卷积计算，与明亮图像进行对比，得到每个输入的暗光图像的残差信息；
11.步骤3、进行下采样，将步骤1得到的所有残差信息进行离散抽样；
12.步骤4、计算步骤2得到的图像的增强损失函数，进行亮度增强训练；
13.步骤5、计算步骤3得到的图像的去噪损失函数，进行去除噪声训练；
14.步骤6、计算步骤4得到的图像的色彩恢复损失函数，进行色彩恢复；
15.步骤7、进行上采样，使步骤5得到的图像恢复至原始输入图像的维度；
16.步骤8、得到输出图像。
17.进一步的，还包括长链接过程，对步骤3
‑
步骤5损失函数计算前后各层图像之间的查验。
18.进一步的，所述图像增强损失函数的计算公式为：
[0019][0020]
其中，i
out
和i
target
分别表示输出图像和目标图像,n为训练的图像分块大小。
[0021]
进一步的，所述图像去噪损失函数的计算公式为：
[0022][0023]
其中，和是关于x和y方向的梯度，c表示彩色图像的不同色彩通道，r,g,b分别为红色，绿色和蓝色通道。
[0024]
进一步的，所述色彩恢复损失函数的计算公式为：
[0025][0026]
其中，和表示输入图像在通道p和q上的平均强度,(p,q)表示一个颜色通道对。
[0027]
一种零补光实时全彩夜视成像系统，包括并行数据流输入接口、fpga芯片、电源管理电路模块、并行数据流输出接口、蓝牙模块和电路板，所述并行数据流输入接口、fpga芯片、电源管理电路模块、并行数据流输出接口和蓝牙模块安装在所述电路板上；
[0028]
其中，所述电源管理电路模块为电路板系统提供电源；
[0029]
所述并行数据流输入接口接收前端送入的图像视频数据，这些数据以并行格式(即标准的mipi或者bt656数据格式均可)传送至fpga芯片，本发明所述的算法均在fpga芯片中以逻辑语言代码写好；
[0030]
所述fpga芯片采用权利要求1
‑
5任一项所述的方法对所接收的视频数据进行处理，并将处理后的图像视频数据以mipi或者bt656数据格式传送至并行数据流输出接口；
[0031]
所述蓝牙模块通过标准的spi串口与fpga相连，通过蓝牙模块可接收外界手机等
移动端的控制命令，控制fpga中算法是否开启，以及读取fpga中算法各部分的状态信息。
[0032]
并行数据流输出接口将fpga芯片处理后的视频数据传输给用户端。
[0033]
本发明所述的有益效果为：本发明公开的全彩夜视成像方法，其完全不需要额外补光，仅靠夜间自然情况即可将普通摄像头拍摄的极暗图像处理为白昼化的图像；该方法不仅能够适应目前几乎所有的图片格式，也能适应大部分的通用视频格式，更加可以实时配合普通摄像头的实时数据进行同步实时计算。
[0034]
本发明所述全彩夜视成像系统，将本发明所述的方法运行在以fpga为计算核心的小型化电路板中，通过独创性的深度学习神经网络架构，对250万组昼夜相同场景图片及视频进行预训练，保证了系统内嵌模型的泛化能力；本发明所述的系统以标准化的输入输出接口作为快速接入的技术规范，其可以模块化外接的形式快速接入已架设部署的现有拍摄设备后端，通过标准网口实现快速接续，并通过后端的标准网口和usb接口将增强后的视频及图像输出至原有数据链路上，无需将原有设备整体替换，方便快捷；对市面上大部分已安装的拍摄设备进行视频数据解压缩后处理提升夜间成像效果，继而再以行标压缩编码格式重新压缩数据流，无缝对接现有的后端数据服务平台；可将普通摄像头改造成具有强力夜视能力的夜视设备，而不再需要加装各种类型的补光灯，如爆闪灯，白光灯，近红外等，安装简便，改造成本低廉，更加可以做到低碳，节能，环保。整套系统可通过蓝牙模块与手机端的app连接，即时获取系统状态信息，体积小(44x44mm)、功耗低(≤1.5w)。
附图说明
[0035]
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。
[0036]
图1是本发明方法流程图；
[0037]
图2是本发明神经网络结构及各部分功能描述图；
[0038]
图3是本发明所述的零补光实时全彩夜视成像系统的结构示意图；
[0039]
图4是本发明所述的零补光全彩夜视成像系统与硬件的安装方式示意图；
[0040]
图5a为室外实拍效果原图；
[0041]
图5b为室外实拍处理后效果图；
[0042]
图5c为室内实拍效果原图；
[0043]
图5d为室内实拍处理后效果图；
[0044]
其中，1
‑
并行数据流输入接口，2
‑
fpga芯片，3
‑
电源管理电路模块，4
‑
并行数据流输出接口。
具体实施方式
[0045]
结合图1，本发明所述的一种零补光实时全彩夜视成像方法要经过卷积残差同步计算过程，下采样过程，图像增强损失函数，图像去噪损失函数，图像色彩恢复损失函数，上采样过程和长链接过程最终实现对夜间极暗环境的图像增强过程。
[0046]
结合图2，本发明所述的一种零补光实时全彩夜视成像方法，首先，训练网络前需要构建训练用的数据集。待构建的数据集以成对形式出现，通过采集多个不同场景的明暗两种图像形成配对。采集明亮图像时使用测试相机直接捕捉图像，采集暗光图像时通过将
测试相机的光圈和曝光时间下调的方式完成采集工作。对采集好的明暗对比图像进行训练时，将暗图像送进网络开始后续计算训练过程，明亮图像则作为参考图像在每一轮训练输出预测图像结果后进行对比，比较真实图像和预测图像之间的空间差异，然后通过反向传播的方式修改网络参数，当下一轮训练开始时就以上一轮结束时修正过的网络参数作为本轮训练的参数起点。
[0047]
卷积残差同步计算过程将输入图像利用3x3的高斯卷积核对图像进行卷积计算，高斯卷积核能够同步提取图像中每个3x3区域内所有像素点的高频细节残差，并实现选取9个像素点计算后输出1个像素点作为卷积核的计算结果功能，该计算得到的像素点即为当前选定的9个点的残差结果，当卷积核遍历整张图片后，可以实现将当前图像同步提取图像的残差信息功能。
[0048]
下采样过程将上一步卷积核计算得到的所有结果进行离散抽样，每4个值选取其中第1个值作为抽样点，该计算过程可实现将图像残差降维至原来的1/4功能，用以减少后续损失函数计算时的计算量，提高计算效率和速度。
[0049]
原始图像一共进行5次残差计算和4次下采样过程得到待计算损失函数的数据张量表征形式，然后首先进行图像增强损失函数的计算。图像增强损失函数的计算公式表达如下：
[0050][0051]
其中，i
out
和i
target
分别表示输出图像和目标图像,n为训练的图像分块大小，通常情况下，n的取值为10。
[0052]
训练网络的时候我们有一个数据集，这个数据集中对每个场景都有亮暗两张对比图，目标图像是指在训练网络的时候的用亮图作为训练的“目标”，输出图像是每张暗图像经过网络的计算后得到的结果，然后用这个结果和“目标”去计算二者之间相差多少，然后将这个相差程度反过来告诉网络，然后网络会根据这个相差程度调整训练参数再回过来处理一次暗图像，得到结果后再和“目标”去比较，多次训练后网络就能得到与“目标”最接近的成果。所以计算的是l增强这个损失函数，这个损失函数是图像间的判断关系。
[0053]
根据公式1，通过对比输出图像和目标图像之间的2范数空间距离，有效训练网络识别从极暗环境到日间环境之间每个待训练图像像素点的权重系数的修正方向，利用反向传播原理在每一轮训练过程中不断优化网络参数，实现对图像亮度增强的过程。
[0054]
在亮度增强的训练过程中，会导致图像噪声同步放大过程，因此需要待训练网络具有噪声抑制能力。因此，本发明中设计了图像去噪损失函数，其公式表达如下：
[0055][0056]
其中，和是关于x和y方向的梯度，c表示彩色图像的不同色彩通道，r,g,b分别为红色，绿色和蓝色通道。
[0057]
因为对于彩色图像，其噪声分布在rgb三个通道中，因此该设计的图像去噪损失函数需要具备在三通道上具有一致性的去噪表征和性能。公式2中通过计算待训练图像当前每个通道中的每个像素点在三通道上的不同梯度之间的累加统计值，实现对每个像素点在每个通道上色彩一致性的损失程度判别。该判别过程能有效去除每个像素点在每个通道上
的数据异常即噪声，进而实现通过训练去除噪声的结果。
[0058]
去噪训练加入后会导致图像每个像素点在每个通道上趋于一致性，因此会造成色彩减退及失真现象，因此为了得到最终正确的图像色彩表征，还必须使网络具备色彩恢复功能，因此加入色彩恢复损失函数训练过程，其公式表达如下：
[0059][0060]
其中，分别表示目标图片和输入图片在p通道的平均强度,(p,q)表示一个颜色通道对，如(r，g)。
[0061]
图像色彩的表征是由于三通道之间的差异化产生，因此加入公式3的色彩恢复损失函数后，可以在rgb三通道间两两组合，分别计算通道数值差异并记录该差异，在去噪损失函数计算去除噪声的基础上提高通道间的数值差异性，从而实现色彩恢复过程。
[0062]
计算完三个损失函数后，图像此时的空间维度很小，因此需要通过上采样过程恢复至原始输入图像相同的维度。上采样过程采用每1个像素点复制为4个像素点的方法，按照下采样逆向的过程逐步实现最终图像维度的还原。
[0063]
最后，为了判断网络输出图像与输入图像之间的增强效果合理性，加入了长链接过程形成对损失函数计算前后各层图像之间的查验过程以确保网络在输入至输出的过程中不会出现维度错误的情况。
[0064]
如图3所示，一种零补光实时全彩夜视成像系统，包括并行数据流输入接口1、fpga芯片2、电源管理电路模块3、并行数据流输出接口4、蓝牙模块5和电路板，所述并行数据流输入接口、fpga芯片、电源管理电路模块、并行数据流输出接口和蓝牙模块安装在所述电路板上；
[0065]
其中，所述电源管理电路模块为电路板系统提供电源；
[0066]
所述并行数据流输入接口接收前端送入的图像视频数据，这些数据以并行格式(即标准的mipi或者bt656数据格式均可)传送至fpga芯片，本发明所述的算法均在fpga芯片中以逻辑语言代码写好；
[0067]
所述fpga芯片采用上述方法对所接收的视频数据进行处理，并将处理后的图像视频数据以mipi或者bt656数据格式传送至并行数据流输出接口；
[0068]
所述蓝牙模块通过标准的spi串口与fpga相连，通过蓝牙模块可接收外界手机等移动端的控制命令，控制fpga中算法是否开启，以及读取fpga中算法各部分的状态信息。
[0069]
并行数据流输出接口将fpga芯片处理后的视频数据传输给用户端。
[0070]
结合图4，以单板电路板形态直接加装至待出厂产品(即摄像头)内部；加装时通过并行数据接口直接对接待出厂产品内部的视频及图像数据流，无需解压过程，然后逐帧根据预训练的模型映射关系将输入图像数据以像素逐点计算形式对每个像素点进行灰度重映射，实现将夜间拍摄进行白昼化提升的过程。处理结束后由单板将视频及图像数据压缩成行业标准的视频格式后输出，确保产品出厂后可直接接入外部控制中心平台。
[0071]
结合图3和图4，其上均配备了蓝牙模块可通过与手机端app直连，实时读取所述系统的状态信息及完成后续的升级后预训练深度学习网络模型的固件更新。
[0072]
本系统中的数据操作过程如下：
[0073]
1.由于预训练好的深度学习网络架构模型在实际工作中是以像素逐点计算形式
作用于每个像素点，因此根据前端送入的视频及图像维度不同首先要将预训练网络进行维度缩放，以适配不同的输入视频及图像维度，本系统可支持的分辨率为1080p，2k及4k三种。
[0074]
2.图像视频流被送至fpga中后，此时由于送入视频信号的时钟频率与本发明所述系统的时钟频率不同，因此无法直接进行效果提升操作。本系统中特别为这样高速并发的高带宽内部数据流设计了优化的4级cache缓存总线架构。当视频信号送入时，利用内部fifo对输入数据进行异步隔离，将各自的时钟域统一成硬核内部的相同时钟域，继而利用ddr(双倍速动态存取存储器)内存颗粒将视频数据逐帧高速的写入其中进行缓存以供预训练深度学习网络架构访问，在输出时同样先将数据从ddr中并行读出，并根据提升网络的要求将每帧图像逐像素点对齐后以相同的时钟频率并发写入总线，这样就保证了在进行后续算法的时候，每帧图像的每个像素点都是对齐的，并且可以以相同的时钟频率进行操作。
[0075]
3.预训练深度学习网络架构采用卷积残差同步计算方法及下采样作为分层规则，将待处理的目标图像放在流水线架构上，对视频图像逐帧进行残差层提取及下采样过程，每层的决策策略为将图像信息逐像素点进行求解比较，选出残差最强的灰度值作为映射起点并按照上采样方式进行插值重建过程，即完成了提升过程。
[0076]
4.本系统特别配置了专属的手机端app软件，通过板载的蓝牙模块进行数据互通和固件更新功能。
[0077]
综上所述，本发明所述的一种零补光全彩夜视系统，其可以方便的以外接或内嵌的形式快速接入已架设安装的产品或待出厂的产品，实现普通监控拍摄设备的夜间拍摄能力增强过程。本系统重量轻(＜1kg)，体积小(44mm*44mm)，功耗低(＜1.5w)。采用本发明所述的系统及方法的前后所得到的图片如图5a
‑
图5d所。
[0078]
本发明方法不仅仅是只能在fpga芯片中运行，只要是具备运算能力的芯片，例如海思，高通骁龙，联发科，dsp等芯片都可以搭载本发明所述的方法进行工作。
[0079]
以上所述仅为本发明的优选方案，并非作为对本发明的进一步限定，凡是利用本发明说明书及附图内容所作的各种等效变化均在本发明的保护范围之内。