一种自适应进行图像真彩色还原的方法及系统与流程

本申请涉及图像处理的技术领域，尤其涉及一种自适应进行图像真实彩色还原的方法及系统。

背景技术：

安防监控对于维护社会稳定、增强城市治安管理，提升人民生活的安全感和幸福感十分重要。在各种交互场景中，安防系统能够通过图像实时记录并存储场景事件，便于后续查看和还原当时场景情况，为追查违法犯罪行为等提供了大量的原始资料和证据。

然而，当前安防系统大多数情况下还是采用传统的成像设备，即由固定的滤光片和波段响应函数，生成rgb图像或视频。传统成像系统生成的rgb图像或视频在充足的光线下，符合人眼的成像规律，适宜人眼观察，但在光线昏暗或者光照不均衡的情况下，很容易出现图像色彩失真的情况，无法真实记录场景中物体的真实颜色这一缺陷在实际生活中影响巨大，如在辨认车辆颜色、嫌疑人衣着或特定场景外观时，色彩失真的图像和视频将导致锁定目标错误或者无法清楚地辨别，从而耽误后续的追查工作。

由光学知识可知，特定谱段的光具有特定的光谱信息，不同的环境光对场景的影响也各不相同，只是通过一种光线补偿策略得到的图像成像并不能真实地反应出当前场景的情况，或者不能清楚地反应出当前场景的情况，因此，如何提供一种根据各个不同场景实时自适应进行图像处理还原真实场景图像的方案是本领域亟待解决的技术问题。

技术实现要素：

本申请的目的在于提供一种自适应进行图像真彩色还原的方法及系统，解决现有技术中无根据现场场景实时自适应地进行图像真彩色还原的技术问题。

为达到上述目的，本申请提供一种自适应进行图像真彩色还原的方法，包括：

预先设置参照对象，并获取所述参照对象的真彩色信息；利用成像设备拍摄具有所述参照对象的图像作为训练拍摄图像；

通过与所述成像设备光轴中心平衡的光谱探头检测拍摄所述训练拍摄图像时的环境光谱信息作为训练环境光谱信息；

接收所述训练拍摄图像、训练环境光谱信息及所述参照对象的真彩色信息形成训练集合；分析所述训练拍摄图像得到所述训练拍摄图像中所述参照对象的像素灰度值；

根据所述训练集合中所述参照对象的像素灰度值与所述参照对象的真彩色信息进行训练得到环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系；

利用所述成像设备拍摄目标图像，通过与所述成像设备光轴中心平衡的所述光谱探头检测拍摄所述目标图像时的实时环境光谱信息；

接收成像设备的当前拍摄的所述目标图像及实时环境光谱信息；分析所述当前拍摄的所述目标图像得到所述目标图像各个像素的灰度值；

根据当前环境信息下所述目标图像的像素灰度值与图像真彩色信息的对应关系得到所述目标图像的像素灰度补偿值；

根据所述目标图像的像素灰度补偿值及所述目标图像各个像素的灰度值得到当前拍摄的所述目标图像的还原图像。

可选地，其中，该方法还包括：

在所述训练集合中，根据环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系及所述参照对象的像素灰度值得到所述参照对象的还原图像；

根据所述参照对象的还原图像与所述参照对象的所述真彩色信息得到图像还原的损失值；当所述图像还原的损失值小于或等于预设的损失值阈值时，存储所述环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系；

当所述图像还原的损失值大于所述预设的损失值阈值时，生成所述参照对象的还原图像与真彩色信息的损失函数的图像。

可选地，其中，该方法还包括：

在所述训练集合中，接收对所述训练集合中数据进行处理的指令，分析所述指令得到指示删去的训练图像的数据标识；

根据所述指示删去的训练图像的数据标识查找并删去指示删去的训练图像的数据；

根据所述训练集合中剩余数据得到所述环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系。

可选地，其中，所述还原图像与真彩色信息的损失函数为：

其中，

pi(x，y)表示重建出的还原图像在第i个像素点的图像灰度值，ti(x，y)表示真实真彩色图像在第i个像素点的图像灰度值。

可选地，其中，该方法还包括：

在所述训练集合中，接收新增的训练拍摄图像、新增的训练环境光谱信息及更新的所述新增的训练拍摄图像中参照对象的真彩色信息更新所述训练集合的数据；

使用更新的所述训练集合中数据进行训练得到更新后的环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系。

另一方面，本发明还提供一种自适应进行图像真彩色还原的系统，包括：图像训练数据收集器、图像数据训练分析器、实时图像数据接收器、实时图像补偿解析器及实时图像还原器；其中，

所述图像训练数据收集器，与所述图像数据训练分析器相连接，用于接收成像设备的训练拍摄图像及与所述成像设备光轴中心平衡的光谱探头的训练环境光谱信息，以及所述训练拍摄图像中参照对象的真彩色信息形成训练集合；分析所述训练拍摄图像得到所述训练拍摄图像中所述参照对象的像素灰度值；

所述图像数据训练分析器，与所述图像训练数据收集器及实时图像数据接收器相连接，用于根据所述训练集合中所述参照对象的像素灰度值与所述参照对象的真彩色信息进行训练得到环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系；

所述实时图像数据接收器，与所述图像数据训练分析器及实时图像补偿解析器相连接，用于接收成像设备的当前拍摄图像及与所述成像设备光轴中心平衡的光谱探头的当前环境光谱信息；分析所述当前拍摄图像得到所述当前拍摄图像各个像素的灰度值；

所述实时图像补偿解析器，与所述实时图像数据接收器及实时图像还原器相连接，用于根据当前环境信息下所拍摄目标图像的像素灰度值与图像真彩色信息的对应关系得到所述当前拍摄图像的像素灰度补偿值；

所述实时图像还原器，与所述实时图像补偿解析器相连接，用于根据所述目标图像的像素灰度补偿值及所述目标图像各个像素的灰度值得到所述目标图像的还原图像。

可选地，其中，该系统还包括：图像数据训练评估器，与所述图像数据训练分析器相连接，用于：

在所述训练集合中，根据环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系及所述参照对象的像素灰度值得到所述参照对象的还原图像；

根据所述参照对象的还原图像与所述参照对象的所述真彩色信息得到图像还原的损失值；当所述图像还原的损失值小于或等于预设的损失值阈值时，存储所述环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系；

当所述图像还原的损失值大于所述预设的损失值阈值时，生成所述参照对象的还原图像与真彩色信息的损失函数的图像。

可选地，其中，该系统还包括：训练图像数据处理器，与所述图像数据训练评估器相连接，用于：

接收对所述训练集合中数据进行处理的指令，分析所述指令得到指示删去的训练图像的数据标识；

根据所述指示删去的训练图像的数据标识查找并删去指示删去的训练图像的数据；

根据所述训练集合中剩余数据得到所述环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系。

可选地，其中，所述还原图像与真彩色信息的损失函数为：

其中，

pi(x，y)表示重建出的还原图像在第i个像素点的图像灰度值，ti(x，y)表示真实真彩色图像在第i个像素点的图像灰度值。

可选地，其中，该系统还包括：训练图像数据更新器，与所述图像数据训练分析器相连接，用于：

接收新增的训练拍摄图像、新增的训练环境光谱信息及更新的所述新增的训练拍摄图像中参照对象的真彩色信息更新所述训练集合的数据；

使用更新的所述训练集合中数据进行训练得到更新后的环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系。

本申请实现的有益效果如下：

(1)本申请的自适应进行图像真彩色还原的方法及系统，第一部分为成像设备和光谱探头组成，能够实时拍摄场景图像并感知周围环境光的光谱特征，第二部分为一个训练好的神经网络，根据第一部分传入的图像和光谱特征，自适应性地以毫秒级的速度还原拍摄图像的真实色彩，解决图像色彩失真的问题。网络训练过程可根据实际需要对不同数量的环境光进行训练，网络训练完成后，针对探针探知得不同环境光的光谱特征，均可达到快速准确的还原图像色彩的目的。

(2)本申请的自适应进行图像真彩色还原的方法及系统，通过损失函数判断评估训练集合中数据训练所得到拍摄图像的像素灰度值与图像真彩色信息的对应关系的真实性，实时提升了自适应性还原拍摄图像的准确性，进一步提升了图像还原的效果。

(3)本申请的自适应进行图像真彩色还原的方法及系统，根据随时更新的训练图像数据实时更新训练集合中数据训练所得到拍摄图像的像素灰度值与图像真彩色信息的对应关系的真实性，保证了自适应性还原拍摄图像的实时准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例中第一种自适应进行图像真彩色还原的方法的流程示意图；

图2为本发明实施例中图1所述自适应进行图像真彩色还原的方法的原理流程示意图；

图3为本发明实施例中图1所述自适应进行图像真彩色还原的图像还原处理方法的原理流程示意图；

图4为本发明实施例中第二种自适应进行图像真彩色还原的方法的流程示意图；

图5为本发明实施例中第三种自适应进行图像真彩色还原的方法的流程示意图；

图6为本发明实施例中第四种自适应进行图像真彩色还原的方法的流程示意图；

图7为本发明实施例中第一种自适应进行图像真彩色还原的系统的结构示意图；

图8为本发明实施例中第二种自适应进行图像真彩色还原的系统的结构示意图；

图9为本发明实施例中第三种自适应进行图像真彩色还原的系统的结构示意图；

图10为本发明实施例中第四种自适应进行图像真彩色还原的系统的示意图。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

如图1、图2及图3所示，图1为本实施例中第一种自适应进行图像真彩色还原的方法流程示意图；图2为本发明实施例中图1所述自适应进行图像真彩色还原的方法的原理流程示意图；图3为本发明实施例中图1所述自适应进行图像真彩色还原的图像还原处理方法的原理流程示意图。通过寻找出实际生活中常见的几种环境光对物体真彩色的影响，通过搭建深度学习网络，学习到这种规律，便能根据学习到的规律，实时还原成像时物体的真实色彩。提供一套自适应的真彩色还原监控系统，将是大幅度提高安防的精准度和可信度的有效思路。该方法包括如下步骤：

步骤101、预先设置参照对象，并获取参照对象的真彩色信息；利用成像设备拍摄具有参照对象的图像作为训练拍摄图像；通过与成像设备光轴中心平衡的光谱探头检测拍摄训练拍摄图像时的环境光谱信息作为训练环境光谱信息。

步骤102、接收成像设备的训练拍摄图像及与成像设备光轴中心平衡的光谱探头的训练环境光谱信息，以及训练拍摄图像中参照对象的真彩色信息形成训练集合；分析训练拍摄图像得到训练拍摄图像中参照对象的像素灰度值。

先采集各个环境条件下拍摄图像的光谱信息，与该条件下预先在图像中设定好的事物(如预设的人体衣服)的真彩色信息形成训练数据的集合。通过适量的训练数据可以体现出在该条件下图像与光谱的真实对应关系，由此作为该环境条件下图像与需要还原的真实图像之间的补偿差值，从而还原得到与真实图像相接近的还原图像。

传统成像设备组合灵敏探针的思想，对比传统的成像设备，可以得到拍摄图像和当前环境光的光谱特征。这里的灵敏探针和传统成像设备的个数可以是两个、三个或多个等。

步骤103、根据训练集合中参照对象的像素灰度值与参照对象的真彩色信息进行训练得到环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系。

不同环境条件下，拍摄得到图像与当前光谱有着直接的关系，从而影响到拍摄图像与真实图像之间的色彩补偿，通过训练集合训练得到图像、光谱及真实图像之间的对应关系，应用到其它实时的图像拍摄场景中图像与真实图像的补偿值，进而还原得到接近真实图像的还原图像。

本实施例中的卷积神经网络及损失函数得到环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系只是一个简单示范，其他卷积神经网络和损失函数，及卷积神经网络和损失函数算法也可以变换为其他算法，只要是属于图像信息结合光谱特征进行真彩色图像还原均在本实施的保护范围内。

步骤104、利用成像设备拍摄目标图像，通过与成像设备光轴中心平衡的光谱探头检测拍摄目标图像时的实时环境光谱信息。

步骤105、接收成像设备的当前拍摄图像及与成像设备光轴中心平衡的光谱探头的当前环境光谱信息；分析当前拍摄图像得到当前拍摄图像各个像素的灰度值。

为获得更多的实时的图像拍摄信息，该探头的光谱探测范围应同时包含紫外光、可见光和红外光，如可选10nm～1000nm，探测角度为360°。通过拍摄装置实时拍摄图像，获取图像中各个像素的信息或者设定图像的信息，为后续的图像还原提供基础数据。

步骤106、根据当前环境信息下拍摄图像的像素灰度值与图像真彩色信息的对应关系得到当前拍摄图像的像素灰度补偿值。

根据上述步骤中训练集合中训练数据进行训练得到的特定环境条件下拍摄图像光谱与真彩色图像信息之间的对应关系得到当前拍摄图像上像素需要进行的灰度补偿值，进而通过该灰度补偿值补偿实时拍摄图像得到接近真实彩色图像的还原图像。

步骤107、根据当前拍摄图像的像素灰度补偿值及当前拍摄图像各个像素的灰度值得到当前拍摄图像的还原图像。

例如，正常情况下，atm自助取款机的大厅中光线充足，不会出现色彩严重失真的情况。但是，观察近期出现的atm自助取款机抢劫事件中，嫌疑人往往会事先破坏大厅的照明设备，使监控系统无法捕捉到嫌疑人真实的衣着色彩，从而影响公安机关的侦查破案。在这种情况下，本专利提出的自适应真彩色监控还原系统作用突出，系统内置的探针实时采集当前环境光的光谱特征，在嫌疑人破坏大厅的照明环境的一瞬间，探针敏锐的捕捉到改变后的环境的光谱特征，而对于输入的不同光谱特征，训练好对的卷积神经网络将会立刻还原出物体的真彩色，且根据当前深度神经网络对图像的处理能力，一张图片的还原速度很快，几乎不会有延时出现。

再者，为确保交通安全，高速公路上设置有多个监控设备。白天时，传统的监控设备基本能够准确捕捉到通行的车辆信息，但在黑夜里，昏暗的环境光将严重影响传统的监控设备，使图像中的车辆色彩失真，无法正确确定车辆外观信息。然而，据交管部门相关统计表明，夜间发生交通事故的几率要比白天多1.5倍，55％的交通事故都发生在夜间。因此，将高速公路的传统监控设备替换为自适应真彩色还原监控系统，精确还原通行车辆的外观色彩，能够大大提高夜间的监控信息采集度，便于后续的跟踪调查，解决夜间车辆颜色难以辨认的问题。

再者，人流密集的商场或者里时常发生幼童走失或被人诱拐的案件，追捕嫌疑犯的过程中，监控设备提供的信息至关重要。但是，商场里有很多区域，如安全出口、楼梯拐角等地方的光照情况是不太良好的，在光照不均匀或者光线昏暗的情况下，传统监控设备很难精确捕捉到走失儿童或者嫌疑人真实的着装特征。基于此种现状，在人流密集的区域安装这个自适应真彩色还原监控系统，能够精准定位走失儿童或者嫌疑人的着装特征，为后续的定位和跟踪提供准确的指导信息。

以及，火车站及机场人流量巨大，随之而来的偷窃、抢劫及拐骗等案件的发生率也较高，特别是在夜间，传统监控设备无法准确捕捉到人群的着装色彩，非常影响执法人员的进一步跟踪。因此，可在火车站及机场安装这个自适应真彩色还原系统，准确的对监控范围内的人群的着装及随身物品的色彩进行还原，有效的协助执法人员的调查和跟踪。

以上这些场景都可以使用本实施例中的自适应进行图像真彩色还原的方法达到还原当时图像的效果，进而帮助操作人员寻找准确的作案人员等。

可选地，如图4所示，为本实施例第二种自适应进行图像真彩色还原的方法的流程示意图，与图1不同的是，该方法还包括如下步骤：

步骤401、在训练集合中，根据环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系及参照对象的像素灰度值得到参照对象的还原图像。

步骤402、根据参照对象的还原图像与参照对象的真彩色信息得到图像还原的损失值；当图像还原的损失值小于或等于预设的损失值阈值时，存储环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系。

步骤403、当图像还原的损失值大于预设的损失值阈值时，生成参照对象的还原图像与真彩色信息的损失函数的图像。

可选地，还原图像与真彩色信息的损失函数为：

其中，

pi(x，y)表示重建出的还原图像在第i个像素点的图像灰度值，ti(x，y)表示真实真彩色图像在第i个像素点的图像灰度值。

在一些可选的实施例中，如图5所示，为本实施例中第三种自适应进行图像真彩色还原的方法的流程示意图，与图4中不同的是，该方法包括如下步骤：

步骤501、在训练集合中，接收对训练集合中数据进行处理的指令，分析指令得到指示删去的训练图像的数据标识。

步骤502、根据指示删去的训练图像的数据标识查找并删去指示删去的训练图像的数据。

步骤503、根据训练集合中剩余数据得到环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系。

可选地，如图6所示，为本发明实施例中第四种自适应进行图像真彩色还原的方法的流程示意图，与图1中不同的是，还包括：

步骤601、在训练集合中，接收新增的训练拍摄图像、新增的训练环境光谱信息及更新的新增的训练拍摄图像中参照对象的真彩色信息更新训练集合的数据。

步骤602、使用更新的训练集合中数据进行训练得到更新后的环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系。

图7为本实施例中一种自适应进行图像真彩色还原的系统700的结构示意图，该系统用于实施上述的自适应进行图像真彩色还原的方法，包括：图像训练数据收集器701、图像数据训练分析器702、实时图像数据接收器703、实时图像补偿解析器704及实时图像还原器705。

其中，图像训练数据收集器701，与图像数据训练分析器702相连接，用于接收成像设备的训练拍摄图像及与成像设备光轴中心平衡的光谱探头的训练环境光谱信息，以及训练拍摄图像中参照对象的真彩色信息形成训练集合；分析训练拍摄图像得到训练拍摄图像中参照对象的像素灰度值。

在图像训练数据收集器之前就预先设置参照对象，并获取参照对象的真彩色信息；利用成像设备拍摄具有参照对象的图像作为训练拍摄图像；通过与成像设备光轴中心平衡的光谱探头检测拍摄训练拍摄图像时的环境光谱信息作为训练环境光谱信息。利用预先设置的训练数据在自适应进行图像真彩色还原的系统中训练得到拍摄图像的像素灰度值与图像真彩色信息的对应关系可应用于一般拍摄图像中，进而快速、准确地得到一般拍摄图像的还原图像。

图像数据训练分析器702，与图像训练数据收集器701及实时图像数据接收器703相连接，用于根据训练集合中参照对象的像素灰度值与参照对象的真彩色信息进行训练得到环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系。

实时图像数据接收器703，与图像数据训练分析器702及实时图像补偿解析器704相连接，用于接收成像设备的当前拍摄图像及与成像设备光轴中心平衡的光谱探头的当前环境光谱信息；分析当前拍摄图像得到当前拍摄图像各个像素的灰度值。

实时图像补偿解析器704，与实时图像数据接收器703及实时图像还原器705相连接，用于根据当前环境信息下拍摄图像的像素灰度值与图像真彩色信息的对应关系得到当前拍摄图像的像素灰度补偿值。

实时图像还原器705，与实时图像补偿解析器704相连接，用于根据当前拍摄图像的像素灰度补偿值及当前拍摄图像各个像素的灰度值得到当前拍摄图像的还原图像。

在一些可选地实施例中，如图8所示，为本实施中的第二种自适应进行图像真彩色还原的系统800的结构示意图，与图7不同的是，还包括：图像数据训练评估器801，与图像数据训练分析器702相连接，用于：在训练集合中，根据环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系及参照对象的像素灰度值得到参照对象的还原图像；根据参照对象的还原图像与参照对象的真彩色信息得到图像还原的损失值；当图像还原的损失值小于或等于预设的损失值阈值时，存储环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系；当图像还原的损失值大于预设的损失值阈值时，生成参照对象的还原图像与真彩色信息的损失函数的图像。

可选地，还原图像与真彩色信息的损失函数为：

其中，

pi(x，y)表示重建出的还原图像在第i个像素点的图像灰度值，ti(x，y)表示真实真彩色图像在第i个像素点的图像灰度值，当两幅图像最相近时，损失将达到最小。

网络采取自适应训练方式，随着经过网络训练集合的图像越来越多，网络训练集合学习到的重建能力会越来越强，从而对于任意环境光下输入的拍摄图像和环境光光谱特征，重建出真彩色图像，还原物体的真实色彩。

在一些可选地实施例中，如图9所示，为本实施中的第三种自适应进行图像真彩色还原的系统900的结构示意图，与图8不同的是，还包括：训练图像数据处理器901，与图像数据训练评估器801相连接，用于：接收对训练集合中数据进行处理的指令，分析指令得到指示删去的训练图像的数据标识；根据指示删去的训练图像的数据标识查找并删去指示删去的训练图像的数据；根据训练集合中剩余数据得到环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系。

在一些可选地实施例中，如图10所示，为本实施中的第四种自适应进行图像真彩色还原的系统1000的结构示意图，与图7不同的是，还包括：训练图像数据更新器1001，与图像数据训练分析器702相连接，用于：接收新增的训练拍摄图像、新增的训练环境光谱信息及更新的新增的训练拍摄图像中参照对象的真彩色信息更新训练集合的数据；使用更新的训练集合中数据进行训练得到更新后的环境光谱信息条件下拍摄图像的像素灰度值与图像真彩色信息的对应关系。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。