一种原始图像处理方法、图像处理器及图像成像传感器与流程

本发明涉及图像成像传感器的设计领域，更具体地，涉及一种原始图像处理方法、图像处理器及图像成像传感器。

背景技术：

数字图像处理又称为计算机图像处理、图像信号处理或数字成像系统isp(imagesignalprocessor)，是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。这一过程包括对图像进行增强、除噪、分割、复原、编码、压缩、提取特征等内容，图像处理技术的产生离不开计算机的发展、数学的发展以及各个行业的应用需求的增长。

成像透镜将光信号投射到成像传感器的感光区域后，成像传感器经过ad转换，将原始图像送给isp，isp经过算法处理，输出rgb空间域的图像给后端的视频采集单元，形成最终的照片或者视频中的图像部分。

这个isp处理器通常会由黑电平校正(blc)、灰度调整(gamma)、nr、镜头阴影校正(lsc)、白平衡(wb)、马赛克处理(demosaic)、色彩校正矩阵(ccm)、gamma矫正、锐度调整(sharpening)、色彩空间矩阵(csm)等多个处理单元组成一个处理管道，如图1所示。

上述处理方案简单，快速，但缺点是整体结构复杂，同时为了保证最终的图像质量，需要对每个处理单元进行单独的调整，然后再通过最终的结果进行评估，由于各单元间的输出数据耦合严重，造成该结构下的图像质量调整非常困难及复杂。

技术实现要素：

本发明的目的在于克服现有技术存在的上述缺陷，提供一种基于深度神经网络的原始图像处理方法、图像处理器及图像成像传感器，通过一个统一的图像处理方法取代现在的多种独立图像处理单元，以减少设计及优化的复杂度，同时提供比原来更好的图像质量，同时还可以在保证同等清晰度的前提下，提供一定的图像放大功能。

为实现上述目的，本发明的技术方案如下：

一种基于深度神经网络的原始图像处理方法，其特征在于，基于训练过的深度神经网络模型，包括

输入层，接受原始图像数据；

k个切片层，第1个切片层与输入层相连，第2到第k个切片层顺序相连，每个切片层包括2个卷积层和1个池化层；

t个全连接层，第1个全连接层与第k个切片层相连，第2到第t个全连接层顺序相连，每个全连接层包括1个向上采样层和2个卷积层；

输出层，接受来自第t个全连接层的数据并输出作为最终图像。

优选地，所述切片层的个数为k＝5。

优选地，所述全连接层的个数为t＝4。

优选地，所述第1个切片层具有32个核心数，第2到第k个切片层中，每层核心数为前一层的2倍。

优选地，所述切片层的核心大小为3*3。

优选地，所述池化层的池化方法为最大池化，池化尺寸为2*2。

优选地，所述训练过的深度神经网络算法以多色温多色彩灯箱照射一种或多种图卡获得的原始图像数据训练集，并进行权重训练。

优选地，所述原始图像数据是经ad转换器转化后的原始图像数据。

一种图像处理器，其特征在于，使用上述的基于深度神经网络的原始图像处理方法。

一种图像成像传感器，其特征在于，包括上述的图像处理器。

从上述技术方案可以看出，本发明通过多色温多色彩灯箱的照射多种或一种图卡获取足够的训练集，并输入到深度神经网络中，对深度神经网络进行权重训练，并使用训练后的深度神经网络自动实现完整的原始图像数据到最终图像数据的处理。因此，本发明具有整体结构单一、简单、稳定，而且可以一对一调校传感器，并可通过加载不同神经网络模型的方式能够实现不同功能的调用的显著特点。

附图说明

图1是现有技术中的原始图像处理方法示意图；

图2是本发明的基于深度神经网络的原始图像处理方法示意图；

图中：1是被摄对象，2是透镜，3是传感器，4是ad转换器，5是isp处理器，6是最终图像，7是本发明中基于深度神经网络的图像处理器。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步的详细说明。

需要说明的是，在下述的具体实施方式中，在详述本发明的实施方式时，为了清楚地表示本发明的结构以便于说明，特对附图中的结构不依照一般比例绘图，并进行了局部放大、变形及简化处理，因此，应避免以此作为对本发明的限定来加以理解。

在以下本发明的具体实施方式中，请参阅图2，图2是本发明中的原始图像处理方法示意图。

一种基于深度神经网络的原始图像处理方法，其特征在于，基于训练过的深度神经网络算法，包括

输入层，接受来自ad转换器的原始图像。

k个切片层，第1个切片层与输入层相连，第2到第k个切片层顺序相连，每个切片层包括2个卷积层和1个池化层。

本发明实施例中，切片层的个数为5层，第1个切片层的核心数为32个，第2到第5个切片层中，每层核心数为前一层的2倍，分别为64、128、256和512个。

本发明实施例中，切片层的核心大小为3*3。

本发明实施例中，池化层的池化方法为最大池化，池化尺寸为2*2。

t个全连接层，第1个全连接层与第k个切片层，第2到第t个全连接层顺序相连，每个全连接层包括1个向上采样层和2个卷积层。

本发明实施例中，全连接层的个数为4层。

输出层，接受来自第t个全连接层的数据并输出作为最终图像。

本发明实施例中，采用多色温多色彩灯箱的照射多种或一种图卡，对传感器模组得到的图像数据进行检验，用来调整神经网络模型的权重，也可以通过加载不同神经网络模型的方式能够实现不同功能的调用。

上述原始图像处理方法可以用于图像传感器，便于调整图像传感器的成像质量。

透镜、成像传感器和ad转换器合称传感器模组，每个传感器模组在生产中存在微小差异，因此需要进行调校。

现有技术中，由于isp是由多个独立单元组成的，因此在进行单个传感器模组调校时，需要逐个调整独立单元的参数，工作量巨大。

因此，本发明提供一种图像处理器，其特征在于，使用上述的基于深度神经网络的原始图像处理方法。使用上述的基于深度神经网络的原始图像处理方法的图像处理器，该图像处理器可以快速的模型训练，可以达到每颗出厂的模组都经过单一调校，可以避免通过批次性调校通过参数写入造成的个体差异。处理图像准确、快速。

具体地，成像传感器接受透镜传递的光信号，并通过ad转换器转化为原始图像，并输入基于深度神经网络的图像处理器。

将上述图像处理器耦合到摄像设备的图像成像传感器中，具有提高成像质量的优点。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：

技术总结
本发明公开了一种原始图像处理方法、图像处理器及图像成像传感器，提供一个统一的图像处理方法取代现在的多种独立图像处理单元，减少设计及优化的复杂度。本发明整体结构单一、简单、稳定，而且可以一对一调校传感器，并可通过加载不同神经网络模型的方式能够实现不同功能的调用。

技术研发人员：张亚东;王道宁
受保护的技术使用者：易诚高科（大连）科技有限公司
技术研发日：2018.09.30
技术公布日：2018.12.07