数据生成、训练、成像方法、存储介质和拍摄装置与流程

1.本发明涉及图像信号处理领域，特别涉及一种数据生成方法、训练方法、成像方法、存储介质和拍摄装置。


背景技术：

2.图像传感器中的感光单元具有不同的布置阵列，有一种布置方式为qpd(quad phase detection四相位检测)阵列，所述qpd阵列的排布方式是将传统拜尔阵列中的每一个感光单元拆分为2x2布置的四个感光单元，四个感光单元共用一个微透镜(micro lens)，可以产生四个具有相位信息的像素。如此配置，能够在镜头的自动对焦、深度图计算、低光等方面有很大的优势。但是受到自身结构的影响，若仅使用通用的isp(image signal processing，图像信号处理)流程直接对qpd阵列的图像传感器的原始输出图像进行成像时，往往由于分光不均导致最终的图像质量较差。有一种对原始输出图像进行预处理后再进行成像的方法，所述预处理过程采用了基于视差的方法，得到的图像存在分辨率较低、过度平滑的问题，图像质量虽然有所提升但仍然不佳。
3.综上，现有技术中存在与qpd阵列的图像传感器配合的算法所输出的图像质量较差的问题。


技术实现要素：

4.本发明的目的在于提供一种数据生成方法、训练方法、成像方法、存储介质和拍摄装置，以解决现有技术中存在与qpd阵列的图像传感器配合的算法所输出的图像质量较差的问题。
5.为了解决上述技术问题，根据本发明的第一个方面，提供了一种数据生成方法，用于生成qpd阵列的图像传感器的成像模型的训练图像，所述数据生成方法包括：4cell阵列的图像传感器在预设工况下拍摄；基于4cell阵列的图像传感器的输出图像得到所述训练图像。
6.可选的，所述训练图像包括输入图像和输出对比图像，所述数据生成方法包括：所述4cell阵列的图像传感器的原始输出图像经过预设操作得到中间图像；基于所述中间图像得到所述输出对比图像；所述输出对比图像中同一个像素组的四个像素替换为一个四合一像素得到所述输入图像，替换时，所述四合一像素的颜色通道与对应的像素组的颜色通道相同，所述四合一像素的明暗值为对应的所述像素组的四个像素的明暗值的平均值。
7.可选的，基于所述中间图像得到所述输出对比图像的步骤包括：切割所述中间图像得到所述输出对比图像；以及，切割所述第二图像得到所述输入图像。
8.可选的，所述数据生成方法包括：对所述输出对比图像进行镜像和/或旋转操作，得到额外的所述输出对比图像；以及，对所述输入图像进行对应的操作，得到额外的所述输入图像。
9.可选的，所述输出对比图像的尺寸为2n
×
2n，所述输入图像的尺寸为n
×
n，其中，n
为大于或者等于13的奇数。
10.可选的，n的取值范围为13～63。
11.为了解决上述技术问题，根据本发明的第二个方面，提供了一种训练方法，用于训练qpd阵列的图像传感器的成像模型，所述训练方法包括：基于上述的数据生成方法得到所述训练图像，基于所述训练图像训练所述成像方法。
12.为了解决上述技术问题，根据本发明的第三个方面，提供了一种成像方法，基于所述成像模型对qpd阵列的图像传感器的原始输出图像进行处理得到处理结果，所述成像模型基于上述的训练方法得到；
13.基于所述处理结果得到图像。
14.为了解决上述技术问题，根据本发明的第四个方面，提供了一种存储介质，所述存储介质上存储有程序，所述程序运行时，执行上述的数据生成方法、上述的训练方法或者上述的成像方法。
15.为了解决上述技术问题，根据本发明的第五个方面，提供了一种拍摄装置，所述拍摄装置包括图像传感器和成像单元，其中，所述图像传感器的排布阵列为qpd阵列，所述成像单元用于基于上述的成像方法对所述图像传感器的原始输出图像进行处理得到输出图像。
16.与现有技术相比，本发明所提供的数据生成方法、训练方法、成像方法、存储介质和拍摄装置中，所述数据生成方法基于4cell阵列的图像传感器的输出图像得到所述训练图像。如此配置，能够充分利用4cell阵列与qpd阵列在结构和输出数据上的相似之处，从训练数据质量保证了被训练模型的准确程度，进而使得基于训练模型的算法能够输出较佳的图像，解决了现有技术中存在与qpd阵列的图像传感器配合的算法所输出的图像质量较差的问题。
附图说明
17.本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：
18.图1是本发明一实施例的数据生成方法的流程示意图；
19.图2a是本发明一实施例的qpd阵列的像素示意图；
20.图2b是本发明一实施例的4cell阵列的像素示意图；
21.图3是本发明一实施例的四合一替换过程的示意图；
22.图4a是本发明一实施例的一张训练图像的示意图；
23.图4b是图4a所示的训练图像经过水平镜像后得到的训练图像的示意图；
24.图4c是图4a所示的训练图像经过垂直镜像后得到的训练图像的示意图；
25.图4d是图4a所示的训练图像经过水平镜像以及逆时针旋转90
°
后得到的训练图像的示意图；
26.图4e是图4a所示的训练图像经过垂直镜像以及逆时针旋转90
°
后得到的训练图像的示意图；
27.图5a是本发明一实施例的qpd阵列的在一工况下的原始输出图像；
28.图5b是一对照算法对图5a所示的原始输出图像处理后得到的输出图像；
29.图5c是本发明一实施例的成像方法对图5a所示的原始输出图像处理后得到的输出图像；
30.图6a是本发明一实施例的qpd阵列的在另一工况下的原始输出图像；
31.图6b是一对照算法对图6a所示的原始输出图像处理后得到的输出图像；
32.图6c是本发明一实施例的成像方法对图6a所示的原始输出图像处理后得到的输出图像。
具体实施方式
33.为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。
34.如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，术语“或”通常是以包括“和/或”的含义而进行使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征，“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分，其不仅包括端点，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。此外，如在本发明中所使用的，一元件设置于另一元件，通常仅表示两元件之间存在连接、耦合、配合或传动关系，且两元件之间可以是直接的或通过中间元件间接的连接、耦合、配合或传动，而不能理解为指示或暗示两元件之间的空间位置关系，即一元件可以在另一元件的内部、外部、上方、下方或一侧等任意方位，除非内容另外明确指出外。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
35.本发明的核心思想在于提供一种数据生成方法、训练方法、成像方法、存储介质和拍摄装置，以解决现有技术中存在与qpd阵列的图像传感器配合的算法所输出的图像质量较差的问题。
36.以下参考附图进行描述。
37.请参考图1至图6c，其中，图1是本发明一实施例的数据生成方法的流程示意图；图2a是本发明一实施例的qpd阵列的像素示意图；图2b是本发明一实施例的4cell阵列的像素示意图；图3是本发明一实施例的四合一替换过程的示意图；图4a是本发明一实施例的一张训练图像的示意图；图4b是图4a所示的训练图像经过水平镜像后得到的训练图像的示意图；图4c是图4a所示的训练图像经过垂直镜像后得到的训练图像的示意图；图4d是图4a所示的训练图像经过水平镜像以及逆时针旋转90
°
后得到的训练图像的示意图；图4e是图4a所示的训练图像经过垂直镜像以及逆时针旋转90
°
后得到的训练图像的示意图；图5a是本发明一实施例的qpd阵列的在一工况下的原始输出图像；图5b是一对照算法对图5a所示的原始输出图像处理后得到的输出图像；图5c是本发明一实施例的成像方法对图5a所示的原
始输出图像处理后得到的输出图像；图6a是本发明一实施例的qpd阵列的在另一工况下的原始输出图像；图6b是一对照算法对图6a所示的原始输出图像处理后得到的输出图像；图6c是本发明一实施例的成像方法对图6a所示的原始输出图像处理后得到的输出图像。
38.如图1所示，本实施例提供了一种数据生成方法，用于生成qpd阵列的图像传感器的成像模型的训练图像。可以理解的，所述成像模型为基于神经网络的模型。
39.所述数据生成方法包括：基于4cell阵列的图像传感器的输出图像得到所述训练图像。
40.具体地，所述数据生成方法包括：
41.s10 4cell阵列的图像传感器在预设工况下拍摄；
42.s20 4cell阵列的图像传感器的原始输出图像经过预设操作得到中间图像；
43.s30切割所述中间图像得到所述输出对比图像；
44.s40所述输出对比图像中同一个像素组的四个像素替换为一个四合一像素得到所述输入图像；
45.s50对所述输出对比图像进行镜像和/或旋转操作，得到额外的所述输出对比图像；
46.s60对所述输出对比图像进行镜像和/或旋转操作，得到额外的所述输出对比图像。
47.步骤s10中，所述预设工况包括，预设拍摄环境、预设拍摄角度、预设对焦程度、预设拍摄对象等。
48.qpd阵列的像素示意图如图2a所示，其中，一个圆圈代表一个微透镜(micro lens)。对于qpd阵列，一个微透镜下有四个感光单元，每个感光单元用一个正方形表示，一个感光单元对应一个像素。每个正方形中的文字bq、gq和rq表示这个感光单元的颜色通道，bq表示蓝色，gq表示绿色，rq表示红色。4cell阵列的像素示意图如图2b所示，圆圈、正方形和文字的含义与图2a相同。4cell阵列与qpd阵列的区别在于，qpd阵列的四个感光单元共用一个微透镜，可以产生具有相位信息的像素；4cell的四个感光单元对应四个微透镜，不可以产生具有相位信息的像素，但是感光性能更好更均衡。
49.根据图2a和2b可知，若将qpd阵列的一个微透镜下的4个像素和4cell阵列中的4个像素进行对应，两者的数据格式(包括每个点的颜色通道以及每个点的明暗值)是完全相同的，但是4cell阵列由于每个感光单元各自独立，因此可以获得更为精确的数据，因此可以把4cell阵列的输出数据作为成像模型的训练图像。
50.需理解，所述训练图像包括输入图像和输出对比图像，所述成像模型的训练目标是，当一个输入图像输入到所述成像模型后，输出的图像需要与所述输入图像对应的所述输出对比图像相同或者接近。所述输出对比图像可以基于4cell阵列的图像传感器的原始输出图像得到，所述输入图像则可以通过对所述原始输出图像进行四合一替换得到。
51.在步骤s20中，所述预设操作的目的是进行特定的计算以消除环境光线、信号噪声等干扰，在一实施例中，所述预设操作包括白平衡。在一些实施例中，所述预设操作也可以为无操作。基于步骤s20得到的所述中间图像可以得到所述输出对比图像，为了保证训练样本的数量，以及保证单张图片的训练速度，可以将所述中间图像进行切割，得到足够数量的所述输出对比图像。在其他的实施例中，也可以基于其他的逻辑得到所述输出对比图像。步
骤s40中的替换步骤可以参考图3进行理解，替换时，所述四合一像素的颜色通道与对应的像素组的颜色通道相同，所述四合一像素的明暗值为对应的所述像素组的四个像素的明暗值的平均值。相邻的且颜色通道相同的像素属于同一个像素组。例如，在图2b中，标记有bq的四个像素视为同一个像素组。为了进一步增加样本数量，以及提高所述成像模型的泛化能力，对至少一部分的所述输出对比图像进行镜像和/或旋转操作，得到额外的所述输出对比图像；同时，对相应的所述输出对比图像进行镜像和/或旋转操作，得到额外的所述输出对比图像。在一实施例中，对每个所述输出对比图像以及每个所述输出对比图像均进行了如下四个操作，水平镜像，垂直镜像，先水平镜像再逆时针旋转90
°
以及先垂直镜像再逆时针旋转90
°
，最终得到的样本数量为操作之前的5倍。上述操作过程可以参考图4a～图4e进行理解，其中，每张图都可以理解为所述输出对比图像或者所述输入图像。也就是说，在步骤s30中，先通过切割得到一部分的所述输出对比图像，在步骤s50中，得到另一部分的所述输出对比图像。在步骤s40中，得到一部分的所述输入图像，在步骤s60中，得到另一部分的所述输入图像。
52.在一个较优的实施例中，所述输出对比图像的尺寸为2n
×
2n，所述输入图像的尺寸为n
×
n。在一些其他的实施例中，所述输出对比图像以及所述输入图像也可以为非等边的矩形。
53.考虑到每个像素与周围像素之间可能存在一定的相关性，以及过大的范围不利于单次学习过程，n为大于或者等于13的奇数，具体取值可以根据实际情况进行设置，由于n的值越大，计算量也会相应增加，因此，在较优的实施例中，n的取值范围为13～63，优选为17。
54.本实施例还提供了一种训练方法，用于训练qpd阵列的图像传感器的成像模型，所述训练方法包括：基于上述的数据生成方法得到所述训练图像，基于所述训练图像训练所述成像方法。
55.具体地，在一实施例中，所述训练方法具体如下：
56.第1步，采集多角度、多距离、不同对焦程度的4cell阵列的图像传感器的原始输出图像，拍摄场景包括室内分辨率卡、色卡、室外数据等，数据尺寸4672
×
3504。
57.第2步，4cell原始数据预处理，数据增强，生成大量的训练样本。
58.将采集到的4cell原始数据进行白平衡处理，将处理后的图像裁剪成大量的小图(记号为p)，尺寸为34
×
34，计算每个小图对应的四合一图(记为p
‑
q)，尺寸为17
×
17。其中所述四合一像素的颜色通道与对应的像素组的颜色通道相同，所述四合一像素的明暗值为对应的所述像素组的四个像素的明暗值的平均值
59.每(p
‑
q，p)作为一个样本，共有8,364,269个样本构成数据集。
60.为了扩充数据量、提高训练模型的泛化能力，对每个样本进行镜像翻转等数据增强处理,扩充后的数据集样本个数5*8,364,269，每次训练随机选取5*(8,364,269*20％)样本进行训练。镜像翻转示意图可参考图4a～图4e理解。
61.第3步，设计卷积神经网络模型，进行卷积神经网络模型训练，网络优化得到最佳的网络模型。
62.训练输入：p
‑
q图，大小17
×
17；
63.训练输出对比图：p图，大小34
×
34；
64.模型参数量1.98mb，乘法运算量150million，加法运算量150million；
65.将使用残差块和长短跳跃链接提高网络的学习能力和精度；
66.采用adam(adaptive moment estimation，自适应矩估计)优化方法，得到最佳网络模型。
67.上述的残差块、长短跳跃链接以及adam优化方法，均为本领域公知常识，在此不进行详细的描述。
68.第4步，通过上述的训练方法得到所述成像模型后，将qpd阵列的图像传感器的原始输出图像放入最佳网络模型进行测试，得到卷积神经网络结果。
69.测试输入：qpd阵列的图像传感器的四合一图，大小为m
×
m；
70.输出结果：卷积神经网络结果，大小为2m
×
2m。
71.将一张完整的qpd阵列的图像传感器的原始输出图像(大小为16mp，尺寸为4672
×
3504)输入所述成像模型测试其响应速度，测试结果如表1所示。
72.表1测试时间
[0073][0074]
由表1可知，训练后的模型，计算时间是可以接收的，符合正常工况的运行需求。
[0075]
本实施例还提供了一种成像方法，基于所述成像模型对qpd阵列的图像传感器的原始输出图像进行处理得到处理结果，所述成像模型基于上述的训练方法得到；基于所述处理结果得到图像。
[0076]
所述成像方法具体包括：将qpd阵列的图像传感器的原始输出图像输入到所述成像模型，将所述成像模型输出的结果经过通用的isp流程输出bmp(bit map位图)图。
[0077]
为了展示所述成像方法的效果，本实施例还提供了一对照算法，所述对照算法的步骤包括，将qpd阵列的图像传感器的原始输出图像输入到基于视差得到的模型，将上述模型输出的结果经过通用的isp流程输出bmp图。
[0078]
上述两个算法的效果差异可通过比较图5a～图5c，以及图6a～图6c进行观察。
[0079]
本实施例还提供了一种存储介质，所述存储介质上存储有程序，所述程序运行时，执行上述的数据生成方法、上述的训练方法或者上述的成像方法。
[0080]
本实施例还提供了一种拍摄装置，所述拍摄装置包括图像传感器和成像单元，其中，所述图像传感器的排布阵列为qpd阵列，所述成像单元用于基于上述的成像方法对所述图像传感器的原始输出图像进行处理得到输出图像。所述拍摄装置的其他元件、连接方式及工作原理，本领域技术人员可以根据实际需要和公知常识进行设置，在此不进行详细说明。
[0081]
综上所述，本实施例所提供的数据生成方法、训练方法、成像方法、存储介质和拍摄装置中，所述数据生成方法基于4cell阵列的图像传感器的输出图像得到所述训练图像。如此配置，能够充分利用4cell阵列与qpd阵列在结构和输出数据上的相似之处，从训练数据质量保证了被训练模型的准确程度，进而使得基于训练模型的算法能够输出较佳的图
像，解决了现有技术中存在与qpd阵列的图像传感器配合的算法所输出的图像质量较差的问题。
[0082]
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于本发明技术方案的保护范围。