图像样本的生成方法、生成装置、电子设备、存储介质与流程

1.本技术涉及图像处理技术领域，特别涉及一种图像样本的生成方法、生成装置、电子设备、存储介质。


背景技术：

2.图像超分，指的是将低分辨率图像还原成高分辨率图像。在相关技术中，图像超分的实现主要为对构建的数据集进行深度学习来实现，数据集内的样本质量的获取容易受到多方面的限制，从而容易影响到图像超分的实际效果。
3.申请内容
4.本技术提供了一种图像样本的生成方法、生成装置、电子设备、存储介质。
5.本技术实施方式的图像样本的生成方法包括：获取高分辨率图像样本；根据所述高分辨率图像样本获取拜耳原始数据；根据模糊核和噪声，对所述拜耳原始数据进行降质处理，生成降质数据；对所述降质数据进行仿真，获取低分辨率图像样本。
6.本技术实施方式的图像样本的生成装置包括第一获取模块、第二获取模块、处理模块、仿真模块。所述第一获取模块用于根据预设命令，获取高分辨率图像样本。所述第二获取模块用于根据所述高分辨率图像样本获取拜耳原始数据。所述处理模块用于根据模糊核和噪声，对所述拜耳原始数据进行降质处理，生成降质数据。所述仿真模块用于对所述降质数据进行仿真，获取低分辨率图像样本。
7.本技术实施方式的电子设备包括一个或多个处理器和存储器。所述存储器存储有计算机程序。所述计算机程序被所述处理器执行的情况下，实现上述实施方式所述的生成方法的步骤。
8.本技术实施方式的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行的情况下，实现上述实施方式所述的生成方法的步骤。
9.上述生成方法、生成装置、电子设备和计算机可读存储介质中，通过先引入模糊核和噪声来对拜耳原始数据进行降质处理，再对被降质处理的数据进行仿真模拟，从而更接近实际拍摄的场景，从而使得仿真得到的图像样本和实际取景得到的图像在数据分布上具有一致性。
10.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
11.本技术的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
12.图1是本技术实施方式的生成方法的流程示意图；
13.图2是本技术实施方式的生成装置的示意图；
14.图3是本技术实施方式的生成方法的流程示意图；
15.图4是本技术实施方式的生成装置的示意图；
16.图5是本技术实施方式的计算模块的示意图；
17.图6是本技术实施方式的处理模块的示意图；
18.图7是本技术实施方式的生成方法的流程示意图；
19.图8是本技术实施方式的第一处理单元的示意图；
20.图9是本技术实施方式的第二处理单元的示意图；
21.图10-图11是本技术实施方式的仿真模块的示意图；
22.图12是本技术实施方式的根据同一降质数据进行仿真得到的不同低分辨率图像样本的示意图；
23.图13是本技术实施方式的电子设备的示意图。
具体实施方式
24.下文的公开提供了许多不同的实施方式或例子用来实现本技术的不同结构。为了简化本技术的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本技术。此外，本技术可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本技术提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
25.下面详细描述本技术的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本技术，而不能理解为对本技术的限制。
26.将低分辨率(low-resolution，lr)图像还原成高分辨率(high-resolution，hr)图像，被称为图像的超分(super resolution，sr)。在进行超分时，需要对低分辨率图像进行降噪，以及恢复图像的高频细节，从而实现对图像的去模糊效果。
27.在相关技术中，主要通过基于深度学习的ai(artificial intelligence，人工智能)图像超分辨算法来实现图像超分的功能。其中，通过ai图像超分辨算法来实现图像超分的实际效果，一方面取决于模型结构和训练方法，另一方面则取决于用于训练模型的数据集质量，数据集中的数据样本和实际应用场景的适配程度越高，则数据集的质量也会相应地越高，通过训练得到的模型进行图像超分后，得到的高分辨率图像和低分辨率图像之间，在数据分布上的一致性也会越高，图像超分的效果也就越好。因此，如何获得用于训练模型的高质量数据集是本领域技术人员亟需解决的技术问题。
28.请参考图1，本技术实施方式的图像样本的生成方法包括：
29.01：获取高分辨率图像样本；
30.02：根据高分辨率图像样本获取拜耳原始数据；
31.03：根据模糊核和噪声，对拜耳原始数据进行降质处理，生成降质数据；
32.04：对降质数据进行仿真，获取低分辨率图像样本。
33.本技术的生成方法可由本技术实施方式的生成装置100实现。请参考图2，本技术实施方式的图像样本的生成装置100，包括第一获取模块110、第二获取模块120、处理模块130和仿真模块140。其中，步骤01可以由第一获取模块110实现，步骤02可以由第二获取模
function，点扩散函数)响应，另一方面则为场景运动或拍摄设备的抖动产生的一定程度的运动模糊。
50.在上述基础上，通过第一算法来对成像时的psf响应进行模拟得到点扩散模糊核，以及通过第二算法来对运动模糊进行模拟得到运动模糊核，再根据拜耳原始数据、点扩散模糊核、运动模糊核进行处理以得到原始模糊数据，得到的原始模糊数据能够模拟出实际拍摄场景时对拍摄得到的图像造成的模糊效果。
51.在一个实施方式中，第一算法包括点扩散算法，psf响应可以由点扩散算法进行模拟，点扩散算法可以通过光学传感器通过标定的方式进行获取。在另一个实施方式中，第二算法包括运动轨迹算法，运动轨迹算法可以通过模拟粒子在连续平面上的轨迹运动来模拟出场景运动和相机抖动的效果。
52.另外，拜耳原始数据可以通过对dump命令获取到的数据进行解析得到。
53.请参考图7，在某些实施方式中，步骤031(将拜耳原始数据、点扩散模糊核、运动模糊核进行处理，得到原始模糊数据)，包括：
54.0311：根据拜耳原始数据，结合点扩散模糊核和运动模糊核的其中一个进行卷积处理，得到第一卷积数据；
55.0312：根据第一卷积数据，结合点扩散模糊核和运动模糊核的另外一个进行卷积处理，得到原始模糊数据。
56.请参考图4、图6和图8，在某些实施方式中，第一处理单元131包括第一处理子单元132和第二处理子单元133。其中，步骤0311可以由第一处理子单元132实现，步骤0312可以由第二处理子单元133实现，也即是说，第一处理子单元132可用于根据拜耳原始数据，结合点扩散模糊核和运动模糊核的其中一个进行卷积处理，得到第一卷积数据，第二处理子单元133可用于根据第一卷积数据，结合点扩散模糊核和运动模糊核的另外一个进行卷积处理，得到原始模糊数据。
57.如此，可模拟出实际取景画面的模糊效果。
58.具体地，在一个实施方式中，对原始模糊数据的获取，可以先通过将拜耳原始数据和点扩散模糊核进行卷积操作，从而将psf响应融合到拜耳原始数据中以得到第一卷积数据，然后通过将第一卷积数据和运动模糊核进行卷积操作，从而将运动模糊融合到拜耳原始数据中以得到原始模糊数据。
59.其中，所进行的卷积处理，可以为将拜耳原始数据所对应的所有感光通道的通道值结合相应的模糊核进行的卷积操作，也可以为将第一卷积数据所对应的所有感光通道的通道值结合相应的模糊核进行的卷积操作。
60.另外，根据不同的参数设定，在某些实施方式中，根据第一算法可以计算得到的点扩散模糊核的数量可以为多个，根据第二算法可以计算得到的运动模糊核的数量也可以为多个。在这种情况下，可以在多个点扩散模糊核中选定对应的一个，以及在多个运动模糊核中选定对应的一个，通过结合拜耳原始数据依次进行卷积处理，得到具有多种不同模糊效果的多个原始模糊数据，进而可模拟出不同程度的模糊效果。
61.在某些实施方式中，步骤032(根据原始模糊数据和噪声，生成降质数据)，包括：
62.0321：将噪声添加至原始模糊数据，生成降质数据。
63.请参考图4、图6和图9，在某些实施方式中，第二处理单元135包括第三处理子单元
136。其中，步骤0321可以由第三处理子单元136实现，也即是说，第三处理子单元136可用于将噪声添加至原始模糊数据，生成降质数据。
64.如此，可模拟出实际取景画面的噪声效果。
65.具体地，在实际取景时，采集到的图像中会存在一定比例的噪声，噪声具有服从特定的分布规律的趋势。在确定噪声的分布规律的情况下，则可根据噪声的分布规律来模拟出实际取景时产生的噪声，并在获取到的原始模糊数据上对模拟得到的噪声进行添加，从而获取到降质数据。由于降质数据中噪声的分布规律和实际取景时产生的噪声的分布规律相近，使得降质数据中的噪声能够模拟出实际取景时的噪声效果。特定的分布规律可以为泊松-高斯分布(poisson-gaussian noise)。
66.在某些实施方式中，降质数据包括参数数据。步骤04(对降质数据进行仿真，获取低分辨率图像样本)，包括：
67.041：保持参数数据以进行图像仿真，获取低分辨率图像样本。
68.请参考图10，在某些实施方式中，仿真模块140包括第一仿真单元141。其中，步骤041可以由第一仿真单元141实现，也即是说，第一仿真单元141可用于保持参数数据以进行图像仿真，获取低分辨率图像样本。
69.如此，可得到对应高分辨率图像样本的拍摄效果的低分辨率图像样本。
70.具体地，在一个实施方式中，参数数据可以包括亮度参数、色彩参数、降噪参数、锐化参数，通过保持参数数据，使得图像仿真的过程中不会对参数数据进行改变，从而能够对应保留高分辨率图像样本的拍摄亮度、色彩值、降噪效果、锐化效果，使得仿真结果在拍摄效果上更贴合高分辨率图像样本的低分辨率版本，进而在数据分布上具有较高的一致性。
71.其中，在一个实施方式中，对降质数据进行仿真，可以通过仿真工具来实现。仿真工具可以包括isp(image signal processing，图像信号处理)仿真工具，在通过拍摄设备采集到高分辨率图像样本的情况下，可将相应的拜耳原始数据传输给isp仿真工具，通过仿真来模拟实际取景时拍摄设备对图像进行的isp处理流程。拍摄设备对高分辨率图像样本的获取可以通过dump命令来实现，对拜耳原始数据的获取可以通过获取对应的dump数据来实现。仿真工具可以通过对应的dump接口和dump命令来实现从拍摄设备中对拜耳原始数据的获取。
72.在某些实施方式中，降质数据包括参数数据。步骤04(对降质数据进行仿真，获取低分辨率图像样本)，包括：
73.042：保持参数数据中的亮度参数和色彩参数不变，以及根据预设方式调整参数数据中的噪声参数和锐化参数以进行图像仿真，获取多个低分辨率图像样本，每个低分辨率图像样本能够对应一种特定场景。
74.请参考图11，在某些实施方式中，仿真模块140包括第二仿真单元142。其中，步骤042可以由第二仿真单元142实现，也即是说，第二仿真单元142可用于保持参数数据中的亮度参数和色彩参数不变，以及根据预设方式调整参数数据中的噪声参数和锐化参数以进行图像仿真，获取多个低分辨率图像样本，每个低分辨率图像样本能够对应一种特定场景。
75.如此，可得到与高分辨率图像样本具有不同拍摄效果的低分辨率图像样本。
76.具体地，保持参数数据中的亮度参数和色彩参数不变，可使得最终得到的低分辨率图像样本与高分辨率图像样本具有相同或类似的拍摄亮度和色彩值，对参数数据中的噪
声参数和锐化参数进行调整，可对应地得到不同程度的降噪效果和锐化效果，从而模拟出在不同的实际场景下拍摄到的画面(如夜晚场景或暗光场景)，并形成在不同场景下的不同拍摄效果的低分辨率图像样本。
77.不同的场景可以对应不同的噪声参数和锐化参数，从而可得到多套不同的参数配置。在一个实施方式中，对低分辨率图像样本的样本数据的获取，可以通过以下公式来实现：
[0078][0079]
其中，iraw为拜耳原始数据，k为模糊因数，m为噪声因数，ispn表示对图像数据进行的isp处理，n表示多套参数配置中的第n套。
[0080]
具体地，在上述公式中，iraw*k表示根据模糊因数对拜耳原始数据进行卷积处理，模糊因数对应参与卷积处理的模糊核；(iraw*k)+m表示对卷积处理后得到的数据添加噪声因数得到的降质数据；ispn((iraw*k)+m)表示对降质数据进行仿真处理，下标n表示以第n套参数配置进行仿真处理；表示根据第n套参数进行仿真得到的低分辨率图像样本所对应的样本数据。在n为1时，对应的参数为高分辨率图像样本的样本数据，n为其它数值时，对应的参数为基于n为1时的参数进行调整得到的参数。
[0081]
请参考图12，具体地，图12表示根据不同的参数数据进行图像仿真的结果示意图。其中，图12a为保持参数数据获得的低分辨率图像样本，图12b为改变降噪参数获得的低分辨率图像样本，图12c为改变降噪参数和锐化参数获得的低分辨率图像样本。其中，图12b所对应的降噪效果，相对于图12a的降噪效果较弱，使得图12b呈现出较明显的模糊和噪声；图12c所对应的降噪效果，相对于图12b的降噪效果较弱，且图12c所对应的锐化效果，相对于图12b的降噪效果较强，使得图12c呈现出明显的模糊和噪声。
[0082]
请参阅图13，本技术实施方式的图像处理方法可由本技术实施方式的电子设备200实现。具体地，电子设备200包括一个或多个处理器210和存储器220。存储器220存储有计算机程序，计算机程序被处理器210执行的情况下，实现上述任一实施方式的生成方法的步骤。
[0083]
例如，计算机程序被处理器210执行的情况下，实现以下图像处理方法的步骤：
[0084]
01：获取高分辨率图像样本；
[0085]
02：根据高分辨率图像样本获取拜耳原始数据；
[0086]
03：根据模糊核和噪声，对拜耳原始数据进行降质处理，生成降质数据；
[0087]
04：对降质数据进行仿真，获取低分辨率图像样本。
[0088]
本技术实施方式的一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行的情况下，实现上述任一实施方式的生成方法的步骤。
[0089]
例如，程序被处理器执行的情况下，实现以下图像处理方法的步骤：
[0090]
01：获取高分辨率图像样本；
[0091]
02：根据高分辨率图像样本获取拜耳原始数据；
[0092]
03：根据模糊核和噪声，对拜耳原始数据进行降质处理，生成降质数据；
[0093]
04：对降质数据进行仿真，获取低分辨率图像样本。
[0094]
可以理解，计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、
对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、以及软件分发介质等。处理器可以是中央处理器，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
[0095]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0096]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0097]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0098]
尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。