图像处理方法、装置、电子设备和计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.随着终端所搭载的硬件的不断升级，大部分终端已具备图像拍摄功能，部分终端甚至具有显微成像的功能，显微成像一般是通过在终端中配置显微镜头实现的。
3.以显微镜头为例，其景深很小，若被拍摄物表面凹凸不平，则可能导致显微镜头所拍摄的图像中有些地方清晰有些地方模糊，即图像的整体清晰度较差；另外，用户手持终端通过显微镜头拍照时，用户的手部抖动也会导致显微镜头的对焦距离超出显微镜头的景深范围，从而导致显微镜头所拍摄的图像的清晰度较差。
4.鉴于此，如何提升终端利用显微镜头所拍摄的图像的清晰度，成为目前亟待解决的问题。


技术实现要素：

5.本技术实施例提供了一种图像处理方法、装置、电子设备和计算机可读存储介质，可以提升终端所拍摄的图像的清晰度。
6.第一方面，提供了一种图像处理方法，该方法包括：
7.获取目标拍摄组件拍摄的原始图像；
8.获取预先设置的图像复原参数，所述图像复原参数是根据所述目标拍摄组件的各个视场对应的点扩散函数确定的；
9.基于所述图像复原参数对所述原始图像进行解卷积处理，得到复原图像。
10.第二方面，提供了一种图像处理装置，该装置包括：
11.第一获取模块，用于获取目标拍摄组件拍摄的原始图像；
12.第二获取模块，用于获取预先设置的图像复原参数，所述图像复原参数是根据所述目标拍摄组件的各个视场对应的点扩散函数确定的；
13.处理模块，用于基于所述图像复原参数对所述原始图像进行解卷积处理，得到复原图像。
14.第三方面，提供了一种电子设备，包括存储器和处理器，该存储器存储有计算机程序，该计算机程序被该处理器执行时实现如上述第一方面所述的图像处理方法。
15.第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的图像处理方法。
16.本技术实施例提供的技术方案带来的有益效果至少包括：
17.通过获取目标拍摄组件拍摄的原始图像，并获取预先设置的图像复原参数，该图像复原参数是根据目标拍摄组件的各个视场对应的点扩散函数确定的，而后，基于该图像复原参数对原始图像进行解卷积处理，得到复原图像，这样，由于目标拍摄组件在图像拍摄
过程中，被拍摄对象表面的一个点经过目标拍摄组件后所成的像，是利用对应的点扩散函数对该点进行卷积处理所扩散成的多个点，即目标拍摄组件拍摄的原始图像是利用对应的点扩散函数对被拍摄对象表面的各个点进行卷积处理扩散得到的，因此，本技术实施例利用根据目标拍摄组件的各个视场对应的点扩散函数确定的图像复原参数，对该原始图像进行解卷积处理，从而可以对原始图像中的扩散现象进行复原，得到清晰的复原图像，该复原图像的清晰度大于原始图像的清晰度，从而提升了目标拍摄组件所拍摄的图像的清晰度。
附图说明
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为一个实施例中图像处理方法的流程图；
20.图2为一种示例性地目标拍摄组件的视场划分示意图；
21.图3为另一个实施例中图像处理方法的流程图；
22.图4为另一个实施例中获取目标拍摄组件的各视场对应的目标点扩散函数的流程图；
23.图5为一种示例性地单波长下目标拍摄组件49个视场与一个颜色通道对应的采样示意图；
24.图6为另一个实施例中步骤402的流程图；
25.图7为另一个实施例中步骤103的流程图；
26.图8为一种示例性地原始图像和复原图像的清晰度对比示意图；
27.图9为一个实施例中图像处理装置的结构框图；
28.图10为一个实施例中电子设备的内部结构示意图。
具体实施方式
29.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
30.传统技术中，终端所搭载的拍摄组件无论是常规拍摄镜头还是显微镜头，其在图像拍摄过程中，被拍摄对象表面的一个点经过拍摄组件后所成的像，均是利用对应的点扩散函数(point spread function，psf)对该点进行卷积处理所扩散成的多个点，即被拍摄对象表面的一个点在拍摄组件所拍摄的原始图像中作为一个扩散开的“光斑”存在，导致原始图像的清晰度差；进一步地，在拍摄组件为显微镜头的情况下，由于显微镜头的小景深会导致原始图像的清晰度更差，严重影响用户的拍摄体验。
31.鉴于此，本技术实施例提供一种图像处理方法，在该方法中，通过获取目标拍摄组件拍摄的原始图像，并获取预先设置的图像复原参数，该图像复原参数是根据目标拍摄组件的各个视场对应的点扩散函数确定的，而后，基于该图像复原参数对原始图像进行解卷积处理，得到复原图像，这样，利用根据目标拍摄组件的各个视场对应的点扩散函数确定的
图像复原参数，对该原始图像进行解卷积处理，从而可以对原始图像中的扩散现象进行复原，得到清晰的复原图像，该复原图像的清晰度大于原始图像的清晰度，从而提升了目标拍摄组件所拍摄的图像的清晰度，获得了较大景深范围内清晰的照片效果。
32.需要说明的是，本技术实施例提供的图像处理方法，其执行主体可以是图像处理装置，该图像处理装置可以通过软件、硬件或者软硬件结合的方式实现成为终端的部分或者全部。
33.下述方法实施例中，均以执行主体是终端为例来进行说明，其中，终端可以是智能手机、笔记本电脑、平板电脑、智能手表、智能手环、智能眼镜等终端设备，在此对终端的类型不做具体限制。
34.请参考图1，其示出了本技术实施例提供的一种图像处理方法的流程图。如图1所示，该图像处理方法可以包括以下步骤：
35.步骤101，终端获取目标拍摄组件拍摄的原始图像。
36.终端利用目标拍摄组件对被拍摄对象进行图像拍摄得到原始图像，该被拍摄对象可以任意的拍摄目标，例如，人、动物、建筑物、植物，等等。
37.其中，目标拍摄组件可以是终端中配置的前置拍摄组件或后置拍摄组件，目标拍摄组件可以是常规拍摄镜头，也可以是用于实现高放大倍率的显微镜头，显微镜头的放大倍率大于常规拍摄镜头的放大倍率。
38.步骤102，终端获取预先设置的图像复原参数。
39.其中，图像复原参数是根据目标拍摄组件的各个视场对应的点扩散函数确定的。本技术实施例中，目标拍摄组件的视野范围可以划分为多个不同的视场。
40.参见图2，其为一种示例性地目标拍摄组件的视场划分示意图。如图2所示，图2中的每个方格可以代表目标拍摄组件的一个视场，图2所示的目标拍摄组件的视野范围被划分为49个视场。
41.需要说明的是，本技术实施例中，目标拍摄组件的视场划分方式并不局限于图2所示的方式，例如，还可以将目标拍摄组件的视野范围按照同心圆的方式，划分为多个不同的视场。这样，目标拍摄组件的各个视场则包括包含圆心的圆形中心视场以及中心视场外侧呈圆环形的其他视场。在此，对目标拍摄组件的视场划分方式不作具体限制。
42.本技术实施例中，终端中预先设置有图像复原参数，该图像复原参数是根据目标拍摄组件的各个视场对应的点扩散函数确定的。可选地，各个视场对应的点扩散函数可以是预先基于点扩散函数测量设备，对各个视场对应的实际点扩散函数进行测量得到，终端再对测量的各实际点扩散函数进行相应处理得到图像复原参数，并将图像复原参数存储在终端的预设存储地址中；可选地，图像复原参数也可以是在目标拍摄组件出厂过程中，按照目标拍摄组件的镜头类型所确定，并烧录在终端的预设模组中。
43.这样，终端在需要对目标拍摄组件所拍摄的原始图像进行解卷积处理，以对原始图像进行清晰度复原的情况下，终端则可以从终端中获取该图像复原参数。
44.步骤103，终端基于图像复原参数对原始图像进行解卷积处理，得到复原图像。
45.终端利用解卷积算法，将图像复原参数作为算法参数对原始图像进行解卷积处理，得到清晰程度大于原始图像的复原图像，解卷积算法可以是露西
‑
理查德森lucy
‑
richardson解卷积法、维纳wiener解卷积算法，等等。
46.这样，通过解卷积处理可以对原始图像中的扩散现象进行复原，得到清晰的复原图像，该复原图像的清晰度大于原始图像的清晰度，将复原图像作为目标拍摄组件最终拍摄得到的图像输出，提升了目标拍摄组件所拍摄的图像的清晰度，获得了较大景深范围内清晰的照片效果。
47.解卷积处理的图像复原效果与图像复原参数的准确程度密切相关。对于目标拍摄组件而言，目标拍摄组件的不同景深以及不同视场的点扩散函数均具有较大差别，若采用单个景深或单个视场(例如中心视场)的点扩散函数作为图像复原参数对原始图像进行解卷积处理，会由于边缘视场的点扩散函数与所用的点扩散函数误差较大而导致明显的振铃效应，导致得到的复原图像的景深较浅，复原图像的清晰度较差。
48.鉴于此，本技术实施例中，图像复原参数是根据目标拍摄组件的各个视场对应的点扩散函数确定的，提升了图像复原参数的准确程度，这样，终端在采用图像复原参数对原始图像进行解卷积处理的过程中，目标拍摄组件的各个视场对应的点扩散函数均参与了该解卷积处理过程，从而可以有效提升复原图像的清晰度，扩大复原图像的景深范围。
49.进一步地，在一种可能的实施方式中，目标拍摄组件包括相位板，相位板用于调制目标拍摄组件在不同的景深下的点扩散函数的变化量小于预设的变化量阈值。
50.示例性地，相位板可以周侧抵靠定位于目标拍摄组件的镜筒的内壁，相位板具有衍射微结构，这样，光线在穿过相位板时，能够从相位板的衍射微结构穿过而产生衍射，从而调整光线的相位，以加大目标拍摄组件拍摄时的景深，且通过相位调整，可以使得目标拍摄组件在不同的景深下的点扩散函数的变化量小于预设的变化量阈值，即使得目标拍摄组件的点扩散函数随着景深变化所弥散的程度显著降低，目标拍摄组件的最佳成像物距前后很长一段范围内的景物成像清晰度都是接近的，从而可以提升终端所拍摄的原始图像的清晰程度，有利于进一步提升复原图像的清晰度。
51.另外，相关技术中，为了提升拍摄组件所拍摄图像的清晰度，也有通过多张不同景深位置的图像融合成一张全视场清晰的图像的方式。但是，该方法需控制拍摄组件移动多个位置进行拍摄，每个位置拍摄的图像清晰区域不同，通过算法将多张图像进行融合，得到一张全视场清晰的图像，在图像获取阶段过程较为繁琐，导致拍照时间过长等问题。而本技术实施例中，仅获取目标拍摄组件拍摄的一张原始图像，而后，利用上述实施例的实施方式，获取预先设置的图像复原参数，再基于该图像复原参数对该原始图像进行解卷积处理，即可得到全视场清晰的复原图像，而不必控制拍摄组件移动多个位置进行拍摄，从而缩短了拍照时长，提升了拍摄效率。
52.上述实施例通过获取目标拍摄组件拍摄的原始图像，并获取预先设置的图像复原参数，该图像复原参数是根据目标拍摄组件的各个视场对应的点扩散函数确定的，而后，基于该图像复原参数对原始图像进行解卷积处理，得到复原图像，这样，由于目标拍摄组件在图像拍摄过程中，被拍摄对象表面的一个点经过目标拍摄组件后所成的像，是利用对应的点扩散函数对该点进行卷积处理所扩散成的多个点，即目标拍摄组件拍摄的原始图像是利用对应的点扩散函数对被拍摄对象表面的各个点进行卷积处理扩散得到的，因此，本技术实施例利用根据目标拍摄组件的各个视场对应的点扩散函数确定的图像复原参数，对该原始图像进行解卷积处理，从而可以对原始图像中的扩散现象进行复原，得到清晰的复原图像，该复原图像的清晰度大于原始图像的清晰度，从而提升了目标拍摄组件所拍摄的图像
的清晰度。
53.在一个实施例中，基于图1所示的实施例，参见图3，本实施例涉及的是图像复原参数的设置过程。本实施例图像复原参数包括各颜色通道的目标复原参数，如图3所示，图像复原参数的设置过程包括步骤104：
54.步骤104，终端对于每个颜色通道，获取目标拍摄组件的各视场与颜色通道对应的目标点扩散函数，根据各视场对应的目标点扩散函数，获取颜色通道的目标复原参数。
55.目标拍摄组件所拍摄的图像可以有一个或多个颜色通道，例如，原始图像可以具有三个颜色通道：r通道、g通道和b通道。本技术实施例中，对于各颜色通道，终端可以获取各颜色通道分别对应的目标复原参数以组成图像复原参数。
56.本技术实施例中，每个视场对应的点扩散函数包括各个颜色通道的目标点扩散函数，因此，对于每个颜色通道，终端首先获取目标拍摄组件的各视场与该颜色通道对应的目标点扩散函数，再根据各视场对应的该目标点扩散函数，获取该颜色通道的目标复原参数。
57.承接上述举例，例如，目标拍摄组件的视野范围被划分为49个视场，对于r通道，终端获取49个视场分别与r通道对应的目标点扩散函数，而后，终端根据49个视场分别与r通道对应的目标点扩散函数，获取r通道的目标复原参数。同理，终端获取g通道的目标复原参数和b通道的目标复原参数，r通道的目标复原参数、g通道的目标复原参数和b通道的目标复原参数则组成图像复原参数。
58.在一种可能的实施方式中，参见图4，终端可以执行图4所示的步骤401和步骤402，实现获取目标拍摄组件的各视场与颜色通道对应的目标点扩散函数的过程：
59.步骤401，终端对于每个视场，获取视场与多个不同波长对应的候选点扩散函数。
60.点扩展函数描述了成像系统(目标拍摄组件)对光点的响应。通常情况下，拍摄环境的光线多种多样，具有不同的波长，目标拍摄组件对不同波长的光线的响应是不同的。鉴于此，本技术实施例中，对于每个颜色通道中的每个视场，终端首先获取该视场与多个不同波长分别对应的候选点扩散函数。
61.在一种可能的实施方式中，以通过上文所述点扩散函数测量设备测量为例，拍摄环境的光线的波长一般在400nm到700nm范围内，以5nm为间隔平均设置61个波长，针对每个颜色通道中的每个视场，将不同波长的光线分别从点扩散函数测量设备的该视场(点扩散函数测量设备模拟的是目标拍摄组件)投射到点扩散函数测量设备上(投射过程中的光瞳采样在实施时可以自行设置，例如设置为128*128)，而后，根据点扩散函数测量设备对不同波长的响应，得到该视场与多个不同波长分别对应的候选点扩散函数。
62.在另一种可能的实施方式中，终端还可以执行如下步骤a1和步骤a2，以获取视场与多个不同波长对应的候选点扩散函数：
63.步骤a1，终端获取视场与各波长对应的初始点扩散函数。
64.步骤a2，终端按照预设的第一采样策略，对各初始点扩散函数进行采样，得到各候选点扩散函数。
65.即对于每个颜色通道中的每个视场，将不同波长的光线分别从点扩散函数测量设备的该视场投射到点扩散函数测量设备上，根据点扩散函数测量设备对不同波长的响应，得到该视场与各波长对应的初始点扩散函数，接着，终端按照预设的第一采样策略，对各初始点扩散函数进行采样，得到各候选点扩散函数，也即，步骤a1和步骤a2所示的第二种实施
方式比上述第一种实施方式多了采样过程。
66.其中，第一采样策略可以是像面采样对应的采样策略。例如，像面采样间隔选取0.1μm，对应地，按照目标拍摄组件所拍摄图像的尺寸，确定像面采样率为1024*1024，这样，终端则按照1024*1024的采样率对各初始点扩散函数进行采样，得到各候选点扩散函数。由此，通过选取较高的像面采样率，可以提升候选点扩散函数的数据密集程度，进而提升候选点扩散函数的准确性。
67.示例性地，参见图5，图5为一种示例性地单波长下目标拍摄组件的49个视场的一个颜色通道的采样示意图。
68.步骤402，终端对各候选点扩散函数进行融合处理，得到视场对应的目标点扩散函数。
69.而后，终端再对各候选点扩散函数进行融合处理，得到该视场对应的目标点扩散函数，示例性地，终端可以对各候选点扩散函数进行求平均值或加权求和等融合处理，得到该视场对应的目标点扩散函数。
70.这样，按照上述实施方式，终端对于每个颜色通道，即可获取到各视场与该颜色通道对应的目标点扩散函数。而后，终端再根据各视场对应的目标点扩散函数，既可获取该颜色通道的目标复原参数。
71.这样，由于考虑到了目标拍摄组件对不同波长的光线的响应不同，对于每个颜色通道中的每个视场，通过将不同波长分别对应的候选点扩散函数进行融合得到该视场对应的目标点扩散函数，提升了目标点扩散函数的准确性，从而提升颜色通道的目标复原参数的准确性，有利于提升复原图像的图像清晰度。
72.在一个实施例中，基于图4所示的实施例，参见图6，本实施例涉及的是终端对各候选点扩散函数进行融合处理得到视场对应的目标点扩散函数的过程。
73.如图6所示，步骤402包括图6所示的步骤601和步骤602：
74.步骤601，终端获取各候选点扩散函数对应的权重系数。
75.本技术实施例中，终端对于每个颜色通道中的每个视场，通过上述实施例的实施方式，获取到该视场与多个不同波长对应的候选点扩散函数之后，终端获取各候选点扩散函数对应的权重系数，以对各候选点扩散函数进行加权求和。
76.在一种可能的实施方式中，终端可以在终端的预设存储地址中读取各个候选点扩散函数对应的权重系数，该各个候选点扩散函数对应的权重系数可以是人工基于经验设置的。
77.在另一种可能的实施方式中，终端可以执行如下步骤b1和步骤b2，实现获取各候选点扩散函数对应的权重系数的过程：
78.步骤b1，终端获取颜色通道对应的光谱响应曲线。
79.其中，光谱响应曲线包括各波长对应的光谱响应数据。
80.示例性地，可以将不同波长的光线(如上述举例的61个波长的光线)分别投射到光谱仪，根据光谱仪对各个不同波长的光线的光谱响应数据，确定光谱响应曲线。
81.其中，光谱响应曲线的横轴例如可以是光线的波长，光谱响应曲线的纵轴例如可以是各波长对应的光谱响应数据，光谱响应数据可以是光谱仪吸收的该波长的光线的能量等响应数据。
82.步骤b2，终端对于每个波长，根据波长对应的光谱响应数据，确定波长对应的候选点扩散函数的权重系数。
83.示例性地，终端可以将各波长对应的光谱响应数据等比例均归一化至[0,1]区间内，再将各波长对应的光谱响应数据归一化后的值作为其分别对应的候选点扩散函数的权重系数。可以理解的是，权重系数与光谱响应数据呈正相关关系。
[0084]
步骤602，终端根据各候选点扩散函数对应的权重系数，对各候选点扩散函数进行加权求和，得到视场对应的目标点扩散函数。
[0085]
在一种可能的实施方式中，终端对每个候选点扩散函数乘以其对应的权重系数，得到乘积，将每个候选点扩散函数对应的乘积相加得到该颜色通道的点扩散函数。
[0086]
在另一种可能的实施方式中，终端可以执行如下步骤c1和步骤c2，实现步骤602的过程：
[0087]
步骤c1，终端根据各权重系数对各候选点扩散函数进行加权求和，得到求和点扩散函数。
[0088]
步骤c2，终端按照预设的第二采样策略，对求和点扩散函数进行采样，得到视场对应的目标点扩散函数。
[0089]
即对于每个颜色通道中的每个视场，终端根据各权重系数对各候选点扩散函数进行加权求和，得到的结果作为求和点扩散函数，再按照预设的第二采样策略，对求和点扩散函数进行采样，才得到该视场对应的目标点扩散函数。
[0090]
其中，第二采样策略可以是对求和点扩散函数进行下采样至目标拍摄组件的图像传感器像素尺寸。例如，求和点扩散函数和上述举例的候选点扩散函数的像面采样间隔一致，均为0.1μm，终端通过下采样算法将求和点扩散函数的数据间隔下采样至图像传感器像素尺寸1.1μm，即对求和点扩散函数中每11*11个采样点求和为一点，得到该视场对应的目标点扩散函数。
[0091]
这样，通过光谱响应曲线确定各波长对应的候选点扩散函数的权重系数，再根据各候选点扩散函数对应的权重系数对各候选点扩散函数进行加权求和，得到视场对应的目标点扩散函数，由于权重系数是结合光谱响应曲线确定的，从而可以提升各视场对应的目标点扩散函数的准确性，从而提升颜色通道的目标复原参数以及图像复原参数的准确性，有利于提升复原图像的图像清晰度。
[0092]
在一个实施例中，基于图3所示的实施例，本实施例涉及的是终端如何根据各视场对应的目标点扩散函数，获取颜色通道的目标复原参数的过程。
[0093]
示例性地，终端可以对各视场对应的目标点扩散函数进行非负矩阵分解，得到颜色通道的目标复原参数。其中，目标复原参数包括多个本征点扩散函数和各本征点扩散函数对应的空间变化系数，本征点扩散函数用于表征各目标点扩散函数的数据特征，空间变化系数用于表征各目标点扩散函数的空间变化特征。
[0094]
即对于每个颜色通道，终端获取目标拍摄组件的各视场与该颜色通道对应的目标点扩散函数之后，终端对该颜色通道中，各视场对应的目标点扩散函数进行非负矩阵分解，得到该颜色通道的目标复原参数。
[0095]
在一种可能的实施方式中，非负矩阵分解之前，终端可以首先将各视场对应的目标点扩散函数作为一个矩阵进行奇异值分解，并将奇异值分解的结果作为作为非负矩阵分
解的初始值进行下一步的非负矩阵分解。
[0096]
以下，对奇异值分解的过程进行简要介绍，示例性地，终端可以通过如下公式1进行奇异值分解：
[0097]
a＝uσv
h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式1
[0098]
其中，a为各视场对应的目标点扩散函数形成的矩阵(承上述举例，目标拍摄组件具有49个视场，每个视场基于第二采样策略得到的目标点扩散函数的尺寸为93*93(93＝1024/11)，因此，a的尺寸可以是93*93*49)；u和v均为方阵，σ与a的大小相同，v
h
表示v的hermitian转置。
[0099]
这样，在奇异值分解时将每个视场93*93的二维矩阵变换为一维矩阵即8649个数据，所以a矩阵变换为8659*49，按照公式1进行奇异值精简分解，分解为u(8659*49)s(49*49)v(49*49)，接着，可以利用u的前n项(1≤n≤49，假设n取25，则前n项为8659*25)作为非负矩阵分解的初始值进行的非负矩阵分解。
[0100]
这样，通过奇异值分解，将二维矩阵变换为一维矩阵进行下一步的非负矩阵分解，从而可以降低非负矩阵分解的数据运算量，提升非负矩阵分解效率以及节约存储空间。
[0101]
奇异值分解完成后，终端对奇异值分解得到的初始值进行非负矩阵分解，得到多个正交且空间无关的本征点扩散函数与各本征点扩散函数对应的空间变化系数，本征点扩散函数用于表征各目标点扩散函数的数据特征，空间变化系数用于表征各目标点扩散函数的空间变化特征，而后，将各本征点扩散函数与各本征点扩散函数对应的空间变化系数求乘积和，得到该颜色通道的目标复原参数。
[0102]
这样，对于一个颜色通道而言，该颜色通道的目标复原参数、颜色通道对应的分解图像(由目标拍摄组件拍摄的原始图像分解得到)以及该颜色通道对应的分解复原图像的关系可以如下所示：
[0103][0104]
其中，i表示颜色通道对应的分解图像，s表示颜色通道对应的分解复原图像，a
i
表示颜色通道的目标复原参数中的空间变化系数，p
i
表示颜色通道的目标复原参数中的本征点扩散函数，n为模式数量。
[0105]
这样，终端获取各个颜色通道的目标复原参数之后，即可将各个颜色通道的目标复原参数作为图像复原参数，并基于图像复原参数对原始图像进行解卷积处理，得到清晰的大景深的复原图像，提升了终端所拍摄的图像的质量。
[0106]
在一个实施例中，参见图7，本实施例涉及的是终端如何基于图像复原参数对原始图像进行解卷积处理得到复原图像的过程。如图7所示，步骤103可以包括步骤701、步骤702和步骤703：
[0107]
步骤701，终端将原始图像分解为各颜色通道对应的分解图像。
[0108]
如上文所述，目标拍摄组件所拍摄的原始图像可以有一个或多个颜色通道，例如，具有三个颜色通道：r通道、g通道和b通道，终端将该原始图像分解为各颜色通道分别对应的分解图像，即得到r通道对应的分解图像、g通道对应的分解图像和b通道对应的分解图像。
[0109]
步骤702，终端对于每个颜色通道对应的分解图像，根据颜色通道的目标复原参
数，对分解图像进行解卷积处理，得到颜色通道对应的分解复原图像。
[0110]
图像复原参数包括各个颜色通道的目标复原参数，这样，终端则采用每个颜色通道的目标复原参数，对相应地颜色通道的分解图像进行解卷积处理，得到每个颜色通道对应的分解复原图像。
[0111]
以下，以一个颜色通道为例，对终端根据颜色通道的目标复原参数，对分解图像进行解卷积处理，得到颜色通道对应的分解复原图像的过程进行介绍。
[0112]
示例性地，对于一个颜色通道对应的分解图像，终端可以根据该颜色通道的目标复原参数对该分解图像进行迭代解卷积处理，得到该颜色通道对应的分解复原图像。
[0113]
其中，第k次迭代解卷积处理包括：根据目标复原参数、分解图像和中间图像获取图像复原修正数据，并根据中间图像和图像复原修正数据获取第k次迭代解卷积处理对应的输出图像；其中，在k等于1的情况下，中间图像为分解图像，在k大于1的情况下，中间图像为上一次迭代解卷积处理对应的输出图像，在k等于预设迭代次数的情况下，第k次迭代解卷积处理对应的输出图像为颜色通道对应的分解复原图像。
[0114]
在一种可能的实施方式中，参见如下公式2
‑
4，终端可以根据如下公式2
‑
4进行第k次迭代解卷积处理：
[0115][0116][0117]
s
k
＝s
k
‑1·
f
‑1{e
*k
‑1}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式4
[0118]
其中，a
i
表示该颜色通道的目标复原参数中的空间变化系数，p
i
表示该颜色通道的目标复原参数中的本征点扩散函数；n为模式数量，例如可以取25；s
k
‑1为中间图像；p
i
～为对p
i
进行矩阵翻转得到的翻转后的本征点扩散函数；i为该颜色通道对应的分解图像；e
k
‑1为图像复原修正数据；带*号表示为该变量的频域变换量；f表示傅里叶变换，f
‑1表示逆傅里叶变换；s
k
为第k次迭代解卷积处理对应的输出图像。在k等于预设迭代次数的情况下，第k次迭代解卷积处理对应的输出图像为颜色通道对应的分解复原图像。
[0119]
在实际实施过程中，迭代次数可以自行设置，例如设置为20次，等等。
[0120]
在另一种可能的实施方式中，终端根据中间图像和图像复原修正数据获取第k次迭代解卷积处理对应的输出图像可以包括如下步骤d1和步骤d2：
[0121]
步骤d1，终端根据中间图像和预设的正则项系数，获取正则项数据。
[0122]
示例性地，参见公式5：
[0123][0124]
其中，tv
k
‑1为正则项数据，
‑
λ
tv
为预设的正则项系数，λ
tv
在实施时可以自行设置，例如设置为0.001，表示中间图像s
k
‑1的梯度，div表示求散度。
[0125]
步骤d2，终端根据中间图像、图像复原修正数据和正则项数据，获取第k次迭代解卷积处理对应的输出图像。
[0126]
参见如下公式6，终端可以根据上述公式2、3、5以及如下公式6，进行第k次迭代解
卷积处理：
[0127][0128]
其中，s
k
‑1为中间图像，e
k
‑1为图像复原修正数据，带*号表示为该变量的频域变换量，s
k
为第k次迭代解卷积处理对应的输出图像，tv
k
‑1为正则项数据，在k等于预设迭代次数的情况下，第k次迭代解卷积处理对应的输出图像为颜色通道对应的分解复原图像。
[0129]
这样，通过全变分正则化的解卷积处理方式，终端可以获取各颜色通道对应的清晰的分解复原图像。
[0130]
步骤703，终端对各颜色通道对应的分解复原图像进行融合处理，得到复原图像。
[0131]
终端通过解卷积处理得到各颜色通道对应的分解复原图像后，对各颜色通道对应的分解复原图像进行融合处理，即可得到清晰的复原图像，该复原图像的清晰度大于原始图像的清晰度。
[0132]
示例性地，参见图8，图8为一种示例性地原始图像和复原图像的示意图。图8中左侧为原始图像，右侧为复原图像，可以看出，将获取的图像复原参数用于全变分正则化的解卷积算法进行图像复原，经过该算法，图像中不同景深与视场区域均实现了清晰度的明显提升，得到各个视场均清晰且平滑过渡的复原图像。
[0133]
这样，将复原图像作为目标拍摄组件最终拍摄得到的图像输出，提升了目标拍摄组件所拍摄的图像的清晰度，获得了较大景深范围内清晰的照片效果。
[0134]
在一个实施例中，提供了一种图像处理方法，包括：
[0135]
步骤a，对于每个颜色通道下目标拍摄组件的每个视场，终端获取视场与各波长对应的初始点扩散函数，按照预设的第一采样策略，对各初始点扩散函数进行采样，得到各候选点扩散函数；终端获取各候选点扩散函数对应的权重系数，并根据各候选点扩散函数对应的权重系数，对各候选点扩散函数进行加权求和，得到视场对应的目标点扩散函数。
[0136]
其中，获取各候选点扩散函数对应的权重系数，包括：获取颜色通道对应的光谱响应曲线，光谱响应曲线包括各波长对应的光谱响应数据；对于每个波长，根据波长对应的光谱响应数据，确定波长对应的候选点扩散函数的权重系数，权重系数与光谱响应数据呈正相关关系。
[0137]
其中，根据各候选点扩散函数对应的权重系数，对各候选点扩散函数进行加权求和，得到视场对应的目标点扩散函数，包括：根据各权重系数对各候选点扩散函数进行加权求和，得到求和点扩散函数；按照预设的第二采样策略，对求和点扩散函数进行采样，得到视场对应的目标点扩散函数。
[0138]
步骤b，终端对该颜色通道中，各视场对应的目标点扩散函数进行非负矩阵分解，得到该颜色通道的目标复原参数。
[0139]
其中，目标复原参数包括多个本征点扩散函数和各本征点扩散函数对应的空间变化系数，本征点扩散函数用于表征各目标点扩散函数的数据特征，空间变化系数用于表征各目标点扩散函数的空间变化特征。
[0140]
步骤c，终端获取目标拍摄组件拍摄的原始图像。
[0141]
目标拍摄组件包括相位板，相位板用于调制目标拍摄组件在不同的景深下的点扩散函数的变化量小于预设的变化量阈值。
[0142]
步骤d，终端获取预先设置的图像复原参数，图像复原参数包括各颜色通道的目标复原参数。
[0143]
步骤e，终端将原始图像分解为各颜色通道对应的分解图像；
[0144]
步骤f，终端对于每个颜色通道对应的分解图像，根据颜色通道的目标复原参数对分解图像进行迭代解卷积处理，得到颜色通道对应的分解复原图像。
[0145]
其中，第k次迭代解卷积处理包括：根据目标复原参数、分解图像和中间图像获取图像复原修正数据，并根据中间图像和图像复原修正数据获取第k次迭代解卷积处理对应的输出图像；其中，在k等于1的情况下，中间图像为分解图像，在k大于1的情况下，中间图像为上一次迭代解卷积处理对应的输出图像，在k等于预设迭代次数的情况下，第k次迭代解卷积处理对应的输出图像为颜色通道对应的分解复原图像。
[0146]
其中，终端根据中间图像和图像复原修正数据获取第k次迭代解卷积处理对应的输出图像，包括：根据中间图像和预设的正则项系数，获取正则项数据；根据中间图像、图像复原修正数据和正则项数据，获取第k次迭代解卷积处理对应的输出图像。
[0147]
步骤g，终端对各颜色通道对应的分解复原图像进行融合处理，得到复原图像。
[0148]
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0149]
图9为一个实施例的图像处理装置的结构框图。如图9所示，该装置包括：
[0150]
第一获取模块100，用于获取目标拍摄组件拍摄的原始图像；
[0151]
第二获取模块200，用于获取预先设置的图像复原参数，所述图像复原参数是根据所述目标拍摄组件的各个视场对应的点扩散函数确定的；
[0152]
处理模块300，用于基于所述图像复原参数对所述原始图像进行解卷积处理，得到复原图像。
[0153]
可选地，每个所述视场对应的点扩散函数包括各个颜色通道的目标点扩散函数，所述图像复原参数包括各所述颜色通道的目标复原参数，所述装置还包括：
[0154]
第三获取模块，用于对于每个所述颜色通道，获取所述目标拍摄组件的各所述视场与所述颜色通道对应的目标点扩散函数；
[0155]
第四获取模块，用于根据各所述视场对应的所述目标点扩散函数，获取所述颜色通道的所述目标复原参数。
[0156]
可选地，所述第三获取模块，包括：
[0157]
获取单元，用于对于每个所述视场，获取所述视场与多个不同波长对应的候选点扩散函数；
[0158]
融合单元，用于对各所述候选点扩散函数进行融合处理，得到所述视场对应的所述目标点扩散函数。
[0159]
可选地，所述获取单元具体用于获取所述视场与各所述波长对应的初始点扩散函
数；按照预设的第一采样策略，对各所述初始点扩散函数进行采样，得到各所述候选点扩散函数。
[0160]
可选地，所述融合单元具体用于获取各所述候选点扩散函数对应的权重系数；根据各所述候选点扩散函数对应的权重系数，对各所述候选点扩散函数进行加权求和，得到所述视场对应的所述目标点扩散函数。
[0161]
可选地，所述融合单元具体用于获取所述颜色通道对应的光谱响应曲线，所述光谱响应曲线包括各所述波长对应的光谱响应数据；对于每个所述波长，根据所述波长对应的所述光谱响应数据，确定所述波长对应的所述候选点扩散函数的所述权重系数，根据各所述权重系数对各所述候选点扩散函数进行加权求和，得到求和点扩散函数；按照预设的第二采样策略，对所述求和点扩散函数进行采样，得到所述视场对应的所述目标点扩散函数，其中，所述权重系数与所述光谱响应数据呈正相关关系。
[0162]
可选地，所述第四获取模块具体用于对各所述视场对应的所述目标点扩散函数进行非负矩阵分解，得到所述颜色通道的所述目标复原参数；
[0163]
其中，所述目标复原参数包括多个本征点扩散函数和各所述本征点扩散函数对应的空间变化系数，所述本征点扩散函数用于表征各所述目标点扩散函数的数据特征，所述空间变化系数用于表征各所述目标点扩散函数的空间变化特征。
[0164]
可选地，所述图像复原参数包括各个颜色通道的目标复原参数，所述处理模块300，包括：
[0165]
分解单元，用于将所述原始图像分解为各所述颜色通道对应的分解图像；
[0166]
第一处理单元，用于对于每个所述颜色通道对应的所述分解图像，根据所述颜色通道的所述目标复原参数，对所述分解图像进行解卷积处理，得到所述颜色通道对应的分解复原图像；
[0167]
第二处理单元，用于对各所述颜色通道对应的所述分解复原图像进行融合处理，得到所述复原图像。
[0168]
可选地，所述第一处理单元具体用于根据所述颜色通道的所述目标复原参数对所述分解图像进行迭代解卷积处理，得到所述颜色通道对应的所述分解复原图像；其中，第k次迭代解卷积处理包括：根据所述目标复原参数、所述分解图像和中间图像获取图像复原修正数据，并根据所述中间图像和所述图像复原修正数据获取第k次迭代解卷积处理对应的输出图像；其中，在k等于1的情况下，所述中间图像为所述分解图像，在k大于1的情况下，所述中间图像为上一次迭代解卷积处理对应的输出图像，在k等于预设迭代次数的情况下，第k次迭代解卷积处理对应的输出图像为所述颜色通道对应的所述分解复原图像。
[0169]
可选地，所述第一处理单元具体用于根据所述中间图像和预设的正则项系数，获取正则项数据；根据所述中间图像、所述图像复原修正数据和所述正则项数据，获取第k次迭代解卷积处理对应的输出图像。
[0170]
可选地，所述目标拍摄组件包括相位板，所述相位板用于调制所述目标拍摄组件在不同的景深下的点扩散函数的变化量小于预设的变化量阈值。
[0171]
上述图像处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
[0172]
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不
再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0173]
本技术实施例提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本技术实施例中所描述方法的步骤。
[0174]
图10为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、pda(personal digital assistant，个人数字助理)、pos(point of sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器可以包括一个或多个处理单元。处理器可为cpu(central processing unit,中央处理单元)或dsp(digital signal processing，数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
[0175]
本技术实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
[0176]
本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
[0177]
本技术所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括rom(read
‑
only memory，只读存储器)、prom(programmable read
‑
only memory，可编程只读存储器)、eprom(erasable programmable read
‑
only memory，可擦除可编程只读存储器)、eeprom(electrically erasable programmable read
‑
only memory，电可擦除可编程只读存储器)或闪存。易失性存储器可包括ram(random access memory，随机存取存储器)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如sram(static random access memory，静态随机存取存储器)、dram(dynamic random access memory，动态随机存取存储器)、sdram(synchronous dynamic random access memory，同步动态随机存取存储器)、双数据率ddr sdram(double data rate synchronous dynamic random access memory，双数据率同步动态随机存取存储器)、esdram(enhanced synchronous dynamic random access memory，增强型同步动态随机存取存储器)、sldram(sync link dynamic random access memory，同步链路动态随机存取存储器)、rdram(rambus dynamic random access memory，总线式动态随机存储器)、drdram(direct rambus dynamic random access memory，接口动态随机存储器)。
[0178]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。