图像处理方法和装置与流程
本申请涉及移动终端技术领域，尤其涉及一种图像处理方法和装置。
背景技术：
现有技术中，为了实现对图像的背景虚化处理，可以采用双摄像头，分别采集两张照片。将这两张照片中的一张作为成像照片，并根据另一张照片计算这张成像照片的深度信息，据此，对成像照片的背景进行虚化处理。
但是，现有技术中的这种方式，在暗光环境下，由于成像照片的成像效果不佳，同时，深度信息也不够准确，导致虚化处理后的图像效果较差。
技术实现要素：
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请提出一种图像处理方法，用于提高成像照片的成像效果，以及提高深度信息的准确性，以解决现有技术中虚化处理后的图像效果较差的技术问题。
本申请提出一种图像处理装置。
本申请提出一种移动终端。
本申请提出一种计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种图像处理方法，所述方法包括以下步骤：
获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的副图像；其中，n为大于或等于2的自然数；所述n帧第一图像中包含一帧基础帧图像，所述副摄像头拍摄的副图像与所述主摄像头拍摄的基础帧图像是同步拍摄得到的；
根据所述n帧第一图像进行合成降噪，得到一帧主图像；
根据所述主图像，生成成像图像；
根据所述副图像计算所述成像图像的深度信息；
根据所述成像图像的深度信息，对所述成像图像进行虚化处理，得到所需的第二图像。
本申请实施例的图像处理方法，通过获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的副图像之后，根据n帧第一图像进行合成降噪，得到一帧主图像。进而根据主图像和副图像计算该主图像的深度信息，从而最终根据主图像的深度信息，对主图像进行虚化处理，得到所需的第二图像。由于采用了根据n帧第一图像进行合成降噪得到一帧主图像，减小了图像中的噪声，使得主图像的清晰度较高。同时，副摄像头拍摄的副图像与所述主摄像头拍摄的基础帧图像是同步拍摄得到的，从而依据对应的副图像对高清晰度的主图像进行后续的虚化处理，一方面提高了成像照片的成像效果，另一方面提高了深度信息的准确性，从而使得图像处理效果较好，解决了现有技术中虚化处理后的图像效果较差的技术问题。
为达上述目的，本申请第二方面实施例提出了一种图像处理装置，包括：
获取模块，用于获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的副图像；其中，n为大于或等于2的自然数；所述n帧第一图像中包含一帧基础帧图像，所述副摄像头拍摄的副图像与所述主摄像头拍摄的基础帧图像是同步拍摄得到的；
降噪模块，用于根据所述n帧第一图像进行合成降噪，得到一帧主图像；
生成模块，用于根据所述主图像，生成成像图像；
计算模块，用于根据所述副图像计算所述成像图像的深度信息；
处理模块，用于根据所述成像图像的深度信息，对所述成像图像进行虚化处理，得到所需的目标图像。
本申请实施例的种图像处理装置，通过获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的副图像之后，根据n帧第一图像进行合成降噪，得到一帧主图像。进而根据主图像和副图像计算该主图像的深度信息，从而最终根据主图像的深度信息，对主图像进行虚化处理，得到所需的第二图像。由于采用了根据n帧第一图像进行合成降噪得到一帧主图像，减小了图像中的噪声，使得主图像的清晰度较高。同时，副摄像头拍摄的副图像与所述主摄像头拍摄的基础帧图像是同步拍摄得到的，从而依据对应的副图像对高清晰度的主图像进行后续的虚化处理，一方面提高了成像照片的成像效果，另一方面提高了深度信息的准确性，从而使得图像处理效果较好，解决了现有技术中虚化处理后的图像效果较差的技术问题。
为达上述目的，本申请第三方面实施例提出了一种移动终端，包括：主摄像头、副摄像头、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；所述处理器执行所述程序时，实现如第一方面所述的图像处理方法。
为了实现上述目的，本申请第四方面实施例提出了一种计算机可读存储介质，该程序被处理器执行时实现如第一方面所述的图像处理方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种图像处理方法的流程示意图；
图2为三角测距的原理示意图；
图3为本申请实施例所提供的另一种图像处理方法的流程示意图；
图4为本申请实施例提供的一种图像处理装置的结构示意图；
图5为本申请实施例提供的另一种图像处理装置的结构示意图；
图6是根据本申请另一个实施例的终端设备的结构示意图；以及
图7为一个实施例中图像处理电路的示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的图像处理方法和装置。
该图像处理方法，具体可以由具有双摄像头的手机、平板电脑、个人数字助理、穿戴式设备等硬件设备执行，该具有双摄像头的硬件设备中，包含摄像模组，该摄像模组中包括主摄像头和副摄像头。主摄像头和副摄像头均具有各自独立的镜片、图像传感器和音圈马达。双摄像头中的主摄像头和副摄像头均与摄像头连接头相连，从而根据摄像头连接头提供的电流值驱动音圈马达，使得主摄像头和副摄像头在音圈马达的驱动下调整镜片与图像传感器之间的距离，从而实现对焦。
作为一种可能的应用场景，副摄像头的分辨率低于主摄像头的分辨率，在进行对焦时，可以仅采用副摄像头进行对焦，当副摄像头合焦时，获取副摄像头的马达的第二驱动电流值，进而在主摄像头和所述副摄像头具有相同合焦距离条件下，根据第二驱动电流值，确定主摄像头的马达的第一驱动电流值，采用第一驱动电流值驱动主摄像头进行对焦。由于副摄像头分辨率较低，图像处理速度较快，从而能够加快对焦速度，解决了现有技术中双摄像头对焦速度较慢的技术问题。
在双摄像头的具体实现过程中，可以选择不同的摄像头组合，作为双摄像头中的主摄像头和副摄像头，从而适应不同的用户需求。
在一种应用场景中，需要较高的对焦速度，从而双摄像头中的主摄像头具体为普通摄像头，双摄像头中的副摄像头具体为双像素(pd，dualpixel)摄像头。其中，双pd摄像头的分辨率要低于普通摄像头，从而具有更快的对焦速度。
需要说明的是，双pd摄像头的每个像素由两个单元构成，两个单元可以作为相位对焦检测点，也可以组合成一个像素的成像，从而极大改善了电子取景时的对焦性能。双pd互补金属氧化物半导体(cmos，complementarymetaloxidesemiconductor)，传感器摄像头是较为常用的具体采用cmos作为传感器的双pd摄像头，最早是采用在单反相机上。
在另一种应用场景中，需要较佳的成像效果，从而将广角摄像头和长焦摄像头的组合作为双摄像头。根据拍摄需求切换主副摄像头。具体来说，当拍近景时，使用广角镜头作为主摄像头，长焦镜头作为副摄像头；拍远景时，使用长焦镜头作为主摄像头，使用广角镜头作为副摄像头，从而不仅实现光学变焦功能，而且，还保证了成像质量以及后续虚化效果。
在具体双摄像头的选择上，还可以有多种可能的实现方式，本实施例中对此不再赘述。
图1为本申请实施例所提供的一种图像处理方法的流程示意图。
如图1所示，该图像处理方法包括以下步骤：
步骤101，获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的副图像。
其中，n为大于或等于2的自然数；n帧第一图像中包含一帧基础帧图像，副摄像头拍摄的副图像与主摄像头拍摄的基础帧图像是同步拍摄得到的。
本实施例中，可以预先根据环境亮度，从双摄像头中确定主摄像头和副摄像头。
具体地，由于在环境亮度不高于阈值亮度的情况下，光线不足，如果采用高分辨率的摄像头作为主摄像头进行拍照时，则会出现较多的噪声，从而导致成像效果不佳。因此，本实施例中，在光线不足时，可以采用高感光度的摄像头作为主摄像头，高分辨率的摄像头作为副摄像头进行拍照，减少图像中的噪声，提高成像效果。相反地，在环境亮度高于阈值亮度的情况下，即在光线充足的情况下，由于高分辨率的摄像头分辨率较高，成像也较为清晰，噪声较少，因此，本实施例中，可以将高分辨率的摄像头作为主摄像头，高感光摄像头作为副摄像头进行拍照，从而提高成像效果。
在确定主摄像头和副摄像头后，可以同时采用主摄像头和副摄像头进行连续取景拍摄，分别得到主摄像头和副摄像头拍摄的多帧拍摄图像，而后可以从主摄像头拍摄得到的多帧拍摄图像中，选取连续拍摄的n帧拍摄图像作为n帧第一图像，例如，可以随机选取连续拍摄的n帧拍摄图像作为n帧第一图像，或者，可以选取平均清晰度最高的连续拍摄的n帧拍摄图像作为n帧第一图像，对此不作限制。
在得到n帧第一图像后，可以从n帧第一图像中确定基础帧图像。作为一种可能的实现方式，为了提高成像效果，可以将n帧第一图像中清晰度最高的拍摄图像作为基础帧图像，而后从副摄像头所拍摄的多帧拍摄图像中，选取与主摄像头拍摄的基础帧图像同步拍摄的一帧拍摄图像作为幅图像。由于副摄像头拍摄的副图像与主摄像头拍摄的高清晰度的基础帧图像是同步拍摄得到的，从而依据对应的副图像进行辅助计算景深时，可以提高深度信息计算的准确性。
步骤102，根据n帧第一图像进行合成降噪，得到一帧主图像。
本实施例中，可以采用降噪算法，对n帧第一图像进行合成降噪，得到一帧主图像。这里的降噪算法可以是非局部均值(nonlocalmeans)降噪算法，当然还可以是其他降噪算法，本实施例中对此不作限定。
为了便于清楚理解多帧合成降噪过程，下面将对多帧合成降噪进行简要介绍。
当环境光线不足时，移动终端等成像设备一般采用自动提高感光度的方式。但这种提高感光度的方式，导致了图像中噪声较多。多帧合成降噪就是为了减少图像中的噪声点，改善高感光情况下所拍摄的图像画质。其原理在于，噪点是无序排列的这一先验知识，具体来说，连拍多帧拍摄图像后，同一个位置出现的噪点可能是红噪点，也可能是绿噪点、白噪点，甚至是没有噪点，这样就有了比对筛选的条件，可以依据多帧拍摄图像中对应同一位置的各像素点的取值，将属于噪声的像素点(即噪点)筛选出来。进一步地，在筛选出噪点之后，还可以根据进一步法的算法对噪点进行猜色和像素替换处理，达到去除噪点的效果。经过这样的过程，就能够达到画质损失度极低的降噪效果了。
例如，作为一种比较简便的多帧合成降噪方法，可以在获取多帧拍摄图像之后，读取多帧拍摄图像中对应同一位置的各像素点的取值，通过对这些像素点计算加权平均值，生成合成图像中该位置的像素点的取值。通过这种方式，可以得到清晰的图像。
在多帧拍摄图像中，存在一帧最为清晰的图像，我们可以将其作为基础帧，该基础帧，作为一种可能的实现方式，该基础帧的权重可以大于其他拍摄图像的权重，也就是说，实质上，实现了以其他拍摄图像作为参考，识别并去除基础帧中的噪点的作用。
步骤103，根据主图像和副图像计算主图像的深度信息。
具体地，由于主副摄像头之间具有一定的距离，从而导致了这两个摄像头具有视差，不同的摄像头拍摄的图像应该是不同的。主图像是由主摄像头拍摄的图像合成降噪后得到的，幅图像是由副摄像头拍摄得到的，因此，主图像和副图像之间也应具有但一定差异性。根据三角测距原理，可以计算得到主图像和副图像中，同一对象的深度信息，也就是该对象距离主摄像头和副摄像头所在平面的距离。
为了清楚说明这一过程，下面将对三角测距原理进行简要介绍。
而在实际场景，人眼分辨景物的深度主要是依靠双目视觉分辨出的。这和双摄像头分辨深度的原理一样。本实施例中根据第二拍摄图像计算成像图像的深度信息，主要方法是依靠三角测距原理，图2为三角测距的原理示意图。
基于图2中，在实际空间中，画出了成像对象，以及两个摄像头所在位置or和ot，以及两个摄像头的焦平面，焦平面距离两个摄像头所在平面的距离为f，在焦平面位置两各摄像头进行成像，从而得到两张拍摄图像。
p和p’分别是同一对象在不同拍摄图像中的位置。其中，p点距离所在拍摄图像的左侧边界的距离为xr，p’点距离所在拍摄图像的左侧边界的距离为xt。or和ot分别为两个摄像头，这两个摄像头在同一平面，距离为b。
基于三角测距原理，图2中的对象与两个摄像头所在平面之间的距离z，具有如下关系：
基于此，可以推得
步骤104，根据主图像的深度信息，对主图像进行虚化处理，得到所需的第二图像。
具体地，计算得到主图像的深度信息之后，可以根据主图像中各对象的深度信息，确定出该对象为前景还是背景。一般来说，深度信息指示对象距离主副摄像头所在平面较近，深度取值较小时，可以确定该对象为前景，否则，该对象为背景。
可以对识别出的背景，进行虚化处理，得到所需的第二图像，在第二图像中，前景更加突出，背景得到了虚化，呈现出对焦的前景的成像效果。
本实施例的图像处理方法，通过获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的副图像之后，根据n帧第一图像进行合成降噪，得到一帧主图像。进而根据主图像和副图像计算该主图像的深度信息，从而最终根据主图像的深度信息，对主图像进行虚化处理，得到所需的第二图像。由于采用了根据n帧第一图像进行合成降噪得到一帧主图像，减小了图像中的噪声，使得主图像的清晰度较高。同时，副摄像头拍摄的副图像与主摄像头拍摄的基础帧图像是同步拍摄得到的，从而依据对应的副图像对高清晰度的主图像进行后续的虚化处理，一方面提高了成像照片的成像效果，另一方面提高了深度信息的准确性，从而使得图像处理效果较好，解决了现有技术中虚化处理后的图像效果较差的技术问题。
为了清楚说明上一实施例，本实施例提供了另一种图像处理方法，图3为本申请实施例提供的另一种图像处理方法的流程示意图。
如图3所示，该图像处理方法可以包括以下步骤：
步骤301，根据环境亮度，从双摄像头中确定主摄像头和副摄像头。
具体地，作为一种可能的实现形式，可以采用独立的测光器件，测量环境的亮度。
作为另一种可能的实现形式，可以读取第一摄像头和第二摄像头自动调节的iso值，根据读取到的iso值，确定环境亮度。一般来说，第一摄像头和第二摄像头应采用相同的iso值，从而采用该iso值，便可以确定对应的环境亮度。但若读取到的第一摄像头iso值和第二摄像头iso值是不同的，可以根据两者的平均值确定对应的环境亮度。
需要说明的是，iso值用来指示摄像头的感光度，常用的iso值有50、100、200、400、1000等等，摄像头可以根据环境亮度，自动调节iso值，从而，本实施例中，可以根据iso值，反推出环境亮度。一般在光线充足的情况下，iso值器50或100，在光线不足的情况下，iso值可以为400或更高。
其中，双摄像头包括第一摄像头和第二摄像头，其中，第一摄像头的分辨率高于第二摄像头，第二摄像头的感光度高于第一摄像头，例如：第一摄像头可以为16mp摄像头，第二摄像头可以为8mp摄像头。
具体地，若环境亮度高于阈值亮度，将第一摄像头作为主摄像头，并将第二摄像头作为副摄像头。若环境亮度不高于阈值亮度，将第二摄像头作为主摄像头，并将第一摄像头作为副摄像头。
这是由于在环境亮度不高于阈值亮度的情况下，光线不足，采用高分辨率摄像头作为主摄像头进行拍照时，会出现较多的噪声，从而导致成像效果不佳。因此，在光线不足时，可以采用高感光度的摄像头为主摄像头进行拍照，减少图像中的噪声，提高成像效果。
相反地，在环境亮度高于阈值亮度的情况下，光线充足的情况下，由于高分辨率的摄像头分辨率较高，成像也较为清晰，噪声较少，因此，可以将高分辨率摄像头作为主摄像头进行拍照，并将高感光摄像头作为副摄像头计算得到较为准确的深度信息，从而提高成像效果。
步骤302，根据环境亮度，确定主摄像头对应的合成帧数n；其中，n与环境亮度具有反向关系，n取值范围为2至6。
可以理解的是，环境亮度越高，光线越充足，摄像头的成像效果越好，从而利用摄像头拍照时，拍摄图像中的噪声越少，对于降噪的准确度的要求越低，因此，在进行合成降噪时，可以采用较少帧数的拍摄图像。相反地，环境亮度越低，摄像头的成像效果越差，从而利用摄像头拍照时，拍摄图像中的噪声越多，即拍摄图像中的噪点越多，从而对于降噪的准确度的要求越高，因此，在在进行合成降噪时，需要采用较多帧数的拍摄图像。
因此，本实施例中，在实际应用时，可以根据移动终端所处的环境亮度，确定主摄像头对应的合成帧数n。
步骤303，当探测到拍照操作时，控制主摄像头和副摄像头同步拍照，分别得到多帧拍摄图像。
具体地，用户可以触发拍照按钮，使得主摄像头和副摄像头同步拍照，分别得到多帧拍摄图像。
作为一种可能的实现方式，可仅对主角摄像头采集画面进行拍摄预览，当用户看到满意的预览图像后，可以点击拍照按钮，使得主摄像头和副摄像头同步拍照，分别得到多帧拍摄图像。
步骤304，从主摄像头的多帧拍摄图像中，选取连续拍摄的n帧拍摄图像作为n帧第一图像。
具体地，在得到主摄像头拍摄的多帧拍摄图像后，可以从主摄像头的多帧拍摄图像中，选取连续拍摄的n帧拍摄图像作为n帧第一图像，例如，可以随机选取连续拍摄的n帧拍摄图像作为n帧第一图像，或者，可以选取平均清晰度最高的连续拍摄的n帧拍摄图像作为n帧第一图像，对此不作限制。
步骤305，根据n帧第一图像的清晰度，从n帧第一图像中确定一帧基础帧图像。
具体地，为了提高成像效果，可以将n帧第一图像中清晰度最高的拍摄图像作为基础帧图像。
步骤306，从副摄像头的多帧拍摄图像中，选取与基础帧图像同步拍摄的一帧拍摄图像，作为副图像。
具体地，在选取清晰度最高的拍摄图像作为基础帧图像后，可以从副摄像头的多帧拍摄图像中，选取与基础帧图像同步拍摄的一帧拍摄图像，作为副图像。由于副摄像头拍摄的副图像与主摄像头拍摄的高清晰度的基础帧图像是同步拍摄得到的，从而依据对应的副图像进行辅助计算景深时，可以提高深度信息计算的准确性。
步骤307，根据n帧第一图像进行合成降噪，得到一帧主图像。
步骤308，根据拍摄模式和主摄像头的分辨率，确定主图像分辨率，以及根据拍摄模式和副摄像头的分辨率，确定副图像分辨率。
具体地，拍摄模式可以包括全身模式和半身模式。其中，全身模式适用于在进行人像拍摄时，需要拍摄全身人像的场景中。当用户选定了全身模式时，用户一般会在取景时，将人像整体落入取景框中。
半身模式，适用于在进行人像拍摄时，需要拍摄半身人像的场景中，这里的半身人像是人像的一部分，例如：半身人像是头部和上肢躯干部分时，当用户选定了半身模式时，用户一般会在取景时，仅将上半身人像落入取景框中。
作为一种可能的实现方式，可在移动终端拍摄预览界面，提供控件，以便用户通过该控件选择拍摄模式。
若拍摄模式是全身模式，根据已确定的主摄像头的分辨率，将主摄像头的分辨率，与全身模式对应的调节系数进行乘法运算，得到主图像分辨率；根据已确定的副摄像头的分辨率，将副摄像头的分辨率，与全身模式对应的调节系数进行乘法运算，得到副图像分辨率。
这里的调节系数，用于图像的分辨率调整过程中，指示调整后的分辨率与调整前的分辨率之间的比例关系。这里的调节系数取值范围为大于1以及0至1之间。具体来说，若调整后的分辨率大于调整前的分辨率，调节系数取值为大于1，若调整后的分辨率小于调整前的分辨率，调节系数的取值为0至1之间。
若拍摄模式是半身模式，根据已确定的主摄像头的分辨率，将主摄像头的分辨率，与半身模式对应的调节系数进行乘法运算，得到主图像分辨率；根据已确定的副摄像头的分辨率，将副摄像头的分辨率，与半身模式对应的调节系数进行乘法运算。
需要说明的是，全身模式对应的调节系数大于半身模式对应的调节系数。
步骤309，根据主图像分辨率对主图像进行分辨率调整，根据副图像分辨率对副图像进行分辨率调整。
具体地，在拍摄模式对应的调节系数是小于等于1的正数的情况下，截取主图像中符合主图像分辨率的目标区域，得到分辨率调整后的主图像；截取副图像中符合副图像分辨率的目标区域，得到分辨率调整后的副图像。
在一种可能的应用场景下，主摄像头为广角摄像头，副摄像头为长焦摄像头，相应的，目标区域可以为图像中央区域。这是由于广角摄像头存在四周畸变，导致成像效果不佳。为了得到较好的成像图像，保证成像效果，对广角摄像头拍摄的第一拍摄图像进行截取，保留图像中央区域，去除四周畸变区域，以提高广角摄像头的成像效果。
具体目标区域的设定范围，本领域技术人员可根据实际应用中广角摄像头的成像参数，例如分辨率，以及拍摄环境等进行具体设定。
作为一种可能的实现方式，可以根据广角摄像头的分辨率和四周畸变程度等对目标区域的设定范围进行设定。广角摄像头的光学设计导致在大视场情况下，四周畸变是难以避免的，具体来说，近轴成像满足y'＝f×tan(t)的成像关系，其中，y'是传感器的径向尺寸，t是视场角，f是焦距。传感器的径向尺寸y'是恒定的，所以f减小，也就是短焦端的情况下，t必然增大，才能够实现广角。但大视场条件下成像规律渐渐不再满足近轴的情形，从满足y'＝f×tan(t)的成像关系逐渐变化为y＝f×t的规律靠近，导致大视场下会出现负畸变，这种畸变在图像四周表现更加突出。基于以上畸变原理可以看出，四周畸变程度与视场角大小存在一定的关联度。因此，可以根据广角摄像头的视场角以及分辨率中的至少一个确定目标区域的设定范围。
步骤310，根据主图像和副图像计算主图像的深度信息。
步骤311，根据主图像的深度信息，对主图像进行虚化处理，得到所需的第二图像。
本实施例的图像处理方法，通过获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的副图像之后，根据n帧第一图像进行合成降噪，得到一帧主图像。进而根据主图像和副图像计算该主图像的深度信息，从而最终根据主图像的深度信息，对主图像进行虚化处理，得到所需的第二图像。由于采用了根据n帧第一图像进行合成降噪得到一帧主图像，减小了图像中的噪声，使得主图像的清晰度较高。同时，副摄像头拍摄的副图像与主摄像头拍摄的基础帧图像是同步拍摄得到的，从而依据对应的副图像对高清晰度的主图像进行后续的虚化处理，一方面提高了成像照片的成像效果，另一方面提高了深度信息的准确性，从而使得图像处理效果较好，解决了现有技术中虚化处理后的图像效果较差的技术问题。
为了实现上述实施例，本申请还提出一种图像处理装置。
图4为本申请实施例提供的一种图像处理装置的结构示意图。该图像处理装置，可以应用于移动终端上。
如图4所示，该图像处理装置包括：获取模块410、降噪模块420、计算模块430，以及处理模块440。其中，
获取模块410，用于获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的副图像；其中，n为大于或等于2的自然数；n帧第一图像中包含一帧基础帧图像，副摄像头拍摄的副图像与主摄像头拍摄的基础帧图像是同步拍摄得到的。
降噪模块420，用于根据n帧第一图像进行合成降噪，得到一帧主图像。
计算模块430，用于根据主图像和副图像计算主图像的深度信息。
处理模块440，用于根据主图像的深度信息，对主图像进行虚化处理，得到所需的第二图像。
进一步地，作为一种可能的实现方式，参见图5，在图4所示的基础上，该图像处理装置还可以包括：确定模块450和读取模块460。其中，
确定模块450，用于根据环境亮度，从双摄像头中确定出主摄像头和副摄像头；根据环境亮度，确定主摄像头对应的合成帧数n；其中，n与环境亮度具有反向关系，n取值范围为2至6。
读取模块460，用于读取双摄像头的感光度iso值；根据读取到的双摄像头的iso值，确定环境亮度。
作为一种可能的实现方式，获取模块410，包括：
拍摄单元411，用于当探测到拍照操作时，控制主摄像头和副摄像头同步拍照，分别得到多帧拍摄图像。
第一选取单元412，用于从主摄像头的多帧拍摄图像中，选取连续拍摄的n帧拍摄图像作为n帧第一图像；根据n帧第一图像的清晰度，从n帧第一图像中确定一帧基础帧图像。
第二选取单元413，用于从副摄像头的多帧拍摄图像中，选取与基础帧图像同步拍摄的一帧拍摄图像，作为副图像。
第三选取单元414，用于从副摄像头的多帧拍摄图像中，选取与基础帧图像同步拍摄的一帧拍摄图像，作为副图像。
需要说明的是，前述对图像处理方法实施例的解释说明也适用于该实施例的图像处理装置，此处不再赘述。
本实施例的图像处理装置，通过获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的副图像之后，根据n帧第一图像进行合成降噪，得到一帧主图像。进而根据主图像和副图像计算该主图像的深度信息，从而最终根据主图像的深度信息，对主图像进行虚化处理，得到所需的第二图像。由于采用了根据n帧第一图像进行合成降噪得到一帧主图像，减小了图像中的噪声，使得主图像的清晰度较高。同时，副摄像头拍摄的副图像与主摄像头拍摄的基础帧图像是同步拍摄得到的，从而依据对应的副图像对高清晰度的主图像进行后续的虚化处理，一方面提高了成像照片的成像效果，另一方面提高了深度信息的准确性，从而使得图像处理效果较好，解决了现有技术中虚化处理后的图像效果较差的技术问题。
为了实现上述实施例，本申请还提出一种移动终端，图6是根据本申请另一个实施例的终端设备的结构示意图，如图5所示，该终端设备1000包括：壳体1100和位于壳体1100内的主摄像头1112、副摄像头1113、存储器1114和处理器1115。
其中，存储器1114存储有可执行程序代码；处理器1115通过读取存储器1114中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行如前述方法实施例所述的图像处理方法。
为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被移动终端的处理器执行时实现如前述实施例中图像处理方法。
上述移动终端中还包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义isp(imagesignalprocessing，图像信号处理)管线的各种处理单元。图7为一个实施例中图像处理电路的示意图。如图7所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图7所示，图像处理电路包括isp处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由isp处理器940处理，isp处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910具体可以包括两个摄像头，每一个摄像头可包括具有一个或多个透镜912和图像传感器914。图像传感器914可包括色彩滤镜阵列(如bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由isp处理器940处理的一组原始图像数据。传感器920可基于传感器920接口类型把原始图像数据提供给isp处理器940。传感器920接口可以利用smia(standardmobileimagingarchitecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
isp处理器940按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，isp处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
isp处理器940还可从图像存储器930接收像素数据。例如，从传感器920接口将原始像素数据发送给图像存储器930，图像存储器930中的原始像素数据再提供给isp处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括dma(directmemoryaccess，直接直接存储器存取)特征。
当接收到来自传感器920接口或来自图像存储器930的原始图像数据时，isp处理器940可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器930，以便在被显示之前进行另外的处理。isp处理器940从图像存储器930接收处理数据，并对所述处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit，图形处理器)进一步处理。此外，isp处理器940的输出还可发送给图像存储器930，且显示器970可从图像存储器930读取图像数据。在一个实施例中，图像存储器930可被配置为实现一个或多个帧缓冲器。此外，isp处理器940的输出可发送给编码器/解码器960，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器970设备上之前解压缩。编码器/解码器960可由cpu或gpu或协处理器实现。
isp处理器940确定的统计数据可发送给控制逻辑器950单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备910的控制参数以及的控制参数。例如，控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如，在rgb处理期间)的增益水平和色彩校正矩阵，以及透镜912阴影校正参数。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
- 还没有人留言评论。精彩留言会获得点赞！