图像处理方法和装置与流程
本发明涉及移动终端技术领域，尤其涉及一种图像处理方法和装置。
背景技术：
对于移动终端设备来说，由于尺寸的限制，导致移动终端往往不能通过光学方式，实现背景的虚化效果。现有技术中，为了实现对图像的背景虚化处理，可以采用双摄像头，分别采集两张照片。将这两张照片中的一张作为成像照片，并根据另一张照片计算这张成像照片的深度信息，据此，对成像照片的背景进行虚化处理。
但是，现有技术中的这种方式，在暗光环境下，由于成像照片的成像效果不佳，同时，深度信息也不够准确，导致虚化处理后的图像效果较差。
技术实现要素：
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明提出一种图像处理方法，用于提高成像照片的成像效果，以及提高深度信息的准确性，以解决现有技术中虚化处理后的图像效果较差的技术问题。
本发明提出一种图像处理装置。
本发明提出一种移动终端。
本发明提出一种计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种图像处理方法，所述方法包括以下步骤：
获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的m帧第二图像；其中，n和m为大于或等于2的自然数；
根据所述n帧第一图像进行合成降噪，得到一帧主图像，以及根据所述m帧第二图像进行合成降噪，得到一帧副图像；
根据所述主图像和所述副图像，计算所述主图像的深度信息；
根据所述主图像的深度信息，对所述主图像进行虚化处理，得到所需的目标图像。
本发明实施例的图像处理方法，通过获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的m帧第二图像之后，根据n帧第一图像进行合成降噪得到一帧主图像，以及根据m帧第二图像进行合成降噪得到一帧副图像。进而根据主图像和副图像计算该主图像的深度信息，从而最终根据深度信息，进行虚化处理，得到所需的目标图像。由于采用了根据n帧第一图像进行合成降噪得到一帧主图像，以及根据m帧第二图像进行合成降噪得到一帧副图像的方式，减小了图像中的噪声，使得主图像和副图像的清晰度较高。依据高清晰度的主图像和副图像进行后续的虚化处理，一方面提高了成像照片的成像效果，另一方面提高了深度信息的准确性，从而使得图像处理效果较好，解决了现有技术中虚化处理后的图像效果较差的技术问题。
为达上述目的，本发明第二方面实施例提出了一种图像处理装置，包括：
获取模块，用于获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的m帧第二图像；其中，n和m为自然数；
降噪模块，用于根据所述n帧第一图像进行合成降噪，得到一帧主图像，以及根据所述m帧第二图像进行合成降噪，得到一帧副图像；
生成模块，用于根据所述主图像，生成成像图像；
计算模块，用于根据所述副图像计算所述成像图像的深度信息；
处理模块，用于根据所述成像图像的深度信息，对所述成像图像进行虚化处理，得到所需的目标图像。
本发明实施例的图像处理装置，通过获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的m帧第二图像之后，根据n帧第一图像进行合成降噪得到一帧主图像，以及根据m帧第二图像进行合成降噪得到一帧副图像。进而根据主图像和副图像计算该主图像的深度信息，从而最终根据深度信息，进行虚化处理，得到所需的目标图像。由于采用了根据n帧第一图像进行合成降噪得到一帧主图像，以及根据m帧第二图像进行合成降噪得到一帧副图像的方式，减小了图像中的噪声，使得主图像和副图像的清晰度较高。依据高清晰度的主图像和副图像进行后续的虚化处理，一方面提高了成像照片的成像效果，另一方面提高了深度信息的准确性，从而使得图像处理效果较好，解决了现有技术中虚化处理后的图像效果较差的技术问题。
为达上述目的，本发明第三方面实施例提出了一种移动终端，包括：主摄像头、副摄像头、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；所述处理器执行所述程序时，实现如第一方面所述的基于双摄像头的成像方法。
为了实现上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，该程序被处理器执行时实现如第一方面所述的图像处理方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种图像处理方法的流程示意图；
图2为三角测距的原理示意图；
图3a为本发明实施例提供的另一种图像处理方法的流程示意图；
图3b为摄像模组的结构示意图；
图4为本发明实施例提供的一种图像处理装置的结构示意图；
图5为本发明实施例提供的另一种图像处理装置的结构示意图；
图6为本发明实施例提供的一种终端设备的结构示意图；
图7为一个实施例中图像处理电路的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的图像处理方法和装置。
其中，本申请实施例的图像处理方法的执行设备可以是手机、平板电脑、个人数字助理、穿戴式设备等具有双摄像头的硬件设备，该穿戴式设备可以是智能手环、智能手表、智能眼镜等。
图1为本发明实施例所提供的一种基于图像处理方法的流程示意图。
如图1所示，该图像处理方法包括以下步骤：
步骤101，获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的m帧第二图像。
其中，n和m为大于或等于2的自然数。
本实施例中，通过对多帧第一图像和多帧第二图像进行合成降噪，从而提高成像质量。在实际应用中，由于双摄像头在暗光环境下成像效果较差，导致拍摄的第一图像和第二图像中包含较多噪声。在强光下，由于光线充足，因而，双摄像头的成像效果通常较好。基于双摄像头在不同环境下的成像性能，可以对n和m的取值进行调整，例如，在暗光环境下，n和m的取值较大，以尽可能提高成像效果；在强光下，n和m的取值较小，以在保证成像效果的同时，减少系统处理压力。
具体而言，在本申请的一个实施例中，检测拍摄环境的亮度，比如通过终端设备中的光传感器，或者根据双摄像头的iso值，检测拍摄环境的亮度，如果检测获知亮度属于某一区间，查询该区间对应的n和m取值，进而控制主摄像头n帧第一图像和副摄像头拍摄m帧第二图像。
其中，各区间对应的n和m取值，可以是根据大量实验的数据标定得到的，在实验过程中，针对每一环境亮度区间，测试不同n和m取值情况下，对n帧第一图像和m帧第二图像进行合成降噪后的成像效果以及处理时长，确定在满足预设处理时长的情况下，能够达到最优成像效果的n和m的取值，建立该最优成像效果的n和m的取值和该亮度区间的对应关系。
需要说明的是，n和m的取值还可以与终端设备的成像硬件相关，成像硬件的感光性越好，n和m取值越小。
步骤102，根据n帧第一图像进行合成降噪，得到一帧主图像，以及根据m帧第二图像进行合成降噪，得到一帧副图像。
具体地，采用降噪算法，对n帧第一图像进行合成降噪得到一帧主图像，以及对m帧第二图像进行合成降噪，得到一帧副图像。这里的降噪算法可以是非局部均值(nonlocalmeans)降噪算法，当然还可以是其他降噪算法，本实施例中对此不作限定。
为了便于清楚理解多帧合成降噪过程，下面将对多帧合成降噪进行简要介绍。
当环境光线不足时，移动终端等成像设备一般采用自动提高感光度的方式。但这种提高感光度的方式，导致了图像中噪声较多。多帧合成降噪就是为了减少图像中的噪声点，改善高感光情况下所拍摄的图像画质。其原理在于，噪点是无序排列的这一先验知识，具体来说，连拍多帧拍摄图像后，同一个位置出现的噪点可能是红噪点，也可能是绿噪点、白噪点，甚至是没有噪点，这样就有了比对筛选的条件，可以在对多帧拍摄图像进行配准后，依据多帧拍摄图像中对应同一位置的各像素点的取值，将属于噪声的像素点(即噪点)筛选出来。进一步地，在筛选出噪点之后，还可以根据进一步法的算法对噪点进行猜色和像素替换处理，达到去除噪点的效果。经过这样的过程，就能够达到画质损失度极低的降噪效果了。
例如，作为一种比较简便的多帧合成降噪方法，可以在获取多帧拍摄图像之后，读取多帧拍摄图像中对应同一位置的各像素点的取值，通过对这些像素点计算加权平均值，生成合成图像中该位置的像素点的取值。通过这种方式，可以得到清晰的图像。
在多帧拍摄图像中，存在一帧最为清晰的图像，我们可以将其作为基础帧，作为一种可能的实现方式，该基础帧的权重可以大于其他拍摄图像的权重，也就是说，实质上，实现了以其他拍摄图像作为参考，识别并去除基础帧中的噪点的作用。
步骤103，根据主图像和副图像，计算主图像的深度信息。
具体地，由于主副摄像头之间具有一定的距离，从而导致了这两个摄像头具有视差，不同的摄像头拍摄的图像应该是不同的。主图像和副图像是分别由不同的摄像头拍摄的图像合成降噪后得到的，因此，主图像和副图像之间也应具有但一定差异性。根据三角测距原理，可以依据主图像和副图像之间关于同一对象的差异性，计算得到该对象的深度信息，也就是该对象距离主副摄像头所在平面的距离。当计算出主图像中各对象的深度信息时，便得到了该主图像的深度信息。
为了清楚说明这一过程，下面将对三角测距原理进行简要介绍。
而在实际场景，人眼分辨景物的深度主要是依靠双目视觉分辨出的。这和双摄像头分辨深度的原理一样。本实施例中计算成像图像的深度信息，主要方法是依靠三角测距原理，图2为三角测距的原理示意图。
基于图2中，在实际空间中，画出了成像的对象，以及两个摄像头所在位置or和ot，以及两个摄像头的焦平面，焦平面距离两个摄像头所在平面的距离为f，在焦平面位置两个摄像头进行成像，从而得到两张拍摄图像。
p和p’分别是同一对象在不同拍摄图像中的位置。其中，p点距离所在拍摄图像的左侧边界的距离为xr，p’点距离所在拍摄图像的左侧边界的距离为xt。or和ot分别为两个摄像头，这两个摄像头在同一平面，距离为b。
基于三角测距原理，图2中的对象与两个摄像头所在平面之间的距离z，具有如下关系：
基于此，可以推得
步骤104，根据主图像的深度信息，对主图像进行虚化处理，得到所需的目标图像。
具体地，计算得到主图像的深度信息之后，可以根据主图像中各对象的深度信息，确定出该对象为前景还是背景。一般来说，深度信息指示对象距离主副摄像头所在平面较近，深度取值较小时，可以确定该对象为前景，否则，该对象为背景。
可以对识别出的背景，进行虚化处理，得到目标图像，在目标图像中，前景更加突出，背景得到了虚化，呈现出对焦前景的成像效果。
根据深度信息对目标主图像的背景区域进行虚化处理时，可以采用如下处理方式：
根据深度信息和对焦区域获取前景区域的第一深度信息和背景区域的第二深度信息，根据第一深度信息和第二深度信息生成虚化强度，根据虚化强度对目标主图像的背景区域进行虚化处理，从而，根据不同的深度信息进行不同程度的虚化，使得虚化的图像效果更加自然且富有层次感。
其中，在对拍摄的主体聚焦后，在主体所在的焦点区域之前和之后一段人眼可清晰成像的空间深度范围为深度信息。可以理解，在对焦区域之前成像的范围为前景区域的第一深度信息，在对焦区域之后清晰成像的范围为背景区域的第二深度信息。
其中，在虚化时，可以通过不同的实现方式来根据虚化强度对目标主图像的背景区域进行虚化处理：
作为一种可能的实现方式，根据虚化强度和目标主图像的背景区域中每个像素的深度信息获取每个像素的虚化系数，其中，虚化系数与虚化强度有关，虚化系数越大，虚化强度越高，比如，可通过计算虚化强度和目标主图像的背景区域中每个像素的深度信息的乘积，获取每个像素的虚化系数，进而，根据每个像素的虚化系数对目标主图像的背景区域进行虚化处理。
作为另一种可能的实现方式，由于第二深度信息与焦点区域的深度信息的差值越大，表示对应的背景区域与焦点区域距离越远，越不相关，从而对应的虚化强度越大，在该示例中，可以预先存储第二深度信息与焦点区域的深度信息的差值与虚化强度的对应关系，在该对应关系中，第二深度信息与焦点区域的深度信息的差值越大，对应的虚化强度越大，从而，获取目标主图像的背景区域的第二深度信息与焦点区域深度信息的差值，根据该差值查询上述对应关系获取对应的虚化强度，根据该虚化强度对对应深度信息的背景区域进行虚化。
本实施例中，通过获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的m帧第二图像之后，根据n帧第一图像进行合成降噪得到一帧主图像，以及根据m帧第二图像进行合成降噪得到一帧副图像。进而根据主图像和副图像计算该主图像的深度信息，从而最终根据深度信息，进行虚化处理，得到所需的目标图像。由于采用了根据n帧第一图像进行合成降噪得到一帧主图像，以及根据m帧第二图像进行合成降噪得到一帧副图像的方式，减小了图像中的噪声，使得主图像和副图像的清晰度较高。依据高清晰度的主图像和副图像进行后续的虚化处理，一方面提高了成像照片的成像效果，另一方面提高了深度信息的准确性，从而使得图像处理效果较好，解决了现有技术中虚化处理后的图像效果较差的技术问题。
为了清楚说明上一实施例，本实施例提供了另一种图像处理方法，图3a为本发明实施例提供的另一种图像处理方法的流程示意图。
该图像处理方法，具体可以由具有双摄像头的手机、平板电脑、个人数字助理、穿戴式设备等硬件设备执行，该具有双摄像头的硬件设备中，包含摄像模组，图3b为摄像模组的结构示意图，如图3b所示，该摄像模组中包括主摄像头和副摄像头。主摄像头和副摄像头均具有各自独立的镜片、图像传感器和音圈马达。双摄像头中的主摄像头和副摄像头均与摄像头连接头相连，从而根据摄像头连接头提供的电流值驱动音圈马达，使得主摄像头和副摄像头在音圈马达的驱动下调整镜片与图像传感器之间的距离，从而实现对焦。
作为一种可能的应用场景，副摄像头的分辨率低于主摄像头的分辨率，在进行对焦时，可以仅采用副摄像头进行对焦，当副摄像头合焦时，获取副摄像头的马达的第二驱动电流值，进而在主摄像头和所述副摄像头具有相同合焦距离条件下，根据第二驱动电流值，确定主摄像头的马达的第一驱动电流值，采用第一驱动电流值驱动主摄像头进行对焦。由于副摄像头分辨率较低，图像处理速度较快，从而能够加快对焦速度，解决了现有技术中双摄像头对焦速度较慢的技术问题。
如图3b所示，双摄像头的主摄像头和副摄像头之间具有一定的间距。根据上一实施例提及的公式
在双摄像头的具体实现过程中，可以选择不同的摄像头组合，作为双摄像头中的主摄像头和副摄像头，从而适应不同的用户需求。
在一种应用场景中，需要较高的对焦速度，从而双摄像头中的主摄像头具体为普通摄像头，双摄像头中的副摄像头具体为双像素(pd，dualpixel)摄像头。其中，双pd摄像头的分辨率要低于普通摄像头，从而具有更快的对焦速度。
需要说明的是，双pd摄像头的每个像素由两个单元构成，两个单元可以作为相位对焦检测点，也可以组合成一个像素的成像，从而极大改善了电子取景时的对焦性能。双pd互补金属氧化物半导体(cmos，complementarymetaloxidesemiconductor)，传感器摄像头是较为常用的具体采用cmos作为传感器的双pd摄像头，最早是采用在单反相机上。
在另一种应用场景中，需要较佳的成像效果，从而将广角摄像头和长焦摄像头的组合作为双摄像头。根据拍摄需求切换主副摄像头。具体来说，当拍近景时，使用广角镜头作为主摄像头，长焦镜头作为副摄像头；拍远景时，使用长焦镜头作为主摄像头，使用广角镜头作为副摄像头，从而不仅实现光学变焦功能，而且，还保证了成像质量以及后续虚化效果。
在具体双摄像头的选择上，还可以有多种可能的实现方式，本实施例中对此不再赘述。
如图3a所示，基于前述的具有双摄像头的设备，可以实现本实施例提供的另一种图像处理方法，该方法可以包括以下步骤：
步骤301，探测到拍照操作。
具体地，用户确定预览界面所展示的图像符合预期时，可以点击浮于预览界面上方的拍摄控件，从而移动终端探测到拍摄操作。
步骤302，读取主摄像头和副摄像头的iso值。
具体地，一般来说，主摄像头和副摄像头应采用相同的iso值，从而采用该iso值，便可以确定对应的环境亮度。但若读取到的主摄像头iso值和副摄像头iso值是不同的，可以根据两者的平均值确定对应的环境亮度。
步骤303，根据读取到的主摄像头和副摄像头的iso值，确定环境亮度。
iso值用来指示摄像头的感光度，常用的iso值有50、100、200、400、1000等等，摄像头可以根据环境亮度，自动调节iso值，从而，本实施例中，可以根据iso值，反推出环境亮度。一般在光线充足的情况下，iso值取50或100，在光线不足的情况下，iso值可以为400或更高。
作为一种可能的实现方式，可以将iso值取值范围划分为几个区间，每一个区间对应一个环境亮度等级。
例如：
iso值区间[0,100)对应环境亮度等级为亮；
iso值区间[100,400)对应环境亮度等级为一般；
iso值区间400以上对应环境亮度等级为暗。
步骤304，根据环境亮度，确定主摄像头对应的合成帧数n，以及副摄像头对应的合成帧数m。
具体地，根据环境亮度来确定多帧合成的帧数，环境亮度越暗用来合成的帧数越多，也就是说，这里的m和n均与环境亮度具有反向关系。
作为一种可能的实现方式，m和n取值相同，取值范围均为2至6。
例如：
环境亮度等级为暗时，m＝n＝6；
环境亮度等级为一般时，m＝n＝4；
环境亮度等级为亮时，m＝n＝2。
需要说明的是，以上环境亮度等级的划分，以及m和n取值仅作为示例，不构成对本实施例的限制，本领域技术人员可以想到，通过有限次试验确定出最佳的环境亮度等级划分方式及m和n的取值。
步骤305，主摄像头和副摄像头同步拍照，分别得到多帧拍摄图像。
具体地，主摄像头和副摄像头同步拍照是指，主摄像头拍摄的同时，副摄像头也进行拍摄。主摄像头和副摄像头均拍摄多帧拍摄图像。
步骤306，从主摄像头的多帧拍摄图像中，选取连续拍摄的n帧拍摄图像作为n帧第一图像，从副摄像头的多帧拍摄图像中，选取连续拍摄m帧拍摄图像作为m帧第二图像。
可选地，根据图像清晰度，从主摄像头的多帧拍摄图像中，选取连续拍摄的n帧拍摄图像作为n帧第一图像，以及从副摄像头的多帧拍摄图像中，选取连续拍摄m帧拍摄图像作为m帧第二图像。
需要说明的是，当n＝m时，选取的n帧第一图像和m帧第二图像可以是同步拍摄得到的，也可以是不同步的，本实施例中对此不作限定。
步骤307，对n帧第一图像进行合成降噪，得到一帧主图像，以及对m帧第二图像进行合成降噪，得到一帧副图像。
具体合成降噪过程参见前述实施例中的相关描述，本实施例中对此不再赘述。
步骤308，对主图像进行截取。
具体地，若主摄像头的视场角大于副摄像头的视场角，由于主摄像头和副摄像头通常位于同一平面上，因此，主摄像头的取景范围要大于副摄像头的取景范围。基于此，主摄像头的拍摄图像中的各对象，存在未被副摄像头拍摄到的可能性，也就是说，该对象可能不存在于副摄像头的拍摄图像中。在这种情况下，需要对主摄像头对应的主图像进行裁剪，截取保留与副摄像头的取景画面相同的区域。
需要说明的是，若主摄像头的视场角小于或等于副摄像头的视场角，由于主摄像头和副摄像头通常位于同一平面上，因此，主摄像头的取景范围要小于或等于副摄像头的取景范围。基于此，主摄像头的拍摄图像中的各对象，在不考虑盲区的情况下，应同时处于副摄像头的拍摄图像中，在这种情况下，无需对主摄像头对应的主图像进行截取。
步骤309，根据主图像和副图像计算主图像的深度信息。
具体地，对主图像和副图像进行配准后，根据主图像和副图像中，关于同一对象的位置偏差，以及双摄像头的参数，计算得到主图像中各对象的深度信息。当计算得到主图像中全部对象的深度信息时，便得到了该主图像的深度信息。
步骤310，根据主图像的深度信息，对主图像进行虚化处理，得到所需的目标图像。
具体地，计算得到主图像的深度信息之后，可以根据主图像中各对象的深度信息，确定出该对象为前景还是背景。一般来说，深度信息指示对象距离主副摄像头所在平面较近，深度取值较小时，可以确定该对象为前景，否则，该对象为背景。进而，可以对识别出的背景，进行虚化处理，得到目标图像。
本实施例中，通过获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的m帧第二图像之后，根据n帧第一图像进行合成降噪得到一帧主图像，以及根据m帧第二图像进行合成降噪得到一帧副图像。进而根据主图像和副图像计算该主图像的深度信息，从而最终根据深度信息，进行虚化处理，得到所需的目标图像。由于采用了根据n帧第一图像进行合成降噪得到一帧主图像，以及根据m帧第二图像进行合成降噪得到一帧副图像的方式，减小了图像中的噪声，解决了现有技术中虚化处理后的图像效果较差的技术问题。
为了实现上述实施例，本发明还提出一种图像处理装置。
图4为本发明实施例提供的一种图像处理装置的结构示意图。该装置可以应用于移动终端上。
如图4所示，该装置包括：获取模块41、降噪模块42、计算模块43和处理模块44。
获取模块41，用于获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的m帧第二图像。
其中，n和m为大于或等于2的自然数。
具体地，获取模块41具体用于当探测到拍照操作时，所述主摄像头和所述副摄像头同步拍照，分别得到多帧拍摄图像；从所述主摄像头的多帧拍摄图像中，选取连续拍摄的n帧拍摄图像作为所述n帧第一图像；从所述副摄像头的多帧拍摄图像中，选取连续拍摄m帧拍摄图像作为所述m帧第二图像。
降噪模块42，用于根据所述n帧第一图像进行合成降噪，得到一帧主图像，以及根据所述m帧第二图像进行合成降噪，得到一帧副图像。
计算模块43，用于根据所述主图像和所述副图像，计算所述主图像的深度信息。
处理模块44，用于根据所述主图像的深度信息，对所述主图像进行虚化处理，得到所需的目标图像。
在图4基础上，本发明实施例还提供了另一种图像处理装置，如图5所示，图像处理装置还包括：
确定模块45，用于确定环境亮度，根据环境亮度，确定主摄像头对应的合成帧数n，以及副摄像头对应的合成帧数m。
其中，m和n均与环境亮度具有反向关系。可选地，m和n取值相同，取值范围为2至6。
具体地，确定模块45用于读取主摄像头和副摄像头的iso值，根据读取到的主摄像头和副摄像头的iso值，确定环境亮度。
本实施例中，通过获取主摄像头拍摄得到的n帧第一图像，以及获取副摄像头拍摄得到的m帧第二图像之后，根据n帧第一图像进行合成降噪得到一帧主图像，以及根据m帧第二图像进行合成降噪得到一帧副图像。进而根据主图像和副图像计算该主图像的深度信息，从而最终根据深度信息，进行虚化处理，得到所需的目标图像。由于采用了根据n帧第一图像进行合成降噪得到一帧主图像，以及根据m帧第二图像进行合成降噪得到一帧副图像的方式，减小了图像中的噪声，解决了现有技术中虚化处理后的图像效果较差的技术问题。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
为了实现上述实施例，本发明还提出一种移动终端，图6为本发明实施例提供的一种终端设备的结构示意图，如图6所示，该终端设备1000包括：壳体1100和位于壳体1100内的主摄像头1112、副摄像头1113、存储器1114和处理器1115。
其中，存储器1114存储有可执行程序代码；处理器1115通过读取存储器1114中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行如前述方法实施例所述的基于双摄像头的成像方法。
其中，主摄像头的视场角可以小于或等于副摄像头的视场角。从而使得主摄像头的取景画面包含于副摄像头的取景画面中，便于对主摄像头对应的主画面计算深度信息。
为了实现上述实施例，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被移动终端的处理器执行时实现如前述实施例中基于双摄像头的成像方法。
上述移动终端中还包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义isp(imagesignalprocessing，图像信号处理)管线的各种处理单元。图7为一个实施例中图像处理电路的示意图。如图7所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。
如图7所示，图像处理电路包括isp处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由isp处理器940处理，isp处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910具体可以包括两个摄像头，即主摄像头和副摄像头，每一个摄像头可包括具有一个或多个透镜912和图像传感器914。图像传感器914可包括色彩滤镜阵列(如bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由isp处理器940处理的一组原始图像数据。传感器920可基于传感器920接口类型把原始图像数据提供给isp处理器940。传感器920接口可以利用smia(standardmobileimagingarchitecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
isp处理器940按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，isp处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
isp处理器940还可从图像存储器930接收像素数据。例如，从传感器920接口将原始像素数据发送给图像存储器930，图像存储器930中的原始像素数据再提供给isp处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括dma(directmemoryaccess，直接直接存储器存取)特征。
当接收到来自传感器920接口或来自图像存储器930的原始图像数据时，isp处理器940可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器930，以便在被显示之前进行另外的处理。isp处理器940从图像存储器930接收处理数据，并对所述处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit，图形处理器)进一步处理。此外，isp处理器940的输出还可发送给图像存储器930，且显示器970可从图像存储器930读取图像数据。在一个实施例中，图像存储器930可被配置为实现一个或多个帧缓冲器。此外，isp处理器940的输出可发送给编码器/解码器960，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器970设备上之前解压缩。编码器/解码器960可由cpu或gpu或协处理器实现。
isp处理器940确定的统计数据可发送给控制逻辑器950单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备910的控制参数以及的控制参数。例如，控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如，在rgb处理期间)的增益水平和色彩校正矩阵，以及透镜912阴影校正参数。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
- 还没有人留言评论。精彩留言会获得点赞！