一种图像处理方法及移动终端的制作方法
【专利摘要】本发明公开了一种图像处理方法及移动终端，其方法包括：获取在同一时间段内第一摄像头采集的第一图像和第二摄像头采集的N帧图像；对第一图像和N帧图像进行合成处理，生成最终输出的目标图像；其中，第一图像为正常曝光图像，N帧图像均为欠曝图像，第一摄像头和第二摄像头采集图像的起始时间相同，且第一摄像头的第一曝光时长为第二摄像头的第二曝光时长的N倍，N为正整数。本发明的图像处理方法，通过采用双摄像头实现电子防抖，将1+N帧图像数据进行合成，能够得到细节丰富、画质较高的输出图像，从而实现电子防抖；此外，该图像处理方法适用于单拍、连拍、全景拍照和录影等多种应用场景，解决了电子防抖局限性大的问题。
【专利说明】
一种图像处理方法及移动终端
技术领域
[0001]本发明涉及通信技术领域，尤其涉及一种图像处理方法及移动终端。
【背景技术】
[0002]随着通信技术的发展，移动终端具备有越来越多的娱乐功能，其中，拍照功能作为娱乐功能的核心之一，成为用户考量移动终端的一个重要方面。现有技术中，通常使用单摄像头技术实现摄影成像，但是由于单摄像头感光芯片性能的局限性，获得的照片容易丢失细节，在拍摄过程中容易出现画面抖动、拖影等成像问题。为了解决拍摄过程中出现的画面抖动、拖影等成像问题，目前通常采用增加硬件部件以实现光学防抖，但由于成本较高，仅能在高端机型中搭载。
[0003]为了节省硬件成本，业界技术人员着力于电子防抖算法的研究与应用，目前，电子防抖的过程包括:打开相机并启动预览，根据对焦区域执行3A算法(自动对焦AF、自动曝光AE和自动白平衡AWB)，当用户点击拍照按钮后，高增益降低拍照时间，并抓取RAW格式的图像原始数据，进入图像信号处理器(Image Signal Processing，ISP)进行处理，将RAW格式的图像原始数据转换为JPEG格式图像数据，最后进行压缩并保存。由于单摄像头的限制，每一帧只能获取一帧图像数据，目前电子防抖算法一般只能作用于点击拍照的时刻，而且只能拍摄单张照片，使得电子防抖的应用受到很大的限制。
【发明内容】
[0004]本发明实施例提供了一种图像处理方法及移动终端，以解决光学防抖成本高以及单摄像头电子防抖局限性大的问题。
[0005]第一方面，本发明实施例提供了一种图像处理方法，应用于移动终端，移动终端包括第一摄像头和第二摄像头，其中，该图像处理方法包括:
[0006]获取在同一时间段内第一摄像头采集的第一图像和第二摄像头采集的N帧图像；
[0007]对第一图像和N帧图像进行合成处理，生成最终输出的目标图像；
[0008]其中，第一图像为正常曝光图像，N帧图像均为欠曝图像，第一摄像头和第二摄像头采集图像的起始时间相同，且第一摄像头的第一曝光时长为第二摄像头的第二曝光时长的N倍，N为正整数。
[0009]第二方面，本发明实施例还提供了一种移动终端，包括第一摄像头和第二摄像头，其中，该移动终端还包括:
[0010]第一获取模块，用于获取在同一时间段内第一摄像头采集的第一图像和第二摄像头米集的N帧图像；
[0011]处理模块，用于对第一图像和N帧图像进行合成处理，生成最终输出的目标图像；
[0012]其中，第一图像为正常曝光图像，N帧图像均为欠曝图像，第一摄像头和第二摄像头采集图像的起始时间相同，且第一摄像头的第一曝光时长为第二摄像头的第二曝光时长的N倍，N为正整数。
[0013]这样，本发明的图像处理方法及移动终端，通过采用双摄像头实现电子防抖，获取在同一时间段内第一摄像头采集的第一图像和第二摄像头采集的N帧图像，对第一图像和N帧图像进行合成处理，生成最终输出的目标图像，其中，由于第一摄像头每输出一帧图像数据，第二摄像头都会输出N帧图像数据，将1+N帧图像数据进行合成，以得到细节丰富、画质较高的输出图像，从而实现电子防抖;此外，该图像处理方法适用于单拍、连拍、全景拍照和录影等多种应用场景，解决了电子防抖局限性大的问题。
【附图说明】
[0014]为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0015]图1表示本发明的图像处理方法的第一实施例的流程图；
[0016]图2表示本发明的图像处理方法的第二实施例的流程图；
[0017]图3表示图2中步骤203的流程图；
[0018]图4表示本发明的图像处理方法的第三实施例的流程图；
[0019]图5表示图4中步骤402的流程图；
[0020]图6表示本发明的移动终端的第四实施例的结构示意图之一；
[0021]图7表示本发明的移动终端的第四实施例的结构示意图之二；
[0022]图8表示本发明移动终端的第五实施例的框图；
[0023]图9表示本发明移动终端的第六实施例的框图。
【具体实施方式】
[0024]下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
[0025]第一实施例
[0026]如图1所示，本发明的实施例提供了一种图像处理方法，应用于一移动终端，该移动终端包括第一摄像头和第二摄像头，该图像处理方法具体包括:
[0027]步骤101:获取在同一时间段内第一摄像头采集的第一图像和第二摄像头采集的N帧图像。
[0028]其中，第一图像为正常曝光图像，N帧图像均为欠曝图像，第一摄像头和第二摄像头采集图像的起始时间相同，第一摄像头的第一曝光时长为第二摄像头的第二曝光时长的N倍，N为正整数。进一步地，拍摄时间段的时长为第一摄像头的第一曝光时长。即，获取第一摄像头在其第一曝光时长内拍摄的一帧第一图像和第二摄像头在相同时间段内拍摄的N帧图像。也就是说，因为第一摄像头的第一曝光时长为第二摄像头的第二曝光时长的N倍，所以在第一摄像头拍摄一帧图像的同时，第二摄像头能够拍摄N帧图像。
[0029]步骤102:对第一图像和N帧图像进行合成处理，生成最终输出的目标图像。
[0030]由于第二摄像头的第二曝光时间为第一摄像头的第一曝光时间的1/N，因此第二摄像头采集到的N帧图像的细节更加丰富，进一步采用图像合成算法，将第一摄像头输出的一帧第一图像和第二摄像头输出的N帧图像进行合成处理，例如:将第一图像和N帧图像采用合成叠加的方式合成为一张图像，由于第一摄像头与第二摄像头存在位置偏差，在合成过程中先将第一图像和N帧图像调整为同一视角，再进行叠加，从而能够将1+N帧图像中的各个细节合成到一帧图像中，这样即可得到一帧细节丰富、画质较高的输出图像，从而实现电子防抖。进一步地，该图像处理方法适用于单拍、连拍、全景拍照和录影等多种应用场景，解决了电子防抖局限性大的问题。
[0031]本发明实施例的图像处理方法，通过采用双摄像头实现电子防抖，获取在同一时间段内第一摄像头采集的第一图像和第二摄像头采集的N帧图像，对第一图像和N帧图像进行合成处理，生成最终输出的目标图像，其中，由于第一摄像头每输出一帧图像数据，第二摄像头都会输出N帧图像数据，将1+N帧图像数据进行合成，以得到细节丰富、画质较高的输出图像，从而实现电子防抖。
[0032]第二实施例
[0033]以上第一实施例对本发明的图像处理方法进行了简单介绍，下面本实施例将结合附图和具体应用场景对其进行进一步地说明。
[0034]如图2所示，该图像处理方法具体包括:
[0035]步骤201:获取在同一时间段内第一摄像头采集的第一图像和第二摄像头采集的N帧图像。
[0036]其中，第一图像为正常曝光图像，N帧图像均为欠曝图像，第一摄像头和第二摄像头采集图像的起始时间相同，第一摄像头的第一曝光时长为第二摄像头的第二曝光时长的N倍，N为正整数。进一步地，拍摄时间段的时长为第一摄像头的第一曝光时长。而在获取第一图像和N帧图像之前，该图像处理方法还包括:
[0037]获取第一摄像头采集到的实时图像数据。
[0038]其中，在获取第一摄像头采集到的实时图像数据之前，该图像处理方法还包括:根据拍照或连拍或全景拍摄或摄像指令，启动第一摄像头和第二摄像头并开始采集实时图像。其中，这里所说的拍照或连拍或全景拍摄或摄像指令的触发方式可以是由物理按键或虚拟按键触发的，也可以是通过生物识别技术触发的，例如:语音、触碰、红外、手势等方式触发。以物理按键触发为例，可采用单一物理按键触发，亦可采用多个物理按键进行组合的方式触发。例如:采用语音触发方式时，当检测到预先设定的声音指令(如“拍照”)时，确定用户的拍照请求，触发拍照指令。
[0039]下面以单拍场景为例进行说明。当接收到单拍拍照指令时，启动第一摄像头和第二摄像头，进入双摄像头实时防抖模式，这时会对两个摄像头实时采集的实时图像数据进行预览。
[0040]根据实时图像数据的状态，采用3A算法确定第一摄像头的第一曝光时长。
[0041 ]其中，自动曝光时长为摄像头拍摄参数中的一种，其拍摄参数还包括自动对焦(Automatic Focus，AF)参数和自动白平衡(Automatic white balance，AWB)参数。如果用户没有手动点击对焦区域，则根据第一摄像头采集到的实时图像数据的状态，运行默认的3A算法，确定第一摄像头的3A结果，从而确定其第一曝光时长。如果用户有点击对焦区域，则根据第一摄像头采集到的实时图像数据的对焦区域的状态，运行3A算法，确定第一摄像头的第一曝光时长。
[0042]根据第一摄像头的第一曝光时长，确定第二摄像头的第二曝光时长。
[0043]在确定第一摄像头的3A结果后，将第一摄像头的自动白平衡(AWB)结果直接应用于第二摄像头，第一摄像头的自动对焦(AF)结果应用于第二摄像头后还需要进行调焦处理，第一摄像头的自动曝光(Automatic Exposure，AE)的结果也需要做一些处理，即确定第二摄像头的自动曝光时间为第一摄像头的自动曝光时间的1/N，这样在第一摄像头拍摄一帧图像的同时，第二摄像头能够拍摄N帧图像。当N取值为2时，第二摄像头的曝光时间为第一摄像头的曝光时间的1/2，第一摄像头和第二摄像头的曝光增益值相同。当N取值为4时，第二摄像头的曝光时间为第一摄像头的曝光时间的1/4，第二摄像头的曝光增益为第一摄像头的曝光增益的2倍，这样就可以保证第一摄像头输出一帧数据的时间里，第二摄像头可以输出4帧有差异化的数据，这样在每一帧的时间里可以得到5张不同的RAW数据。
[0044]步骤202:选取N帧图像中清晰度最高的一帧图像为中间图像。
[0045]其中，清晰度是指图像的细节及其边界的清晰程度，在关于图像处理的过程中，图像的清晰度可采用清晰度评价函数至来判定，一个理想的清晰度评价函数要求具备高灵敏度、单一峰值检测、抗干扰性强和算法简洁等特点。现有的清晰度评价函数一般分为:边缘梯度检测、基于相关性远离、基于统计原理和基于变换原理四种评价函数。其中，本发明实施例中可采用任意一种清晰度评价函数对N帧图像进行清晰度评价，从而选择清晰度最该的一帧图像作为中间图像。
[0046]进一步地，在获取第一摄像头在其第一曝光时长内拍摄的一帧第一图像和第二摄像头在第一时间段内拍摄的N帧图像之后，还包括对第一图像和中间图像的ISP处理过程，具体包括去马赛克、锐化、去噪、色彩转换、色彩增强等操作，1+N帧RAW数据分别进入对应的ISP进行相应的处理，处理完成后得到1+N帧YUV图像数据。
[0047]步骤203:对第一图像和中间图像进行图像合成处理，生成最终输出的目标图像。
[0048]其中由于第一摄像头和第二摄像头的位置不一致，因此第一图像和中间图像的拍摄视场存在一定偏差，因此需要对其拍摄视场进行校正，具体地，如图3所示，对第一图像和中间图像进行图像合成处理，生成最终输出的目标图像的步骤包括:
[0049]步骤2031:以中间图像为基准，将第一图像校正至与中间图像为同一视场，生成第二图像。
[0050]由于第一图像为第一摄像头采集到的，中间图像实际为第二摄像头采集到的，由于第一摄像头和第二摄像头在移动终端上的位置有微小差异，即使对焦区域相同，所采集到的图像也存在些许视角偏差，因此需要根据第一摄像头和第二摄像头的位置信息、对焦信息、周围环境光线信息(自动白平衡)的等参数，对第一图像和中间图像的拍摄视场进行校正，使其拍摄视场为同一拍摄视场。具体为，以中间图像为基准，校正第一图像的拍摄视场，从而生成第二图像。
[0051]步骤2032:以中间图像为基准，对于中间图像中的每个像素点(XQ，yQ)，在第二图像中查找与像素点(XQ，yo)对应位置的像素点(Xi，y I)。
[0052]其中，中间图像和第二图像为同一视场拍摄，对于中间图像中的每个像素点(X0，yo)，在第二图像中查找与像素点(XQ，yQ)对应位置的像素点(X1，yi)。
[0053]步骤2033:根据公式G = gl*70 %+g2*30 %计算得到匹配灰度值，将匹配灰度值赋值给像素点&0，70)。
[0054]其中，6为匹配灰度值，gi为第二图像中像素点(xi，yi)的灰度值，g2为中间图像中的像素点(XQ，yQ)的灰度值。根据公式G = gl*70%+g2*30%，逐个对中间图像的每个像素点进行灰度值赋值。
[0055]步骤2034:当中间图像中的所有像素点完成匹配灰度值赋值后，生成最终输出的目标图像。
[0056]由于第二图像是正常曝光的，因此根据公式G= gl*70%+g2*30%计算得到匹配灰度值，将匹配灰度值赋值给中间图像对应像素点，从而能够生成最终的细节丰富、亮度正常的输出的目标图像。
[0057]进一步地，当中间图像中的所有像素点完成灰度值赋值后，生成最终输出的目标图像的步骤具体包括:对中间图像的所有像素点完成灰度值赋值后，对其进行压缩编码(即转换其数据格式)，生成可在移动终端显示的兼容性高的目标图像。
[0058]其中，中间图像是对第二摄像头输出的N帧图像处理后得到的，而摄像头输出的图像数据是图像处理器能够识别，但不能用于预览和显示的图像格式的图像，兼容性较差，例如YUV格式;而最终的输出的目标图像指的是能够用于预览和显示的图像格式的图像，兼容性较高，如:JPG、JPEG、PNG等格式C3YUV是被欧洲电视系统所采用的一种颜色编码方法，它的亮度信号Y和色度信号U、V是分离的。由于摄像头输出的图像数据的格式一般为YUV格式，兼容性较差，故需要对其进行编码，生成JPG、JPEG等兼容性较高的图片格式，并将编码后的输出图像作为拍摄到的照片保存在本地。
[0059]值得指出的是，上述图像处理过程还可通过外置DSP芯片防抖算法实现，具体地，电子防抖算法运行在一个外置的芯片上，这个芯片可以是ARM核，也可以是DSP核。此处我们以DSP核的外置芯片为例进行，ARM核参照该实现方式，该DSP外置芯片可以选用强大的专用图像处理DSP核，其处理速度可以达到ARM处理能力的十几倍，这样可以给用户体验带来质的提升。此外，该图像处理方法除了可应用与单拍场景，还可用于连拍、全景模式和HDR拍照等场景下，可保证拍摄的每一张照片的清晰度都得到提升，有效实现电子防抖，并进一步解决电子防抖局限性大的问题。
[0060]综上，本发明实施例中，通过采用双摄像头实现电子防抖，具体地，获取同一时间段内第一摄像头采集的第一图像和第二摄像头采集的N帧图像，并在N帧图像中选取最清晰的一帧与第一图像进行合成处理，生成最终的目标图像。由于第二摄像头的曝光时间比第一摄像头的曝光时间短，因此第二摄像头采集到的N帧图像的细节更加丰富，将N帧图像中最清晰的一帧与第一图像合成，可得到细节更加丰富、画质更高的目标图像，从而实现电子防抖。
[0061 ] 第三实施例
[0062]以上第二实施例介绍了本发明的图像处理方法的一种实现方式，本实施例将对其另外一种实现方式进行相应介绍，具体地，如图4所示，包括:
[0063]步骤401:获取在同一时间段内第一摄像头采集的第一图像和第二摄像头采集的N帧图像。
[0064]其中，第一图像为正常曝光图像，N帧图像均为欠曝图像，第一摄像头和第二摄像头采集图像的起始时间相同，第一摄像头的第一曝光时长为第二摄像头的第二曝光时长的N倍，N为正整数。进一步地，拍摄时间段的时长为第一摄像头的第一曝光时长。而在获取第一图像和N帧图像之前，该图像处理方法还包括:获取第一摄像头采集到的实时图像数据；根据实时图像数据的状态，采用3A算法确定第一摄像头的第一曝光时长;并进一步根据第一摄像头的第一曝光时长，确定第二摄像头的第二曝光时长。
[0065]在获取第一图像和N帧图像后，对第一图像和N帧图像进行合成处理，生成最终输出的目标图像。具体地，对第一图像和N帧图像进行合成处理，生成最终输出的目标图像的步骤包括:
[0066]步骤402:对N帧图像进行图像合成处理，生成中间图像。
[0067]与上述步骤202不同的是，步骤202中直接从第二摄像头采集到的N帧图像中选取最清晰的一帧作为中间图像，而该步骤401是通过合成算法对第二摄像头采集到的N帧图像进行合成处理，从而形成中间图像，这样可将N帧图像中每帧图像中最优质的部分进行叠加合成，从而得到细节更加丰富、清晰度更高、画质更好的图像。
[0068]步骤403:对第一图像和中间图像进行图像合成处理，生成最终输出的目标图像。
[0069]对第一图像和中间图像的合成过程可参照图3所示，具体实现过程参照上述第二实施例中所介绍的内容，故在此不再赘述。
[0070]进一步地，步骤402的实现过程可参照图5，具体包括:
[0071]步骤4021:分别将N帧图像按照相同的区域划分方式划分为多个子区域。
[0072]具体划分过程，可通过分割算法对第二摄像头采集到N帧图像中的一帧图像进行分割，划分为多个子区域，然后将N帧图像中的其他帧图像按照上述划分方式和划分结果进行划分，从而保证N帧图像中的每帧图像均被划分为相同的多个子区域。优选地，可将N帧图像中对焦区域清晰度最高的一帧图像作为基准，先将其划分为多个子区域，在将其他帧图像按照其划分方式和划分结果进行划分，得到多个子区域。
[0073]步骤4022:对于每个子区域，选取N帧图像中清晰度最高的子区域作为子区域的待合成子图像。
[0074]由于N帧图像均被划分为多个子区域，因此相同的子区域中具有N个，在每个子区域中选取N个中最清晰的作为该子区域的待合成子图像。清晰度可采用清晰度评价函数计算得到。
[0075]步骤4023:将所有子区域的待合成子图像进行图像合成处理，生成中间图像。
[0076]将所有子区域选好的待合成子图像进行图像合成，主要为图像拼接处理，将多个子区域拼接为一帧完整的中间图像，该中间图像比N帧图像中的每一帧的细节都更丰富、清晰度也更高、画质也更好，因此，对该N帧图像和第一图像进行合成处理，生成最终的目标图像的亦会细节更加丰富、清晰度更高、画质更好，从而实现更好的防抖效果。
[0077]与上述第一实施例和第二实施例相似，本发明实施例中同样通过双摄像头方式实现电子防抖，具体地，获取同一时间段内第一摄像头采集的第一图像和第二摄像头采集的N帧图像，并将N帧图像按照相同划分规则划分为多个子区域，选取各个子区域中清晰度最高的一帧作为待合成子图像，将所有子区域的待合成子图像进行合成，从而生成一中间图像，采用该中间图像与第一图像进行合成处理，生成最终的目标图像。由于第二摄像头的曝光时间比第一摄像头的曝光时间短，因此第二摄像头采集到的N帧图像的细节更加丰富，将N帧图像按照相同划分规则划分为多个子区域，选取各个子区域中清晰度最高的一帧作为待合成子图像，将所有子区域的待合成子图像进行合成，从而生成一中间图像，该中间图像比N帧图像中的任意一帧都更加清晰，因此中间图像和第一图像合成的目标图像细节更加丰富、清晰度更高且画质更高，从而进一步地较好地实现电子防抖。
[0078]第四实施例
[0079]以上第一实施例至第三实施例分别详细介绍了不同场景下的图像处理方法，下面将结合图6和图7对与其对应的移动终端做进一步介绍。
[0080]本发明实施例的另一个方面，还提供了一种移动终端600，具体包括:
[0081]第一获取模块610，用于获取在同一时间段内第一摄像头采集的第一图像和第二摄像头采集的N帧图像；
[0082]处理模块620，用于对第一图像和N帧图像进行合成处理，生成最终输出的目标图像；
[0083]其中，第一图像为正常曝光图像，N帧图像均为欠曝图像，第一摄像头和第二摄像头采集图像的起始时间相同，且第一摄像头的第一曝光时长为第二摄像头的第二曝光时长的N倍，N为正整数。
[0084]其中，处理模块620包括:
[0085]选取单元621，用于选取N帧图像中清晰度最高的一帧图像为中间图像；
[0086]第一生成单元622，用于对第一图像和中间图像进行图像合成处理，生成最终输出的目标图像。
[0087]其中，处理模块620包括:
[0088]第二生成单元623，用于对N帧图像进行图像合成处理，生成中间图像；
[0089]第三生成单元624，用于对第一图像和中间图像进行图像合成处理，生成最终输出的目标图像。
[0090]其中，第二生成单元623包括:
[0091]划分子单元6231，用于分别将N帧图像按照相同的区域划分方式划分为多个子区域；
[0092]选取子单元6232，用于对于每个子区域，选取N帧图像中清晰度最高的子区域作为子区域的待合成子图像；
[0093]生成子单元6233，用于将所有子区域的待合成子图像进行图像合成处理，生成中间图像。
[0094]其中，处理模块620还包括:
[0095]第四生成单元625，用于以中间图像为基准，将第一图像校正至与中间图像为同一视场，生成第二图像；
[0096]匹配单元626，用于以中间图像为基准，对于中间图像中的每个像素点(XO，yo)，在第二图像中查找与像素点(XQ，yo)对应位置的像素点(Xi，yI);
[0097]赋值单元627，用于根据公式G = gl*70%+g2*30%计算得到匹配灰度值，将匹配灰度值赋值给像素点(XQ，yo);其中，G为匹配灰度值，gi为第二图像中像素点(Xi，yi)的灰度值，g2为中间图像中的像素点(XQ，yo)的灰度值；
[0098]第五生成单元628，用于当中间图像中的所有像素点完成匹配灰度值赋值后，生成最终输出的目标图像。
[0099]其中，移动终端600还包括:
[0100]第二获取模块601，用于获取第一摄像头采集到的实时图像数据；
[0101]第一确定模块602，用于根据实时图像数据的状态，采用3A算法确定第一摄像头的第一曝光时长；
[0102]第二确定模块603，用于根据第一摄像头的第一曝光时长，确定第二摄像头的第二曝光时长。
[0103]其中，当N取值为2时，第一摄像头和第二摄像头的曝光增益值相同；当N取值为4时，第二摄像头的曝光增益值为第一摄像头的曝光增益值的2倍。
[0104]值得指出的是，本发明实施例的移动终端是与上述图像处理方法对应的移动终端，上述方法的实施方式和实现的技术效果均适用于该移动终端的实施例中。其中，该移动终端基于双摄像头实现电子防抖，具体地，一摄像头每输出一帧图像数据，另一摄像头都会输出N帧图像数据，将1+N帧图像数据进行合成，以得到细节丰富、画质较高的输出图像，从而实现电子防抖;此外，该图像处理方法适用于单拍、连拍、全景拍摄和摄像等多种应用场景，解决了电子防抖局限性大的问题。
[0105]第五实施例
[0106]图8是本发明另一个实施例的移动终端800的框图，如图8所示的移动终端包括:至少一个处理器801、存储器802、拍照组件803和用户接口804。其中，拍照组件803包括第一摄像头和第二摄像头。移动终端800中的各个组件通过总线系统805耦合在一起。可理解，总线系统805用于实现这些组件之间的连接通信。总线系统805除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统805。
[0107]其中，用户接口804可以包括显示器或者点击设备(例如触感板或者触摸屏等。
[0108]可以理解，本发明实施例中的存储器802可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，R0M)、可编程只读存储器(Programmable R0M，PR0M)、可擦除可编程只读存储器(Erasable PR0M，EPR0M)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。本文描述的系统和方法的存储器802旨在包括但不限于这些和任意其它适合类型的存储器。
[0109]在一些实施方式中，存储器802存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:操作系统8021和应用程序8022。
[0110]其中，操作系统8021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序8022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序8022中。
[0111]在本发明的实施例中，通过调用存储器802存储的程序或指令，具体地，可以是应用程序8022中存储的程序或指令，拍照组件803获取在同一时间段内第一摄像头采集的第一图像和第二摄像头采集的N帧图像;处理器801用于对第一图像和N帧图像进行合成处理，生成最终输出的目标图像。其中，其中，第一图像为正常曝光图像，N帧图像均为欠曝图像，第一摄像头和第二摄像头采集图像的起始时间相同，且第一摄像头的第一曝光时长为第二摄像头的第二曝光时长的N倍，N为正整数。
[0112]上述本发明实施例揭示的方法可以应用于处理器801中，或者由处理器801实现。处理器801可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器801可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Appl icat1n Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器802，处理器801读取存储器802中的信息，结合其硬件完成上述方法的步骤。
[0113]可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Applicat1nSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing,DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice ,PLD)、现场可编程门阵列(Field-Programmable Gate Array ,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
[0114]对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
[0115]具体地，移动终端的拍照组件803可以获取在同一时间段内第一摄像头采集的第一图像和第二摄像头采集的N帧图像，并将第一图像和N帧图像发送至处理器801。
[0116]处理器801还用于:对接收到的第一图像和N帧图像进行合成处理，得到合成后的输出图像。
[0117]具体地，处理器801还用于:选取N帧图像中清晰度最高的一帧图像为中间图像;并对第一图像和该中间图像进行图像合成处理，生成最终输出的目标图像。
[0118]具体地，处理器801还用于:对N帧图像进行图像合成处理，生成中间图像;并对第一图像和该中间图像进行图像合成处理，生成最终输出的目标图像。
[0119]进一步地，处理器801还用于:分别将N帧图像按照相同的区域划分方式划分为多个子区域;对于每个子区域，选取N帧图像中清晰度最高的子区域作为该子区域的待合成子图像;将所有子区域的待合成子图像进行图像合成处理，生成中间图像。
[0120]其中，处理器801还用于:以中间图像为基准，将第一图像校正至与中间图像为同一视场，生成第二图像；以中间图像为基准，对于中间图像中的每个像素点(XQ，yQ)，在第二图像中查找与像素点(xo，yo)对应位置的像素点(xi，yi);根据公式G = gl*70%+g2*30%计算得到匹配灰度值，将匹配灰度值赋值给像素点(XQ，yQ);其中，G为匹配灰度值，gl为第二图像中像素点(X1，yi)的灰度值，g2为中间图像中的像素点(XQ，yQ)的灰度值；当中间图像中的所有像素点完成灰度值赋值后，生成最终输出的目标图像。
[0121]进一步地，拍照组件803获取第一摄像头采集到的实时图像数据;根据实时图像数据的状态，采用3A算法确定第一摄像头的第一曝光时长;根据第一摄像头的第一曝光时长，确定第二摄像头的第二曝光时长。
[0122]其中，当N取值为2时，第一摄像头和第二摄像头的曝光增益值相同；当N取值为4时，第二摄像头的曝光增益值为第一摄像头的曝光增益值的2倍。
[0123]本发明实施例的移动终端800，通过采用双摄像头实现电子防抖，处理器801获取在同一时间段内第一摄像头采集的第一图像和第二摄像头采集的N帧图像，对第一图像和N帧图像进行合成处理，生成最终输出的目标图像，其中，由于第一摄像头每输出一帧图像数据，第二摄像头都会输出N帧图像数据，将1+N帧图像数据进行合成，以得到细节丰富、画质较高的输出图像，从而实现电子防抖;此外，该图像处理方法适用于单拍、连拍、全景和录影多种应用场景，解决了电子防抖局限性大的问题。
[0124]第六实施例
[0125]图9是本发明另一个实施例的移动终端的结构示意图。具体地，图9中的移动终端900可以是手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、或车载电脑等。
[0126]图9中的移动终端900包括电源910、存储器920、输入单元930、显示单元940、拍照组件950、处理器960、WIFI(Wireless Fidelity)模块970、音频电路980和RF电路990，其中，拍照组件950包括第一摄像头和第二摄像头。
[0127]其中，输入单元930可用于接收用户输入的信息，以及产生与移动终端900的用户设置以及功能控制有关的信号输入。具体地，本发明实施例中，该输入单元930可以包括触控面板931。触控面板931，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板931上的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板931可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给该处理器960，并能接收处理器960发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板931。
[0128]其中，显示单元940可用于显示由用户输入的信息或提供给用户的信息以及移动终端的各种菜单界面。显示单元940可包括显示面板941，可选的，可以采用LCD或有机发光二极管(Organic Light-Emitting D1de，0LED)等形式来配置显示面板941。
[0129]应注意，触控面板931可以覆盖显示面板941，形成触摸显示屏，当该触摸显示屏检测到在其上或附近的触摸操作后，传送给处理器960以确定触摸事件的类型，随后处理器960根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。
[0130]触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定，可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件，例如，设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。
[0131]其中处理器960是移动终端的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在第一存储器921内的软件程序和/或模块，以及调用存储在第二存储器922内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。可选的，处理器960可包括一个或多个处理单元。
[0132]在本发明实施例中，通过调用存储该第一存储器921内的软件程序和/或模块和/给第二存储器922内的数据，拍照组件950用于获取在同一时间段内第一摄像头采集的第一图像和第二摄像头采集的N帧图像;对第一图像和N帧图像进行合成处理，生成最终输出的目标图像;其中，第一图像为正常曝光图像，N帧图像均为欠曝图像，第一摄像头和第二摄像头采集图像的起始时间相同，且第一摄像头的第一曝光时长为第二摄像头的第二曝光时长的N倍，N为正整数。
[0133]具体地，处理器960还用于:选取N帧图像中清晰度最高的一帧图像为中间图像;并对第一图像和该中间图像进行图像合成处理，生成最终输出的目标图像。
[0134]具体地，处理器960还用于:对N帧图像进行图像合成处理，生成中间图像;并对第一图像和该中间图像进行图像合成处理，生成最终输出的目标图像。
[0135]进一步地，处理器960还用于:分别将N帧图像按照相同的区域划分方式划分为多个子区域;对于每个子区域，选取N帧图像中清晰度最高的子区域作为该子区域的待合成子图像;将所有子区域的待合成子图像进行图像合成处理，生成中间图像。
[0136]其中，处理器960还用于:以中间图像为基准，将第一图像校正至与中间图像为同一视场，生成第二图像；以中间图像为基准，对于中间图像中的每个像素点(XQ，yQ)，在第二图像中查找与像素点(xo，yo)对应位置的像素点(xi，yi);根据公式G = gl*70%+g2*30%计算得到匹配灰度值，将匹配灰度值赋值给像素点(XQ，yQ);其中，G为匹配灰度值，gl为第二图像中像素点(X1，yi)的灰度值，g2为中间图像中的像素点(XQ，yQ)的灰度值；当中间图像中的所有像素点完成灰度值赋值后，生成最终输出的目标图像。
[0137]进一步地，拍照组件950获取第一摄像头采集到的实时图像数据;根据实时图像数据的状态，采用3A算法确定第一摄像头的第一曝光时长;根据第一摄像头的第一曝光时长，确定第二摄像头的第二曝光时长。
[0138]其中，当N取值为2时，第一摄像头和第二摄像头的曝光增益值相同；当N取值为4时，第二摄像头的曝光增益值为第一摄像头的曝光增益值的2倍。
[0139]本发明实施例的移动终端900，通过采用双摄像头实现电子防抖，拍照组件950获取在同一时间段内第一摄像头采集的第一图像和第二摄像头采集的N帧图像，处理器960对第一图像和N帧图像进行合成处理，生成最终输出的目标图像，其中，由于第一摄像头每输出一帧图像数据，第二摄像头都会输出N帧图像数据，将1+N帧图像数据进行合成，以得到细节丰富、画质较高的输出图像，从而实现电子防抖;此外，该图像处理方法适用于单拍、连拍、全景和录影多种应用场景，解决了电子防抖局限性大的问题。
[0140]本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0141]所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0142]在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0143]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0144]另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0145]所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、R0M、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0146]以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。
【主权项】
1.一种图像处理方法，应用于移动终端，所述移动终端包括第一摄像头和第二摄像头，其特征在于，所述图像处理方法包括: 获取在同一时间段内所述第一摄像头采集的第一图像和所述第二摄像头采集的N帧图像； 对所述第一图像和所述N帧图像进行合成处理，生成最终输出的目标图像； 其中，所述第一图像为正常曝光图像，所述N帧图像均为欠曝图像，所述第一摄像头和所述第二摄像头采集图像的起始时间相同，且所述第一摄像头的第一曝光时长为所述第二摄像头的第二曝光时长的N倍，N为正整数。2.根据权利要求1所述的图像处理方法，其特征在于，对所述第一图像和所述N帧图像进行合成处理，生成最终输出的目标图像的步骤，包括: 选取所述N帧图像中清晰度最高的一帧图像为中间图像； 对所述第一图像和所述中间图像进行图像合成处理，生成最终输出的目标图像。3.根据权利要求1所述的图像处理方法，其特征在于，对所述第一图像和所述N帧图像进行合成处理，生成最终输出的目标图像的步骤，包括: 对所述N帧图像进行图像合成处理，生成中间图像； 对所述第一图像和所述中间图像进行图像合成处理，生成最终输出的目标图像。4.根据权利要求3所述的图像处理方法，其特征在于，对所述N帧图像进行图像合成处理，生成中间图像的步骤，包括: 分别将所述N帧图像按照相同的区域划分方式划分为多个子区域； 对于每个子区域，选取所述N帧图像中清晰度最高的子区域作为所述子区域的待合成子图像； 将所有子区域的待合成子图像进行图像合成处理，生成中间图像。5.根据权利要求2或3所述的图像处理方法，其特征在于，对所述第一图像和所述中间图像进行图像合成处理，生成最终输出的目标图像的步骤，包括: 以所述中间图像为基准，将所述第一图像校正至与所述中间图像为同一视场，生成第二图像； 以所述中间图像为基准，对于所述中间图像中的每个像素点(XQ，yQ)，在所述第二图像中查找与所述像素点(xo，yo)对应位置的像素点(Xi，yI); 根据公式G = gl*70%+g2*30%计算得到匹配灰度值，将所述匹配灰度值赋值给所述像素点(XQ，yQ);其中，G为所述匹配灰度值，gl为所述第二图像中像素点(X1，yi)的灰度值，取为所述中间图像中的像素点(XQ，yQ)的灰度值； 当所述中间图像中的所有像素点完成匹配灰度值赋值后，生成最终输出的目标图像。6.根据权利要求1所述的图像处理方法，其特征在于，在获取在同一时间段内所述第一摄像头采集的第一图像和所述第二摄像头采集的N帧图像的步骤之前，进一步包括: 获取第一摄像头采集到的实时图像数据； 根据所述实时图像数据的状态，采用3A算法确定所述第一摄像头的第一曝光时长； 根据所述第一摄像头的第一曝光时长，确定所述第二摄像头的第二曝光时长。7.根据权利要求1所述的图像处理方法，其特征在于，当N取值为2时，所述第一摄像头和第二摄像头的曝光增益值相同。8.根据权利要求1所述的图像处理方法，其特征在于，当N取值为4时，所述第二摄像头的曝光增益值为所述第一摄像头的曝光增益值的2倍。9.一种移动终端，所述移动终端包括第一摄像头和第二摄像头，其特征在于，所述移动终端还包括: 第一获取模块，用于获取在同一时间段内所述第一摄像头采集的第一图像和所述第二摄像头采集的N帧图像； 处理模块，用于对所述第一图像和所述N帧图像进行合成处理，生成最终输出的目标图像； 其中，所述第一图像为正常曝光图像，所述N帧图像均为欠曝图像，所述第一摄像头和所述第二摄像头采集图像的起始时间相同，且所述第一摄像头的第一曝光时长为所述第二摄像头的第二曝光时长的N倍，N为正整数。10.根据权利要求9所述的移动终端，其特征在于，所述处理模块包括: 选取单元，用于选取所述N帧图像中清晰度最高的一帧图像为中间图像； 第一生成单元，用于对所述第一图像和所述中间图像进行图像合成处理，生成最终输出的目标图像。11.根据权利要求9所述的移动终端，其特征在于，所述处理模块包括: 第二生成单元，用于对所述N帧图像进行图像合成处理，生成中间图像； 第三生成单元，用于对所述第一图像和所述中间图像进行图像合成处理，生成最终输出的目标图像。12.根据权利要求11所述的移动终端，其特征在于，所述第二生成单元包括: 划分子单元，用于分别将所述N帧图像按照相同的区域划分方式划分为多个子区域；选取子单元，用于对于每个子区域，选取所述N帧图像中清晰度最高的子区域作为所述子区域的待合成子图像； 生成子单元，用于将所有子区域的待合成子图像进行图像合成处理，生成中间图像。13.根据权利要求10或11所述的移动终端，其特征在于，所述处理模块包括: 第四生成单元，用于以所述中间图像为基准，将所述第一图像校正至与所述中间图像为同一视场，生成第二图像； 匹配单元，用于以所述中间图像为基准，对于所述中间图像中的每个像素点(XQ，yQ)，在所述第二图像中查找与所述像素点(XQ，yQ)对应位置的像素点(X1，yO; 赋值单元，用于根据公式G = gl*70%+g2*30%计算得到匹配灰度值，将所述匹配灰度值赋值给所述像素点(XQ，yQ);其中，G为所述匹配灰度值，gl为所述第二图像中像素点(X1，yi)的灰度值，g2为所述中间图像中的像素点(XQ，yo)的灰度值； 第五生成单元，用于当所述中间图像中的所有像素点完成匹配灰度值赋值后，生成最终输出的目标图像。14.根据权利要求9所述的移动终端，其特征在于，所述移动终端还包括: 第二获取模块，用于获取第一摄像头采集到的实时图像数据； 第一确定模块，用于根据所述实时图像数据的状态，采用3A算法确定所述第一摄像头的第一曝光时长； 第二确定模块，用于根据所述第一摄像头的第一曝光时长，确定第二摄像头的第二曝光时长。15.根据权利要求9所述的移动终端，其特征在于，当N取值为2时，所述第一摄像头和第二摄像头的曝光增益值相同。16.根据权利要求9所述的移动终端，其特征在于，当N取值为4时，所述第二摄像头的曝光增益值为所述第一摄像头的曝光增益值的2倍。
【文档编号】H04N5/235GK105827964SQ201610171084
【公开日】2016年8月3日
【申请日】2016年3月24日
【发明人】殷求明, 韩伯啸
【申请人】维沃移动通信有限公司