基于双摄像头的图像处理装置及方法与流程

本发明涉及数字图像处理技术领域，特别涉及一种基于双摄像头的图像处理装置及方法。

背景技术：

当今世界，数字摄影技术飞速发展，越来越多的电子设备都具有拍照功能，人们的工作生活因此变得更加愉快便捷，同时，大家对于拍摄功能的要求也随之提高。

传统的拍照装置多采用单摄像头进行拍照操作，由于单摄像头受到焦距长短、光圈大小、快门速度及测光方式等的限制，其拍摄方式单一，成像效果有限，无法满足高清图像的应用需求。

为克服传统拍照方式的缺陷，现有技术中，已有采用主摄像头和副摄像头的双摄像头设计的拍照设备。其拍照系统利用两只摄像头在焦距、光圈等参数上的差异，选取合适的摄像头之一进行拍摄，以提高摄像装置的成像质量。但上述装置在图像融合方面仍有不足，对于画面复杂、景深较大的图像，很难保证图像全局的清晰度。

技术实现要素：

本发明提供一种基于双摄像头的图像处理装置，包括第一摄像头、第二摄像头和控制模块，其中，所述第一摄像头用于拍摄整体图像；所述控制模块用于发送拍摄指令到所述第二摄像头；所述第二摄像头用于按照接收的所述拍摄指令拍摄局部图像，并且其中，所述拍摄指令包含所述第一摄像头的拍摄信息和所述整体图像的图像信息。

优选的，所述整体图像的图像信息包括所述整体图像中的指定目标的位置信息，其中，所述局部图像与所述指定目标相关联。

优选的，所述整体图像的图像信息是所述整体图像中包含指定目标的区域图形的信息，其中，所述局部图像与所述指定目标相关联。

优选的，所述图像处理装置还包括用于识别所述区域图形的信息的处理模块。

优选的，所述区域图形的信息是所述处理模块采用基于深度神经网络的图像识别算法检测的所述区域图形的中心位置信息。

优选的，所述处理模块还用于对所述整体图像和所述局部图像进行图像融合。

优选的，所述局部图像可以是一个或多个。

根据本发明的另一方面，提供一种基于双摄像头的图像处理方法，包括以下步骤：

利用第一摄像头拍摄整体图像，并记录所述第一摄像头的拍摄信息；

检测所述整体图像以获得所述整体图像的图像信息；以及

根据所述拍摄信息和所述图像信息，利用第二摄像头拍摄局部图像。

其中，检测所述整体图像包括：

采用目标检测算法来检测所述整体图像中的包含指定目标的区域图形的中心位置坐标。

优选的，上述图像处理方法还包括：将所述整体图像和所述局部图像融合为完整图像。

相对于现有技术，本发明取得了如下有益技术效果：本发明提供的基于双摄像头的图像处理装置及方法，通过采用目标检测算法对摄像头1拍摄的原始图像中的指定目标进行检测，并根据检测结果及摄像头1的拍摄位置使用摄像头2对指定目标进行二次拍摄，并通过图像融合算法将原始图像和二次拍摄图像进行处理，弥补的原始图像中因局部曝光不足或对焦差异导致的图像成像效果不佳等问题，提高了指定目标的成像效果，增强了整幅图像细节表现。

附图说明

图1是是根据本发明的图像处理装置一个实施例的结构示意图。

图2是利用图1所示的图像处理装置进行图像处理的方法流程图。

具体实施方式

为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图，对根据本发明的实施例中提供的基于双摄像头的图像处理装置及方法进一步详细说明。

根据焦距的长短，镜头一般分为广角镜头和长焦镜头。通常情况下，广角镜头视角较宽，取景范围可以比人们肉眼所及的范围更广，因此特别适合大范围的整体拍摄；与之相对的，长焦镜头类似于望远镜原理，适合拍摄难以接近的对象，但是其取景范围远远比人们肉眼所及的范围要小。

为了解决广角和长焦二者不可兼得的问题，发明人经过研究发现，可以采用广角镜头拍摄整体对象，采用长焦镜头拍摄局部目标，之后通过图像处理方法，使二者拍摄的图像融合，以获得整体范围广且局部清晰的图像。

图1是根据本发明的一个实施例的结构示意图，如图1所示，根据本发明的一个实施例，提供一种基于双摄像头的图像处理装置，该装置包括摄像头1、摄像头2、控制模块、存储模块和处理模块。其中，摄像头1为短焦距广角镜头作为第一摄像头，用于拍摄视角宽广的整体图像；摄像头2为长焦镜头作为第二摄像头，用于拍摄指定目标的局部清晰图像；控制模块用于根据用户指令控制和调度各其它模块；存储模块用于存储摄像头1和摄像头2采集的图像数据及相关的软件程序；处理模块用于数据运算和图像处理。

图2是利用图1所示的图像处理装置进行图像处理的方法流程图，如图2所示，根据本发明的一个实施例，提供一种基于双摄像头的图像处理方法，该方法具体包括以下步骤：

s10、拍摄整体图像1。

根据用户的设置指令，控制模块按照指令控制马达调节摄像头1的拍摄位置，发送拍照指令1到摄像头1，并控制摄像头1进行拍照。其中,拍照指令1包括摄像头位置、对焦点、光圈大小等拍摄参数，这些拍摄参数可以是用户自定义设置，也可以是默认自动设置。

摄像头1从控制模块接收到拍照指令1，进入拍摄模式。根据接收到的拍摄参数，摄像头1进行对焦及光圈等调整后完成拍照操作，获得整体图像1并可以向控制模块发送拍摄完成的指示。为确保摄像头1拍摄的整体图像1的进光量及清晰度等参数达到指标，可采用图像处理算法设定指标参数。例如，进光量可由图像亮度、曝光度等参数评估；清晰度可利用灰度方差函数、熵函数和梯度函数等对图像边缘宽度、边缘峰值及灰度变化率等参数评估。

在摄像头1拍摄完成后，控制模块可以将整体图像1以二进制的形式存储在存储模块，同时记录下摄像头1在拍摄整体图像1时的拍摄信息(例如镜头位置、对焦位置、光圈大小、曝光时间、图像亮度、曝光度等)。

s20、指定目标选取。

在摄像头1拍摄完成后，用户可在获得的整体图像1中选取指定目标d。用户指定目标的方式有多种，例如，用户可选择固定区域，将区域内的图像设为指定目标d；或根据目标的特征进行指定，利用图像识别算法将具有同类型特征的目标均设为指定目标d，比如说人脸。

根据用户指定的目标，处理模块可以从摄像头1拍摄的整体图像1中检测出该指定目标d的位置信息(例如该目标的中心位置坐标)，并将该位置信息发送给控制模块。其中，处理模块可以利用目标检测算法进行检测。例如，基于模式识别的图像算法，或基于深度神经网络的图像识别算法。以下将以基于深度神经网络的图像识别算法为例进行说明。

s201、将包含指定目标d的整体图像1分割为n个区域，利用各区域内的灰度平均值，计算每个区域与其相邻区域的相似度，获得由相似度数值组成的二维数组；

s202、从步骤201获得的二维数组中找出相似度最大值及其所对应的两个区域，并将这两个区域合并，将合并的区域记为m0；计算剩余n-1个区域内的相似度，并将相似度最高的两个区域合并，重复上述步骤，直至合并为同一个区域，得到n-1个区域(m0，m1……mn-1)。

s203、将步骤s202得到的n-1个区域调整为像素n*n的区域图形a，若该区域为不规则图形，可采用填充像素的方式使之成为n*n大小，其中，填充像素值可为该区域灰度平均值；

s204、利用深度神经网络识别步骤s203获得的区域图形a种是否包含指定目标d的特征。例如，可以设定，若区域图形a与指定目标d的区域重合度iou大于60％，则认定该区域图形a内包含指定识别目标并计算该区域图形a的中心点坐标。上述重合度iou可以定义为：

iou＝s重合/(s区域a+s区域d-s重合)

其中，s重合代表重合部分面积，s区域a代表区域图形a的面积，s区域d代表指定目标d的面积。

s30、拍摄局部图像2。

控制模块根据步骤s10中获得的摄像头1在拍摄整体图像1时的拍摄信息(例如镜头位置、对焦位置、光圈大小、曝光时间、图像亮度、曝光度等)，以及步骤20获得的指定目标d的位置信息(例如中心位置坐标)，生成拍照指令2并将其发送到摄像头2，其中，该拍照指令2，例如，可以包括摄像头位置、对焦点、光圈大小等拍摄参数。在一个实施例中，这些拍摄参数中的一些可以是用户自定义设置，而另一些可以是控制模块根据所述拍摄信息和所述位置信息进行的默认自动设置。

摄像头2从控制模块接收到拍照指令2，进入拍摄模式。根据接收到的拍摄参数，摄像头2进行对焦及光圈调整后完成拍照操作，获得包含指定目标d'的局部图像2并可以向控制模块发送拍摄完成的指示，其中，局部图像2中的指定目标d'与步骤s10获得的整体图像1中的指定目标d为同一对象，但在整体图像1和局部图像2中的表现不同。为确保摄像头2拍摄的局部图像2的进光量及清晰度等参数达到指标，可采用图像处理算法设定指标参数。例如，进光量可由图像亮度、曝光度等参数评估；清晰度可利用灰度方差函数、熵函数和梯度函数等对图像边缘宽度、边缘峰值及灰度变化率等参数评估。

在摄像头2拍摄完成后，控制模块将局部图像2以二进制的形式存储在存储模块，同时可以向处理模块发送图像处理指令。

s40、对整体图像1和局部图像2进行图像处理。

处理模块接收到图像处理指令后，将利用图像处理的方式对摄像头1拍摄的整体图像1和摄像头2拍摄的局部图像2进行处理。此处的图像处理方式可以根据用户需求提供多种选择，下面以像素级图像融合为例进行说明。

所述的像素级图像融合是指，将整体图像1中的指定目标d替换为图像2中的指定目标d'，即将指定目标d从整体图像1中抠出，并将局部图像2中的指定目标d'填充至整体图像1中，从而得到包含清晰局部指定目标且视角广阔的完整图像。

由于整体图像1中的指定目标d和局部图像2中的指定目标d'的图像参数不同，因而在进行图像融合时，需要利用图像融合算法使指定目标d'去除部分像素点以匹配整体图像1，例如，简单加权融合算法、拉普拉斯金字塔融合算法、对比度融合算法、梯度融合算法或小波融合算法等；另外，在进行图像填充时，还需要对图像拼接边缘进行优化处理等以提高细节表现。现有技术中，类似的图像处理方式不胜枚举，此处不再赘述。

在本发明的另一实施例中，上述摄像头1和摄像头2可以为采用电荷耦合(chargecoupleddevice，ccd)式的感光传感器，也可以采用金属氧化物半导体材料作为感光传感器。

在本发明的另一实施例中，摄像头1和摄像头2位于同一平面上，且分别采用马达驱动的方式开展对焦操作。

在本发明的另一实施例中，所述控制单元可以为中央处理器、微控制单元和可编程门阵列等。

在本发明的另一实施例中，所述处理单元可以为数字信号处理单元，也可以专用图形处理电路，或基于深度学习的神经网络处理器。

在本发明的另一实施例中，所述存储单元可以为内存、外部硬盘和闪存储蓄卡等存储介质。

在本发明的另一实施例中，用户可以根据需求指定摄像头1拍摄的整体图像1中的多个目标。

依据上述步骤s20，当用户指定多个目标时，处理模块利用目标检测算法，从上述步骤s10摄像头1捕获的包含多个指定目标在内的整体图像1中，依次检测需要拍摄的指定目标d1、指定目标d2、指定目标d3……，并确定上述所有指定目标的位置信息。

依据上述步骤s30，摄像头2接收从控制模块发送的多个拍摄指令，对指定目标d1、指定目标d2、指定目标d3……进行分别拍摄，获得包含指定目标d1'的局部图像21、包含指定目标d2'的局部图像22、包含指定目标d3'的局部图像23……。

依据上述步骤s40，以图像融合处理为例，处理模块利用图像融合算法，将摄像头1拍摄的整体图像1中的指定目标d1、指定目标d2、指定目标d3……分别替换成局部图像21中的指定目标d1'、局部图像22中的指定目标d2'、局部图像23中的指定目标d3'……，从而获得包含多个清晰局部指定目标且视角广阔的完整图像。

在本发明的另一实施例中，上述步骤s40，向处理模块发送图像处理指令为用户可选操作，即当摄像头1和摄像头2各自完成拍摄并将拍摄的整体图像1和一个或多个局部图像存储入存储模块后，用户可以根据需求不进行步骤s40的图像处理，直接输出图像，或从多个局部图像中选取若干个执行步骤s40。

在本发明的另一实施例中，上述步骤s20，用户还可以在摄像头1拍摄整体图像1完成之前，在摄像头取景时选取一个或多个需要局部拍摄的指定目标d(例如，在取景框中手动选择一个或多个指定目标d)；从而使步骤s10-s30或步骤s10-s40均由本发明提供的装置自动完成，用户甚至不会感觉到拍摄时间差以及图像处理的延迟时间。

尽管在上述实施例中，摄像头1为短焦镜头，摄像头2为长焦镜头，但本领域普通技术人员应理解，此处的焦距长短为相对评价，即相比摄像头1，摄像头2为长焦镜头，相比摄像头2，摄像头1为短焦镜头。另外，上述虽然以像素级图像融合为例来进行整体图像与局部图像的处理，但本领域普通技术人员应理解在其他实施例中可以采用其他的图像处理方式来实现本发明提供的基于双摄像头的图像处理装置及方法，如特征级图像融合或决策级图像融合。

相对于现有技术，在本发明实施例中所提供的基于双摄像头的图像处理装置及方法，将广角摄像头与长焦摄像头的优点结合起来，通过利用图像处理算法对拍摄的图像信息进行分析、提取及融合，使得多个图像间可以互补信息，从而提高图像的整体表现。

虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。