双镜头图像处理装置及方法与流程

本发明涉及图像处理技术，尤其涉及一种针对广角图像所提出的图像优化装置及方法。

背景技术：

近年来，随着图像科技的快速发展，大众对图像相关应用的需求也开始呈现大幅成长，例如：实时视频串流(如：直播)、图像纪录及分享等等，而为了使分享的图像或视频内容能够容纳更广的视域(fieldofview，fov)，越来越多的用户会选用具有广角镜头的摄影装置，例如：全景摄影机或360度摄影机。

然而，广角摄影装置却存在着不可忽视的先天限制，也就是在图像传感器有限的感测像素之下，为了要捕获更宽广视域中的图像，意味着必须将有限的感测像素分配给更多的景物内容，如此一来，在广角摄影装置所捕获到的图像中，每个景物内容的分辨率将会明显降低。

因此，亟需有一种方法能够改善广角摄影装置的先天限制。

技术实现要素：

为了改善广角摄影装置的先天限制，本发明提出一种双镜头图像处理装置及方法，其利用辅助镜头所同步捕获的图像来对广角图像进行优化，从而能够兼顾对广视域的需求以及图像主体清晰度的需求。

本发明的一实施例提供了一种双镜头图像处理装置，包括一广角镜头、一辅助镜头以及一控制器。上述广角镜头设置于上述图像处理装置的一平面，以一第一视域(fieldofview，fov)捕获一第一图像。上述辅助镜头设置于上述平面，以小于上述第一视域的一第二视域捕获一第二图像，其中上述广角镜头与上述辅助镜头同步捕获上述第一图像与上述第二图像。上述控制器决定上述第二图像在上述第一图像中的一相同图像范围，并将上述第二图像叠合(superimpose)到上述第一图像中的上述相同图像范围。

本发明的另一实施例提供了一种双镜头图像处理方法，适用于一双镜头图像处理装置，其包括设置于相同平面上的一广角镜头与一辅助镜头。上述双镜头图像处理方法包括以下步骤：由上述广角镜头以一第一视域捕获一第一图像；由上述辅助镜头以小于上述第一视域的一第二视域捕获一第二图像，其中上述广角镜头与上述辅助镜头同步捕获上述第一图像与上述第二图像；决定上述第二图像在上述第一图像中的一相同图像范围；以及将上述第二图像叠合到上述第一图像中的上述相同图像范围。

关于本发明其他附加的特征与优点，本领域技术人员在不脱离本发明的精神和范围内，当可根据本发明实施方法中所公开的双镜头图像处理装置及方法做些许的更动与润饰而得到。

附图说明

图1是根据本发明一实施例的双镜头图像处理装置的系统架构图。

图2a与图2b是根据本发明一实施例的显示双镜头图像处理装置100的外观示意图。

图3a与图3b是根据本发明另一实施例的显示双镜头图像处理装置100的外观示意图。

图4是根据本发明又一实施例的显示双镜头图像处理装置100的外观示意图。

图5是根据本发明一实施例的双镜头图像处理方法的流程图。

图6a～6c是根据本发明一实施例的双镜头图像处理方法的示意图。

具体实施方式

本章节所叙述的是实施本发明的较佳方式，目的在于说明本发明的精神而非用以限定本发明的保护范围，当可理解的是，使用于本说明书中的“包含”、“包括”等词，用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件或以上的任意组合。

图1是根据本发明一实施例的双镜头图像处理装置的系统架构图。双镜头图像处理装置100包括广角镜头10、辅助镜头20、控制器30、显示装置40、存储装置50以及输出输入装置60。

双镜头图像处理装置100可以是手持摄/录像机、穿戴型摄/录像机(如：项圈型式配戴于胸前、夹扣型式配戴于衣服/裤/帽)、网络摄影机(如：监视器)、移动通信装置(如：智能型手机、平板计算机)或行车纪录器等。

广角镜头10主要负责以广角视域捕获图像。在一实施例中，所述的广角视域可以是超过180度的任意视域。广角镜头10可包括一或多个光学元件，例如：透镜以及图像传感器等。

辅助镜头20主要负责以通常视域捕获图像，且与广角镜头10同步捕获图像。在一实施例中，所述的通常视域可以是介于60到75度之间的任意视域。辅助镜头20可包括一或多个光学元件，例如：透镜以及/或图像传感器等。

明确来说，广角镜头10与辅助镜头20设置于双镜头图像处理装置100的同一平面，例如：背面、正面或侧面。

控制器30可为通用处理器、微处理器(microcontrolunit，mcu)、应用处理器(applicationprocessor，ap)、数字信号处理器(digitalsignalprocessor，dsp)、图形处理器(graphicsprocessingunit，gpu)或全息处理器(holographicprocessingunit，hpu)或上述处理器的任意组合，其可包括各式电路逻辑，用以：提供数据与图像的处理及运算的功能、传送控制信号至广角镜头10及辅助镜头20、从广角镜头10及辅助镜头20接收图像数据、传送合成图像数据至显示装置40、从存储装置50读取或存储数据、以及通过输出输入装置60接收用户输入信号或输出提示/反馈信号。特别是，控制器30用以协调广角镜头10、辅助镜头20、显示装置40、存储装置50以及输出输入装置60的操作，以执行本发明的双镜头图像处理方法。

本领域技术人员当可理解，控制器30中的电路逻辑通常可包括多个晶体管，用以控制该电路逻辑的操作以提供所需的功能及作业。更进一步的，晶体管的特定结构及其之间的连接关系通常是由编译器所决定，例如：缓存器转移语言(registertransferlanguage，rtl)编译器可由处理器所操作，将类似汇编语言码的脚本文件(script)编译成适用于设计或制造该电路逻辑所需的形式。

显示装置40主要负责显示视觉或文字内容，例如但不限于：广角镜头10及/或辅助镜头20所捕获的图像以及/或控制器30所产出的合成图像。

显示装置40可为液晶显示器(liquid-crystaldisplay，lcd)、发光二极管(light-emittingdiode，led)显示器、有机发光二极管显示器(organicled，oled)、电子纸显示器(electronicpaperdisplay，epd)或阴极射线管(cathoderaytube，crt)显示器等。在一具体实施例中，显示装置40可具有触控功能以作为输入装置使用。

存储装置50为非瞬态(non-transitory)的机器可读取存储介质，包括：存储器(如：闪存、非易失性随机存取存储器(non-volatilerandomaccessmemory，nvram)或磁性存储装置(如：硬盘、磁带)或光盘或上述介质的任意组合，其主要用以存储：图像数据、计算机可读取及执行的指令或程序代码(包括：应用/协议的程序代码)以及/或本发明的双镜头图像处理方法的程序代码。

输出输入装置60可包括：按钮、键盘、触控传感器、麦克风、喇叭以及/或灯号装置，主要负责提供人机操作接口(man-machineinterface，mmi)，以接收用户输入信号或输出提示/反馈信号。

当可理解的是，图1所示的元件仅用以提供一说明的范例，并非用以限制本发明的保护范围。举例来说，双镜头图像处理装置100可不包括上述部分元件，例如：显示装置40。或者，双镜头图像处理装置100还可进一步包括其他元件，例如：电源供应器、环境光源传感器、全球定位系统(globalpositioningsystem，gps)以及/或无线通信装置等。电源供应器可为一可携式/可替换的充电电池，用以负责提供电力。环境光源传感器可用以检测周遭环境的光源条件。全球定位系统可提供当前的位置信息，以用于移动定位服务/应用。无线通信装置可包括蓝牙或无线保真(wirelessfidelity，wi-fi)技术的芯片，用以提供与其他通信装置(如：智能型手机或平板计算机)之间进行短距无线通信的功能。

在一实施例中，广角镜头10及辅助镜头20可以是以上下相邻的方式设置于双镜头图像处理装置100的同一平面，如图2a与图2b所示(左半部为后视图或前视图，右半部为侧视图)，广角镜头10及辅助镜头20设置于双镜头图像处理装置100的背面，而显示装置40可设置于双镜头图像处理装置100的正面，其余元件则可设置于双镜头图像处理装置100的内部。

在另一实施例中，广角镜头10及辅助镜头20可以是以左右相邻的方式设置于双镜头图像处理装置100的同一平面，如图3a与图3b所示(左半部为后视图或前视图，右半部为上视图)，广角镜头10及辅助镜头20设置于双镜头图像处理装置100的背面，而显示装置40可设置于双镜头图像处理装置100的正面，其余元件则可设置于双镜头图像处理装置100的内部。

在又一实施例中，辅助镜头20可以设置于广角镜头10旁的任一斜侧位置，如图4所示(左半部为后视图或前视图，右半部为上视图)，辅助镜头20设置于广角镜头10的右上方位置。明确来说，广角镜头10及辅助镜头20可设置于双镜头图像处理装置100的背面，而显示装置40可设置于双镜头图像处理装置100的正面，其余元件则可设置于双镜头图像处理装置100的内部。

在一具体实施例中，广角镜头10及辅助镜头20可与显示设备40设置于双镜头图像处理装置100的同一面，如同为正面或背面。

图5是根据本发明一实施例的双镜头图像处理方法的流程图。在此实施例中，双镜头图像处理方法适用于具有双镜头的图像处理装置，如双镜头图像处理装置100，其包括设置于相同平面的一广角镜头(如广角镜头10)与一辅助镜头(如辅助镜头20)。

进一步说明，双镜头图像处理方法可以是以程序代码实作为软件模块，并且由图像处理装置的控制器载入及执行。

首先，广角镜头与辅助镜头同步进行图像捕获并分别取得第一图像与第二图像(步骤s510)，明确来说，广角镜头以第一视域捕获第一图像，辅助镜头以第二视域捕获第二图像，其中第二视域小于第一视域。较佳地，第一图像所涵盖的实景范围包括第二图像所涵盖的实景范围。

接着，决定第二图像在第一图像中的相同图像范围(步骤s520)。具体来说，可针对第一图像与第二图像进行图像分析，先找出各自图像的关键点(keypoint)，包括：检测出图像中的边缘(edge)、边角(corner)以及/或区块(blob)等。然后针对各关键点提取其特征(feature)，包括：全局特征、局部特征及关联性特征等，举例来说，常见的特征包括：位置、几何形状、色彩、对比及纹路(texture)等。之后再将两张图像的特征进行比对(featurematching)，根据特征比对的结果即可找出两张图像的相同图像范围。

接着，调整第二图像的亮度(intensity)，以与相同图像范围内的第一图像的亮度一致或接近(步骤s530)。

然后，调整第二图像的色调(hue)，以与相同图像范围内的第一图像的色调一致或接近(步骤s540)。

当可理解的是，步骤s530与s540没有必然的前后顺序性，也就是说，图像色调的调整可以先于图像亮度的调整。此外，步骤s530与s540亦属选择性的步骤，亦即若第二图像的亮度与色调已大致接近第一图像的亮度与色调，则可省略步骤s530与s540。

图像参数调整完毕之后，接着进入步骤s550，将第二图像叠合(superimpose)到第一图像中的相同图像范围(步骤s550)。

最后，针对叠合后的图像中上述图像范围的边缘进行柔化(smoothing)处理(步骤s560)，并结束双镜头图像处理方法。

图6a～图6c是根据本发明一实施例的双镜头图像处理方法的示意图。其中图6a为广角镜头10所捕获到的图像，图6b为辅助镜头20所捕获到的图像，图6c为合成后的图像。

如图6a所示，广角镜头10因其视域宽广的特性，所以能一次捕获到树木的全貌图像a。相较之下，如图6b所示，辅助镜头20的视域较小，所以只能捕获到树木的一部分图像b。

在此实施例中，由于广角镜头10与辅助镜头20的图像传感器具有相同像素，所以就辅助镜头20所捕获到的树木的部分图像来说，图像b的分辨率比图像a的分辨率更好。如图6b所示，树木的中央部分有一清晰的花朵图像，相较之下，相同部分在图6a则只能呈现树木的轮廓，而无法清晰呈现花朵图像(仅能呈现模糊的花朵图像)。

依据本发明所述的双镜头图像处理方法的流程图，上述示意图(图6a～图6c)在广角镜头10与辅助镜头20同步捕获到图像a与图像b之后，可先在图像a中找出与图像b相同的图像范围，然后将图像b叠合到图像a中的相同图像范围，如图6c所示，叠合后的图像除了可呈现树木的全貌图像，还能呈现重点部位的清晰图像。

在其他实施例中，广角镜头10与辅助镜头20的图像传感器可具有不同像素，只要辅助镜头20能比广角镜头10捕获到重点部位(如：中央部位)的更多细节即可适用本发明的双镜头图像处理方法。

当可理解的是，当用户要浏览图像时，可以先单独呈现第一图像，而当用户要把第一图像放大(zoom-in)观看时，再依照叠合后的图像进行放大呈现。以放大呈现的效果而言，传统的广角摄影装置仅能将单一广角图像用补差点的方式填补像素以达到放大的效果，所以放大的倍数越高越容易产生马赛克，相较之下，本发明是由第二图像来提供重点部位更具细节的图像实际像素。

根据前述实施例，当可理解的是，本发明的双镜头图像处理方法除了运用广角镜头之外，还运用额外的辅助镜头同步捕获图像，并通过辅助图像来对广角图像进行优化，以提供广角图像的重点部位更多清晰的细节。如此一来，便可兼顾对广视域的需求以及对图像主体清晰度的需求，有效地改善了一般广角摄影装置的先天限制。

本发明虽以各种实施例公开如上，然而其仅为范例参考而非用以限定本发明的范围，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许的更动与润饰。因此上述实施例并非用以限定本发明的范围，本发明的保护范围当视后附的权利要求所界定者为准。

于权利要求中所使用的“第一”、“第二”等词是用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。

【符号说明】

100双镜头图像处理装置

10广角镜头

20辅助镜头

30控制器

40显示装置

50存储装置

60输出输入装置

s510～s560方法步骤

a、b图像