影像处理装置和方法与流程

本发明涉及影像处理技术领域，特别涉及补偿主影像和热影像叠合时的偏差的影像处理技术。

背景技术：

随着科技的进步，电子装置上除了主相机外，亦会配置一热影像相机(例如：一红外线热显像仪相机)。热影像相机除使用于拍摄一般温度的动/静态分布外，同时也可以通过将主相机所取得的彩色影像，经过处理后取得场景的景物轮廓后，重叠显示于热影像上，丰富了热影像的细节与可读性。

在这种配置双镜头的电子装置，设计时为减少两个镜头的像(视)差，通常会将主相机镜头与红外线热显像仪镜头两者摆设尽量的靠近。然而，不管多么靠近，两个镜头的实体位置还是无法完全重叠，因此两个镜头于相距某距离下所拍摄到的景物，就一定会有像(视)差的存在。

因此，在目前将主相机取得的影像和热影像叠合的影像叠合技术中，经过叠合的合成影像会产生明显的误差，且跟随使用者不同的手持拍摄方向，热影像与实景轮廓会产生不同方向的偏移。

技术实现要素：

有鉴于上述现有技术的问题，本发明提供了补偿主影像和热影像叠合时的偏差的影像处理装置和方法。

根据本发明的一实施例提供了一种影像处理装置。此影像处理装置包括一主相机、一热影像相机、一重力感测器以及一处理器。主相机针对一拍摄物，产生一主影像，其中主影像具有一主影像尺寸。热影像相机针对拍摄物，产生一热影像，其中热影像具有一热影像尺寸，且热影像尺寸小于主影像尺寸。重力感测器产生主相机和热影像相机的一相对位置信息。处理器计算主影像和热影像的一偏移量，且根据相对位置信息、偏移量以及热影像尺寸，从主影像撷取出一撷取影像，以及根据撷取影像和热影像产生一叠合影像。

在一些实施例中，处理器根据主相机和热影像相机之间的距离，以及主影像的一像素实景尺寸，计算出偏移量。

在一些实施例中，处理器根据偏移量以及相对位置信息，在主影像中取得撷取影像所对应的一中心点。处理器根据中心点以及热影像尺寸，撷取出撷取影像。

在一些实施例中，在产生叠合影像前，处理器对撷取影像进行一影像处理。处理器将热影像和进行影像处理后的撷取影像，进行影像叠合，以产生叠合影像。

根据本发明的一实施例提供了一种影像处理方法。此影像处理方法的步骤包括通过一主相机针对一拍摄物，产生一主影像，其中上述主影像具有一主影像尺寸；通过一热影像相机针对上述拍摄物，产生一热影像，其中上述热影像具有一热影像尺寸，且上述热影像尺寸小于上述主影像尺寸；取得上述主相机和上述热影像相机的一相对位置信息；计算上述主影像和上述热影像的一偏移量；根据上述相对位置信息、上述偏移量以及上述热影像的一热影像尺寸，从上述主影像撷取一撷取影像；以及根据上述撷取影像和上述热影像产生一叠合影像。

关于本发明其他附加的特征与优点，此领域的专业技术人员，在不脱离本发明的构思和范围内，当可根据本公开实施方法中所公开的装置和方法，做些许的变动与润饰而得到。

附图说明

图1是显示根据本发明的一实施例所述的影像处理装置100的方框图。

图2是显示根据本发明的一实施例所述的主相机110和热影像相机120的配置的示意图。

图3是显示根据本发明的一实施例所述的手持方向的相关信息s3的示意图。

图4是显示根据本发明的一实施例所述的主影像的高度和热影像的高度的示意图。

图5是显示根据本发明的一实施例所述的一撷取影像的中心点的示意图。

图6是根据本发明一实施例所述的影像处理方法的流程图。

附图标记说明：

100影像处理装置

110主相机

120热影像相机

130重力感测器

140处理器

d热影像相机120的镜头和主相机110的镜头的距离

d被拍摄的景物与影像处理装置100的距离

i1主影像

i2热影像

i3撷取影像

i4叠合影像

h1主影像i1的高度

h2热影像i2的高度

θm主相机110的视野角度

θt热影像相机110的视野角度

o1主影像i1的中心点

o2撷取影像i3的中心点

s1配置信息

s2距离d的信息

s3手持方向的相关信息s3

s4相对位置信息

具体实施方式

本章节所叙述的是实施本发明的最佳方式，目的在于说明本发明的构思而非用以限定本发明的保护范围，本发明的保护范围当视权利要求所界定者为准。

图1是显示根据本发明的一实施例所述的影像处理装置100的方框图。据本发明的一实施例，影像处理装置100可是一智能手机或一平版电脑，但本发明不以此为限。如图1所示，影像处理装置100可包含一主相机110、一热影像相机120、一重力感测器(g-sensor)130以及一处理器140。注意地是，在图1中的方框图，仅为了方便说明本发明的实施例，但本发明并不以此为限。影像处理装置100亦可包括其他元件。

根据本发明的一实施例，主相机110可是一具有一般拍照功能的相机。

根据本发明的一实施例，热影像相机120可是一红外线热像仪相机。红外线热像仪相机可将红外线的辐射能量转换为电信号，并以各种不同的颜色来显示出不同温度的分布，以产生热影像。

图2是显示根据本发明的一实施例所述的主相机110和热影像相机120的配置的示意图。如图2所示，根据本发明的一实施例，在影像处理装置100外壳，热影像相机120的镜头配置于主相机110的镜头的上方，且热影像相机120的镜头和主相机110的镜头会具有一距离d。根据本发明的一实施例，处理器140会从主相机110和热影像相机120取得主相机110和热影像相机120的配置信息s1(例如：热影像相机120的镜头配置于主相机110的镜头的上方)，以及距离d的信息s2。根据本发明的一实施例，处理器140会从影像处理装置100的一存储装置(图未显示)取得主相机110和热影像相机120的配置信息s1(例如：热影像相机120的镜头配置于主相机110的镜头的上方)，以及距离d的信息s2。注意地是，在图2中的示意图，仅为了方便说明本发明的实施例，但本发明并不以此为限。

根据本发明的一实施例，重力感测器130可提供目前影像处理装置100的手持方向的相关信息s3，并将影像处理装置100的手持方向的相关信息s3提供给处理器140。图3是显示根据本发明的一实施例所述的手持方向的相关信息s3的示意图。如图3所示，当影像处理装置100的手持方向为垂直方向时，处理器140可从手持方向的信息s3得知目前影像处理装置100的手持方向是+y或是-y。当影像处理装置100的手持方向为水平方向时，处理器140可从手持方向的信息s3得知目前影像处理装置100的手持方向是+x或是-x。

根据本发明的一实施例，处理器140可根据处理装置100的手持方向的信息s3，以及主相机110和热影像相机120的配置信息s1，推得主相机110和热影像相机120的相对位置信息s4。以第2和3图为例，若处理器140从配置信息s1得知热影像相机120的镜头配置于主相机110的镜头的上方，且从手持方向的信息s3得知目前影像处理装置100的手持方向是+x，处理器140即可根据配置信息s1和手持方向的信息s3推得目前主相机110和热影像相机120的相对位置信息s4(即热影像相机120在主相机110右边)。因此，当处理器140要对因为热影像相机120的镜头和主相机110的镜头的距离d所产生的偏移量进行补偿时，处理器140即可根据相对位置信息s4，推得影像所要进行补偿的方向。

根据本发明的一实施例，当要通过影像处理装置100产生一般影像和一热影像的一叠合影像(或合成影像)时，会通过主相机110拍摄一景物，产生一主影像i1，以及通过热影像相机120拍摄同样的景物，产生一热影像i2。根据本发明的一实施例，主影像i1具有一主影像尺寸，热影像i2具有一热影像尺寸，且热影像尺寸小于主影像尺寸。

根据本发明的一实施例，处理器140可根据主相机110的视野角度(fieldofview，fov)θm，以及被拍摄的景物与影像处理装置100的距离d计算出主影像尺寸，且根据热影像相机120的视野角度θt，以及被拍摄的景物与影像处理装置100的距离d计算出热影像尺寸；当中主相机110的视野角度θm范围完全涵盖热影像相机120的视野角度θt范围。底下将会以图4来做说明。

根据本发明的一实施例，主相机110的视野角度θm的信息可通过主相机110提供给处理器140，且热影像相机120的视野角度θt的信息可通过热影像相机120提供给处理器140。根据本发明的一实施例，处理器140可根据一脸部识别演算法(当被拍摄的景物是一人脸)或一自动对焦演算法计算出被拍摄的景物与影像处理装置100的距离d，但本发明并不以此为限。根据本发明的一实施例，处理器140还会从主相机110和热影像相机120取得主相机110和热影像相机120的像素信息以及影像的宽高比信息。

图4是显示根据本发明的一实施例所述的主影像的高度和热影像的高度的示意图。如图4所示，若主相机110的视野角度θm是61.3度，且被拍摄的景物与影像处理装置100的距离d是80公分，处理器140可计算出主影像i1的高度h1为71.1公分(h1＝2*d*tan(θm/2)。接着，若主相机110所产生的影像的宽高比是4：3，即可计算出主影像i1的宽度w1为94.8公分(71.1/3*4)。类似地，若热影像相机120的视野角度θt是44.5度，且被拍摄的景物与影像处理装置100的距离d是80公分，处理器140可计算出热影像i2的高度h2为49.1公分(h2＝2*d*tan(θt/2)。接着，若热影像相机120所产生的影像的宽高比试4：3，处理器140即可计算出热影像i2的宽度w2为65.5公分(49.1/3*4)。

根据本发明的一实施例，处理器140会根据主相机110的像素和主影像尺寸，计算出一主影像i1的每一像素所呈现的一像素实景尺寸(pixelfov)pfov。以图4为例，若主相机110的像素为4160*3120，处理器140可计算出主影像i1的每一像素所呈现的一像素实景尺寸pfov为0.023公分(94.8/4160＝0.023)。

根据本发明的一实施例，在取得像素实景尺寸pfov后，处理器140会根据热影像相机120的镜头和主相机110的镜头的距离d，以及像素实景尺寸pfov，计算出偏移量pshift。偏移量pshift的计算方式如下：

pshift＝d1/pfov

举例来说，若热影像相机120的镜头和主相机110的镜头的距离d是1.2公分，且主影像i1的每一像素所呈现的一像素实景尺寸pfov为0.023公分，处理器140即可计算出偏移量pshift为52像素(pixel)。计算出偏移量pshift后，处理器140可通过此偏移量pshift来补偿由于热影像相机120的镜头和主相机110的镜头之间的距离d，所造成在进行影像叠合时所产生的偏移。底下的实施例将会做更详细的说明。

根据本发明的一实施例，处理器120会根据偏移量s以及相对位置信息s4，在主影像i1中取得撷取影像i3所对应的一中心点。撷取影像i3可视为热影像i2和主影像i1相互重叠的部分。在传统的技术，会以主影像i1的中心点作为撷取影像i3的中心点，因此在进行影像叠合时，会受到因为热影像相机120的镜头和主相机110的镜头之间的距离d1所造成的偏移的影响。因此，根据本发明的实施例，处理器120根据偏移量s以及相对位置信息s4，来找出撷取影像i3所对应的中心点，将可补偿此偏移的影响。以图5为例，经过补偿后，撷取影像i3的中心点会从主影像i1的中心点o1移动到o2。

根据本发明的一实施例，当处理器120找出撷取影像i3所对应的中心点后，处理器120会根据热影像尺寸以及主影像i1的每一像素所呈现的一像素实景尺寸pfov，计算出热影像尺寸实际在主影像i1上所对应的像素大小。举例来说，若热影像尺寸的高度为49.1公分，宽度为65.5公分，且主影像i1的每一像素所呈现的一像素实景尺寸pfov为0.023公分，处理器120即可计算出热影像尺寸实际在主影像i1上所对应的宽度是2847像素(65.5/0.023)，高度是1821像素(49.1/0.023)。取得热影像尺寸实际在主影像i1上所对应的像素大小后，处理器120会根据撷取影像i3所对应的中心点以及热影像尺寸实际在主影像i1上所对应的像素大小，在主影像i1上撷取出撷取影像i3。根据本发明的一实施例，处理器120会包含一影像撷取单元(图未显示)，且处理器120会通过影像撷取单元来进行撷取出撷取影像i3的操作。

根据本发明的一实施例，当处理器120在主影像i1上撷取出撷取影像i3后，处理器120会对撷取影像进行一影像处理。举例来说，处理器120会对撷取影像i3进行灰阶和除噪的操作，且会利用canny演算法把撷取影像i3的轮廓线描绘出来，但本发明并不以此为限。根据本发明的一实施例，处理器120会包含一影像处理单元(图未显示)，且处理器120会通过影像处理单元来进行影像处理的操作。

根据本发明的一实施例，处理器120会将热影像i2和进行影像处理后的撷取影像i3，进行影像叠合，以产生叠合影像i4。根据本发明的一实施例，处理器120会包含一影像混和单元(图未显示)，且处理器120会通过影像混和来进行影像处理的操作。

图6是根据本发明一实施例所述的影像处理方法的流程图。此影像处理方法适用影像处理装置100。在步骤s610，通过影像处理装置100的一主相机针对一拍摄物，产生一主影像，其中上述主影像具有一主影像尺寸。在步骤s620，通过影像处理装置100的一热影像相机针对上述拍摄物，产生一热影像，其中上述热影像具有一热影像尺寸，且上述热影像尺寸小于上述主影像尺寸。在步骤s630，影像处理装置100取得主相机和热影像相机的一相对位置信息。在步骤s640，影像处理装置100计算上述主影像和热影像的一偏移量。在步骤s650，影像处理装置100根据相对位置信息、偏移量以及热影像的一热影像尺寸，从主影像撷取一撷取影像。在步骤s660，影像处理装置100根据撷取影像和上述热影像产生一叠合影像。

根据本发明一些实施例，步骤s640还包括，影像处理装置100根据主相机和热影像相机之间的距离，以及主影像的每一像素所呈现的一像素实景尺寸，计算出偏移量。

根据本发明一些实施例，步骤s650还包括，影像处理装置100根据偏移量以及相对位置信息，在主影像中取得撷取影像所对应的一中心点，以及根据撷取影像的中心点以及热影像尺寸，撷取出撷取影像。在此实施例中，影像处理装置100会先根据热影像尺寸以及主影像的每一像素所呈现的像素实景尺寸，计算出热影像尺寸实际在主影像上所对应的像素大小。接着，影像处理装置100再根据撷取影像所对应的中心点以及热影像尺寸实际在主影像上所对应的像素大小，在主影像上撷取出撷取影像。

根据本发明一些实施例，在产生叠合影像前，影像处理装置100会对撷取影像进行一影像处理。接着，影像处理装置100会将热影像和进行影像处理后的撷取影像，进行影像叠合，以产生叠合影像。

经过本发明的影像处理方法，将在产生热影像和主影像的叠合影像时，将可补偿因为热影像相机120的镜头和主相机110的镜头之间的距离d，所造成在进行影像叠合时所产生的偏移。

本发明的说明书所公开的方法和演算法的步骤，可直接通过执行一处理器直接应用在硬件、软件模块或两者的结合上。一软件模块(包括执行指令和相关数据)和其它数据可储存在数据存储器中，像是随机存取存储器(ram)、闪存(flashmemory)、只读存储器(rom)、可擦可编程只读存储器(eprom)、电子可擦可编程只读存储器(eeprom)、暂存器、硬盘、移动硬盘、光盘只读存储器(cd-rom)、dvd或在此领域的技术中任何其它电脑可读取的储存媒体格式。一储存媒体可耦接至一机器装置，举例来说，像是电脑/处理器(为了说明的方便，在本说明书以处理器来表示)，上述处理器可通过来读取信息(像是程序码)，以及写入信息至储存媒体。一储存媒体可整合一处理器。一特殊应用集成电路(asic)包括处理器和储存媒体。一用户设备则包括一特殊应用集成电路。换句话说，处理器和储存媒体以不直接连接用户设备的方式，包含于用户设备中。此外，在一些实施例中，任何适合电脑程序的产品包括可读取的储存媒体，其中可读取的储存媒体包括和一或多个所公开实施例相关的程序码。在一些实施例中，电脑程序的产品可包括封装材料。

本说明书中所提到的「一实施例」或「实施例」，表示与实施例有关的所述特定的特征、结构、或特性是包含根据本发明的至少一实施例中，但并不表示它们存在于每一个实施例中。因此，在本说明书中不同地方出现的「在一实施例中」或「在实施例中」词组并不必然表示本发明的相同实施例。

以上段落使用多种层面描述。显然的，本文的启示可以多种方式实现，而在范例中公开的任何特定架构或功能仅为一代表性的状况。根据本文的启示，本领域技术人员应理解在本文公开的各层面可独立实作或两种以上的层面可以合并实作。

虽然本发明已以优选实施例公开如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的构思和范围内，当可作些许的变动与润饰，因此本发明的保护范围当视权利要求所界定者为准。