图像处理方法以及图像获取装置与流程

本发明涉及一种图像处理方法及图像获取装置，尤其涉及于一种拼接图像的图像处理方法以及图像获取装置。

背景技术：

图像拼接(imagestitching)是通过结合两个或更多具有重叠部分的图像来产生视野更广的全景图像或是高解析度图像的一种图像处理技术。图像拼接包括图像对准(imagealignment)和图像混合(blending)两大步骤。图像对准是指找出两张图像之间的变换关系，如平移、旋转、缩放，经过变换之后使两张图像中相同的部分可以重叠。图像混合就是指让对准后的图像能平顺地拼接的技术。常见的方法有阿法混合(alphablending)、梯度域拼接(gradient-domainstitching)等。然而，当所获得的全景图像的拼接位置中贯穿了人脸图像时，图像错位便会导致人脸图像模糊不清。

技术实现要素：

本发明提供一种图像处理方法以及图像获取装置，可避免人脸位于图像拼接的区域。

本发明的图像处理方法，包括：将自至少两个取像单元所分别获得的至少两个图像拼接，以产生拼接图像；对拼接图像进行人脸识别，以在识别出多个人脸的位置分别产生对应的多个识别方框，其中一个人脸对应至一个识别方框；在判定拼接图像中的拼接所述图像的拼接位置存在至少一个识别方框时，执行拼接位置调整程序。拼接位置调整程序包括：于拼接图像的全部识别方框中，计算两两相邻的识别方框之间的方框距离，以获得方框距离清单；自方框距离清单中取出最大者作为计算距离；找出相夹计算距离的两个识别方框，并计算两个识别方框之间的中心位置；计算中心位置与各拼接位置之间的比对距离，并自比对距离中取出最小者作为参考距离；以及自各拼接位置朝指定方向移动参考距离来获得调整后拼接位置。

在本发明的一实施例中，所述拼接位置调整程序还包括：在自方框距离清单中取出最大者作为计算距离的步骤之后，还包括：自方框距离清单中删除已取出的方框距离。在获得调整后拼接位置的步骤之后，还包括：判断调整后拼接位置中是否存在至少一个识别方框；以及倘若调整后拼接位置中存在至少一个识别方框时，重新执行拼接位置调整程序，直到调整后拼接位置中皆不存在识别方框。

在本发明的一实施例中，在获得调整后拼接位置的步骤之后，还包括：基于参考距离计算调整角度；以及根据调整角度，调整至少两个取像单元的拍摄角度。

在本发明的一实施例中，计算两两相邻的识别方框之间的方框距离的步骤包括：计算两两相邻的识别方框的最接近两边框之间的距离来作为方框距离。

在本发明的一实施例中，所述拼接图像为宽景图像、180度全景图像、360度全景图像或者球体环景图像。

在本发明的一实施例中，所述拼接图像包括至少一真实人脸图像及至少一虚拟人脸图像，或者拼接图像包括多个真实人脸图像，或者拼接图像包括多个虚拟人脸图像。

在本发明的一实施例中，所述图像处理方法，还包括：判断所述识别方框的数量是否大于1；在识别方框的数量大于1的情况下，在判定拼接图像中的拼接所述图像的拼接位置存在至少一个所述识别方框时，执行拼接位置调整程序；在识别方框的数量等于1的情况下，在判定拼接图像中的拼接所述图像的拼接位置存在识别方框时，执行另一拼接位置调整程序，包括：将拼接图像划分为四等分，以其中1/4处的位置作为第一判断位置，其中3/4处的位置作为第二判断位置；计算第一判断位置及第二判断位置分别与识别方框的中心位置之间的第一判断距离与第二判断距离；比较第一判断距离与第二判断距离，以取出其中的最小距离；基于最小距离，计算调整角度；以及根据调整角度，调整至少两个取像单元的拍摄角度。

本发明的图像获取装置，包括：至少两个取像单元；旋转元件，其安装有至少两个取像单元，用以调整至少两个取像单元的拍摄角度；处理器，耦接至旋转元件以及至少两个取像单元，处理器经配置以：将自至少两个取像单元所分别获得的至少两个图像拼接，以产生拼接图像；对拼接图像进行人脸识别，以在识别出多个人脸的位置分别产生对应的多个识别方框，其中一个人脸对应至一个识别方框；在判定拼接图像中的拼接所述图像的拼接位置存在至少一个识别方框时，执行拼接位置调整程序，拼接位置调整程序包括：于拼接图像的全部识别方框中，计算两两相邻的识别方框之间的方框距离，以获得方框距离清单；自方框距离清单中取出最大者作为计算距离；找出相夹计算距离的两个识别方框，并计算两个识别方框之间的中心位置；计算中心位置与各拼接位置之间的比对距离，并自比对距离中取出最小者作为参考距离；自各拼接位置朝指定方向移动参考距离来获得调整后拼接位置；基于参考距离计算调整角度；以及基于调整角度，控制旋转元件来调整至少两个取像单元的拍摄角度。

基于上述，本发明将多个图像拼接成全景图像，通过人脸识别功能来调整镜头位置，避免人脸位于图像拼接区域所造成的人脸图像模糊的问题。

附图说明

图1是依照本发明一实施例的图像获取装置的方块图；

图2是依照本发明一实施例的图像处理方法的流程图；

图3是依照本发明另一实施例的图像处理方法的流程图；

图4a～图4c是依照本发明一实施例的拼接位置调整程序的示意图；

图5a及图5b是依照本发明另一实施例的拼接位置调整程序的示意图；

图6是依照本发明一实施例的旋转元件的安置场景示意图；

图7是依照本发明一实施例的旋转元件的安置场景示意图；

图8是依照本发明一实施例的会议场所的示意图；

图9是依照本发明一实施例的拼接图像的示意图；

图10是依照本发明另一实施例的拼接图像的示意图。

附图标记说明

100：图像获取装置

110：处理器

120：存储装置

130：第一取像单元

140：第二取像单元

150：旋转元件

s210～s240：一实施例的图像处理方法各步骤

s305～s340：另一实施例的图像处理方法各步骤

cdis、cfrm：中心位置

f1～f10、ff1：识别方框

new12、new21：调整后拼接位置

a：第一判断位置

b：第二判断位置

o1、o2、o12、o21、new1、new2：拼接位置

z1～z10：方框距离

z12、z21：比对距离

za：第一判断距离

zb：第二判断距离

具体实施方式

图1是依照本发明一实施例的图像获取装置的方块图。请参照图1，图像获取装置100包括处理器110、存储装置120、第一取像单元130、第二取像单元140以及旋转元件150。在此，在本实施例中为了方便说明，仅举两个取像单元(第一取像单元130、第二取像单元140)来进行说明，然，在其他实施例中，图像获取装置100可以包括3个或更多取像单元。

处理器110耦接至存储装置120、第一取像单元130、第二取像单元140以及旋转元件150。处理器110可采用中央处理单元(centralprocessingunit，cpu)、物理处理单元(physicsprocessingunit，ppu)、图形处理器(graphicsprocessingunit，gpu)、可程序化的微处理器(microprocessor)、嵌入式控制芯片、数字信号处理器(digitalsignalprocessor，dsp)、特殊应用集成电路(applicationspecificintegratedcircuits，asic)或其他类似装置等来实现。

存储装置120是任意型式的固定式或可移动式随机存取存储器(randomaccessmemory，ram)、唯读存储器(read-onlymemory，rom)、快闪存储器(flashmemory)、安全数字卡(securedigitalmemorycard，sd)、硬盘或其他类似装置或这些装置的组合。存储装置120中存储有由一或多个程序码片段组成的模块，由处理器110执行所述模块，进而实现下述图像处理方法。

旋转元件150中安装有第一取像单元130、第二取像单元140，通过旋转元件150的旋转来调整第一取像单元130、第二取像单元140的拍摄角度。第一取像单元130、第二取像单元140可以是采用了电荷耦合元件(chargecoupleddevice，ccd)镜头、互补式金氧半晶体管(complementarymetaloxidesemiconductortransistors，cmos)镜头的摄影机、照相机等。

图2是依照本发明一实施例的图像处理方法的流程图。本实施例的图像处理方法可应用于图像获取装置100。而图像获取装置100例如为近端计算装置或云端计算装置。

请参照图1及图2，在步骤s210中，处理器110产生拼接图像。在此，处理器110将至少两图像拼接，以产生拼接图像。拼接图像例如为宽景图像、180度全景图像、能够以任何角度进行观赏的360度全景图像或者一球体环景图像。

接着，在步骤s215中，处理器110对拼接图像进行人脸识别，以产生识别方框。即，处理器110在识别出多个人脸的位置分别产生对应的多个识别方框。其中，一个人脸对应至一个识别方框。处理器110利用人脸识别算法在拼接图像中找出人脸，并且根据人脸所在的位置来产生一识别方框，通过识别方框来圈选出人脸。

另外，只要处理器110能够于图像中识别出人脸，本实施方式也可应用于模拟多头像会议的情况。即，拼接图像可以包括至少一真实人脸图像或至少一虚拟人脸图像，或者拼接图像同时包括至少一真实人脸图像以及至少一虚拟人脸图像。

处理器110在判定拼接图像中的拼接所述两图像的拼接位置存在识别方框时，执行拼接位置调整程序，拼接位置调整程序包括步骤s220～步骤s240。

在步骤s220中，在判定拼接图像中的拼接位置存在识别方框时，处理器110于拼接图像的全部识别方框中，计算两两相邻的识别方框之间的方框距离，以获得方框距离清单。在此，处理器110是计算两两相邻的识别方框的最接近的两个边框之间的距离来作为方框距离，并且将获得的方框距离写入至方框距离清单。在本发明的一实施例中，每个识别方框有四个边框，每个识别方框的其中一个边框与相邻的识别方框的其中一个边框彼此相邻，且两边框的距离相较于其他边框的距离为最短，则定义该距离为此两相邻的识别方框的最接近的两个边框之间的距离。在本发明的另一实施例中，识别方框可为多个边框所组成的封闭区域，例如三个、五个或以上，本发明不以此为限。

接着，在步骤s225中，处理器110自方框距离清单中取出最大者作为计算距离。之后，处理器110进一步自方框距离清单中删除已取出的方框距离。

然后，在步骤s230中，处理器110找出相夹所述计算距离的两个识别方框，并计算两个识别方框之间的中心位置。在本实施例中，处理器110以所述计算距离(最大的方框距离)来计算出中心位置。并且，在步骤s235中，处理器110计算中心位置与各拼接位置之间的比对距离，并自所述比对距离中取出最小者作为参考距离。之后，在步骤s240中，自各拼接位置朝指定方向移动参考距离来获得调整后拼接位置。

在获得调整后拼接位置之后，处理器110进一步判断调整后拼接位置中是否仍然存在识别方框，若是，则持续执行步骤s220～步骤s240。

图3是依照本发明另一实施例的图像处理方法的流程图。请参照图1及图3，在步骤s305中，处理器110自第一取像单元130与第二取像单元140分别获得第一图像与第二图像。在步骤s310中，处理器110拼接第一图像与第二图像产生拼接图像。在步骤s315中，处理器110对拼接图像进行人脸识别，以产生识别方框。在本实施例中，步骤s310～步骤s315与步骤s210～步骤s215相同，详细描述请参照步骤s210～步骤s215。

接着，在步骤s320中，处理器110判断拼接位置是否存在识别方框。倘若拼接位置不存在识别方框，代表拼接位置中并未贯穿人脸图像，在步骤s325中，输出拼接图像。倘若拼接位置存在识别方框，代表拼接位置贯穿了人脸图像，故，在步骤s330中，执行拼接位置调整程序。拼接位置调整程序可参照步骤s220～步骤s240的描述。

拼接位置调整程序中，在自方框距离清单中取出最大者作为计算距离之后，自方框距离清单中删除已取出的方框距离。在获得调整后拼接位置之后，如步骤s335所示，处理器110判断调整后拼接位置是否存在识别方框。倘若调整后拼接位置中存在至少一个识别方框时，返回步骤s330，重新执行拼接位置调整程序，直到调整后拼接位置中皆不存在识别方框。

在判定调整后拼接位置中皆不存在识别方框时，在步骤s340中，处理器110控制旋转元件150进行旋转。处理器110基于参考距离来计算调整角度，并且根据调整角度，控制旋转元件150进行旋转，藉此调整第一取像单元130与第二取像单元140的拍摄角度。

也就是说，处理器110基于调整后拼接位置来获得一假想拼接图像后，重复拼接位置调整程序，直到没有人脸位于假想拼接图像的调整后拼接位置。接着，处理器110计算新的假想拼接图像所需的拍摄角度，并控制旋转元件150使得第一取像单元130与第二取像单元140旋转至新的拍摄角度。此时，第一取像单元130与第二取像单元140所拍摄的第一图像与第二图像所拼接的拼接图像，便不会在拼接位置中出现人脸。

图4a～图4c是依照本发明一实施例的拼接位置调整程序的示意图。参照图4a～图4c，在本实施例中，拼接图像为两张图像所组合而成360度全景图像，其具有两个拼接位置o12、o21。利用人脸识别算法来找出拼接图像中的人脸，而在识别出人脸的区域产生识别方框f1～f10。拼接图像包括至少一真实人脸图像及至少一虚拟人脸图像，或者拼接图像包括多个真实人脸图像，或者拼接图像包括多个虚拟人脸图像。

处理器110判断拼接位置o12、o21是否通过识别方框f1～f10中的任一个。在图4a中，由于拼接位置o12贯穿识别方框f5，故，处理器110执行拼接位置调整程序。处理器110以两两相邻的识别方框的最接近两边框来计算出方框距离z1～z10，将方框距离z1～z10记录至方框距离清单。接着，自方框距离清单中取出最大者，即，方框距离z1。并且，处理器110自方框距离清单中删除已取出的所述方框距离，即方框距离z1。

之后，如图4b所示，处理器110根据方框距离z1找出对应的识别方框f1、f2，并且计算方框距离z1的中心位置cdis。接着，处理器110计算中心位置cdis与拼接位置o12、o21之间的比对距离z12、z21，并从比对距离z12、z21中取出最小者作为参考距离。在此，取出比对距离z21。之后，如图4c所示，自拼接位置o12、o21朝指定方向移动参考距离(即，比对距离z21)来获得调整后拼接位置new12、new21。在本发明的一实施例，指定方向为拼接位置o12往拼接位置new12的方向，或是拼接位置o21往拼接位置new21的方向。

接着，判断调整后拼接位置new12、new21是否还通过识别方框f1～f10中的任一个。倘若调整后拼接位置new12、new21还通过识别方框f1～f10中的任一个，则自方框距离z1～z10中找出次大者来作为计算距离。即，可将处理过的方框距离z1自方框距离清单中剔除，而自重新自方框距离清单中找出最大者来重新计算参考距离。倘若调整后拼接位置new12、new21并没有通过识别方框f1～f10中的任一个，则根据参考距离来计算旋转元件150的旋转角度。之后，处理器110驱使旋转元件150朝指定方向旋转了旋转角度之后，通过第一取像单元130与第二取像单元140来获取图像。

旋转角度的计算方式为将该参考距离作为弧长，将第一取像单元130与旋转元件150之间的距离作为半径，套用弧长计算公式，以取得旋转角度。

弧长计算公式如下：

其中，s为参考距离，r为第一取像单元130与旋转元件150之间的距离，θ为旋转角度。

图5a及图5b是依照本发明另一实施例的拼接位置调整程序的示意图。本实施例的拼接位置调整程序适用于识别方框的数量等于1的情况。请参照图5a及图5b，拼接图像为两张图像所组合而成360度全景图像，其具有拼接位置o1、o2。利用人脸识别算法来找出拼接图像中的人脸，而在识别出人脸的区域产生识别方框ff1。所述人脸可以是真实人脸或是虚拟人脸。在图5a中，将拼接图像划分为四等分，以其中1/4处的位置作为第一判断位置a，其中3/4处的位置作为第二判断位置b。计算第一判断位置a及第二判断位置b分别与识别方框ff1的中心位置cfrm之间的第一判断距离za与第二判断距离zb。比较第一判断距离za与第二判断距离zb，以取出其中的最小距离。在此，第一判断距离za小于第二判断距离zb。之后，基于最小距离(第一判断距离za)，计算调整角度，并且根据调整角度，调整第一取像单元130、140的拍摄角度。之后，来重新拍摄图像而获得调整后的拼接图像。如图5b所示，先前的拼接位置o1、o2在调整后变为拼接位置new1、new2。

图6是依照本发明一实施例的旋转元件的安置场景示意图。图7是依照本发明一实施例的旋转元件的安置场景示意图。如图6所示，设置有两个取像单元的旋转元件150安置在桌上，以在会议中进行拍摄。而当拼接图像的拼接位置出现人脸，经由上述图像处理方法的实施方式，可计算出一旋转角度θ(如图7所示)。进而，控制旋转元件150转动旋转角度θ。

图8是依照本发明一实施例的会议场所的示意图。图9是依照本发明一实施例的拼接图像的示意图。假设在图8所示的会议场所中采用所述实施方式的图像获取装置100，在经过所述实施方式中的图像处理方法，可获得如图9所示的拼接图像(包括三个人像)。

另外，图10是依照本发明另一实施例的拼接图像的示意图。在其他实施例中，假设图8所示的场景是在进行视频会议的情况下，如图10所示，拼接图像还可包括远端视频中所显示的人像，其中3个人像为现场与会人员，2个人像为远端进行视频的人像。

综上所述，本发明在由多个图像所拼接而成的拼接图像中，通过人脸识别功能来判断拼接位置是否存在人脸，藉此来调整镜头位置，避免人脸位于图像拼接区域所造成的人脸图像模糊的问题。