图像处理装置和图像处理方法与流程

技术领域

本发明涉及图像处理装置和图像处理方法。

背景技术：

近来，通过数字技术来补正由多个图像(帧)构成的动态图像的模糊。

作为动态图像的模糊补正的方法，例如在JP特开2011-97217号公报中公开了如下技术：提取图像的4个角的特征点，使用该4个角的特征点的移动量来进行图像的投影变换。

但是，在进行动态图像的模糊补正的情况下，首先提取构成动态图像的图像的特征点。接下来，通过遍历各图像在时间上追踪提取到的特征点来生成特征点轨迹。接下来，对生成的特征点轨迹进行平滑化(smoothing)来生成平滑化轨迹。接下来，进行使各图像的特征点移动到与该特征点对应的平滑化轨迹上的平滑点的图像变形处理，例如进行投影变换。

在此，一般，动态图像的模糊补正为了阻止映在动态图像上的背景的模糊而进行。但是，由于在动态图像中瞬间映入运动体、或者因特征点的追踪错误或手抖而产生的视差的影响等，即使作为图像变形处理来进行投影变换，动态图像中的图像也有时会突然失真地变形。若这样的图像包含在动态图像中，则动态图像看起来就会不自然。

技术实现要素：

为此，本发明鉴于上述状况而完成，其目的在于，提供能在图像的变形处理中抑制图像不定形地发生变形的图像处理装置等。

本发明的一个方面是一种图像处理装置，其特征在于，具备：临时系 数取得单元，其基于表示图像的特征的特征点来取得用于对该图像进行投影变换的临时系数；变换单元，其使用所述临时系数取得单元取得的临时系数对以多个固定点为顶点的多边形进行投影变换；变形度取得单元，其根据所述变换单元进行的投影变换前的多边形和该变换单元进行的投影变换后的多边形，取得表示多边形的变形程度的大小的变形度；判定单元，其判定所述变形度取得单元取得的变形度是否超过变形容许度；和投影变换单元，其在由所述判定单元判定为所述变形度未超过所述变形容许度的情况下，将所述临时系数取得单元取得的临时系数作为正式系数对所述图像进行投影变换。

本发明的另一个方面是一种图像处理装置，其特征在于，具备：投影变换系数取得单元，其基于表示图像的特征的特征点来取得用于对该图像进行投影变换的投影变换系数；投影变换单元，其使用所述投影变换系数取得单元取得的投影变换系数对所述图像进行投影变换；变形度取得单元，其根据所述投影变换单元进行的投影变换前的所述图像和该投影变换单元进行的投影变换后的所述图像，取得表示所述图像的变形程度的大小的变形度；和判定单元，其判定所述变形度取得单元取得的变形度是否超过变形容许度，在由所述判定单元判定为所述变形度未超过所述变形容许度的情况下，将所述投影变换单元进行的投影变换后的所述图像作为正式的变换图像。

附图说明

图1是表示图像处理装置的构成的框图。

图2是表示特征点轨迹和平滑化轨迹的一例的概念图。

图3是表示投影变换前的图像的一例的图。

图4是表示投影变换后的图像的一例的图。

图5是表示变形度表的一例的图。

图6是表示投影变换处理的流程的一例的流程图。

具体实施方式

以下基于附图来说明本发明的实施方式。

如图1所示那样，图像处理装置100例如是PC(Personal Computer，个人计算机)，具备控制部110、显示部120以及存储部130。该图像处理装置100对构成动态图像131的各图像(各帧)进行图像处理。特别地，本实施方式中的图像处理装置100进行将图像变形的投影变换来作为图像处理。用于进行该投影变换的投影变换系数使用多对由表示图像的特征的特征点和将包含该图像的动态图像中的特征点轨迹平滑化后的平滑化轨迹上的平滑点构成的一对配对来取得。

以下参考图2的概念图来说明先于该投影变换进行的求取特征点和平滑点的前处理。另外，由于该前处理是公知技术，因此作为与图1所示的实施方式所涉及的用于投影变换的构成不同的一般性理论在以下进行说明。另外，在图2中，为了容易理解而以由黑点表示的特征点为1个的情况为例进行说明，但构成实际的动态图像的图像(帧)包含多个特征点。

首先，如图2的特征点追踪所示那样，在作为构成动态图像的帧的第1图像中提取特征点。该特征点是物体的角或线段的交叉那样的成为图像中的特征的点。该特征点例如使用Harris/Plessey法、KLT法、Hessian法等算法从图像中提取。

接下来，遍历第2图像～第4图像对该提取出的特征点在时间上进行追踪。该特征点追踪例如使用利用了块匹配、浓度梯度的算法等进行。

通过该特征点追踪，得到图2中央所示的第1图像～第4图像中的Z字形的特征点轨迹。通过对该特征点轨迹进行平滑化(smoothing)而得到以实线表示的第1图像～第4图像的平滑化轨迹。该平滑化例如使用低通滤波器进行。

由此，如图2的特征点和平滑点所示那样，在各图像中得到特征点和对应的平滑化轨迹上的平滑点(圆叉)。该特征点和平滑点是一对配对，通过按每个图像进行使该特征点移动到平滑点的图像变形处理(在本实施方式中特别指投影变换)，来进行动态图像的模糊补正。另外，实际上，使图像中的多个特征点分别移动到对应的平滑点。

以上是先于投影变换进行的前处理。

在以下，以该前处理为前提，参考图1来说明投影变换所涉及的构成。

首先，存储部130是HDD(Hard Disk Drive，硬盘驱动器)等非易失 性存储器。该存储部130存储动态图像131。该动态图像131是对例如通过摄影装置(摄像机)以规定的帧速率拍摄到的的动态图像完成前处理后得到的动态图像。由此，构成动态图像131的各图像包含多个特征点和与该多个特征点分别成对的多个平滑点。

接下来，显示部120由液晶或有机EL(Electroluminescence，电致发光)等显示器和使该显示器均匀发光的背光灯等光源构成。显示部120具备显示动态图像、图像的显示画面(屏幕)121。

接下来，控制部110由CPU(Central Processing Unit，中央处理器)、ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)等构成。控制部110的CPU通过读出并执行存储于ROM的投影变换用的程序，来实现各功能(临时系数取得部111、多边形变换部112、变形度取得部113、判定部114、选择部115以及投影变换部116)。

临时系数取得部111基于表示图像的特征的特征点来取得用于对该图像进行投影变换的临时系数。具体来说，临时系数取得部111基于多对由图像所包含的特征点和平滑点构成的一对配对当中任意选择出的4个配对来取得临时系数

该临时系数通过以下的式(1)取得。

[数1]

在此，(x1～x4，y1～y4)是4个特征点的坐标。另外，(X1～X4，Y1～Y4)是与该4个特征点分别成为配对的平滑点的坐标。另外，(a，b，c，d，e，f，g，h)是用于投影变换的临时系数。如从该式(1)所明确的那样，为了求取用于投影变换的投影变换系数，特征点和平滑点的1对配对需要是4对。

接下来，多边形变换部112使用临时系数取得部111所取得的临时系数，对以多个固定点为顶点的多边形(三角形～n边形)进行投影变换。在本实施方式中，作为一例，将多边形是以图像4个角的4个固定点为顶点的长方形作为前提进行说明。即，多边形变换部112将图像设为长方形，借助临时系数进行投影变换。

在此，在图3示出图像10。该图像10为了容易理解而以映在显示画面121上为前提进行说明，但是，当然图像处理装置100也可以不让用户看到而进行内部处理。该图像10是构成动态图像131的1帧，是取得临时系数的图像。该图像10的4个角的坐标是(x1，y1)～(x4，y4)。Xsize以及Ysize例如由基于像素数的实际尺寸来确定。另外，以下，只要不需要特别确定并说明是图3所示的图像10，就在与其区别的意义下仅称作图像来进行说明。

多边形变换部112使用所取得的临时系数，通过以下的式(2)对该4个角的坐标(x1，y1)～(x4，y4)进行投影变换。

[数2]

在此，(x_i，y_i)是图像中的任意坐标，i是1以上的自然数。(x’，y’)是投影变换后的坐标。多边形变换部112将临时系数(a，b，c，d，e，f，g，h)和4个角的坐标(x1，y1)～(x4，y4)代入到式(2)中，求取投影变换后的坐标(x’1，y’1)～(x’4，y’4)，来将图像10变形。在图4中示出投影变换后的图像10’。可知，相比于图3的投影变换前的图像10，图4所示的投影变换后的图像10’发生了变形。

接下来，变形度取得部113根据多边形变换部112进行的投影变换前的多边形和该多边形变换部112进行的投影变换后的多边形，取得表示多边形的变形程度的大小的变形度。在本实施方式中，变形度取得部113根据图3的投影变换前的四边形的图像10和图4的投影变换后的四边形的图像10’取得变形度。

该变形度根据图像10’的各边(l1～l4)和对角线(l5以及l6)的长度、 与这些各边和对角线所对应的图像10的各边和对角线的长度之比来求取。变形度取得部113首先通过以下的式(3)来求取图像10’的各边(l1～l4)和对角线(l5以及l6)的长度。

[数3]

接下来，变形度取得部113基于投影变换后的图像10’的被求取到的长度，通过以下的式(4)来求取与投影变换前的图像10的长度之比。

[数4]

变形度取得部113选择该ratio1～ratio6当中的最大值(Max_ratio)、和最小值(Min_ratio)，将其比作为图像的变形率。即，图像(四边形)的变形率成为Min_ratio/Max_ratio。

该变形率表示在投影变换前后多边形以何种程度进行变形，如图5所示那样，变形率100％是未变形，即变形度成为0，由于变形程度随着该变形率降低而变大，因此变形度如图中所示那样变大。在通过比例尺变换(放大缩小)、平行移动、旋转移动等而使图形在变形前后重合的情况下，该变形率成为100％，即，在相似形的情况下成为变形度0。为此，只要不成为相似形(只要两者不重合)，变形度都大于0。

判定部114判定变形度取得部113所取得的变形度是否超过变形容许度。该变形容许度是为了不使动态图像看起来不自然而预先设定的，且该变形容许度是对图像的不定形的变形进行制约的基准。在本实施方式中，作为一例，在变形容许度为5的前提下进行说明。判定部114判定所取得的变形度是否超过变形容许度5。

在此，在判定部114判定为所取得的变形度超过变形容许度5，即所取得的变形度为6以上的情况下，重复进行各部(临时系数取得部111、多边形变换部112、变形度取得部113)的处理。即，反复执行各部的处理，直到取得使所取得的变形度不超过变形容许度5的临时系数为止。

接下来，在通过判定部114反复进行判定而判定为不超过变形容许度的变形度有多个的情况下，选择部115选择该不超过变形容许度的用于对多个多边形分别进行投影变换的多个临时系数当中作为正式系数来使用的临时系数。该选择部115的处理是从多个临时系数中选择1个临时系数作为正式系数的所谓的最佳化处理。该处理的详细内容在后面叙述。

接下来，投影变换部116使用选择部115所选择出的正式系数来对图像进行投影变换。在本实施方式中，投影变换部115使用正式系数对图像10进行投影变换。在此，所谓进行投影变换，是指将正式系数(a，b，c，d，e，f，g，h)和构成图像10的像素的坐标(x_i，y_i)代入到式(2)来得到投影变换后的坐标(x’，y’)。通过对图像10的全部像素各自的每个坐标重复该处理，从而得到由以投影变换后的坐标位置确定的像素构成的图像，即投影变换后的图像。

以上说明了图像处理装置100的构成。以下，参考图6来说明由图像处理装置100的各部的功能执行的投影变换处理。该投影变换处理针对前处理完毕的动态图像131以用户给出投影变换处理的执行指示为契机而开始。另外，并不限于此，当然也可以基于用户的指示对动态图像131一气呵成地执行前处理和投影变换处理。另外，在以下的说明中，将构成动态图像131的多个图像当中的图像10取为合适例来进行说明。

首先，临时系数取得部111判定由特征点和平滑点构成的配对是否是4个配对以上(步骤S11)。在本实施方式中，临时系数取得部111判定在图像10中由特征点和平滑点构成的配对是否是4个配对以上。在此， 在不是4个配对以上的情况下(步骤S11“否”)，由于不能求得用于投影变换的临时系数，因此立刻结束。

另一方面，在是4个配对以上的情况下(步骤S11“是”)，临时系数取得部111随机选择4个配对(步骤S12)。在本实施方式中，临时系数取得部111从图像10中随机选择4对特征点和平滑点的配对。

接下来，临时系数取得部111基于所选择出的4个配对来取得临时系数(步骤S13)。具体来说，临时系数取得部111按照上述的要点，根据所选择出的4个配对的特征点的坐标和平滑点的坐标，使用式(1)来取得临时系数(a，b，c，d，e，f，g，h)。

接下来，多边形变换部112使用所取得的临时系数对多边形进行投影变换(步骤S14)。在本实施方式中，多边形变换部112按照上述的要点，使用式(2)对图3所示的投影变换前的四边形的图像10进行投影变换，得到图4所示的投影变换后的图像10’。

接下来，变形度取得部113取得多边形的变形度(步骤S15)。具体来说，变形度取得部113按照上述的要点，使用式(3)以及式(4)来取得四边形的图像10的变形度。

接下来，判定部114判定变形度是否超过变形容许度(步骤S16)。在本实施方式中，判定部114判定图像10的变形度是否超过变形容许度5。

在此，在变形度超过变形容许度的情况下(步骤S16“是”)，重复步骤S12至S16的处理，直到变形度变得不超过变形容许度为止(步骤S16“否”)。

即，临时系数取得部111在每次由判定部114判定为变形度超过变形容许度时，将随机选择出的4个配对当中的至少1个配对改变成与该4个配对不同的配对来反复取得临时系数。多边形变换部112在每次由临时系数取得部111取得临时系数时，使用该取得的临时系数对多边形(本实施方式中为四边形的图像10)反复进行投影变换。变形度取得部113在每次由多边形变换部112对多边形进行投影变换时，基于该投影变换后的多边形反复取得变形度。判定部114在每次由变形度取得部113取得变形度时，反复判定该取得的变形度是否超过变形容许度(步骤S12至S16的循环)。由此，将使图像10变形成看上去有不协调感程度的临时系数排除。

在此，在变形度未超过变形容许度的情况下(步骤S16“否”)，选择部115使用临时系数对全部特征点进行投影变换(步骤S17)。在本实施方式中，选择部115使用临时系数和式(2)对图像10所包含的全部特征点各自的坐标进行投影变换。

接下来，选择部115算出投影变换后的全部特征点和与全部特征点分别配对的平滑点的距离的总和(步骤S18)。具体来说，选择部115按每个特征点求取投影变换后的特征点的坐标和与该特征点配对的平滑点的坐标的距离(欧几里德距离)，对求得的各个距离求总和。

另外，有时虽然针对为了求取临时系数而随机选择出的4个配对，特征点和平滑点通过投影变换而重合(即距离为0)，但针对其他配对，特征点和平滑点不重合(即距离大于0)。为此，由于总和越小则全部特征点越接近于全部平滑点，因此优选作为正式系数。

接下来，选择部115判定算出的总和是否是最小(步骤S19)。具体来说，选择部115判定在使用本次的临时系数算出的总和以及前次使用不同的临时系数算出的总和中哪一者最小。

在此，若使用本次的临时系数算出的总和最小(步骤S19“是”)，则选择部115将其作为正式系数暂时保存(步骤S20)，前进到步骤S21。另一方面，若使用本次的临时系数算出的总和不是最小(步骤S19“否”)，则跳过步骤S20而前进到步骤S21。

在步骤S21，控制部110判定是否结束了规定次数(步骤S21)。在此，在未结束规定次数的情况下(步骤S21“否”)，重复步骤S12至S20的处理，直到结束规定次数(例如500次)为止(步骤S21“是”)。

重复该处理，仅采用步骤S12至S16中不使图像10不定形地发生变形的临时系数来进行步骤S17至S20的处理，进行临时系数的最佳化。换言之，从在步骤S12至S16中最初挑选出的不使图像10不定形地发生变形的多个临时系数当中，选择部115选择对图像10的全部特征点的坐标进行投影变换而得到的投影变换后的坐标和分别与该全部特征点配对的平滑点的坐标之间的距离的总和最小的临时系数，作为正式系数。即，选择部115在根据图像10不失真的特征点求得的多个临时系数当中，选择全部特征点最接近于全部平滑点的临时系数，作为正式系数。

返回图6，在结束规定次数后(步骤S21“是”)，投影变换部116使用暂时保存的正式系数对图像进行投影变换(步骤S22)，将处理结束。具体来说，投影变换部116将最佳化的临时系数作为正式系数，来对图像10进行投影变换，将处理结束。由此，能使图像10以不超过变形容许度的方式进行变形，且使图像10中的全部特征点最接近于全部平滑点。

另外，图像10是一例，对作为构成动态图像131的帧的每个图像反复进行由各部(临时系数取得部111、多边形变换部112、变形度取得部113、判定部114、选择部115、投影变换部116)的各处理构成的一系列处理(投影变换处理)。这时，变形容许度的值可以对于全部图像来说是共同的。

以上，根据本实施方式中的图像处理装置100，通过具备用于投影变换的各部(临时系数取得部111、多边形变换部112、变形度取得部113、判定部114、投影变换部116)，能避免发生将会进行超过图像的变形容许度那样的投影变换的临时系数作为正式系数的情况。由此，即使进行投影变换，也不会发生由于运动体的映入、特征点的追踪错误、视差的影响等而使动态图像中的图像突然失真地变形这样的情况。因此，能抑制图像的不定形的变形。

另外，根据该图像处理装置100，通过具备选择部115，能从不超过变形容许度的多个临时系数当中选择图像中的全部特征点最接近于全部平滑点的临时系数作为正式系数。由此，能抑制动态图像中的图像突然失真那样的不自然的变形，且能抑制动态图像的模糊。

另外，在本实施方式中，多边形变换部112使用临时系数，对以图像10的4个角的4个固定点为顶点的四边形进行投影变换。由此，能直观地感知实际的图像10有多么失真。另外，使用图像4个角的四边形作为多边形是一例，也可以借助三角形或5边形以上的多边形来求取变形度。另外，该变形度不必是利用了图像的变形度，也可以在与图像不同的二维平面上以数学方法对多边形进行投影变换，来求取变形度。

另外，在本实施方式中的投影变换处理中，在步骤S17至S21的最佳化处理(所谓的RANSAC(Random Sample Consensus，随机采样一致性)法)的前阶段基于变形度来缩小临时系数的范围。由于该处理的运算由数 个步骤构成，因此处理能力低的CPU也能进行投影变换处理，能实现投影变换处理的低耗电驱动。

以上结束了实施方式的说明，但图像处理装置100的具体的构成、图6所示的投影变换处理的内容当然并不限于上述的实施方式中的说明。

在上述的图6的投影变换处理中，进行了步骤S17至S21的最佳化处理，但并不限于此。例如，也可以在不进行该最佳化处理而在步骤S16中判定为变形度未超过变形容许度的情况下，投影变换部116立即将取得的临时系数作为正式系数，来对图像进行投影变换。由此，除了上述的实施方式的效果以外，由于能减轻最佳化处理的处理负担，因此能缩短处理时间。

另外，在上述的实施方式中的图像处理装置100是PC的前提下进行了说明，但并不限于此。例如，也可以由摄影装置具备图像处理装置100的各部的功能，进行投影变换处理。在该情况下，若在用户拍摄动态图像的过程中实时地进行投影变换处理，则能在实时取景中降低动态图像的模糊补正，并能抑制帧的失真。

另外，在上述的实施方式中，使用临时系数对多边形进行投影变换，取得变换前的多边形与变换后的多边形的变形度，判定变形度是否超过变形容许度，使用判定为不超过变形容许度的临时系数来对图像进行投影变换，但并不限于此。

例如，临时系数取得部111基于表示图像的特征的特征点来取得用于对该图像进行投影变换的投影变换系数。即，临时系数取得部111取得投影变换系数，来取代临时系数。接下来，投影变换部116使用所取得的投影变换系数对图像进行投影变换。接下来，多边形变换部112根据投影变换前的源图像和投影变换后的图像取得变形度。接下来，判定部114判定所取得的变形度是否超过变形容许度。然后，在由判定部114判定为变形度未超过变形容许度的情况下，将投影变换后的图像作为正式的变换图像即可。由此，与上述实施方式相比，能进一步缩短处理时间。

另外，本发明的图像处理装置100的各功能还能由通常的PC等计算机实施。具体来说，在上述实施方式中，说明了将投影变换用的程序预先存储在控制部110的ROM中。但也可以将用于实现图1的各部的功能的 程序保存分布于软盘、CD-ROM(Compact Disc Read Only Memory，只读光盘存储器)、DVD(Digital Versatile Disc，数字多功能盘)以及MO(Magneto-Optical Disc，磁光盘)等计算机可读的记录介质，将该程序安装在计算机中，由此构成能实现上述的各部的功能的计算机。

另外，也可以将程序预先保存在因特网等通信网络上的服务器装置所具有的盘装置等中，例如能够由计算机进行下载等。

以上说明了本发明的实施方式，但该实施方式只是例示，并不限定本发明的技术范围。本发明能取其他各种实施方式，进而能在不脱离本发明的要旨的范围内进行省略或置换等各种变更。这些实施方式、其变形也包含在记载于权利要求书的发明和其等同的范围中。