专利名称：图像处理装置以及图像处理方法
技术领域：
本发明涉及图像处理装置以及图像处理方法，尤其涉及图像修正技术。
背景技术：
近年来，在照相机、摄像机等摄影装置中的手抖修正技术中，提出了对图像的倾斜进行修正的技术。在专利文献1中公开了如下方法对摄像装置设置加速度传感器，通过用加速度传感器测量重力加速度，检测摄像装置相对于地轴的倾斜，根据检测到的倾斜角度，对拍摄的图像的倾斜进行修正。此外，在专利文献2中公开了如下方法对存在于摄像图像的上部的线段进行检测，根据这些线段的倾斜角，推定图像整体的倾斜角，对摄像图像的倾斜进行修正。此外，在专利文献3中公开了将传感器和图像处理进行组合来使用从而提高倾斜角度计算的精度的方法。进而，在专利文献4中公开了如下方法在利用图像处理来计算图像的倾斜角度时，将图像分割为小块，判断各个块中的纹理(texture)所示的方向性，仅将该纹理具有单一方向性的区域作为对象来计算倾斜角度。该方法与仅根据图像中的构造物(structure) 来提取倾斜信息的方法等效，有利于倾斜角度计算的精度和稳定性的提高。但是，在专利文献1所公开的使用传感器的方式中，传感器的输出值包含惯性噪声(inertial noise)或其他轴灵敏度等变动成分，因此在摄像机等摄影者一边移动一边进行摄像的情况下难以进行高精度的倾斜修正。此外，在专利文献2中，所摄像的图像的构图有限制，在一般的使用状况下并不实用。在专利文献3及专利文献4中，为了弥补上述缺点，提出了将传感器和图像处理进行组合来使用的方法。即，公开了利用传感器信息从多个倾斜角度候选之中选择某个满足一定的基准的角度成分的方法，但是在传感器的输出值中叠加有变动成分的情况下，无法避免其精度下降。此外，在专利文献4中公开了预先去除在推定倾斜角度时可能成为变动成分的来自非构造物的倾斜角度信息，来实现其精度提高的方式，但是在来自构造物的倾斜角度信息本身成为变动成分的情况下无法呈现效果。图1A、图IB是用于说明来自构造物的倾斜角度信息成为变动成分的一例的图。图 IA是使用如鱼眼镜头那样的广角镜头所拍摄的影像。通常，广角拍摄的影像中存在失真，因此为了获得正确的图像处理结果，需要通过校准或从镜头的投影方式进行逆运算，来剪切广角摄影图像的一部分区域而制作失真少的影像。图IB是剪切图IA的中心附近并进行失真修正而得到的图像的例子。如图1A、图IB那样的构图中可知，构造物的水平线从近前向进深方向延伸，本来是平行线的线向消失点收敛。此外，提供正确的倾斜角度信息的构造物的垂直线比水平线相对少，因此难以检测出正确的倾斜角度信息。图2是针对图IB所示的图像的每个像素的亮度梯度，横轴取角度、纵轴取频度而得到的角度直方图。假设该图像倾斜了角度θ时，本来优选的是θ的bin的频数取最频值，但可知根据构造物的水平线得到的角度的bin的频数超过该最频值(mode value) 0该特性尤其因广角影像而变得显著，因此通过专利文献4中公开的预先去除非构造物的方法不可能解决。在专利文献5中公开了如下方法将消失点候选和从图像中提取的边缘用线段连接，制作将满足规定基准的线段的倾斜角度的频度累计而得到的直方图，一边逐个改变消失点候选一边求出该直方图，将表示最大的频度的消失点候选作为消失点。若决定了该消失点，就能够确定构造物的水平线，能够去除来自构造物的变动成分。但是，若利用专利文献5中公开的方法，则有可能还去除构造物的垂直线。此外，必须预先确定规定的基准，在无法设想以怎样的倾斜角度进行摄影的情况下无法使用。
发明内容
本发明的目的在于，根据从图像得到的边缘成分及其倾斜角度，选择能够在图像的倾斜角度的推定中使用的信息，由此能够进行倾斜角度推定，并对图像的倾斜进行修正。现有技术文献专利文献专利文献1 日本特开2006-245726号公报专利文献2 日本专利第3676360号公报专利文献3 国际公开第2009-001512号专利文献4 国际公开第2009-008174号专利文献5 日本特开昭63-106875号公报
发明概要本发明的图像处理装置包括图像取得部；倾斜信息计算部，针对由图像取得部取得的图像的各像素，计算用于对图像的倾斜进行推定的多个倾斜信息；角度直方图生成部，利用由倾斜信息计算部计算出的多个倾斜信息，生成作为每个倾斜角度的频数分布的角度直方图；倾斜信息-位置记录部，记录多个倾斜信息与得到该信息的图像上的位置之间的对应；倾斜信息分布度计算部，根据倾斜信息及其位置，计算倾斜信息的分布度；伪信息判定部，根据倾斜信息的分布度，判定倾斜信息中的在倾斜推定中能够使用的信息和不能使用的信息；峰值检测部，基于伪信息判定部的判断结果，提取能够使用的角度直方图的最大值或极大值；倾斜推定部，根据峰值检测部所检测到的最大值或极大值所示的倾斜角度，推定图像的倾斜角度；以及图像修正部，利用推定出的倾斜角度，修正图像的倾斜。根据该结构，在推定图像的倾斜角度时，能够根据从图像提取的多个边缘及其倾斜角度，选择在倾斜角度的推定中能够使用的信息。此外，在上述图像处理装置中，也可以是，用于对上述倾斜进行推定的多个倾斜信息是将上述图像中的线段与其倾斜角一起计算出的；上述倾斜信息计算部在上述图像的预先确定的范围中按预先确定的像素间隔进行上述计算处理。此外，在上述图像处理装置中，也可以是，用于对上述倾斜进行推定的多个倾斜信息是将上述图像中的亮度信息代入到规定的运算式中进行运算、并求取上述亮度信息的亮度梯度而计算出的；上述倾斜信息计算部在上述图像的预先确定的范围中按预先确定的像素间隔进行上述计算处理。根据该结构，能够减轻倾斜信息计算部的处理负荷或倾斜信息计算部以后的处理负荷。此外，在上述图像处理装置中，也可以是，上述角度直方图生成部进行对各倾斜角度信息的加权，从上述图像检测到的线段的长度越长则使权重越大。此外，在上述图像处理装置中，也可以是，上述角度直方图生成部进行对各倾斜角度信息的加权，从上述图像检测到的亮度梯度越接近于垂直则使权重越大。通过使可信赖的水平线、垂直线成分、亮度梯度的权重增大，能够正确地进行倾斜角度的推定和修正。此外，在上述图像处理装置中，也可以是，上述倾斜信息的分布度是与同一倾斜角度或在预先确定的范围内的每个倾斜角度的位置有关的方差或标准偏差。此外，在上述图像处理装置中，也可以是，上述伪信息判定部对上述倾斜信息分布度计算部的计算结果和预先设定的值进行比较，判断某同一个倾斜角度或在预先确定的范围内的倾斜角度是否为伪信息；上述倾斜推定部从满足上述角度直方图生成部中预先确定的基准的倾斜角度之中，选择在上述伪信息判定部中判断为不是伪信息的倾斜角度。此外，在上述图像处理装置中，也可以是，上述倾斜推定部从具有满足上述角度直方图生成部中预先确定的基准的频数的倾斜角度之中，选择在上述伪信息判定部中判断为不是伪信息的倾斜角度中的具有最高的频数的倾斜角度。此外，在上述图像处理装置中，也可以是，还具备图像修正部，该图像修正部按照上述倾斜推定部所输出的上述倾斜信息来修正图像。根据该结构，能够根据倾斜推定部所推定出的倾斜信息来进行图像的修正。此外，在上述图像处理装置中，也可以是，还具备图像积蓄部，存储取得的图像； 以及全景图像制作部，从存储在上述图像积蓄部中的图像之中，选择并读出至少两个图像， 将该图像结合而制作全景图像；上述倾斜信息计算部对上述全景图像的各像素进行规定的运算，提取用于对上述全景图像的倾斜进行推定的多个信息。根据该结构，图像中的线段或像素的每个倾斜角度的局部性变得更明确，因此倾斜角度的推定精度提高。此外，在上述图像处理装置中，也可以是，上述倾斜推定部推定与上述全景图像有关的倾斜角度；利用构成上述全景图像的两个以上图像之间的相对的旋转角度，计算构成上述全景图像的两个以上图像的各自的倾斜角度。根据本发明的图像处理装置，在推定图像的倾斜角度时，例如即使是利用广角镜头拍摄的、构造物的水平成分起主导作用的图像，也能够选择表示图像的倾斜角度的信息， 能够正确地进行倾斜角度的推定和修正。
图IA是用于说明来自构造物的倾斜角度信息成为变动成分的一例的、表示利用广角镜头摄影的图像的图。图IB是用于说明来自构造物的倾斜角度信息成为变动成分的一例的、表示剪切图IA的中心附近并去除失真而得到的图像的图。图2是表示图IB的图像的角度直方图的图。图3是表示本发明的实施方式1中的图像处理装置的结构的图。
图4是表示本发明的实施方式1中的图像处理方法的流程图。图5是说明线段上的点的亮度梯度的图。图6A是表示Sobel滤波器所使用的系数矩阵的图。图6B是表示Sobel滤波器所使用的系数矩阵的图。图7A是说明对Hough变换中的线段赋予特征的参数的图。图7B是说明对Hough变换中的线段赋予特征的参数的图。图8是说明记录从图像中提取的边缘及其参数的格式的一例。图9A是表示构造物的垂直线和水平线的空间性分布特性的差异的图。图9B是表示构造物的垂直线和水平线的空间性分布特性的差异的图。图9C是表示构造物的垂直线和水平线的空间性分布特性的差异的图。图9D是表示构造物的垂直线和水平线的空间性分布特性的差异的图。图10是表示本发明的实施方式2中的图像处理装置的结构的图。图IlA是说明根据多个图像制作全景图像的例子、以及使用本发明的实施方式2 中的全景图像的优点的图。图IlB是说明根据多个图像制作全景图像的例子、以及使用本发明的实施方式2 中的全景图像的优点的图。图12是表示本发明的实施方式3中的图像处理装置的结构的图。图13是表示加速度传感器的3轴的输出值的一例的图。图14是表示利用加速度传感器进行倾斜检测时的χ方向、y方向的输出值的一例的图。
具体实施例方式以下，参照
本发明的实施方式的结构和动作。(实施方式1)图3是表示本发明的实施方式1中的图像处理装置的结构的图。此外，图4是表示本发明的实施方式1中的图像处理方法的流程图。图像取得部301将由摄像部307取得的图像数据取入到图像处理装置300中，并发送给倾斜信息计算部302(S401)。倾斜信息计算部302中针对取入的图像计算倾斜信息 (S402)。作为其方法，有如下方法等对图像进行灰阶(gray scale)变换，按每个像素使纵向、横向的Sobel滤波器起作用，将其结果进行合成并计算梯度矢量的方法，以及使进行从图像中提取线段的Hough变换起作用，计算线段长度及其倾斜角度的方法，但本发明不限于此。例如，也可以是，在从图像中提取线段时，将图像分割为多个小区域，检查各小区域中是否包含成为判断对象的具有倾斜的线段或像素(即，针按预先确定的范围的预先确定的像素间隔，检查是否包含成为判断对象的具有倾斜的线段或像素)。根据该结构，能够减轻倾斜信息计算部302的处理负荷或者倾斜信息计算部302以后的处理负荷。这里，利用图5、图6A、图6B对梯度矢量计算进行说明。在图5中，将位置P的图像的像素值设为I (P)，将P的X方向、y方向的对比度变化分别设为dx、dy时，用dx = ai(P)/ax,dy = ai(P)/ay
表示。此时，若将对比度变化的方向设为Θ，则θ = tan" (_1) (dy/dx)成立，这相当于上述的梯度矢量的方向。求取dx、dy时使用图6A、图6B所示的 Sobel滤波器。图6A及图6B分别是用于测定χ方向、y方向的对比度变化的滤波器要素。 接着，利用图7A、图7B说明基于Hough变换的线段检测。在图7A中，通过点(x_i，y_i)的直线满足下式。ρ = x_i · cos θ +y_i · sin θ另外，ρ表示直线与原点之间的距离，θ表示从原点到直线的垂线与χ轴所成的角。这意味着，通过点(x_i，y_i)的直线群与图7B中的一条曲线建立对应。另一方面，若对位于相同的直线上的多个点进行相同的对应，则所得到的多个曲线在一点上相交， 该交点(P，Θ)表示通过这些点的直线。S卩，关注某θ，对ρ的数量进行计数，从而能够取得倾斜θ的线段的数量。角度直方图生成部303通过以下处理来生成角度直方图(S403)，该处理是将梯度矢量之中具有相同的方向成分的梯度矢量进行累计，或者将通过Hough变换求出的线段之中具有相同的方向成分的线段的长度进行相加。该角度直方图成为表示“某角度方向的边缘存在多少”的指标，一般在图像中在没有倾斜的状态下仅拍摄有构造物的情况(没有失真的情况)下，水平线、垂直线成分变多，因此成为0度及90度的角度直方图的值具有强的峰值的形状。如图IA及图IB所示，若为倾斜θ的图像，则如图2所示可得到没有倾斜的情况的角度直方图平行移动了 θ的角度直方图。另外，在本实施方式中，说明了按每个像素来求取亮度梯度的例子，但本发明不限于此。例如，也可以是，在根据图像求取亮度梯度时，将图像分割为多个小区域，在各小区域中，检查与在此得到的倾斜角度成士90°的方向上是否存在具有同一倾斜角度的像素 (即，检查与按预先确定的范围的预先确定的像素间隔而得到的倾斜角度成士90°的方向上是否包含具有同一倾斜角度的像素)。根据该结构，能够减轻倾斜信息计算部302的处理负荷或者倾斜信息计算部302以后的处理负荷。在以往的图像处理的倾斜角度推定中，通过峰值检测部304搜索表示角度直方图的最大值的角度，通过倾斜推定部305将表示角度直方图的最大值的角度原样作为图像的倾斜角度，在图像修正部306中进行对该倾斜角度进行修正的处理。或者通过峰值检测部 304选择包含最大值的几个极大值，在倾斜推定部305中，通过多项式内插、最小二乘法、梯度法等计算将该极大值平滑连接的包络线，然后解析性地计算最大值，将该最大值作为图像的倾斜角度，并在图像修正部306中对该倾斜进行修正。通常，在图像修正部306中通过仿射(affine)变换对旋转进行修正。在本发明中，根据角度直方图进行的倾斜角度的推定和基于仿射变换的修正也进行同样的处理。在倾斜信息-位置记录部310中，将由倾斜信息计算部302求出的倾斜信息与其在图像中的位置建立关联来记录(S411)。图8是将倾斜信息与表示其在图像中的位置的坐标建立关联来记录的例子。另外，倾斜信息在图像中的位置并不限于坐标，只要能够表现位置，则也可以是矢量数据等。例如，帧ID、边缘ID、x/y方向边缘成分、角度、边缘强度、坐标等被建立关联来记录，但在该数据库中也可以追加是否是从构造物得到的边缘、或者进行特征点提取时的特征量等，也可以是仅为边缘ID、x/y方向边缘、坐标或者仅为边缘ID、角度、坐标这样的最小结构。倾斜信息分布度计算部311从上述数据库中提取具有在规定角度宽度的范围内的角度的多个倾斜信息，计算与这些坐标有关的方差或标准偏差(S412)。 在设x/y方向的坐标的方差分别为V_x/y、x/y方向的标准偏差分别为o_x/y时，V以及σ 能够由以下式表现。(式 1) V_x= (1/η) Σ (χ-χ_η) "2, V_y = (1/η) Σ (y-y_n) "2(式 2) σ—χ = ^(V—χ),σ—y = ^(V_y)这里，x、y是各个坐标的平均值，η是其边缘数。登记在该数据库中的倾斜信息属于某个角度范围的集合，针对所有的集合求取关于坐标的标准偏差或方差。另外，只要是求取某集合的方差程度的计算方法，则不限于此。这里，叙述给出正确的倾斜角度的构造物的垂直线、和成为伪信息的构造物的水平线在图像上的几何配置特性。图9Α至图9D是从图IB所示的图像中提取具有相同倾斜角度的线段或像素的图。图9Α是构造物的垂直线，可知在图像上的广阔的位置上分散配置。相对于此，图9Β至图9D是提取构造物的水平线的图。可知，仅在同一水平线时(图9D 的情况)，或者最多与相对于消失点位于相反侧的构造物的水平线的倾斜角度偶然一致时 (图9Β或图9C的情况)，构造物的水平线在图像上成为相同的倾斜角度，且最多仅出现两处，分布在图像上的非常窄的范围。若能够检测出该局部性，则能够判断在图像的倾斜角度推定中是否能够使用。伪信息判定部312利用如上所述的构造物边缘的特征，判断某关注的倾斜角度的局部性，由此判定是否为伪信息(S413至S415)。局部性判断的具体方法中，计算边缘的旋转了倾斜角度后的坐标，然后求出式1或式2，并利用如下特性，该特性是如图9Β至图9D 那样的具有局部性的倾斜角度的集合的旋转后的χ方向或y方向的方差或标准偏差成为非常小的值，而图9A中在χ方向、y方向均具有某种程度的大小。进而，可以考虑如下方法等，即将图像分割为多个小区域，检查各小区域中是否包含具有成为判断对象的倾斜的线段或像素。或者，也可以是，在求取亮度梯度时，检查与在此得到的倾斜角度成士90°的方向上是否存在具有同一倾斜角度的像素，或者将Hough变换的结果原样利用。局部性判断的方法不限于在此叙述的方法，只要是能够判断图像中的特征量的局部性的方法，则能够利用任何方法。峰值检测部304、倾斜推定部305接收上述角度直方图生成部303的给出角度直方图的多个极大值的倾斜角度、或者给出最频值的倾斜角度这样的信息、以及上述伪信息判定部312的每个倾斜角度的判定结果。此时，例如将判断为不是伪信息的倾斜角度之中给出最频值的角度设定为倾斜推定角度，并将该信息发送给图像修正部306(S404、S405)。图像修正部306例如进行仿射变换等而使图像整体旋转，由此能够对图像间的旋转移动量进行修正。这里，倾斜推定部305在通过上述方法设定的倾斜推定角度与之前刚刚推定的倾斜角度大为不同的情况下，也可以忽略推定结果，而将之前刚刚推定的角度作为倾斜角度。 或者，也可以是，对倾斜推定部305之前刚刚推定的倾斜角度设定适当的误差容许范围(例如士1°等)，在该范围内选择判断为不是伪信息的倾斜角度之中给出最频值的倾斜角度， 并将该倾斜角度作为推定角度。在任何情况下最终都通过在图像修正部306中使图像整体旋转来完成目的图像的修正(S406)。
修正后的图像保存在存储部308中后，显示在未图示的监视装置上，或者也可以作为文件保存在未图示的外部存储装置中。此外，也可以经由网络送出。以上是本发明的实施方式1的图像处理装置300的结构和动作。另外，也可以是，角度直方图生成部303进行对各倾斜角度信息的加权，从上述图像检测到的线段的长度越长则使权重越大。因为，线段的长度越长，则是能够信赖的水平线或垂直线成分的可能性越高。此外，也可以是，角度直方图生成部303进行对各倾斜角度信息的加权，从上述图像检测到的亮度梯度越接近于垂直则使权重越大。另外，对于未持有为了推定倾斜角度而需要的信息的图像，也可以不进行任何处理。例如，在画面上拍摄了许多人物、自然物的图像中，由于不存在构造物信息，因此不能进行倾斜信息的计算。在这样的情况下，在视觉上也会导致对图像的倾斜的灵敏度降低(即使倾斜也难以感觉到品质的下降)，因此与利用从人物、自然物提取的不稳定且准确度低的倾斜推定角度来进行修正相比，取消修正本身会更好。另外，也可以设置对推定到的倾斜角度进行保存的缓冲器。该缓冲器中预先保存有按时间序列计算出的推定倾斜角度，在不能计算出某一张图像的倾斜角度的情况下，也可以利用其前后的倾斜角度推定成功的结果进行内插(interpolation)，由此进行推定。这是因为，在摄像机等取得连续的图像的设备中，图像的倾斜角度通常连续变化，因此通过使用该性质，还能够根据过去的倾斜角度推定结果，利用外插(extrapolation)处理推定对象图像的倾斜角度。(实施方式2)图10是表示本发明的实施方式2的图像处理装置的结构的图。在图10中，对于与图3相同的结构要素使用相同的符号，并省略说明。图像积蓄部1001在规定的时间宽度记录由图像取得部301得到的图像数据。设为具有与FIFO同样的结构。全景图像制作部1002将图像积蓄部1001中记录的图像数据依次读出，制作全景图像。全景图像的制作本身利用公知的方式即可。假设在制作全景图像时成为其元数据的多个图像数据间的相对的倾斜角度被去除。全景图像被发送到倾斜信息计算部302，之后，以与实施方式1相同的方法进行倾斜角度的推定和全景图像的倾斜修正。通过制作全景图像，图像中的线段或像素的每个倾斜角度的局部性变得更明确。 图11A、图IlB是全景图像的例子。图IlA表示将4张图像进行合成而制作1张全景图像的情况，检测图像1至图像4的重叠的部分，以使该部分的偏差不存在的方式进行合成，来制作一张全景图像。图IlB是从全景图像提取的线段或像素具有相同的倾斜角度的情况的一例。例如图IlB的图像3所示，存在用实线表示的构造物的垂直线与用虚线表示的构造物的水平线在空间分布的局部性上没有差异的情况。在这样的情况下，难以进行本发明中的伪信息判定，但可以得知，通过作成全景图像，其局部性变得显著。由此，即使假设在单一的图像中不可能进行伪信息判定的情况下，也能够通过制作全景图像来明确全景图像中的伪信息，能够进行倾斜角度推定。并且，通过将该信息反馈到单一图像，能够决定各个图像的倾斜角度。即，全景图像制作部1002中保存有制作全景图像时的相对于基准图像的倾斜角度、或者相对于相邻图像的倾斜角度，通过对由倾斜推定部305得到的结果加减相对角度，进行多个图像中的每个图像的倾斜角度修正。以上是本发明的实施方式2的图像处理装置1000的结构和动作。(实施方式3)图12是表示本发明的实施方式3的图像处理装置的结构的图。在图12中，对于与图3相同的结构要素使用相同的符号，并省略说明。传感器部1201设置在摄像部307的内部或外部，以规定的周期计测摄像部307的运动并进行输出。图13是传感器输出的一例。通常，优选为在摄像部307捕捉图像时同步地计测该运动。传感器部1201由加速度传感器、陀螺仪、方位传感器等构成，理想的是分别具有3轴计测轴以便能够将摄像部307的运动全部计测，但并不一定需要全部的轴。图像数据和传感器数据在图像处理装置1200的内部处理成同步。传感器取得部1202对取得的传感器数据进行处理，计算用于计算推定倾斜角度的辅助信息。具体而言，能够对传感器值实施过滤来提取希望的带域成分，或者能够利用通过预先强化学习而构成的识别器，根据传感器群的动作而推定运动方向。这些信息被发送到伪信息判定部312、倾斜推定部305。 伪信息判定部312利用来自传感器取得部1202的信息，推定铅直方向为图像的哪个方向， 决定从图像提取的线段或像素的倾斜角度中的哪一个是构造物的垂直线的可能性高。具体而言，求取表示由传感器信息得到的铅直方向的单位矢量与具有从图像提取的倾斜角度的单位矢量的内积，能够判断为其结果接近1(用法线矢量表示倾斜角度的情况下为0)的一方为垂直线的可能性高。此外，倾斜推定部305还可以例如利用加速度传感器、陀螺仪，根据传感器大致推定摄像部307的倾斜角度，并设为倾斜推定部305计算推定倾斜角度时的制约条件。图14是表示χ方向、y方向的加速度的变化的一例。图14中示出以(a)、(b)、 (c)的定时取得各个方向的加速度，映射到2维平面中并进行矢量化而得到的结果。(a)、 (b)、(c)的矢量的方向表示相对于摄像部307摄像时的铅直方向的倾斜角度，因此能够通过将图像旋转为使上述矢量朝向铅直方向从而去除倾斜。但是，在边走边进行的拍摄中， 存在传感器的值因惯性噪声或其他轴灵敏度等而变得不正确的情况。在该情况下，需要利用本发明中明示的方法进行的修正，但通过将传感器所计测的倾斜方向输入到倾斜推定部 305，能够进一步提高本发明的效果。即，假设由传感器示出的方向为图像的真的铅直方向的可能性高，以传感器所示的方向为中心设定规定的范围，根据角度直方图生成部303求出的角度直方图将该设定的范围内的频度的最频值设为倾斜角度。另外，范围设定既可以是固定值也可以是变动值，在变动值的情况下，可以根据运动的大小、即传感器的振幅或稳定度(能够利用规定时间范围内的方差值等)而变化。在该情况下，在运动小时，判断为传感器的输出值的误差小而将范围设定得窄，在运动大时，判断为误差大而将范围设定得宽。 该变化既可以是连续的也可以是2阶以上的离散值。或者，在从图像中不能得到用于计算推定角度的信息的情况下，也可以根据过去的推定结果或前后的推定结果、以及传感器值来计算推定角度。在该情况下，可以考虑如下方法适用若是在时序上连续取得的图像则倾斜角度也连续变化的假定，对已推定的角度设定容许值，若传感器值收敛于该范围内则将该值作为修正值。以上是本发明的实施方式3的图像处理装置1200的结构和动作。(其他变形例)另外，基于上述实施方式说明了本发明，但本发明当然不限于上述实施方式。以下所示的情况也包含于本发明中。(1)上述的各装置具体而言，是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。上述RAM或硬盘单元中存储有计算机程序。上述微处理器按照上述计算机程序动作，从而各装置实现其功能。这里，计算机程序为了实现规定的功能， 由多个表示针对计算机的指令的命令代码组合而构成。(2)构成上述的各装置的结构要素的一部分或全部也可以由1个系统LSI (Large Scale Integration:大规模集成电路)构成。系统LSI是将多个结构部集成在1个芯片上来制造的超多功能LSI，具体而言，是包含微处理器、ROM、RAM等而构成的计算机系统。上述RAM中存储有计算机程序。上述微处理器按照上述计算机程序动作，从而系统LSI实现其功能。(3)构成上述的各装置的结构要素的一部分或全部也可以由可对各装置进行装拆的IC卡或单体的模块构成。上述IC卡或上述模块是由微处理器、ROM、RAM等构成的计算机系统。上述IC卡或上述模块也可以包括上述的超多功能LSI。微处理器按照计算机程序动作，从而上述IC卡或上述模块实现其功能。该IC卡或该模块也可以具有防篡改性。(4)本发明也可以是如上所述的方法。此外，也可以是通过计算机实现这些方法的计算机程序，也可以是由上述计算机程序构成的数字信号。此外，本发明也可以将上述计算机程序或上述数字信号记录于计算机可读取的记录介质、例如软盘、硬盘、CD-ROM、M0、DVD、DVD-ROM、DVD-RAM、BD (Blu-ray Disc)、半导体存储器等。此外，也可以是记录在这些记录介质中的上述数字信号。此外，本发明也可以是将上述计算机程序或上述数字信号经由以电气通信线路、 无线或有线通信线路、因特网为代表的网络、数据广播等来传送的结构。此外，本发明也可以是具备微处理器和存储器的计算机系统，上述存储器存储有上述计算机程序，上述微处理器按照上述计算机程序动作。此外，也可以通过将上述程序或上述数字信号记录在上述记录介质中来转送，或者通过将上述程序或上述数字信号经由上述网络等来转送，从而通过独立的其他计算机系统加以实施。(5)也可以将上述实施方式以及上述变形例分别组合。工业实用性本发明的图像处理装置通过组装到摄影装置或图像显示装置、影像显示装置中， 能够对取得的图像的倾斜进行修正，并生成正确的方向的图像。即使是利用以往的图像处理的倾斜修正装置较为困难的图像，也能够通过综合多个图像信息来提取所希望的图像的倾斜信息。此外，本发明不仅能够应用于摄影装置、显示装置，还能够应用于处理影像的打印机或扫描仪等的电子介质以外的倾斜修正。符号说明301 图像取得部302 倾斜信息计算部303 角度直方图生成部304 峰值检测部305 倾斜推定部
306图像修正部307摄像部308存储部310倾斜信息_位置记录部311倾斜信息分布度计算部312伪信息判定部1001图像积蓄部1002全景图像制作部1201传感器部1202传感器取得部
权利要求
1.一种图像处理装置，包括 图像取得部；倾斜信息计算部，针对由上述图像取得部取得的图像的各像素，计算用于对图像的倾斜进行推定的多个倾斜信息；角度直方图生成部，利用由上述倾斜信息计算部计算出的多个倾斜信息，生成作为每个倾斜角度的频数分布的角度直方图；倾斜信息_位置记录部，记录上述多个倾斜信息与得到该信息的图像上的位置之间的对应；倾斜信息分布度计算部，根据上述倾斜信息及其上述位置，计算倾斜信息的分布度； 伪信息判定部，根据上述倾斜信息的分布度，判定上述倾斜信息中的在倾斜推定中能够使用的信息和不能使用的信息；峰值检测部，基于上述伪信息判定部的判断结果，提取能够使用的上述角度直方图的最大值或极大值；以及倾斜推定部，根据上述峰值检测部所检测到的上述最大值或上述极大值所示的倾斜角度，推定图像的倾斜角度。
2.如权利要求1所述的图像处理装置，用于对上述图像的倾斜进行推定的多个倾斜信息是将上述图像中的线段与其倾斜角一起计算出的；上述倾斜信息计算部在上述图像的预先确定的范围中按预先确定的像素间隔进行上述计算处理。
3.如权利要求1所述的图像处理装置，用于对上述图像的倾斜进行推定的多个倾斜信息是将上述图像中的亮度信息代入到规定的运算式中进行运算、并求取上述亮度信息的亮度梯度而计算出的；上述倾斜信息计算部在上述图像的预先确定的范围中按预先确定的像素间隔进行上述计算处理。
4.如权利要求3所述的图像处理装置，上述倾斜信息计算部检查在与根据上述图像的预先确定的范围中的亮度梯度而得到的倾斜角度成士90°的方向上是否存在具有同一倾斜角度的像素，由此进行上述计算处理。
5.如权利要求2所述的图像处理装置，上述角度直方图生成部进行对各倾斜角度信息的加权，从上述图像检测到的线段的长度越长则使权重越大。
6.如权利要求3所述的图像处理装置，上述角度直方图生成部进行对各倾斜角度信息的加权，从上述图像检测到的亮度梯度越接近于垂直则使权重越大。
7.如权利要求1所述的图像处理装置，上述倾斜信息的分布度是与同一倾斜角度或在预先确定的范围内的每个倾斜角度的位置有关的方差或标准偏差。
8.如权利要求1所述的图像处理装置，上述伪信息判定部对上述倾斜信息分布度计算部的计算结果和预先设定的值进行比较，判断某同一个倾斜角度或在预先确定的范围内的倾斜角度是否为伪信息；上述倾斜推定部从满足上述角度直方图生成部中预先确定的基准的倾斜角度之中，选择在上述伪信息判定部中判断为不是伪信息的倾斜角度。
9.如权利要求1所述的图像处理装置，上述倾斜推定部从具有满足上述角度直方图生成部中预先确定的基准的频数的倾斜角度之中，选择在上述伪信息判定部中判断为不是伪信息的倾斜角度中的具有最高频数的倾斜角度。
10.如权利要求1所述的图像处理装置，该图像处理装置还具备图像修正部，该图像修正部按照上述倾斜推定部所输出的上述倾斜信息来修正图像。
11.如权利要求1所述的图像处理装置， 该图像处理装置还具备图像积蓄部，存储取得的图像；以及全景图像制作部，从存储在上述图像积蓄部中的图像之中，选择并读出至少两个图像， 将该图像结合而制作全景图像；上述倾斜信息计算部对上述全景图像的各像素进行规定的运算，提取用于对上述全景图像的倾斜进行推定的多个信息。
12.如权利要求11所述的图像处理装置，上述倾斜推定部推定与上述全景图像有关的倾斜角度；利用构成上述全景图像的两个以上图像之间的相对的旋转角度，计算构成上述全景图像的两个以上图像的各自的倾斜角度。
13.如权利要求1所述的图像处理装置，该图像处理装置还具备传感器取得部，该传感器取得部取得来自传感器部的数据，该传感器部计测摄像部的运动；上述传感器取得部根据上述倾斜角度，计算用于对图像的倾斜角度进行推定的辅助信
14.如权利要求13所述的图像处理装置，上述伪信息判定部利用从上述传感器取得部得到的上述辅助信息，推定铅直方向是图像的哪个方向，并决定从图像提取的线段或像素的倾斜角度中的哪个是垂直线。
15.一种图像处理方法，包括以下步骤 图像取得步骤；倾斜信息计算步骤，针对在上述图像取得步骤中取得的图像的各像素，计算用于对图像的倾斜进行推定的多个倾斜信息；角度直方图生成步骤，利用在上述倾斜信息计算步骤中计算出的多个倾斜信息，生成作为每个倾斜角度的频数分布的角度直方图；倾斜信息_位置记录步骤，记录上述多个倾斜信息与得到该信息的图像上的位置之间的对应；倾斜信息分布度计算步骤，根据上述倾斜信息及其上述位置，计算倾斜信息的分布度；伪信息判定步骤，根据上述倾斜信息的分布度，判断上述倾斜信息中的在倾斜推定中能够使用的信息和不能使用的信息；峰值检测步骤，基于上述伪信息判定步骤的判断结果，提取能够使用的上述角度直方图的最大值或极大值；以及倾斜推定步骤，根据在上述峰值检测步骤中检测到的上述最大值或上述极大值所示的倾斜角度，推定图像的倾斜角度。
16.一种集成电路，包含权利要求1所述的图像处理装置。
17.一种程序，用于使计算机执行权利要求15所述的图像处理方法。
18.—种记录介质，存储有权利要求17所述的程序。
全文摘要
一种图像处理装置，为了计算两个以上图像间的相对的倾斜角度，将图像中包含的倾斜信息与其位置信息一起取得。接着，根据一起取得的位置信息在图像中的分布特性，判定这些倾斜信息在倾斜角度推定中是否能够使用(是否为伪信息)。然后，根据判定为能够使用的倾斜信息，推定倾斜角度。利用其推定结果，能够对取得的图像所包含的倾斜进行修正，生成正确的方向的图像。
文档编号H04N5/232GK102474573SQ20118000325
公开日2012年5月23日 申请日期2011年6月2日 优先权日2010年6月11日
发明者大宫淳, 山田整 申请人:松下电器产业株式会社