专利名称：图像处理装置、图像处理方法、图像处理程序以及记录介质的制作方法
技术领域：
本发明涉及对图像数据进行图像的变换的图像处理装置、图像处理方法、图像处理程序以及记录介质的技术领域。
背景技术：
近年来，数字摄像机变得小型化，且在便携终端中也附加了数字摄像机。用户在外出地等也能够轻松地通过附带摄像机的便携终端等，拍摄风景或在书籍或白板等中显示的内容。但是，虽然在外出地等能够轻松地拍摄，但在郊游中到了山等，发现了想要拍摄的对象的情况下，发生如下情况较多摄影地点因立脚点而受到限制，或者因摄影者的坐席的位置而难以从正面拍摄黑板等，或者摄影角度因与照射摄影对象的光的角度的关系等而受到限制。 为了对在书籍或白板等中书写的字符等的摄影对象物的图像进行校正而取得恰如从正面拍摄的图像，例如在专利文献I中，公开了如下的图像处理装置从作为摄影对象物而拍摄了白板的图像中，使用Roberts过滤器而取得轮廓，并从取得的轮廓中检测成为形成白板的图像的候选的直线，取得白板的四边形的形状，并根据四边形的顶点位置，求出表示白板的图像和实际的白板的关系的映射参数，从而对白板的图像进行映射变换。现有技术文献专利文献专利文献I :(日本)特开2005-122320号公报
发明内容
发明要解决的课题但是，在上述以往技术中，由于以书籍等的直线为线索，校正摄影对象，所以在对几乎没有直线部的花等的摄影对象进行拍摄的情况下，难以校正摄影对象，从而获得从正面拍摄的图像。本发明是鉴于这样的问题而完成的，其课题的一例的目的在于，提供一种即使是没有直线部分的轮廓的对象图像，也能够变换为朝向期望的方向显示的图像的图像处理装置、图像处理方法、图像处理程序以及记录介质。用于解决课题的手段为了解决上述课题，技术方案I所记载的发明是一种图像处理装置，对对象图像进行图像处理，其特征在于，包括椭圆计算部件，计算对所述对象图像进行近似的椭圆；中心候选决定部件，决定所述对象图像的中心候选；多边形计算部件，计算与所述椭圆和所述中心候选相关联的第一多边形；映射变换矩阵计算部件，计算用于将所述第一多边形映射变换为第二多边形的映射变换矩阵，该第二多边形与以所述中心候选进行映射变换的点为中心的椭圆相关联；以及变换图像取得部件，基于所述映射变换矩阵，对所述对象图像进行映射变换，从而取得变换图像。
技术方案2所记载的发明在技术方案I所记载的图像处理装置中，其特征在于，映射变换矩阵计算部件计算用于将所述第一多边形映射变换为第二多边形的映射变换矩阵，其中，以中心候选进行映射变换的点为中心的椭圆内接或者外接于该第二多边形。技术方案3所记载的发明是ー种图像处理装置，其特征在于，映射变换矩阵计算部件中的、以中心候选进行映射变换的点为中心的椭圆为圆形。技术方案4所记载的发明在技术方案I至3的任一项所记载的图像处理装置中，其特征在于，所述多边形计算部件计算以通过所述中心候选的直线与所述椭圆的交点作为接点的所述第一多边形。
技术方案5所记载的发明在技术方案4所记载的图像处理装置中，其特征在于，所述多边形计算部件根据平行于所述椭圆的长轴的直线，求出通过所述中心候选的直线。技术方案6所记载的发明在技术方案4所记载的图像处理装置中，其特征在于，所述多边形计算部件以平行于包围所述对象图像的图像框的其中一个边的直线与所述椭圆相接的点作为所述接点。技术方案7所记载的发明在技术方案I至6的任一项所记载的图像处理装置中，其特征在于，所述多边形计算部件计算与所述椭圆和所述中心候选相关联的四边形，所述映射变换矩阵计算部件计算用于将所述四边形映射变换为正方形的映射变换矩阵，该正方形与以所述中心候选进行映射变换的点为中心的椭圆相关联。技术方案8所记载的发明在技术方案I至7的任一项所记载的图像处理装置中，其特征在于，所述中心候选决定部件从所述对象图像中提取包括所述中心候选的中心候选图像，井根据对提取出的所述中心候选图像进行了椭圆近似的椭圆的长轴和短轴的交点，决定所述中心候选。技术方案9所记载的发明在技术方案I至8的任一项所记载的图像处理装置中，其特征在于，所述对象图像为花图像，所述椭圆计算部件计算对所述花图像进行近似的所述椭圆，所述中心候选决定部件从所述花图像的花心部分决定所述花图像的所述中心候选。技术方案10所记载的发明在技术方案I至9的任一项所记载的图像处理装置中，其特征在于，还包括图像取得部件，取得包括所述对象图像的图像。技术方案11所记载的发明在技术方案10所记载的图像处理装置中，其特征在干，还包括对象图像提取部件，从所述取得的图像中提取所述对象图像。技术方案12所记载的发明在技术方案I至11的任一项所记载的图像处理装置中，其特征在于，还包括检索部件，基于所述变换图像，检索用于确定所述对象图像的信
O技术方案13所记载的发明在技术方案12所记载的图像处理装置中，其特征在干，所述检索部件从所述变换图像中提取图像的特征量，并基于所述特征量，检索用于确定所述对象图像的信息。技术方案14所记载的发明在技术方案I至13的任一项所记载的图像处理装置中，其特征在于，所述第二多边形为正多边形。技术方案15所记载的发明在技术方案I至14的任一项所记载的图像处理装置中，其特征在于，还包括存储部件，存储所述对象图像。
技术方案16所记载的发明是ー种图像处理方法，对对象图像进行图像处理，其特征在于，包括椭圆计算步骤，计算对所述对象图像进行近似的椭圆；中心候选决定步骤，决定所述图像处理之后的所述对象图像的中心候选；多边形计算步骤，计算与所述椭圆和所述中心候选相关联的第一多边形；映射变换矩阵计算步骤，计算用于将所述第一多边形映射变换为第二多边形的映射变换矩阵，该第二多边形与以所述中心候选进行映射变换的点为中心的椭圆相关联；以及变换图像取得步骤，基于所述映射变换矩阵，对所述对象图像进行映射变换，从而取得变换图像。技术方案17所记载的发明的特征在于，使计算机作为如下部件起作用椭圆计算部件，计算对图像处理的对象图像进行近似的椭圆；中心候选决定部件，决定所述图像处理之后的所述对象图像的中心候选；多边形计算部件，计算与所述椭圆和所述中心候选相关联的第一多边形；映射变换矩阵计算部件，计算用于将所述第一多边形映射变换为第二多边形的映射变换矩阵，该第二多边形与以所述中心候选进行映射变换的点为中心的椭圆相关联；以及变换图像取得部件，基于所述映射变换矩阵，对所述对象图像进行映射变换，从而取得变换图像。技术方案18所记载的发明是一种记录了图像处理程序的计算机可读取的记录介质，其特征在干，该图像处理程序使计算机作为如下部件起作用椭圆计算部件，计算对图像处理的对象图像进行近似的椭圆；中心候选决定部件，决定所述图像处理之后的所述对象图像的中心候选；多边形计算部件，计算与所述椭圆和所述中心候选相关联的第一多边形；映射变换矩阵计算部件，计算用于将所述第一多边形映射变换为第二多边形的映射变换矩阵，该第二多边形与以所述中心候选进行映射变换的点为中心的椭圆相关联；以及变换图像取得部件，基于所述映射变换矩阵，对所述对象图像进行映射变换，从而取得变换图像。发明效果根据本发明，通过存储进行图像处理的对象图像，计算对对象图像进行近似的椭圆，决定对象图像的中心候选，计算与椭圆和中心候选相关联的第一多边形，计算用于将第一多边形映射变换为第二多边形的映射变换矩阵，该第二多边形与以中心候选进行映射变换的点为中心的椭圆相关联，基于映射变换矩阵，对存储的对象图像进行映射变换，取得对象图像的变换图像，从而即使是没有直线部分的轮廓的对象图像，也能够变换为期望的方向的图像。
图I是表示本发明的实施方式的图像检索系统的概要结构例的示意图。图2是表示图I的便携终端的概要结构的一例的方框图。图3是表示在从观察点拍摄了被摄体的情况下，被摄体在照片中映射的情况的概念图。图4是表示图I的便携终端的图像处理的一例的流程图。图5 (A)是表示包括对象图像的图像的一例的示意图，(B)是表示从图像中提取出的对象图像的情况的示意图，(C)是表示从对象图像中提取出包括中心候选的中心候选图像的情况的示意图。、
图6是表示进行了映射变换的对象图像的一例的示意图。图7是表示图I的检索服务器中的检索处理的一例的流程图。图8是表示图4的流程图中的向标准画面变换的子程序的一例的流程图。图9 (A)是表示图5的对象图像的轮廓和对对象图像进行近似的椭圆的一例的示意图，(B)是表示从对象图像中提取出的包括中心候选的中心候选图像以及对中心候选图像进行近似的椭圆的一例的示意图。图10是表不图9 (A)的捕圆和图9 (B)的捕圆的关联的不意图。图11是表不图5的对象图像和与捕圆相接的四边形的关联的不意图。图12是表示从椭圆向圆形进行映射变换的情况的示意图，(A)是表示与椭圆相接的四边形的示意图，(B)是表示映射变换之后的情况的示意图。
图13 (A)是表示用于说明映射变换矩阵的平面的示意图，(B)是表示用于说明二次曲线的映射变换的平面的示意图。图14是表示图8的流程图中的四边形计算的子程序的一例的流程图。图15是表示用于求出与椭圆相接的四边形的第一、第二变形例中的四边形计算的子程序的一例的流程图。图16是表示用于求出与椭圆相接的四边形的第一变形例的示意图。图17是表示用于求出与椭圆相接的四边形的第二变形例的示意图。图18是用于求出与椭圆相接的四边形的第三变形例，(A)是表示与椭圆内接的四边形的一例的示意图，(B)是表示映射变换之后的情况的示意图。图19是用于求出与椭圆相接的四边形的第四变形例，(A)是表示与椭圆相接的四边形的一例的示意图，(B)是表示映射变换之后的情况的示意图。
具体实施例方式以下，参照
用于实施本发明的方式。首先，基于
本发明的实施方式的图像检索系统的概略结构和功能。图I是表示本发明的实施方式的图像检索系统的概要结构例的示意图。图2是表示图I的便携终端的概要结构的一例的方框图。如图I所示，图像处理装置的一例的图像检索系统I包括如便携式无线电话机这样对摄影对象进行拍摄的便携终端10 ;以及基于来自便携终端10的图像数据而进行检索的图像检索服务器20。如图2所示，作为图像处理装置的一例而起作用的便携终端10包括对摄影对象进行拍摄的摄像部11 ;将拍摄到的图像等进行显示的显示部12 ;与无线基站进行发送接收的无线通信部13 ;输入数字或字符等的操作部14 ;将拍摄到的图像进行存储的存储部15 ；以及进行便携终端10的各种控制的控制部16，并且，这些部件通过总线17连接。摄像部11具有由CMOS (互补金属氧化物半导体)图像传感器或者CXD (电荷耦合器件)图像传感器等构成的数字摄像机。显示部12由液晶显示元件或者EL (电致发光)元件等构成。无线通信部13通过移动体通信网2或因特网等的网络3与图像检索服务器20进行通信。
操作部14由各种键构成。用户通过操作部14，将在显示部12中显示的指示器移动或者将图像的部分选择并确定。存储部15具有RAM (随机存取存储器)或ROM (只读存储器)或闪速存储器(flashmemory)这样的非易失性存储器等，下载用于图像处理的程序或者形成用于保持图像数据的存储器空间。控制部16具有CPU (中央处理单元)，作为计算机而执行图像处理的程序等。接着，作为计算机起作用的图像检索服务器20包括对图像检索服务器20整体进行控制或者进行图像处理的运算的控制部21 ;以及构筑了图像检索用的数据库的数据库22。如图I所示，控制部21包括执行计算机的程序的CPU21a ;以及存储要执行的程序等的RAM或ROM或闪速存储器这样的非易失性存储器等的存储器21b等。控制部21的CPU21a对于从便携终端10发送的检索请求而从数据库22中检索信息，或者进行用于从接收到的图像数据中检索信息的图像处理，或者进行数据库22的管理。在存储器21b中，展开用于执行图像检索的程序，或者存储接收到的图像数据，或者暂时存储运算结果。数据库22具有硬盘驱动器或硅盘等，存储与图像的特征量相关联的信息等。例如，在与花有关的数据库的情况下，在数据库22中，作为用于辨认花所需的特征量，与花的颜色、花瓣的数目、花整体的形状的信息、花瓣的断开处等的花瓣的信息等相关联地，存储了花的名称或学名等的与花有关的信息、花或叶子或果实等的与花有关的图像等。便携终端10连接到移动体通信网2，图像检索服务器20连接到因特网等的网络3，移动体通信网2和网络3通过用于进行协议变换或记述内容的语言的变换等的网关等连接。接着，基于
本实施方式的原理的概略。图3是表示在从观测点Vl拍摄了被摄体的情况下，被摄体在照片中映射的情况的概念的概念图。如图3所示，进行图像变形，使得从观测点Vl斜着拍摄的花图像模拟地看起来像是正面。这里，假设被摄体的花通过椭圆El近似化，且位于四边形ΡΓ的平面上。首先，从摄影图像中提取花整体和花心，为了简化方法，将各个轮廓线近似为椭圆。另外，对花整体进行了近似的椭圆相当于椭圆E1，其中心为点0B。此外，对花心进行了近似的椭圆的中心相当于点Oa。接着，为了获得看起来像是花的正面的标准图像(变换图像)，进行映射变换。若例 举照片，则映射变换相当于将三维空间的物体映入二维平面的胶片上。其逆向、即从二维到三维的映射一般是不可能，但也可以通过限定若干个条件而成为可能。在本实施方式的方法中，通过假设在三维空间内的某一平面(包括四边形Pl的平面)上存在平面的花，从而进行了从二维平面到二维平面的映射变换。此外，为了简化方法，假设实际的花的形状能够近似为圆形E1’。在输入图像中切出的花近似化为椭圆E1，求出与该椭圆El外接的四边形P1，将其设为变形对象区域。若将变形对象区域映射变换为作为正方形的四边形P1’，则椭圆El映射到刚刚假设的圆形E1’。由此，通过进行映射变换，能够从以倾斜的角度拍摄到的花的照片，模拟地获得从正面拍摄的花的照片的标准图像。另外，关于方法的细节，与流程图一冋在后面叙述。这里，标准图像(变换图像)是被变换为以期望的方向显示的图像。标准图像(变换图像)例如是花以花心位于花整体的中心附近的角度显示的图像，只要是从容易确定花等的对象图像的角度看的图像即可。接着，基于
本实施方式的动作。图4是表示图I的便携终端的图像处理的一例的流程图。图5 (A)是表示包括对象图像的图像的一例的示意图，(B)是表示从图像中提取出的对象图像的情况的示意图，(C)是表示从对象图像中提取出包括中心候选的中心候选图像的情况的示意图。图6是表示进行了映射变换的对象图像的一例的示意图。
首先，如图4所示，便携终端10通过摄像部11取得摄影对象的图像(步骤SI)。具体地说，便携终端10的控制部16从摄像部11取得如图5(A)所示的包括对象图像(花的图像)的图像，并将该图像的图像数据存储在存储部15中。由此，便携终端10作为取得包括对象图像的图像的图像取得部件的一例而起作用，此外，作为存储进行图像处理的对象图像的存储部件的一例而起作用。这里，在图5 (A)的图像中，没有从正面拍摄被摄体的花。接着，便携终端10从取得的图像中提取对象图像(步骤S2)。具体地说，如图5(B)所示，控制部16求出花整体的轮廓，提取花的图像。另外，在图5 (B)中，通过轮廓线来描画以花瓣来赋予特征的花整体，并将背景的部分调暗。这里，如图5 (B)所示，用户也可以通过操作部14使用在显示部12中显示的指示器等而指定花的部分和背景的部分，基于其颜色的信息，控制部16提取对象图像。由此，便携终端10作为从取得的图像中提取对象图像的对象图像提取部件的一例起作用。具体地说，例如，对象图像提取部件包括接受部件，从用户接受在取得的图像中包含的花的部分(前景区域)上的至少一个前景像素以及在该取得的图像中包含的背景的部分(背景区域)上的至少一个背景像素的指定；分割颜色空间确定部件，将指定的前景像素和指定的背景像素分别作为基准像素，进行从三维的颜色空间被分割为多个的分割颜色空间中，作为基准分割颜色空间而确定各个基准像素所属的分割颜色空间的分割颜色空间确定处理；颜色距离计算部件，进行用于计算各个基准像素和与其相邻的相邻像素在颜色空间中的颜色的距离的颜色距离计算处理；是否属于判别部件，进行各个相邻像素是否属于各个基准分割颜色空间的是否属于判别处理；费用计算部件，根据对各个相邻像素计算出的颜色的距离和基于对各个相邻像素判别的是否属于基准分割颜色空间而进行的加权，进行用于计算关于各个相邻像素的费用的费用计算处理；以及确定部件，进行将计算出的费用最小的相邻像素确定作为前景像素或者背景像素的确定处理，也可以将确定的相邻像素作为基准像素，使计算机重复进行颜色距离计算处理、是否属于判别处理、费用计算处理以及确定处理，从而从取得的图像中提取前景区域，进行对象图像的提取。接着，便携终端10从对象图像中提取中心候选图像(步骤S3)。具体地说，如图5(C)所示，控制部16提取位于花整体的轮廓的、中心候选图像的一例的花心部分的轮廓。这里，在图5 (C)所示，用户也可以通过操作部14使用在显示部12中显示的指示器等而指定花瓣的部分和花心的部分，基于其颜色的信息，控制部16提取对象图像。由此，便携终端10作为从对象图像中提取包括中心候选的规定区域的图像即中心候选图像的中心候选决定部件的一例起作用。中心候选图像是例如包括中心候选且进深或者颜色信息等与周围不连续地不同的对象图像中的区域的图像。接着，便携终端10将对象图像变换为标准图像(步骤S4)。具体地说，使用后述的映射变换的方法，控制部16将在存储部15中存储的对象图像如图6所示那样变换为如从正面拍摄了花似的标准图像。由此，便携终端10作为基于映射变换矩阵对在存储部件中存储的对象图像进行映射变换，从而取得标准图像的标准图像取得部件(变换图像取得部件)的一例起作用。另外，在这里，将包括对象图像的附近的图像数据变换为标准图像。接着，便携终端10为了检索而将标准图像发送到图像检索服务器20 (步骤S5)。具体地说，为了检索拍摄到的花是什么花，控制部16从无线通信部13通过移动体通信网2和网络3，将如图6 所示的标准图像发送到图像检索服务器20。接着，便携终端10从图像检索服务器20接收检索结果而显示(步骤S6)。具体地说，控制部16通过无线通信部13而从图像检索服务器20接收检索到的花的名称或花的信息，并显示在显示部12中。接着，说明图像检索服务器20中的检索处理。图7是表示图像检索服务器20中的检索处理的一例的流程图。首先，如图7所示，图像检索服务器20从便携终端10接收标准图像(步骤S7)。具体地说，图像检索服务器20的控制部21从便携终端10通过移动体通信网2和网络3接收标准图像。接着，图像检索服务器20从接收到的标准图像中提取特征量(步骤S8)。具体地说，控制部21在对象图像为花的图像的情况下，作为标准图像的特征量而提取花瓣的数目、花的颜色、花整体的形状的信息、花瓣的断开处等的花瓣信息等。接着，图像检索服务器20基于提取出的标准图像的特征量，从数据库22检索用于确定标准图像的信息(步骤S9)。具体地说，控制部21基于花的标准图像的特征量，从数据库22检索相似的花，求出与相似度等的高位的花有关的信息或与花有关的图像。由此，图像检索服务器20作为基于标准图像而检索用于确定对象图像的信息的检索部件的一例起作用。此外，图像检索服务器20作为根据标准图像而提取图像的特征量，并基于特征量而检索用于确定对象图像的信息的检索部件的一例起作用。接着，图像检索服务器20将检索高位结果发送到便携终端10 (步骤S10)。具体地说，控制部21发送与花有关的信息或与花有关的图像。由此，图像检索服务器20作为基于标准图像而检索用于确定对象图像的信息的检索部件的一例起作用。此外，图像检索服务器20作为从标准图像中提取图像的特征量，并基于特征量而检索用于确定对象图像的信息的检索部件的一例起作用。另外，便携终端10也可以具有图像检索服务器20的数据库22这样的数据库，从标准图像中检索图像的信息。接着，基于附图详细说明将步骤S4的对象图像变换为标准图像的子程序。图8是表示图4的流程图中的向标准画面变换的子程序的一例的流程图。图9(A)是表示图5的对象图像的轮廓和对对象图像进行近似的椭圆的一例的示意图，(B)是表示从对象图像中提取出的包括中心候选的中心候选图像以及对中心候选图像进行近似的椭圆的一例的不意图。图10是表不图9 (A)的捕圆和图9 (B)的捕圆的关联的不意图。图11是表不图5的对象图像和与捕圆相接的四边形的关联的不意图。图12是表不从捕圆向圆形进行映射变换的情况的示意图，(A)是表示与椭圆相接的四边形的示意图，(B)是表示映射变换之后的情况的示意图。首先，便携终端10进行对象图像和中心候选图像的椭圆近似(步骤S20)。具体地说，如图9 (A)所示，控制部16通过最小二乘法，将在步骤S2中提取出的花整体的轮廓Fl近似为椭圆E1，如图9 (B)所示，通过最小二乘法，将在步骤S3中提取出的花心部分的轮廓F2近似为椭圆E2。由此，便携终端10作为计算对对象图像进行近似的椭圆的椭圆计算部件的一例起作用。关于椭圆近似在后面叙述。接着，便携终端10决定中心候选(步骤S21)。具体地说，如图9 (B)所示，控制部16根据对花心进行了近似的椭圆E2的长轴E2A和短轴E2B的交点，决定中心候选0A。该中心候选Oa成为进深的信息。花整体的椭圆El和花心的椭圆E2的关联成为如图10所示。由此，便携终端10作为决定对象图像的中心候选的中心候选决定部件的一例起作用。此夕卜，便携终端10作为根据对提取出的中心候选图像进行了椭圆近似的椭圆的长轴和短轴的交点而决定中心候选的中心候选决定部件的一例起作用。此外，便携终端10作为对象图 像为花图像且计算对花图像进行近似的椭圆的椭圆计算部件的一例起作用。此外，便携终端10作为对象图像为花图像且根据花图像的花心部分决定花图像的中心候选的中心候选决定部件的一例起作用。接着，便携终端10求出与椭圆和中心候选相关联的四边形(步骤S22)。具体地说，如图11所示，控制部16根据花整体的椭圆El和花心的椭圆E2的中心候选Oa，作为与椭圆El相接的第一多边形的一例而求出四边形P1。由此，便携终端10作为计算与椭圆和中心候选相关联的第一多边形的多边形计算部件的一例起作用。此外，便携终端10作为计算与椭圆和中心候选相关联的四边形的多边形计算部件的一例起作用。接着，便携终端10基于作为第一多边形的一例的四边形和作为第二多边形的一例的正方形，计算映射变换矩阵(步骤S23)。具体地说，如图12 (A)、(B)所示，控制部16基于作为第一多边形的四边形Pl的顶点11^2、13、14和作为第二多边形的一例的正方形ΡΓ的顶点11’、12’、13’、14’，计算映射变换矩阵。由此，便携终端10作为用于计算将第一多边形映射变换为第二多边形的映射变换矩阵的映射变换矩阵计算部件的一例起作用，其中，该第二多边形与以映射变换了中心候选的点为中心的椭圆相关联。此外，便携终端10作为用于计算将四边形映射变换为正方形的映射变换矩阵的映射变换矩阵计算部件起作用，其中，该正方形与以映射变换了中心候选的点为中心的椭圆相关联。第二多边形例如是正多边形。第二多边形的中心例如是作为正多边形的第二多边形的重心、内心或者外心。在本实施方式中，作为第二多边形而使用正方形。此外，在本实施方式中，作为第二多边形的正方形Pl’与以映射变换了中心候选的点为中心的椭圆(在本实施方式中圆形)ΕΓ外接。另外，椭圆的中心是椭圆的长轴和短轴的交点。椭圆包括长轴的长度和短轴的长度一致的圆形。关于映射变换矩阵在后面叙述。接着，便携终端10基于映射变换矩阵，将对象图像变换为标准图像(步骤S24)。具体地说，控制部16基于用于从四边形Pl (xl、x2、x3、x4)变换为正方形ΡΓ (xl\x2\x3\x4’ )的映射变换矩阵，对在存储部中存储的对象图像的图像数据的各个像素进行变换。接着，便携终端10判定是否需要修改标准图像(步骤S25)。具体地说，控制部16基于椭圆近似与花整体的轮廓的误差、标准图像的歪斜、标准图像的花心部分的歪斜等，判定是否需要修改标准图像。或者，在人看到标准图像需要修改的情况下，控制部16从操作部14接受输入，判定是否需要修改标准图像。然后，在需要修改的情况下(步骤S25 :是)，控制部16返回到步骤S20，调整椭圆形状或中心候选的位置。另一方面，在不需要修改的情况下(步骤S25 :否)，控制部16结束子程序。这里，说明椭圆近似。另外，根据对椭圆进行了一般化的圆锥曲线(二次曲线)进行说明。二次曲线能够使用系数A F而通过以下的式表示。Ax2+2Bxy+Cy2+2Dx+2Ey+F=0...... (I)
尤其，在满足AC-B2X)时表示椭圆。此外，若使用矢量V、c进行置换，则能够改写为以下的式。vTc=l...... (2)c=_l/F[A，2B，C，2D，2E]T...... (3)c=[x2, xy, y2, x, y]T ...... (4)在平面上提供N (=5)个点列(Xi，yi) (i=l……N)时，将它们进行近似的二次曲线能够使用捆绑了 N个矢量V的矩阵V=[Vl，……，vN]T，归结于以下的五元联立方程式。Vc=I...... (5)在N>5时，由于成为超定系统(over-determined system)的联立方程式且不能唯一地求得解，所以通过最小二乘法进行近似。为了将由提供的点列构成的Vc和右边的I的残差最小化，通过解以下的式(6)，如式(7)所示那样获得近似解c'a/ac||Vc-in2=o ...... (6)C =(VtV)-1Vt=V+I...... (7)V+被称为伪逆矩阵(pseudo inverse matrix)。接着，基于
映射变换矩阵和二次曲线的映射变换。在图13中，(A)是表示用于说明映射变换矩阵的平面的示意图，(B)是表示用于说明二次曲线的映射变换的平面的示意图。如图13 (A)所示，在空间取任意的2个平面，以原点作为观测点，考虑将平面上的点X= (X，y)映射到平面H ’上的点X’ = (X’，y’)的情况。若使用系数au (i，j = 1，2，3)，则对应于同一点的坐标X和x’成立以下的式。数I
x._ aux + auy + an+ + ……(8)
}J_a2ix + a2Uy + a23
、 anx + a32y + a33 该式是，每个方程式能够以任意常数通分且由独立的8个系数构成的方程式。因此，能够固定任意的I个系数，这里，设为a33=l。根据对应于同一点的4组坐标Xk，Xk’(k=l，2，3，4)，能够唯一地求出8个系数au。这意味着将由平面π上的Xk构成的四边形的区域映射变换为由平面η ’上的xk’构成的四边形的区域。将这些8个点的坐标代入式(8)求解，由其系数如下定义映射变换矩阵P。
数2
权利要求
1.一种图像处理装置，对对象图像进行图像处理，其特征在于，包括 椭圆计算部件，计算对所述对象图像进行近似的椭圆； 中心候选决定部件，决定所述对象图像的中心候选； 多边形计算部件，计算与所述椭圆和所述中心候选相关联的第一多边形； 映射变换矩阵计算部件，计算用于将所述第一多边形映射变换为第二多边形的映射变换矩阵，该第二多边形与以所述中心候选进行映射变换的点为中心的椭圆相关联；以及变换图像取得部件，基于所述映射变换矩阵，对所述对象图像进行映射变换，从而取得变换图像。
2.如权利要求I所述的图像处理装置，其特征在于， 所述映射变换矩阵计算部件计算用于将所述第一多边形映射变换为第二多边形的映射变换矩阵，其中，以所述中心候选进行映射变换的点为中心的椭圆内接或者外接于该第二多边形。
3.如权利要求I或2所述的图像处理装置，其特征在于， 所述映射变换矩阵计算部件中的、以所述中心候选进行映射变换的点为中心的椭圆为圆形。
4.如权利要求I至3的任一项所述的图像处理装置，其特征在于， 所述多边形计算部件计算以通过所述中心候选的直线与所述椭圆的交点作为接点的所述第一多边形。
5.如权利要求4所述的图像处理装置，其特征在于， 所述多边形计算部件根据平行于所述椭圆的长轴的直线，求出通过所述中心候选的直线。
6.如权利要求4所述的图像处理装置，其特征在于， 所述多边形计算部件以平行于包围所述对象图像的图像框的其中一个边的直线与所述椭圆相接的点作为所述接点。
7.如权利要求I至6的任一项所述的图像处理装置，其特征在于， 所述多边形计算部件计算与所述椭圆和所述中心候选相关联的四边形， 所述映射变换矩阵计算部件计算用于将所述四边形映射变换为正方形的映射变换矩阵，该正方形与以所述中心候选进行映射变换的点为中心的椭圆相关联。
8.如权利要求I至7的任一项所述的图像处理装置，其特征在于， 所述中心候选决定部件从所述对象图像中提取包括所述中心候选的中心候选图像，并根据对提取出的所述中心候选图像进行了椭圆近似的椭圆的长轴和短轴的交点，决定所述中心候选。
9.如权利要求I至8的任一项所述的图像处理装置，其特征在于， 所述对象图像为花图像， 所述椭圆计算部件计算对所述花图像进行近似的所述椭圆， 所述中心候选决定部件从所述花图像的花心部分决定所述花图像的所述中心候选。
10.如权利要求I至9的任一项所述的图像处理装置，其特征在于，还包括 图像取得部件，取得包括所述对象图像的图像。
11.如权利要求10所述的图像处理装置，其特征在于，还包括对象图像提取部件，从所述取得的图像中提取所述对象图像。
12.如权利要求I至11的任一项所述的图像处理装置，其特征在于，还包括 检索部件，基于所述变换图像，检索用于确定所述对象图像的信息。
13.如权利要求12所述的图像处理装置，其特征在于， 所述检索部件从所述变换图像中提取图像的特征量，并基于所述特征量，检索用于确定所述对象图像的信息。
14.如权利要求I至13的任一项所述的图像处理装置，其特征在于， 所述第二多边形为正多边形。
15.如权利要求I至14的任一项所述的图像处理装置，其特征在于，还包括 存储部件，存储所述对象图像。
16.一种图像处理方法，对对象图像进行图像处理，其特征在于，包括 椭圆计算步骤，计算对所述对象图像进行近似的椭圆； 中心候选决定步骤，决定所述图像处理之后的所述对象图像的中心候选； 多边形计算步骤，计算与所述椭圆和所述中心候选相关联的第一多边形； 映射变换矩阵计算步骤，计算用于将所述第一多边形映射变换为第二多边形的映射变换矩阵，该第二多边形与以所述中心候选进行映射变换的点为中心的椭圆相关联；以及变换图像取得步骤，基于所述映射变换矩阵，对所述对象图像进行映射变换，从而取得变换图像。
17.一种图像处理程序，其特征在于，使计算机作为如下部件起作用 椭圆计算部件，计算对图像处理的对象图像进行近似的椭圆； 中心候选决定部件，决定所述图像处理之后的所述对象图像的中心候选； 多边形计算部件，计算与所述椭圆和所述中心候选相关联的第一多边形； 映射变换矩阵计算部件，计算用于将所述第一多边形映射变换为第二多边形的映射变换矩阵，该第二多边形与以所述中心候选进行映射变换的点为中心的椭圆相关联；以及变换图像取得部件，基于所述映射变换矩阵，对所述对象图像进行映射变换，从而取得变换图像。
18.—种记录了图像处理程序的计算机可读取的记录介质，其特征在于，该图像处理程序使计算机作为如下部件起作用 椭圆计算部件，计算对图像处理的对象图像进行近似的椭圆； 中心候选决定部件，决定所述图像处理之后的所述对象图像的中心候选； 多边形计算部件，计算与所述椭圆和所述中心候选相关联的第一多边形； 映射变换矩阵计算部件，计算用于将所述第一多边形映射变换为第二多边形的映射变换矩阵，该第二多边形与以所述中心候选进行映射变换的点为中心的椭圆相关联；以及变换图像取得部件，基于所述映射变换矩阵，对所述对象图像进行映射变换，从而取得变换图像。
全文摘要
提供一种图像处理装置、图像处理方法、图像处理程序以及记录介质，其对没有直线部分的轮廓的对象图像进行变换。计算对图像处理的对象图像进行近似的椭圆(E1)(S20)，决定对象图像的中心候选(OA)(S21)，计算与椭圆和中心候选相关联的第一多边形(P1)(S22)，计算从第一多边形映射变换为第二多边形(P1’)的映射变换矩阵(S23)，该第二多边形(P1’)与以中心候选进行映射变换的点为中心的椭圆相关联，基于映射变换矩阵，对对象图像进行映射变换，从而取得变换图像(S24)。
文档编号G06T3/00GK102656605SQ20108005386
公开日2012年9月5日 申请日期2010年10月18日 优先权日2009年10月20日
发明者三条正裕, 佐藤智大, 尾内理纪夫, 森正弥 申请人:乐天株式会社