专利名称：特征量计算装置、图像连接装置、图像检索装置及特征量计算方法
技术领域：
本发明涉及特征量计算装置、图像连接装置、图像检索装置及特征量计算方法。
背景技术：
为了将多个图像连接而合成全景图像、或从一个图像中检索其他图像，一般利用各图像中的特征性的点(特征点)。例如，通过检测出在各图像中对应的特征点，利用重叠部分的特征点，可以合成全景图像。各特征点由对于各特征点而言为固有的量的特征量描述。特征量按照特征量的计算方法而不同。在美国专利第6711四3中记载有一种被称为SIFT(Scale Invariant Feature Transformation 尺度不变特征转换算法)的特征量计算方法。根据SIFT，能够计算出对图像的比例换算抗性强的特征量。但是，存在通过SIFT计算出的特征量在图像的旋转方面弱的课题。而且，SIFT还存在不适合计算对比度弱的图像的特征量的课题。
发明内容
本发明为了解决上述的课题而提出，其目的在于，提供一种能够与对比度无关地计算出对图像的旋转鲁棒性强的特征量的特征量计算装置、图像连接装置、图像检索装置及特征量计算方法。本发明涉及的特征量计算装置，其特征在于，具备相角量计算部，其针对构成被输入的图像数据的多个像素数据，分别计算出哈里斯矩阵，利用计算出的哈里斯矩阵分别计算相角量；特征点检测部，其检测出构成所述图像数据的像素数据中、具有比周围的像素数据的相角量大的相角量的像素数据，作为特征点；支配性取向计算部，其根据所述特征点的像素值及该特征点的邻域的像素数据的像素值，计算出对该特征点附近处的像素值的梯度的角度进行表示的支配性取向；同心圆检测部，其检测在所述图像数据中，以所述特征点为中心的半径不同的 ρ (P彡2)个圆的圆周上的像素数据；权重差量值计算部，其针对P个圆，分别计算出对圆周上的各像素数据中的像素值的梯度的角度、与所述支配性梯度的差量值，乘以了圆的半径的平方根而得到的权重差
量值；度数分布生成部，其针对ρ个圆分别生成具有关于所述权重差量值的q(q > 2)个级别的度数分布；和描述符向量计算部，其针对ρ个圆分别计算出以各度数作为成分的q维向量，并根据计算出的各q维向量计算出PX q维描述符向量。根据本发明，由描述符向量计算部计算出PXq维描述符向量，作为特征量。该描述符向量不易受到比例换算及旋转的影响。另外，即使是对比度弱的图像数据，对于各特征点的各描述符向量而言，各自的独立性也高。因此，能够提供一种与图像的对比度无关地计算出对图像的旋转抗性强的特征量的特征量计算装置。而且，本发明的特征在于，具备图像数据组生成部，其生成包含一个图像数据、和将该一个图像数据平滑化后进行缩小而得到的其他图像数据的图像数据组，取代所述图像数据，将生成的图像数据组输入给所述相角量计算部。根据本发明，由于使用由图像数据组生成部生成的图像数据组进行特征点的检测，所以能够计算出独立性更高的描述符向量。并且，本发明的特征在于，所述支配性取向计算部计算出所述特征点及该特征点的邻域的8个像素数据中的像素值的梯度的角度平均值Ao ；以该特征点为中心的半径为3 个像素的圆内的像素数据的像素值的梯度的角度平均值Ac;如果Ac大于iVo，计算以该特征点为中心的半径为3个像素的圆内的梯度值小于Ac的像素数据的梯度的角度的平均值，该平均值作为所述支配性取向；如果Ac小于Ao，计算以该特征点为中心的半径为3个像素的圆内的梯度值大于Ac的像素数据的梯度的角度的平均值，该平均值作为所述支配性取向； 如果Ac等于iVo，以平均值^Vo作为所述支配性取向。根据本发明，由于能够通过支配性取向计算部获得进一步反映了特征点附近处的像素值的梯度的角度的支配性取向，所以可以计算出独立性更高的描述符向量。另外，本发明的特征在于，所述同心圆检测部将ρ的值设定为8，所述度数分布生成部将q的值设定为8。根据本发明，通过将ρ及q的值设定为8，能够计算出独立性更高的描述符向量。而且，本发明涉及的图像连接装置具备所述特征量计算装置；和利用所述描述符向量将2个以上图像数据连接，合成为1个图像数据的图像连接部。根据本发明，通过具备上述特征量计算装置，能够提供高精度连接图像数据的图像连接装置。并且，本发明涉及的图像检索装置具备所述特征量计算装置；和利用所述描述符向量从一个图像数据中检索其他图像数据的图像检索部。根据本发明，通过具备上述特征量计算装置，能够提供高精度地检索图像数据的图像连接装置。另外，本发明涉及的特征量计算方法具备对构成被输入的图像数据的多个像素数据分别计算出哈里斯矩阵，利用计算出的哈里斯矩阵分别计算出相角量的步骤；检测出构成所述图像数据的像素数据中，具有比周围的像素数据的相角量大的相角量的像素数据，作为特征点的步骤；根据所述特征点的像素值及该特征点的附近的像素数据的像素值，计算出对该特征点附近处的像素值的梯度的角度进行表示的支配性取向的步骤；检测在所述图像数据中，以所述特征点为中心的半径不同的p(p ^ 2)个圆的圆周上的像素数据的步骤；针对ρ个圆，分别计算出对圆周上的各像素数据中的像素值的梯度的角度、与所述支配性梯度的差量值，乘以了圆的半径的平方根而获得的权重差量值的步骤；针对ρ个圆，分别生成具有关于所述权重差量值的q(q ^ 2)个级别的度数分布的步骤；和针对ρ个圆分别计算出以度数作为要素的q维向量，并根据计算出的各q维向量计算出P X q维描述符向量的步骤。根据本发明，可计算出pXq维描述符向量作为特征量。该描述符向量不易受到比例换算及旋转的影响。另外，即使是对比度弱的图像数据，对于各特征点的各描述符向量而言，各自的独立性也高。因此，可以提供与图像的对比度无关地计算出对图像的旋转抗性强的特征量的特征量计算方法。通过下述详细的说明与图面，能够更加清楚本发明的目的、特色、及优点。
图1是表示特征量计算装置1的构成的示意图。
图2是表示描述符向量计算处理的流程图。
图3是图像金字塔G的概念图。
图4是表示步骤A21的处理的详细步骤的流程图。
图5是表示步骤A23的处理的详细步骤的流程图。
图6是表示步骤A24的处理的详细步骤的流程图。
图7是表示步骤A25的处理的详细步骤的流程图。
图8是表示步骤A251的处理的详细步骤的流程图。
图9是表示图像连接处理的流程图。
图10是表示被摄体100的图。
图11是表示4个图像数据200A、200B、200C、200D的图。
图12是表示连接后的图像数据300A的图。
图13是表示修整(trimming)处理后的图像数据300B的图。
图14是表示图像检索处理的流程图。
具体实施例方式下面，参照附图，对本发明的优选实施方式详细进行说明。以下，针对本发明的实施方式的特征量计算装置1进行说明。特征量计算装置1 是根据构成从数码相机、扫描仪等输入的图像数据的多个像素数据，计算出表示该图像数据的特征的量(特征量)的装置。图1是表示特征量计算装置1的构成的示意图。特征量计算装置1具备控制运算部11、存储部12、操作部13、显示部14、通信部15和接口部16。控制运算部11是进行基于程序的运算处理、及在不同的电子设备间进行数据的输送控制处理等的装置。作为控制运算部11，可以使用CPU (Central Processing Unit)、 DSP(Digital Signal Processor 数字信号处理器)等。存储部 12 包括DDR SDRAM (Double Data Rate SynchronousDynamic Random Access Memory :双倍数据率同步动态随机存取内存)等易失性存储器、和HDD (Hard Disk Drive:硬盘驱动器)等非易失性存储器。非易失性存储器中存储有后述的特征量计算程序。
操作部13例如是鼠标、键盘、触摸屏等。用户能够借助操作部13对特征量计算装置1进行操作。显示部14例如是液晶显示装置等。在显示部14上，控制运算部11进行的运算处理的结果等被显示为图像。通信部15是通过电话线路、互联网等与特征量计算装置 1以外的装置进行通信的装置。接口部16是用于USB(Universal Serial Bus)连接、ETHER网连接等的连接部。 例如，特征量计算装置1可以通过接口部16与数码相机等连接，能够将该数码相机中存储的图像数据存储到存储部12中。而且，特征量计算装置1构成为，将由通信部15接收到的图像数据存储到存储部 12中。并且，特征量计算装置1具备未图示的扫描仪，构成为将由该扫描仪取得的图像数据存储到存储部12中。存储部12中存储的特征量计算程序，是用于对如上所述那样存储在存储部12中的图像数据，计算出描述符向量来作为特征量的程序。通过按照特征量计算程序进行处理， 控制运算部11及存储部12作为本发明涉及的相角量计算部、特征点检测部、支配性取向计算部、同心圆检测部、权重差量值计算部、度数分布生成部、描述符向量计算部、及图像数据组生成部发挥功能。在本发明中，相角量计算部具有针对构成被输入的图像数据的多个像素数据，分别计算出哈里斯矩阵，利用计算出的哈里斯矩阵分别计算出相角量的功能。特征点检测部具有将构成图像数据的像素数据中、具有比周围的像素数据的相角量大的相角量的像素数据，作为特征点检测出来的功能。支配性取向计算部具有根据特征点的像素值及该特征点附近的像素数据的像素值，计算出对该特征点附近的像素值的梯度的角度进行表示的支配性取向的功能。同心圆检测部具有在图像数据中，检测出以特征点为中心的半径不同的p(p ^ 2) 个圆的圆周上的像素数据的功能。权重差量值计算部具有针对P个圆，分别计算出对圆周上的各像素数据中的像素值的梯度的角度与支配性取向的差量值，乘以圆的半径的平方根而得到的权重差量值的功能。度数分布生成部具有针对P个圆，分别生成具有关于权重差量值的q(q>》个级别的度数分布的功能。描述符向量计算部具有针对P个圆，分别计算出以各度数作为成分的q维向量，并根据计算出的各q维向量，计算出PX q维描述符向量的功能。而且，在本实施方式中，图像数据组生成部具有生成包括一个图像数据、和对该一个图像数据进行平滑化后将其缩小而得到的其他图像数据的图像数据组，并将其输入到相角量计算部的功能。并且，支配性取向计算部构成为，计算出特征点及该特征点周围的8个像素数据中的像素值的梯度的角度平均值Ao ；以该特征点为中心的半径为3个像素的圆内的像素数据的像素值的梯度的角度平均值Ac;如果Ac大于iVo，计算以该特征点为中心的半径为3个像素的圆内的梯度值小于Ac的像素数据的梯度的角度的平均值，该平均值作为所述支配性取向；如果Ac小于iVo，计算以该特征点为中心的半径为3个像素的圆内的梯度值大于Ac的像素数据的梯度的角度的平均值，该平均值作为所述支配性取向；如果Ac等于 Ao,以平均值ko作为所述支配性取向。通过这些各部的功能，可以计算出描述符向量来作为特征量。计算出的描述符向量被利用于后述的图像的连接、及图像的检索等。另外，作为本发明的其他实施方式，也可以取代在存储部12中存储特征量计算程序，而由分别独立的电子电路构成具有上述功能的上述各部。下面，对特征量计算装置1通过上述各部的功能来计算描述符向量的处理(描述符向量计算处理)进行详细说明。图2是表示描述符向量计算处理的流程图。描述符向量计算处理包括生成图像金字塔的处理(步骤A21)、计算出图像金字塔中的各像素数据的相角量的处理(步骤A2》、根据各相角量来检测局部特征点的处理(步骤A2!3)、从局部特征点中检测显著特征点的处理(步骤A24)、和针对显著特征点计算出描述符向量的处理 (步骤A25)。首先，对步骤A21的处理进行说明。步骤A21的处理是根据基于从数码相机等输入的图像的、具有亮度值作为像素值的图像数据(以下称为“第0标准的图像数据”)，生成图像金字塔的处理。在本发明中，图像金字塔是指以第0标准的图像数据、和对该图像数据进行所定的处理而得到的第n(以下设η表示自然数)标准的图像数据作为要素的图像数据组。这里，构成第0标准的图像数据的各像素数据，由作为直角坐标的^CciYtl坐标中的各坐标值
(Ux0, V Y0)的函数的亮度值I0 ( Ux0, V Y0)表示，设该XqYq坐标中的各坐标
值(Uxo, V Υ0)是对于)(。坐标及Y。坐标的任意一个都连续的整数值。而且，构成第η
标准的图像数据的各像素数据，由作为直角坐标的XnYn坐标中的各坐标值(uXn，vYn)的函数的亮度值InOi5ta, νγη)表示，设该XnYn坐标中的各坐标值(U)ta，νγη)是对于Xn坐标及Yn坐标的任意一个都连续的整数值。作为图像金字塔的一例，在图3中表示了图像金字塔G的概念图。图3所示的图像金字塔G由第0标准的图像金字塔G。、第1标准的图像数据G1、和第2标准的图像数据( 构成。图4是表示步骤Α21的处理的详细步骤的流程图。首先，变量m的值被设定为0 (步骤A211)。接着，针对第m标准的图像数据进行基于与高斯滤波器的卷积的平滑化(步骤 A212)。详细而言，在步骤A212的处理中，通过下述式(1)，由构成第m标准的图像数据的各像素数据Im K, vYffl)，获得XmYm坐标中的各坐标值(sXm，tYm)的函数的Jm (Sail, tYm)。
权利要求
1.一种特征量计算装置，其特征在于，具备相角量计算部，其针对构成被输入的图像数据的多个像素数据，分别计算出哈里斯矩阵，利用计算出的哈里斯矩阵分别计算出相角量；特征点检测部，其检测出构成所述图像数据的像素数据中、具有比周围的像素数据的相角量大的相角量的像素数据，来作为特征点；支配性取向计算部，其根据所述特征点的像素值及该特征点的邻域的像素数据的像素值，计算出对该特征点附近处的像素值的梯度的角度进行表示的支配性取向；同心圆检测部，其检测出在所述图像数据中，以所述特征点为中心的半径不同的P个圆的圆周上的像素数据，其中P彡2 ；权重差量值计算部，其针对P个圆，分别计算出对圆周上的各像素数据的像素值的梯度的角度、与所述支配性梯度的差量值，乘以了圆的半径的平方根而得到的权重差量值；度数分布生成部，其针对P个圆分别生成具有关于所述权重差量值的q个级别的度数分布，其中q > 2 ；和描述符向量计算部，其针对P个圆分别计算出以各度数作为成分的q维向量，并根据计算出的各q维向量计算出PX q维描述符向量。
2.根据权利要求1所述的特征量计算装置，其特征在于，具备图像数据组生成部，其生成包含一个图像数据、和将该一个图像数据平滑化后进行缩小而得到的其他图像数据的图像数据组，取代所述图像数据，将生成的图像数据组输入给所述相角量计算部。
3.根据权利要求1或2所述的特征量计算装置，其特征在于，所述支配性取向计算部计算出所述特征点及该特征点的邻域的8个像素数据的像素值的梯度的角度平均值Ao ；以该特征点为中心的半径为3个像素的圆内的像素数据的像素值的梯度的角度平均值Ac ；如果Ac大于iVo，计算以该特征点为中心的半径为3个像素的圆内的梯度值小于Ac的像素数据的梯度的角度的平均值，该平均值作为所述支配性取向；如果Ac小于Ao，计算以该特征点为中心的半径为3个像素的圆内的梯度值大于Ac的像素数据的梯度的角度的平均值，该平均值作为所述支配性取向；如果Ac等于iVo，以平均值^Vo作为所述支配性取向。
4.根据权利要求1 3中任意一项所述的特征量计算装置，其特征在于， 所述同心圆检测部将P的值设定为8，所述度数分布生成部将q的值设定为8。
5.一种图像连接装置，其特征在于，具备权利要求1 4中任意一项所述的特征量计算装置；和利用所述描述符向量将2个以上图像数据连接，合成为1个图像数据的图像连接部。
6.一种图像检索装置，其特征在于，具备权利要求1 4中任意一项所述的特征量计算装置；和利用所述描述符向量从一个图像数据中检索其他图像数据的图像检索部。
7.一种特征量计算方法，其特征在于，包括对构成被输入的图像数据的多个像素数据分别计算出哈里斯矩阵，利用计算出的哈里斯矩阵分别计算出相角量的步骤；检测出构成所述图像数据的像素数据中，具有比周围的像素数据的相角量大的相角量的像素数据，作为特征点的步骤；根据所述特征点的像素值及该特征点的邻域的像素数据的像素值，计算出对该特征点附近处的像素值的梯度的角度进行表示的支配性取向的步骤；检测出在所述图像数据中，以所述特征点为中心的半径不同的P个圆的圆周上的像素数据的步骤，其中P彡2;针对P个圆，分别计算出对圆周上的各像素数据的像素值的梯度的角度、与所述支配性梯度的差量值，乘以了圆的半径的平方根而获得的权重差量值的步骤；针对P个圆，分别生成具有关于所述权重差量值的q个级别的度数分布的步骤，其中 q彡2 ；和针对P个圆分别计算出以度数作为要素的q维向量，并根据计算出的各q维向量计算出PXq维描述符向量的步骤。
全文摘要
本发明提供能够与对比度无关地计算出对图像的旋转鲁棒性强的特征量的特征量计算装置、图像连接装置、图像检索装置及特征量计算方法。作为特征量计算装置，设置有计算相角量的相角量计算部；检测特征点的特征点检测部；计算特征点附近的支配性取向的支配性取向计算部；检出以特征点为中心的p个圆的圆周上的像素数据的同心圆检测部；分别计算出对圆周上的各像素数据中的像素值的梯度的角度与支配性梯度的差量值，乘以了圆的半径的平方根而得到的权重差量值的权重差量值计算部；生成具有关于权重差量值的q个级别的度数分布的度数分布生成部；和根据以p个圆各自的各度数作为成分的q维向量，计算出p×q维描述符向量的描述符向量计算部。
文档编号G06F17/30GK102375984SQ201010250460
公开日2012年3月14日 申请日期2010年8月6日 优先权日2010年8月6日
发明者乐宁, 李仁杰 申请人:夏普株式会社