专利名称：特征选择设备的制作方法
技术领域：
本发明涉及用于选择特征的设备，并且具体地涉及用于选择适合于用于区别图像 (确定图像相同性)的图像签名的特征。
背景技术：
图像签名是用于区别图像(确定相同性)的图像特征。通过将提取自图像的图像签名与提取自另一图像的图像签名进行比较，可以根据比较结果来计算指示两个图像的相同程度的相同性比例(通常称为相似度或者距离)。另外，通过将计算的相同性比例与阈值进行比较，可以确定两个图像是否相同。在此上下文中，“两个图像相同”的意义不仅包括两个图像在图像信号(构成图像的像素的像素值)的水平相同的情况，还包括一个图像是另一图像通过各种修改过程的复制图像的情况，修改过程诸如图像的压缩格式转换、图像的大小/纵横比转换、图像的色调调节、应用于图像的各种滤波过程(锐化、平滑等)、应用于图像的局部处理(字幕叠加、剪切等)以及图像的再捕获。通过使用图像签名，由于可以检测图像的副本或者运动图像(其是图像的集合)，例如，图像签名可应用于针对图像或者运动图像的非法拷贝检测系统。图像签名通常由特征的集合形成。假设包括在集合中的每个特征是一个维度，则图像签名是包括多个维度的特征矢量。特别地，量化指数(量化值)是离散值，其通常用作特征。图像签名的示例在非专利文献1、非专利文献2和专利文献1中进行了描述。在这些文献中描述的方法中，针对图像的多个局部区域来提取特征，量化所提取的特征以获得量化指数，并且针对各局部区域计算的量化指数构成充当图像签名的量化指数矢量。具体地，在非专利文献1和非专利文献2中，图像被分为块。每个块用作局部区域，并且提取特征(量化指数)。另外，在非专利文献1中，块内的亮度分布图被分为11种类型，并且被用作量化指数。在非专利文献2 (非专利文献2中描述为“局部边缘表示”的技术)中，量化从块中提取的、边缘点的重心位置以便用作量化指数。另一方面，如图5所示，专利文献1中描述的方法包括分别计算图像240中的预定位置处的32片矩形区域M4 (其中，图5示出了 16片矩形区域)的平均亮度值，并且计算矩形区域形成对(成对的矩形区域利用图5中的虚线彼此链接起来)之间的平均亮度值的差异，从而获得16个维度的差异矢量250。对于差异矢量250，借助于矢量变换来生成合成矢量，以及将通过量化合成矢量的各维度而得到的的16个维度的量化指数矢量用作图像签名。当设计此类由特征集合形成的图像签名时，选择要使用的特征(什么类型的参数用于特征提取)是重要的，因为其确定图像签名的性能(确定图像的相同性的精确度)。在由特征集合形成的图像签名中，图像签名的性能可以通过适当地选择特征而得到改善。因此，选择适于(优化)由特征集合形成的图像签名(的性能)的特征(也即，支持图像的相同性的高确定精确度的特征)是重要的。关于非专利文献1、非专利文献2和专利文献1中描述的图像签名，每个特征从针对每个特征(彼此不同)而确定的局部区域中提取。因此，在这些文献的示例中，图像签名的性能根据提取特征的局部区域(针对每个特征设置什么类型的局部区域)而确定。通常，当设计由特征集合形成的图像签名时，特征(用于提取特征的参数)的确定 (选择)通常根据经验知识或者反复试验来执行。例如，在非专利文献1和2中，针对特征中每一个的局部区域是由均勻地划分图像的块形成。例如，在非专利文献1中，图像均勻地划分为8*8 = 64个块，并且每个块被用作用于提取特征的局部区域。然而，通过此类经验知识或者反复试验难以优化图像签名的性能(确定图像的相同性的精确度)。同时，在图案识别领域中，使用自动选择特征来优化性能的技术(称为特征选择技术)。特别地，已知使用主成分分析(PCA)和线性判别分析(LDA)的方法。现有技术文献专利文献专利文献1 日本未审查专利公开号8-500471非专利文献非专利文献 1 :Kota Iwamoto,Eiji Kasutani,Akio Yamada, “ Image Signature Robust to Caption Superimposition for Video Sequence Identification ", Proceedings of International Conference on Image Processing (ICIP2006),2006非专利文献 2 :Arun Hampapur, Ruud Μ. Bolle, " Comparison of Distance Measures for Video Copy Detection" ,Proceedings of International Conference on Multimedia and Expo(ICME2001), p.946,200
发明内容
本发明要解决的问题当选择适于(优化)由特征集合形成的图像签名(的性能)时，也即，当选择支持图像的相同性的高确定精确度的特征时，必须满足两个要求，即区别能力和鲁棒性，其中区别能力是区别不同图像的程度，鲁棒性是特征值不因应用于图像的各种转变过程而改变的程度。然而，在上述特征选择技术中，由于特征不是在同时考虑区别能力(其是区别不同图像的程度)和鲁棒性(其是特征值不因应用于图像的各种转变过程而改变的程度)二者的情况下选择，所以该技术涉及无法优化图像签名的性能(无法优化图像的相同性的确定精确度)的问题。具体地，由于借助于主成分分析(PCA)的方法最大化了由特征的整体分布而保持的信息，所以没有考虑特征的鲁棒性(无法执行考虑特征鲁棒性的特征选择)。 另外，虽然借助于线性判别分析(LDA)的方法适于选择针对分类(用于分到为有限数目的类别)的特征，但是其不适于针对尚未定义类别的(图像)签名的特征选择(该方法并不考虑图像签名的区别能力和鲁棒性的特征选择)。[发明目的]鉴于上文所述，本发明的目的是提供能够解决难以优化图像签名的性能(图像的相同性的区别精确度)的特征选择设备。用于解决该问题的手段根据本发明的一个方面，一种特征选择设备包括特征提取单元，其从多个原始图像中的每一个以及通过对多个原始图像应用转变过程而获得的多个经转变的图像中的每一个中提取M个类型的特征；以及特征选择单元，其将原始图像和原始图像的经转变的图像作为相同的图像来处理，并且将同一原始图像的经转变的图像作为相同的图像的来处理，同时将其他图像作为不同的图像来处理，并且利用区别能力和鲁棒性作为估计标准，估计从相应图像中提取的M个类型的特征，并且从作为用于区别图像的特征的M个类型的特征中选择N个类型的特征的集合，该N个类型的数目小于M个类型的数目，其中区别能力是区别不同图像的程度，鲁棒性是特征值不因应用于图像的转变过程而改变的程度。发明效果由于本发明按照如上所述进行配置，所以本发明能够优化由用于区别图像的特征集合形成的图像签名的性能(图像的相同性的区别精确度)。
图1是示出了本发明的第一实施方式的框图。图2是示出了提取多个形状的区域比较特征的方法的示意图。图3是示出了存储在特征存储单元中的示例性数据的示意图。图4是示出了本发明的第一实施方式中的示例性过程的流程图。图5是示出了专利文献1中描述的提取图像签名的方法的示意图。
具体实施例方式接下来，将参考附图详细地描述本发明的实施方式。[第一实施方式]根据本实施方式的特征提取设备使用包括在图像数据库中的一组图像来从M个类型的特征中选择N个类型的特征，该N个类型的特征在数目上小于适于图像签名的M个类型(N <M)，并且输出指示所选择的N个类型的特征的信息。应当注意，“适于图像签名的特征”意味着支持改进图像的相同性的确定精确度的特征。由根据本发明的特征选择设备选择的N个类型的特征的组可以用作N维特征矢量(图像签名)中的相应维的特征。作为匹配N维特征矢量(图像签名)的方法，即，作为计算相同性比例的方法，该方法基于(相应维度中)相同特征的值之间的比较来计算(例如，计算特征值(量化指数)相似度匹配的维度的数目，或者计算汉明距离、欧几里得距离、余弦相似度(内积)等)。另外，M和N 不必是预定的数值(常数)，而可以是满足M > 2和N < M的正整数中的不确定数。参考图1，根据本发明的第一实施方式的特征提取设备包括图像转变单元11、特征提取参数生成单元12、特征提取单元13、特征选择单元14、原始图像存储单元21、经转变的图像存储单元22、特征提取参数存储单元23和特征存储单元M。原始图像存储单元21是存储与图像ID相关联的多个原始图像的图像数据库，图像ID诸如用于唯一地标识各原始图像的数字。存储在原始图像存储单元21中的原始图像用于由根据本实施方式的特征选择设备来选择适于图像签名的特征。存储在原始图像存储单元21中的原始图像被提供至图像转变单元11和特征提取单元13。由于存储在原始图像存储单元21中的原始图像组用于选择适于图像签名的特征，所以期望尽可能多地包括原始图像(例如，不少于一万个图像)。另外，由于存储在原始图像存储单元21中的原始图像组用于选择适于图像签名的特征，所以期望其是对目标图像组具有相同趋势(相似趋势)的图像组，针对该目标图像组使用根据由根据本实施方式的特征选择设备选择的特征生成的图像签名。例如，如果针对其使用图像签名的目标是因特网上的图像或者运动图像(例如，如果图像签名用于检测因特网上的图像或者运动图像的非法拷贝)，则期望存储在原始图像存储单元21中的原始图像组应当是作为因特网上的图像的采样而均勻并且一致地取得的图像组。另外，例如，如果针对其使用图像签名的目标限于风景图像，则期望存储在原始图像存储单元21中的原始图像组应当是作为来自各种风景图像的采样而取得的图像组。另外，例如，如果针对其使用图像签名的目标限于绘画图像，则期望存储在原始图像存储单元21中的原始图像组应当是作为来自各种绘画图像的采样而取得的图像组。另外，如果各种类型的图像在针对其使用图像签名的目标图像组中混合，则期望存储在原始图像存储单元21中的原始图像组应当包括与目标图像组相同比例下的各种类型的图像。如上所述，如果存储在原始图像存储单元21中的原始图像组是对针对其使用图像签名的目标图像组具有相同趋势(或者相似趋势)的图像组，则由于可以选择较适合的图像作为用于针对目标图像组而区别图像的图像签名，所以可以配置具有较高的图像的相同性的确定精确度的图像签名。图像转变单元11向从原始图像存储单元21提供的原始图像应用转变过程，以生成经转变的图像。所生成的经转变的图像与作为源的原始图像相关联地存储在经转变的图像存储单元22中，以使得可以清楚地指示所生成的经转变的图像的原始图像。为了将原始图像与其经转变的图像相关联，可以使用任何方法。一种示例性方法是向原始图像应用图像ID，并且向经转变的图像中的每一个应用作为经转变的图像的图像ID的值，在该值中链接了用于唯一地区别从原始图像生成的经转变的图像中每一个的分支号码。示例性转变过程包括以下过程。然而，这些仅作为示例给出，转变过程不限于此。 另外，图像转变单元11可以执行这些过程的组合(例如，(A) + (D))。(A)图像的压缩格式的转换。(B)图像的大小/纵横比的转换。(C)图像到单色的色调调节和颜色转换。(D)对图像执行的各种滤波过程(锐化、平滑等)。(E)对图像执行的局部处理(字幕叠加、剪切等)。(F)图像几何转换，包括旋转、平行移动和裁剪。(G)向图像添加黑条(黑条指示由于例如从4 3到16 9的纵横比转换而向上和下或者左和右部分插入的黑色边沿区域)。(H)图像的重获。图像转变单元11可以向存储在原始存储单元21中的原始图像中的每一个执行各种类型的转变过程，以生成多种类型的经转变的图像(这意味着经转变的图像的数目可能大于原始图像的数目)。另外，优选地，由图像转变单元11执行的转变过程与向以下图像应用的转变过程相同(具有相同的趋势)，针对该图像使用根据由本实施方式的特征选择设备选择的特征来生成图像签名，并且与在针对其使用图像签名的目标中需要鲁棒性的转变过程相同(具有相同的趋势)。例如，在作为针对其使用图像签名的目标的系统中，如果需要与以上条目 (A)、⑶、(C)和⑶相关的鲁棒性(或者在该系统中执行㈧、⑶、(C)和⑶的转变过程)，则期望图像转换单元11执行⑷、⑶、(C)和(D)的转变过程。另外，例如，如果要对针对其使用图像签名的目标执行各种转变过程，则期望图像转变单元11以与对目标执行的相同的速率来执行各种类型的转变过程。如上所述，通过允许图像转变单元11执行与对针对其使用图像签名的目标执行的转变过程或者需要鲁棒性的转变过程相同(或者具有相同趋势)的转变过程，则可以选择较多的鲁棒特征作为用于针对目标区别图像的图像签名，从而可以配置具有较高的图像相同性的确定精确度的图像签名。特征提取参数生成单元12生成特征提取参数，其是用于针对M个类型的特征中的每一个从图像中提取特征的参数。所生成的M个类型的特征提取参数存储在特征提取参数存储单元23中。应当注意，虽然本实施方式包括生成M个类型的特征提取参数的特征提取参数生成单元12，但是不包括特征提取参数生成单元12的实施方式也是可能的。在不包括特征提取参数生成单元12的配置中，由与特征提取参数生成单元12相同或者相似的单元生成的或者手动创建的M个类型的特征预先存储在特征提取参数存储单元23中。在该实施方式中，虽然M可以采用大于N的任何数值(N <M)，N是被选择作为图像签名的特征的特征数目，但是期望M是N的几倍或者十几倍。例如，如果被选择作为图像签名的特征的特征的数目N是大约500(应当注意，N的适合值可以根据要求条件来确定， 要求条件诸如图像签名的相同性确定精确度、图像签名的大小、匹配速度等)，则M期望为大约2000到5000或者更大。由于数目M变得较大(通过生成较多类型的特征)，则选择较多适合的N个类型的特征的可能性变得较高，从而可以配置具有较高的图像的相同性的确定精确度的图像签名。通过M个类型的特征提取参数提取的M个类型的特征可以是任何类型。然而，期望特征得到改进以便对较大的图像类型有效。其示例将参考图2进行描述。图2是示出了改进以便针对较大数目的图像类型有效的示例性特征(下文称为多个形状的区域比较特征)的提取方法的示意图。针对多个形状的区域比较特征，预先设置图像内的两个提取区域(第一提取区域和第二提取区域)以提取针对特征矢量的每个维度的特征。多个形状的区域比较特征与专利文献1中描述的特征之间的显著差异在于提取区域的形状具有变化。为了提取多个形状的区域比较特征，针对每个维度计算针对每个维度设置的第一提取区域和第二提取区域的平均亮度值，并且将第一提取区域的平均亮度值与第二提取区域的平均亮度值进行比较(即，基于差异值)，将该差异量化为三个值(+1， 0,-1)从而获得量化指数。如果第一提取区域的平均亮度值与第二提取区域的平均亮度值之间的差异值的绝对值低于或者等于设置阈值，则确定第一提取区域与第二提取区域的平均亮度值没有差异，以使得量化指数被设置为0，这指示没有差异。在其他情况下，将第一提取区域的平均亮度值与第二提取区域的亮度值进行比较，并且如果第一提取区域的平均亮度值较大，则量化指数被设置为+1，而在其他情况下，量化指数被设置为-1。假设在维度 η中，第一提取区域的平均亮度值是Vnl，而第二提取区域的平均亮度值是Vn2，并且设置阈值是th，则维度η中的量化指数Qn可以根据以下公式来计算。Qn = +1 (if |Vnl-Vn2 | > th and Vnl > Vn2)= 0 (if I Vnl-Vn2 | 彡 th)
= -1 (if I Vnl-Vn2 | > th and Vnl 彡 Vn2)...(公式 1)在多个形状的区域比较特征中，与特征相对应的特征提取参数是指示每个特征的第一提取区域和第二提取区域的信息。例如，正规化图像大小(例如，32(^240像素)中的第一提取区域的像素坐标值的集合和第二提取区域的像素坐标值的集合可以是特征提取参数。提取区域可以由较少的参数表示。例如，如果提取区域的形状是四边形，则四边形的四个角的坐标可以用作特征提取参数，而如果提取区域的形状是圆形，则圆心和半径值可以用作特征提取参数。另外，如果阈值th对于各类型的特征不同，则阈值th可以包括在特征提取参数中。特征提取参数生成单元12例如可以根据伪随机数而自动地生成针对M个类型的多个形状区域比较特征的特征提取参数。例如，可以从伪随机数的种子生成随机数串，并且基于所生成的随机数，自动地生成提取区域的形状或者阈值th。例如，如果提取区域的形状是四边形，则可以基于所生成的随机数自动地生成四边形的四个角的坐标。应当注意，在多个形状的区域比较特征中，M个类型的特征具有相同的平均亮度值特性。然而，M个类型的特征不限于具有相同特性的特征。具有不同特性(诸如颜色信息、 频率信息和边缘信息)的特征可以混合在M个类型的特征中。因此，可以生成特征提取参数，其中M个类型的特征中的部分为多个形状的区域比较特征，而多个形状的区域比较特征的部分是基于颜色信息的特征，部分是基于频率信息的特征，以及部分是基于边缘信息的特征。特征提取单元13接收存储在原始图像存储单元21中的原始图像以及存储在经转变的图像存储单元22中的经转变的图像，并且根据提供提取存储在特征提取参数存储单元23中的M个类型的特征的方法的特征提取参数，从原始图像和经转变的图像中分别提取 M个类型的特征。特征提取单元13具有两个提取部分，其是用于从原始图像中提取M个类型的特征的特征提取单元131以及用于从经转变的图像中提取M个类型的特征的特征提取单元132。两个特征提取单元131和132可以并行操作或者按顺序操作。从原始图像中提取的M个类型的特征和从经转变的图像中提取的M个类型的特征存储在特征存储单元M中。特征存储单元M将从原始图像中提取的M个类型的特征与从经转变的图像中提取的M个类型的特征相互关联地存储。为了将其彼此相关联，可以使用任何方法。例如，如果经转变的图像的图像ID是其中分支数目被添加到原始图像的图像ID 中的图像ID，则将该原始图像的图像ID应用于从该原始图像提取的M个类型的特征组，并且将经转变的图像的图像ID应用于从原始图像的经转变的图像中提取的M个类型的特征组。从而，通过标识图像ID，可以识别从原始图像中提取的M个类型的特征与从原始图像的经转变的图像中提取的M个类型的特征之间的关联。图3示出了存储在特征存储单元M中的数据的示例。该示例的特征存储单元M 存储特征组M-I到M-x，其与存储在原始图像存储单元21中的原始图像一一对应。一个特征组，即特征组M-I例如包括原始图像特征数据241和多个经转变的图像特征数据Ml-I 到Ml-y，该原始图像特征数据241包括原始图像的图像ID以及从原始图像中提取的M个类型的特征，并且多个经转变的图像特征数据Ml-I到Ml-y每个包括原始图像的经转变的图像的图像ID和从经转变的图像中提取的M个类型的特征。应当注意，属于相同特征组的图像(即，一个原始图像及其经转变的图像)作为相同的图像来处理，并且属于不同特征组的图像作为不同的图像来处理。特征选择单元14使用从存储在特征存储单元M中的原始图像中提取的M个类型的特征的值以及从经转变的图像中提取的M个类型的特征的值来选择N个类型的特征，以使得由特征集合保持的、作为区别不同图像的程度的区别能力以及由特征集合保持的、作为特征的值不因对图像执行的转变过程而改变的程度的鲁棒性的总和变得更大。下文将详细描述特征选择单元14的功能。在该实施方式中，要选择的N个类型的特征表示为索引“η” (η = 1,2,…N)。针对要选择的N个类型的特征，从原始图像组中提取的特征的值表示为概率变量Xn，并且从经转变的图像组中提取的特征的值表示为概率变量X' n。例如，如果特征是上述多个形状的区域比较特征，则该特征可以被视为取{+1，0，-1}中的任何值(量化指数)的概率变量。另外，在要选择的N个类型的特征中，从原始图像组中提取的特征的概率变量Xn 的集合以及从经转变的图像组中提取的特征的概率变量X' n的集合分别表示为Sn = IX1J2，-XJS' ν = {X' 1 X' 2，-X' J由特征集合保持的、作为区别不同图像的程度的区别能力可以针对集合、=(X1, X2，-XJ来计算。由集合、=IX1J2，-XJ保持的区别能力表示为D (Sn)。较大的D^ 值表示较高的区别能力。作为特征值不因向图像应用的转变过程而改变的程度的鲁棒性根据集合、= (X1, X2,…)U和与其相对应的集合S' N= {X' 1； X' 2，…X' N}来计算。由集合、= (X1, X2,…)U和集合S' N = {X' 1； X' 2，…V N}保持的鲁棒性表示为R(Sn，S' N)。 R(SN, S' N)的较大值表示较高的鲁棒性。由特征集合保持的区别能力和鲁棒性的总和E(、，S' N)由以下估计公式2给出。E(SN, S' N) = D(Sn)+R(SN, S' N) …[公式 2]特征选择单元14选择N个类型的特征的集合，以使得由估计公式2给出的E(Sn， S' N)的值变得较大。例如，可以(一次全部地)选择允许E(、，S' N)的值最大化的N个类型的特征的集合。备选地，可以顺序地选择(添加)特征以使得E(Sn，S' n)的值变得较大从而选择特征的集合。在下文中，将描述在特征值是离散值(量化指数)的情况下，计算区别能力D(Sn) 和鲁棒性R(、，S' N)的方法的特定示例。在该示例中，可能由特征所取的值的集合(即， 可能由概率变量Xn和概率变量X' 所取的值的集合)表示为Xn= IxJ。例如，如果特征是上述多个形状的区域比较特征，则Xn= {+1,0,-1}0[区别能力D(Sn)计算方法的特定示例](1)例如，由特征集合所保持的区别能力可以由于相应特征的信息熵较大而较大。 由于信息熵较大，所以由相应特征所取的值的出现概率(概率变量Xn)变得接近一致，从而使得冗余度降低，而区别能力增加。相反，如果可能由相应特征所取的值的出现概率(概率变量Xn)向特定值偏移，则冗余度增加，并且由于信息熵降低，所以区别能力降低。因此，由特征集合所保持的区别能力D(Sn)可以计算为相应特征的信息熵的总和。特征η的概率变量Xn的信息熵HOQ根据以下公式计算。H(Xn) = - Σ ΑΑ ρ (xn) log ρ (Xn)...[公式 3]
其中Σ的下标AA表示ι e ι。在该示例中，p(Xn) = Pr(Xn = xn)，其可以根据要提供的原始特征组的特征的值来计算。例如，如果特征η是上述多个形状的区域比较特征，则p(+l) = pr(Xn = +1)，p(0) =Pr (Xn = 0)，并且P(-l) = Pr (Xn = _1)，从而原始图像组的特征值取+1，0和-1的概率可以分别根据出现频率来计算。因此，由特征集合保持的区别能力D(Sn)可以根据以下公式计算为相应特征的信息熵H (Xn)的总和。D (Sn) = Σ n = ,H(Xn)...(公式 4)(2)另外，如果各特征之间的相关性较低，并且概率独立性较高，则特征集合的区别能力变得较大，因为冗余度较低。如果收集合了在其之间具有大相关性的特征，则冗余度变得较高，从而使得用于区别图像的区别能力不会改善。作为指示各特征之间的相关性的比例，可以使用交互信息量。特征η的概率变量Xn与特征k的概率变量&之间的交互信息量I (Xn ；Xk)根据以下公式来计算I (Xn ；Xk) = Σ BB Σ CC ρ (xn，xk) log [ρ (xn，xk) / {ρ (xn) ρ (xk)}]...(公式 5)其中Σ的下标BB表示^cn e χη,而CC表示 e Xk。在该示例中，ρ (xn, xk) = Pr (Xn = xn, Xk = xk)，其指示xn和xk的同时概率。ρ (χη, Xk)根据要提供的原始图像组的特征值来计算。例如，如果特征是上述多个形状的区域比较特征，则建立以下等式。p(+l，+l) =Pr(Xn = +l,Xk = +1),ρ(+1,0) = Pr(Xn =+1, Xk = 0)p(+l，_l) =Pr (Xn = +l,Xk = -1), ρ (0,+1) =Pr (Xn = 0, Xk = +1)ρ (0,0) = Pr (Xn = 0, Xk = 0), ρ(0, -1) =Pr(Xn = 0,Xk = -1)ρ (-1,+1) =Pr(Xn =-1, =+1)，ρ (+1,0) =Pr(Xn = -LXk = O)ρ (-1，-1) = Pr (Xn = -l,Xk = _1)由此，可以根据原始图像组的特征η和特征k的组合的出现频率来计算同时概率。由于特征η的概率变量Xn与特征k的概率变量&之间的交互信息量I (Xn ；Xk)是指示两个特征之间的相关性程度的比例，所以可以理解，在交互信息量I (XnJk)较小时，区别能力较大。由此，可以通过以下公式、基于特征的所有组合的总和来计算特征集合的区别能力D&)。DSQ = - Σ η=1Ν Σ k = n+1NI (Xn ；Xk)...(公式 6)在该示例中，交互信息量的总和为负(附加“_”)的原因是在交互信息量的总和较小时，区别能力的值较大。(3)另外，可以根据以下公式、使用公式4和公式6的总和来计算特征集合的区别能力D&)。DS ) = Σ n = ,H(Xn) - Σ η=1Ν Σ k = η+1ΝI (Xn ；Xk)...(公式 7)(4)另外，可以将特征集合的区别能力D&)计算为集合、=(X1, X2,... XJ的联合熵H(Xn)C2，...)Q，而不是按照公式4计算特征的信息熵H(Xn)的总和。由此，可以根据以下公式来计算区别能力DGn)。D(Sn) = H(X1, X2,. . . Xn) = _ Σ dd ρ (X1, χ2, · · · χΝ) log ρ (X1, X2,... ΧΝ)...(公式8)其中Σ 的下标 DD 表示 X1 e X1, X2 e χ2, χΝ e χΝ然而，在根据公式8的联合熵的计算中，随着特征数目增加，计算量以指数的数量级增加。由此，如果N的数目大，则其不可行。以上所述的根据公式4、公式6、公式7和公式8计算区别能力DGn)的方法是示例，并且不限于这些计算方法。应当注意，区别能力可以根据经转变的图像组的特征值(概率变量X' η)而不是原始图像组的特征值(概率变量Xn)来计算，或者可以根据其组合来计算。[鲁棒性R(Sn，S'n)计算方法的特定示例](1)由特征集合保持的鲁棒性可以作为特征值在图像针对各特征的转变之前和之后不发生改变的程度的总和而获得。这通过以下步骤来计算将要提供的原始图像组的特征值(概率变量Xn)与相应的经转变的图像组的特征值(概率变量X' )进行比较，以及测量相等概率(特征值一致的概率=不变的概率)。应当注意，特征值在图像转变之前和之后的相等概率表示为PUn = X' n)。例如，如果特征是上述多个形状的区域比较特征，则可以建立以下表达式ρ0 η = χ' n) = Pr(Xn = 1, X' =+1，X' n = +l)+Pr(Xn = 0, X' n = 0) +Pr(Xn =-LX' n =-1)可以根据以下公式将特征集合的鲁棒性R(SN，S' n)计算为各特征的相等概率 pUn = x' n)的总和，例如，R (SN, S' Ν) =Σ η = 1Νρ(χη = χ' η) ···(公式 9)(2)另外，可以基于特征中每一个的条件熵Η(Χη|Χ' η)来计算特征集合的鲁棒性 R (SN, S' Ν)，例如，该条件熵Η(Χη|Χ' η)根据原始图像组中的特征值(概率变量Xn)与经转变的图像组中的相应特征值(概率变量Xn)来计算。由于特征η的条件熵Η(Χη|Χ' η)指示概率变量)(11 (原始图像组中的特征值)在概率变量X' η(经转变的图像组中的特征值)已经已知时保留的模糊度，则如果特征值在转变之前和之后不发生改变的概率高(特征在转变之前和之后一致的概率高)，即，如果鲁棒性高，则条件熵Η0(η|Χ' η)取较小的值。由此，可以理解，在条件熵Η(Χη|Χ' η)较小时， 鲁棒性较高。可以根据以下公式来计算特征η的条件熵Η(Χη|Χ' η)。H(Xn |Χ' η) = - Σ ΕΕ Σ FF ρ(χη, χ' η) logρ OcnIx' η)...(公式 10)其中，Σ的下标EE表示^cn e ^cn，而FF表示χ' n e、。应当注意，p(xn|x' n)是条件概率，其可以根据要提供的原始图像组中的特征的值以及经转变的图像组中的相应特征的值来计算。例如，如果特征是上述多个形状的区域比较特征，则可以建立以下表达式。p(+l|+l) = Pr(Xn = +1|X' n =+1)，ρ (+11 0) = Pr (Xn =+11X' n = 0)p(+l|-l) = pr(Xn = +1|X' n = -1), ρ (0 |+1) = Pr(Xn = θ|Χ' n = +1)p(0|0) = Pr (Xn = θ|Χ' n = 0)，ρ (0 卜 1) = Pr (Xn = 0 |X' n = -1)p(-l|+l) = pr(Xn = -l|X' n = +1), ρ (-11 0) = Pr(Xn = -l|X' n = 0)p(-l|-l) = Pr(Xn = -l|X' n = _1)
由特征集合保持的鲁棒性R(、，S' N)还可以根据以下公式、基于各特征的条件熵 H(XjX' n)的总和来计算。R(SN, S' n) = - Σ n = 1N H(Xn|X' n)…(公式 11)在该示例中，条件熵H(Xn|X' n)的总和为负(附加“_”)的原因是在条件熵 H(XjX' η)的总和较小时，鲁棒性R(Sn，S' N)的值较大。上述根据公式9和公式11来计算鲁棒性R(Sn，S' n)的方法是示例，并且不限于这些计算方法。[计算区别能力和鲁棒性的总和E(、，S'N)的方法的特定示例]区别能力和鲁棒性的总和E(Sn，S' n)可以通过组合作为计算区别能力D(Sn)的方法的公式4、公式6、公式7和公式8中的任意一个以及作为计算鲁棒性R(、，S' N)的方法的公式9和公式11中的任意一个来计算。另外，可以根据以下公式、使用适当的加权系数α来计算区别能力DGn)和鲁棒 ft R(SN, S' N)的总和。E(SN, S' N) = aD(SN) + (l-a)R(SN, S' N)…(公式 12)在该示例中，作为示例性组合，如果使用公式7作为计算区别能力D^的方法而使用公式11作为计算鲁棒性R(、，S' N)的方法，则在以下公式中示出计算区别能力和鲁棒性的总和E(Sn，S' N)的方法。E(SN, S' N) = D(Sn)+R(SN, S' N)=Σ ^1nH(Xh)-Σ Σ k.n+1N| (Xn ；Xk)- Σ η^ΝΗ(Χη|Χ' η)=E^1nKXii5X' ^-Σ^/Σ,.^ΚΧ^Χ,) ···(公式 13)应当注意，公式13的导出基于(X ；Y) = H(X)-H(XlY)。特征选择单元14选择N个类型的特征，以使得上述区别能力和鲁棒性的总和的估计公式2的Ε(、，S' Ν)的值变得较大。例如，特征选择单元14可以一次全部地选择其中 E (SN, S' Ν)的值变得最大的N个类型的特征的集合。然而，通常难以一次全部地选择其中 E (SN, S' Ν)的值变得较大的N个类型的特征的集合，因为由于需要针对每个特征组合计算 E(SN, S' Ν)，并且对其进行估计，所以组合的数目变得巨大。鉴于以上所述，提供了一种通过顺序地(递增地)添加特征来选择特征集合以使得Ε(、，S' Ν)的值变大的方法作为可实现的方法。该方法称为递增方法。在递增方法中， 通过逐个增加特征集合来选择N个类型的特征(概率变量Xn)。由此，按照以下方式逐个添加特征。S1 = {XJS2 = (X1, XJS3 = (X1, X2, X3I…Sn = (X1, X2,…)U在递增方法中，顺序地选择允许区别能力和鲁棒性的总和的估计公式2的值变得最大的特征，并且添加该特征。当一个特征被添加到集合SN_i中从而形成集合、时，添加了这样的特征(概率变量Un，其允许区别能力和鲁棒性的总和的估计公式2的E(Sn，S' n) 的值变得最大。这意味着，添加了这样的特征(概率变量Un，其允许在添加该特征之前特征集合的区别能力和鲁棒性的总和的估计公式2的值与添加该特征之后的特征集合的区别能力和鲁棒性的总和的估计公式2的值之间的差异最大。由此，添加了这样的特征(概率变量)Xn,其允许以下估计公式最大E(SN, S' n)-E(Sn_i; S' ^1)...(公式 14)例如，如果使用由公式13获得的区别能力和鲁棒性的总和E(、，S' N)，则添加这样的特征(概率变量)xn，其允许以下估计公式15最大。E(SN, S' n)-E(Sn_i; S' ^1) = | (Xn ;X' n)_ Σ k =广11 (Xn ;Xk)…(公式 15)接下来，将参考图4的流程图来描述本实施方式的操作。首先，图像转变单元11对从原始图像存储单元21读取的原始图像中的每一个执行预定类型的转变过程，以生成经转变的图像，并且将其存储在经转变的图像存储单元22 中(SlOl)。接下来，特征提取参数生成单元12针对M个类型的特征中的每一个生成特征提取参数，其是用于从图像中提取特征的参数，并且将其存储在特征提取参数存储单元23中 (S102)。继而，特征提取单元13的特征提取部分131根据针对M个类型的特征的提取参数，从原始图像存储单元21中的原始图像的每一个中提取M个类型的特征，并且将其存储在特征存储单元M中(Sl(XB)。另外，特征提取单元13的特征提取部分132根据针对M个类型的特征的提取参数，从经转变的图像存储单元22中的经转变的图像的每一个中提取M 个类型的特征，并且将其存储在特征存储单元M中(S104)。继而，特征选择单元14接收存储在特征存储单元M中的原始图像和经转变的图像的M个类型的特征，并且对其进行处理，以使得原始图像及其经转变的图像，以及相同原始图像的经转变的图像被识别为彼此相同的图像，而其他图像是彼此不同的，并且从M个类型的特征中选择N个类型的特征，作为区别不同图像的程度的区别能力以及作为特征值不因应用于图像的转变过程而改变的程度的鲁棒性是估计标准，以及输出N个类型的特征 (S105)。以下将使用递增方法作为示例来详细描述步骤S105。首先，特征选择单元14确定第一类型的特征(S106)。例如，特征选择单元14选择这样的一种类型的特征，其允许区别能力和鲁棒性的总和的估计公式的值最大，以及将所选择的类型确定为第一类型。具体地，特征选择单元14选择一种类型的特征，其允许估计公式13的值最大，其中N= 1。作为另一方法，还可以按照随机方式从M个类型的特征中选择一种类型的特征。接下来，特征选择单元14确定附加类型的特征(S107)。具体地，特征选择单元14 选择一种类型的特征，其允许添加特征之前的特征集合的区别能力和鲁棒性的总和估计公式的值与添加特征之后的特征集合的区别能力和鲁棒性的总和的估计公式的值(即，公式 14的值)之间的差异最大，并且将选择的类型的特征确定为接下来要添加的特征。继而，特征选择单元14判断是否确定了 N个类型的特征(S108)，并且如果尚未确定N个类型的特征，则特征选择单元14返回步骤S107，并且继续确定其余类型的特征。另一方面，如果已经确定了 N个类型的特征，则特征选择单元14例如向图1中未示出的存储单元输出所确定的N个类型的特征。如上所述，根据本实施方式，可以选择特征以使得用于区别图像的、每个包括多个特征的集合的图像签名的能力最佳(图像的相同性的确定精确度较高)。这是因为特征被选择以使得通过使用从转变之前和之后的图像组中提取的特征值，作为区别不同图像的程度的区别能力和作为特征值不因应用于图像的转变过程而改变的程度的鲁棒性的总和变大。虽然上文已经描述了本发明的实施方式，但是本发明不限于该实施方式。本领域技术人员将理解，可以在不脱离本发明的范围的情况下做出各种形式上和细节上的改变。 另外，适配本发明的特征提取设备以使得其功能可以通过计算机和程序以及硬件来实现。 此类程序以在计算机可读记录介质上编写的形式提供，计算机可读记录介质诸如磁盘、半导体存储器等，例如当计算机启动时由计算机读取，并且控制计算机的操作，从而允许计算机充当上述实施方式的图像转变单元11、特征提取参数生成单元12、特征提取单元13、特征选择单元14等。本申请基于并且要求于2009年1月四日提交的日本专利申请号2009-17806的优先权的权益，在此通过引用将其整体并入。参考标号
11图像转变单元
12特征提取参数生成单元
13特征提取单元
131，132特征提取部分
14特征选择单元
21原始图像存储单元
22经转变的图像存储单元
23特征提取参数存储单元
24特征存储单元
权利要求
1.一种特征选择设备，包括特征提取单元，其从多个原始图像的每一个以及从通过向所述多个原始图像应用转变过程而获得的多个经转变的图像的每一个中提取M个类型的特征；以及特征选择单元，其将原始图像和所述原始图像的经转变的图像作为相同的图像来处理，并且将同一原始图像的经转变的图像作为相同的图像来处理，而将其他图像作为不同的图像来处理，使用作为区别不同图像的程度的区别能力以及作为特征值不因应用于图像的转变过程而改变的程度的鲁棒性作为估计标准，估计从各图像中提取的所述M个类型的特征，并且从所述M个类型的特征中选择N个类型的特征的集合作为用于区别图像的特征， 所述N个类型在数目上小于M个类型的数目。
2.根据权利要求1所述的特征选择设备，其中所述特征提取单元根据特征提取参数来提取所述M个类型的特征，所述特征提取参数是用于定义用于提取所述特征的方法的参数。
3.根据权利要求1或者2所述的特征选择设备，其中作为用于定义用于提取所述M个类型的特征的方法的特征提取参数，使用与M个类型的子区域对相关的定义信息，所述定义信息定义用于从包括至少一对子区域的图像中提取特征的区域，其中两个子区域对的形状的组合以及所述两个子区域对之间的相对位置关系与至少另一对子区域的不同。
4.根据权利要求1至3中任一项所述的特征选择设备，其中所述特征是通过量化从所述图像中提取的物理量而获得的量化值。
5.根据权利要求1至4中任一项所述的特征选择设备，还包括原始图像存储单元，其存储所述多个原始图像；图像转变单元，其生成通过向所述原始图像应用转变过程而获得的经转变的图像；以及经转变的图像存储单元，其存储所生成的经转变的图像。
6.根据权利要求5所述的特征选择设备，其中所述图像转变单元执行以下中的一个或多个转变过程图像大小的转换，图像纵横比的转换，图像的色调的调节，图像到单色的颜色转换，对图像执行的各种滤波过程，对图像执行的局部处理，图像的几何转换，向图像添加黑条以及图像的重获。
7.根据权利要求2至6中任一项所述的特征选择设备，还包括特征提取参数生成单元，其生成定义用于提取所述M个类型的特征的方法的所述特征提取参数；以及特征提取参数存储单元，其存储所生成的M个类型的特征提取参数。
8.根据权利要求7所述的特征选择设备，其中所述特征提取参数生成单元生成伪随机数串，并且基于所生成的随机数来生成所述特征提取参数。
9.根据权利要求1至8中任一项所述的特征选择设备，其中所述特征选择单元选择N个类型的特征的集合，其允许所述区别能力和所述鲁棒性的总和的估计公式的值较大。
10.根据权利要求9所述的特征选择设备，其中所述特征选择单元利用从各图像提取的特征，将所述N个类型的特征的区别能力计算为所述N个类型的特征的信息熵的总和的值、包括所述N个类型的特征的集合的联合熵或者所述N个类型的特征之间的交互信息量的总和的值。
11.根据权利要求9所述的特征选择设备，其中所述特征选择单元利用从所述原始图像中提取的特征以及从所述经转变的图像中提取的特征，将所述N个类型的特征的鲁棒性计算为所述N个类型的特征的、转变之前的特征与转变之后的特征之间的相等概率的总和的值，或者所述N个类型的特征的条件熵的总和的值。
12.根据权利要求9至11中任一项所述的特征选择设备，其中所述特征选择单元通过逐个添加以下特征来选择所述N个类型的特征，所述特征允许添加所述特征之前的特征集合的估计公式的值与添加所述特征之后的所述特征集合的估计公式的值之间的差异最大。
13.一种特征选择方法，包括从多个原始图像的每一个以及从通过向所述多个原始图像应用转变过程而获得的多个经转变的图像的每一个中提取M个类型的特征；以及将原始图像和所述原始图像的经转变的图像作为相同的图像来处理，并且将同一原始图像的经转变的图像作为相同的图像来处理，而将其他图像作为不同的图像来处理，以及使用作为区别不同图像的程度的区别能力以及作为特征值不因应用于图像的转变过程而改变的程度的鲁棒性作为估计标准，估计从各图像中提取的所述M个类型的特征，并且从所述M个类型的特征中选择N个类型的特征的集合作为用于区别图像的特征，所述N个类型在数目上小于M个类型的数目。
14.根据权利要求13所述的特征选择方法，其中提取所述M个类型的特征包括根据特征提取参数来提取所述M个类型的特征，所述特征提取参数是用于定义用于提取所述特征的方法的参数。
15.根据权利要求13或者14所述的特征选择方法，其中作为用于定义用于提取所述M个类型的特征的方法的特征提取参数，使用与M个类型的子区域对相关的定义信息，所述定义信息定义用于从包括至少一对子区域的图像中提取特征的区域，其中两个子区域对的形状的组合以及所述两个子区域对之间的相对位置关系与至少另一对子区域的不同。
16.根据权利要求13至15中任一项所述的特征选择方法，其中所述特征是通过量化从所述图像中提取的物理量而获得的量化值。
17.根据权利要求13至16中任一项所述的特征选择方法，还包括生成通过向所述原始图像应用转变过程而获得的经转变的图像。
18.根据权利要求17所述的特征选择方法，其中所述生成所述经转变的图像包括执行以下中的一个或多个转变过程图像大小的转换，图像纵横比的转换，图像的色调的调节，图像到单色的颜色转换，对图像执行的各种滤波过程，对图像执行的局部处理，图像的几何转换，向图像添加黑条以及图像的重获。
19.根据权利要求14至18中任一项所述的特征选择方法，还包括生成定义用于提取所述M个类型的特征的方法的所述特征提取参数。
20.根据权利要求7所述的特征选择方法，其中所述生成所述特征提取参数包括生成伪随机数串，并且基于所生成的随机数来生成所述特征提取参数。
21.根据权利要求13至20中任一项所述的特征选择方法，其中所述选择用于区别所述图像的所述特征包括选择N个类型的特征的集合，其允许所述区别能力和所述鲁棒性的总和的估计公式的值较大。
22.根据权利要求21所述的特征选择方法，其中所述选择用于区别所述图像的所述特征包括利用从各图像提取的特征，将所述N个类型的特征的区别能力计算为所述N个类型的特征的信息熵的总和的值、包括所述N个类型的特征的集合的联合熵或者所述N个类型的特征之间的交互信息量的总和的值。
23.根据权利要求21所述的特征选择方法，其中所述选择用于区别所述图像的所述特征包括利用从所述原始图像中提取的特征以及从所述经转变的图像中提取的特征，将所述N个类型的特征的鲁棒性计算为所述N个类型的特征的、转变之前的特征与转变之后的特征之间的相等概率的总和的值，或者所述N个类型的特征的条件熵的总和的值。
24.根据权利要求21至23中任一项所述的特征选择方法，其中选择用于区别所述图像的所述特征包括通过逐个添加以下特征来选择所述N个类型的特征，所述特征允许添加所述特征之前的特征集合的估计公式的值与添加所述特征之后的所述特征集合的估计公式的值之间的差异最大。
25.一种用于使得计算机充当以下装置的程序特征提取单元，其从多个原始图像的每一个以及从通过向所述多个原始图像应用转变过程而获得的多个经转变的图像的每一个中提取M个类型的特征；以及特征选择单元，其将原始图像和所述原始图像的经转变的图像作为相同的图像来处理，并且将同一原始图像的经转变的图像作为相同的图像来处理，而将其他图像作为不同的图像来处理，使用作为区别不同图像的程度的区别能力以及作为特征值不因应用于图像的转变过程而改变的程度的鲁棒性作为估计标准，估计从各图像中提取的所述M个类型的特征，并且从所述M个类型的特征中选择N个类型的特征的集合作为用于区别图像的特征， 所述N个类型在数目上小于M个类型的数目。
全文摘要
特征选择设备包括特征提取单元，其从多个原始图像的每一个以及从通过向多个原始图像应用转变过程而获得的多个经转变的图像的每一个中提取M个类型的特征；以及特征选择单元，其将原始图像和原始图像的经转变的图像作相同的图像来处理，并且将同一原始图像的经转变的图像作为相同的图像来处理，而将其他图像作为不同的图像来处理，以及使用作为区别不同图像的程度的区别能力以及作为特征值不因应用于图像的转变过程而改变的程度的鲁棒性作为估计标准，估计从各图像中提取的M个类型的特征，并且从M个类型的特征中选择N个类型的特征的集合作为用于区别图像的特征，N个类型在数目上小于M个类型的数目。
文档编号G06T7/00GK102301395SQ201080005948
公开日2011年12月28日 申请日期2010年1月19日 优先权日2009年1月29日
发明者大纲亮磨, 岩元浩太 申请人:日本电气株式会社