专利名称：时间分段表示特征矢量生成设备的制作方法
技术领域：
本发明涉及用于针对每个时间分段，从指示诸如移动图像数据和声音数据之类的时间序列数据的各个帧的特征矢量序列中，生成表示时间分段的特征矢量的设备和方法。 更具体地，本发明涉及时间分段表示特征矢量生成设备、时间分段表示特征矢量生成方法、 以及时间分段表示特征矢量生成程序，用于生成能够描述时间分段中时间序列变化的时间分段表示特征矢量。
背景技术：
作为用于从指示诸如移动图像数据和声音数据之类的时间序列数据的各个帧的特征矢量序列中检索(区分)具有类似特征的时间分段的类似段检索技术，已经已知一种通过针对帧单元中要进行比较(计算类似度或距离)的两组特征矢量序列顺序地执行匹配来指定类似的时间分段的方法。例如，非专利文献1描述了使用在IS0/IEC 15938-3中定义的颜色布局描述符作为每个帧的特征矢量，在帧单元中执行距离计算，从而区分类似分段。在要进行比较的特征矢量序列之间执行匹配的方法需要长时间的检索。同样地， 为了加快检索，已经提出了另一种方法，其中针对包括多个帧的每个时间分段生成表示时间分段的特征矢量(称为时间分段表示特征矢量)，以及使用所生成的时间分段表示特征矢量来执行匹配，而不是在帧单元中执行匹配。例如，非文献文件2描述了根据包括在时间分段中的特征矢量生成直方图特征， 作为时间分段表示特征矢量。具体地，作为针对移动图像的每个帧的特征矢量，帧图像分为多个子图像，以及每个子图像的颜色分量值(R分量、G分量、以及B分量)用作其特征。将包括在时间分段中的帧的特征矢量进行量化，以及将时间分段表示特征矢量生成作为指示各个量化指数的出现频率的直方图。非专利文献3和非专利文献4描述了作为时间分段表示特征矢量，选择时间分段中的关键帧，以及将所选择的关键帧的特征矢量直接用作时间分段表示特征矢量。在这些文献中，移动图像的照片用作时间分段，以及从照片中选择关键帧，以及其特征矢量用作时间分段表示特征矢量。非专利文献5描述了根据包括在时间分段中的多个帧的特征矢量，计算针对特征矢量的各个次元(dimension)的平均值或中值，以及组成所计算的平均值或中值的特征矢量用作时间分段表示特征矢量。非专禾Ij 文献 1 :Eiji Kasutani, Ryoma Oami, Akio Yamada, Takami Sato，and Kyoji HirataZiVideo Material Archive System for Efficient Video Editingbased on Media Identification，，，Proc. on ICME (International Conference onMultimedia and Expo) 2004，Vol. 1，pp. 727—730，June 2004.非专禾Ij文献 2 :Kunio Kashino， Takayuki Kurozumi， Hiroshi Murase，“AQuick Search Method for Audio and Video Signals Based on HistogramPruning，，，IEEE Transactions on Multimedia，Vol. 5，No. 3，September 2003.
非专利文献3:Anil Jain, Aditya Vailaya, and Wei Xiong, "Query byVideo Clip，，，Proc. on ICPR(International Conference on Pattern Recognition), Vol. 1, pp. 16-20，Aug. 1998.非专禾Ij 文献 4 :Yusuke Uchida, Masaru Sugano, Akio Yoneyama, "AStudy on Content Based Copy Detection Using Color Layout", Proc. on IMPS(Image Media Processing Symposium) 2008, Proceedings, pp. 69-70, 0ctober2008.非专禾丨J 文献 5 Ei ji Kasutani, Akio Yamada，"Acceleration of VideoIdentification Process Using Group-of-Frame Feature，，，Proc. on FIT(Forumon Information Technology) 2003, pp.85-86,2003.
发明内容
然而，在非专利文献2至5中描述的时间分段表示特征矢量不能描述时间分段内特征矢量序列中时间序列的变化(时间上的变化)。这样，因为与上述时间分段表示特征矢量的使用的匹配不能区分时间分段内时间序列的变化(确定具有不同时间序列变化的特征矢量序列相类似的可能性较大)，所以存在检索特征矢量序列精确性降低的问题。具体地，在使用包括在时间分段中的特征矢量的直方图特征作为时间分段表示特征矢量的方法中(正如非专利文献2中所描述的)，因为直方图不能描述时间序列顺序，所以不能描述时间分段内的特征矢量序列中的时间序列变化(例如，即使以相反的顺序进行时间序列变化，也生成相同的直方图)。此外，在时间分段中选择关键帧以及直接地使用所选择的关键帧作为时间分段表示特征矢量的方法中(正如非专利文献3和非专利文献4中所描述的)，由于使用了所选择的单个帧的特征矢量，所以仅描述了关于时间序列上一个点的信息。这样，不能描述分段内的特征矢量序列中的时间序列的变化。此外，在根据包括在时间分段中的多个帧的特征矢量来计算针对特征矢量的各个次元的平均值或中值，并使用组成所计算的平均值或中值的特征矢量作为时间分段表示特征矢量的方法(如在非专利文献5中所描述的)中，由于所计算的时间分段表示特征矢量的每个次元的值与时间分段中时间序列上的位置(时间)没有对应关系，所以不能描述时间分段内特征矢量序列中的时间序列的变化(例如，即使以相反的顺序进行时间序列变化，也生成相同的段表示矢量)。[本发明的目的]本发明的目的是提供一种时间分段表示特征矢量生成设备，能够解决在非专利文献2至5中描述的时间分段表示特征矢量不能够描述时间分段内特征矢量序列中的时间序列变化(时间上的变化)的问题。根据本发明的一个方面，时间分段表示特征矢量生成设备包括时间分段内特征矢量组选择装置，用于针对每个时间分段、并从针对各个帧的特征矢量序列中选择包括在时间分段中的多个帧的特征矢量；以及次元选择装置，用于针对每个时间分段、并从时间分段中不同帧的所选特征矢量中选择特征矢量的不同次元的特征，并生成作为表示时间分段的特征矢量的时间分段表示特征矢量。根据本发明，可以提供时间分段表示特征矢量生成设备，用于根据时间序列数据的各个帧的特征矢量序列，生成能够描述时间分段内的特征矢量序列中的时间序列变化的时间分段表示特征矢量。通过使用上述能够描述时间分段内时间序列变化的时间分段表示特征矢量，可以通过时间分段表示特征矢量来提高检索特征矢量序列的精确度。
图1是示出了本发明第一实施例的配置的框图。图2示出了多形状区域比较特征。图3-A示出了定义时间分段的示例性方法。图3-B示出了定义时间分段的另一示例性方法。图3-C示出了定义时间分段的另一示例性方法。图4示出了通过本发明第一实施例中的时间分段内特征矢量组选择单元进行选择的示例性方法。图5示出了通过本发明第一实施例中的次元选择装置来选择特征的示例性方法。图6示出了通过本发明第一实施例中的次元选择装置来选择特征的另一示例性方法。图7示出了通过本发明第一实施例中的次元选择装置来选择特征的另一示例性方法。图8是示出了第一特征矢量序列检索系统的配置的框图。图9是示出了第二特征矢量序列检索系统的配置的框图。图10是示出了本发明第一实施例的操作的流程图。图11是示出了本发明第二实施例的配置的框图。图12示出了通过本发明第二实施例中的时间分段内特征矢量组选择装置进行选择的示例性方法。图13是示出了本发明的第三实施例的配置的框图。图14是示出了通过本发明第三实施例中的次元选择装置来选择特征的示例性方法。
具体实施例方式接下来，将参照附图详细地描述本发明的实施例。[第一实施例]参照图1，根据本发明第一实施例的时间分段表示特征矢量生成设备100接收以时间序列顺序安排各个帧的特征矢量的序列，以及输出作为表示时间分段的特征矢量的时间分段表示特征矢量。时间分段表示特征矢量生成设备100包括时间分段内特征矢量组选择装置101和次元选择装置102。当输入特征矢量序列时，时间分段内特征矢量组选择装置101针对每个时间分段，选择包括在时间分段中的多个帧的特征矢量，以及将针对每个时间分段选择的帧的特征矢量的信息提供给次元选择装置102。要输入的特征矢量序列是其中以时间序列的顺序排列针对诸如移动图像数据和声音数据之类的时间序列数据的各个帧的特征矢量的序列。如果数据是时间序列的数据，那么数据不限于移动图像数据和声音数据。在该上下文中，帧意味着时间序列数据的每个元素，以及在除移动图像数据或声音数据之外的时间序列数据的情况下，为了简便，时间序列数据的每个元素被称为帧。针对每个帧的特征矢量由多个次元的特征组成。例如，在移动图像数据的情况下， 特征可以是针对移动图像的每个帧提取的在IS0/IEC15938-3(所谓的MPEG-7视觉)中定义的各种视觉特征，例如，主导颜色、颜色布局、可扩缩颜色、颜色结构、边沿直方图、均勻纹理、纹理浏览、区域形状、轮廓形状、形状3D、参数运动和运动活动。此外，在移动图像数据的情况下，组成每个帧的特征矢量的多个次元的特征是针对更大范围的各种类型的移动图像的改进的具有有效性的所期望的特征。将参照图2描述其示例。图2是示出了改进的针对大范围的各种类型的移动图像有效的示例性特征(以下称为多形状区域比较特征)的提取方法的示例。针对多形状区域比较特征，提前设置图像中的两个提取区域(第一提取区域和第二提取区域)，以针对特征矢量的每个次元提取特征。多形状区域比较特征的特征在于，提取区域的形状具有变化。为了提取多形状区域比较特征，针对每个次元计算为每个次元设置的第一提取区域和第二提取区域的平均亮度值，将第一提取区域的平均亮度值与第二提取区域的平均亮度值进行比较(即基于差值)， 以及将该差量化为3个值(+1，0，-1)，从而获取量化指数。如果第一提取区域的平均亮度值和第二提取区域的平均亮度值之间的差值的绝对值低于或等于预定阈值，则确定第一提取区域和第二提取区域的平均亮度值没有差别，从而量化指数设置为0(表示没有差别)。 在其它情况下，比较第一提取区域的平均亮度值和第二提取区域的平均亮度值，以及如果第一提取区域的平均亮度值较大，则量化指数设置为+1，而在其它情况下，量化指数设置为-1。假定在次元η中，第一提取区域的平均亮度值是Vnl，以及第二提取区域的平均亮度值是Vn2，以及预定阈值是th，则可以从以下表达式中计算次元η中的量化指数Qn。Qn = +1 (若 | Vnl_Vn2 | > th 且 Vnl > Vn2)0(若 |Vnl_Vn2| 彡 th)-1 (若 I Vnl-Vn2 | > th 且 Vnl 彡 Vn2)例如，在声音数据的情况下，可以通过针对声音帧执行频率分析(分析窗口包括多个采样信号)来计算特征矢量。例如，可以通过这种方式获取特征矢量针对分析窗口执行傅立叶变换，以计算频率区域的功率谱，以及将该功率谱分为多个子带，以及将每个子带的平均功率的值用作特征。应该注意，时间分段意味着时间轴上连续的分段。在时间分段内特征矢量组选择装置101中，如果针对所有输入的特征矢量序列是固定的，则可以使用任何方法来定义时间分段。例如，时间分段可以是通过固定的时间长度(时间宽度)来划分时间轴而获得的各个分段。例如，参照图3-A的示例，将特征矢量序列(帧序列)上的以10个帧单元划分的各个分段(这是固定的时间宽度)定义为时间分段。同样，将以一秒单元划分的各个分段(这是固定的时间长度)定义为时间分段。此外，通过以规律的间隔对固定时间长度(时间宽度)的分段进行移位来定义时间分段，从而允许分段之间的重叠。例如，参照图3-B的示例，可以以这种方式定义时间分段在特征矢量序列(帧序列)上以4个帧间隔对以10个帧单元划分的时间分段(这是固定的时间宽度)进行移位，从而允许分段之间的重叠。此外，可以通过以一个帧间隔对一秒单元的分段(这是固定的时间长度)进行移位，来设置时间分段，从而允许分段之间的重叠。此外，时间分段不必具有固定的时间长度(时间宽度)。例如，正如在图3-C的示例中，可以针对特征矢量序列(帧序列)检测变化点(例如移动图像数据的照片划分点)， 并将各个变化点之间的各个分段设置为时间分段。可以从特征矢量序列自身检测变化点 (例如，计算相邻帧的特征矢量之间的距离，以及如果距离超过预定阈值，则确定它是一个变化点)，或从原始的时间序列数据中检测变化点。在时间分段内特征矢量组选择装置101中，如果针对每个输入特征矢量序列是固定的，则可以使用任何方法用于针对每个确定的时间分段，选择包括在时间分段中的多个帧的特征矢量。例如，时间分段内特征矢量组选择装置101可以选择包括在图4中示出的时间分段中的所有帧的特征矢量，或者选择图4中所示的以规律的间隔采样的帧的特征矢量。将在以下参照图11和12描述其它选择方法。次元选择装置102根据针对从时间分段内特征矢量组选择装置101提供的每个时间分段的帧的所选特征矢量的信息，针对每个时间分段，从时间分段内不同的帧的所选特征矢量中选择特征矢量的不同次元的特征，以及将它们作为时间分段表示特征矢量输出。应该注意，“从不同帧的特征矢量中选择不同次元的特征”意味着，从至少两个不同帧的特征矢量中选择至少两个不同次元的特征，而不是没有任何重叠地选择所选特征的所有帧和次元。通过次元选择装置102所选择的特征的次元数(即，时间分段表示特征矢量的次元数)可以是任何数。例如，如果给定作为输入的特征矢量序列的特征矢量的次元数是N， 则要选择的特征的次元数(时间分段表示特征矢量的次元数)可以等于N，或小于N，或大于N。作为用于通过次元选择装置102从时间分段内的不同帧的所选特征矢量中选择特征矢量的不同次元的特征的方法，如果针对所有的输入特征矢量序列是固定的，则可以使用任何方法。图5示出了其特定示例。图5示出了以时间序列的顺序，在时间分段中选择的11 个帧的特征矢量。每个帧的特征矢量由25个次元的特征组成。这样，该时间分段包括11 个帧*25个次元=275个特征。在图5中，从不同帧的特征矢量的不同次元中选择11个特征，以及生成由所选的11个特征组成的11个次元的特征矢量作为时间分段表示特征矢量。图6和图7示出了通过次元选择装置102从时间分段中的不同帧的所选特征矢量中选择特征矢量的不同次元的特征的其它示例性方法。在图6中，从帧1至11中的各个次元1至11中顺序地选择11个特征，然后，从帧1至11中的各个次元12至22中顺序地选择11个特征，以及生成由总共22个特征组成的22个次元的特征矢量，作为时间分段表示特征矢量。此外，在图7中，从帧1至11的次元1至22的不同次元中(即每帧两个次元) 顺序地选择22个特征，以及生成总共由22个特征组成的22个次元的特征矢量，作为时间分段表示特征矢量。如图5至7中所示，期望次元选择装置102均勻地从时间分段中的所选帧中选择特征矢量的不同次元的特征。例如，可以从时间分段中的所有所选帧中选择至少一个次元的特征。通过从时间分段中的多个帧中均勻地选择特征，可以组成包括大量不同时间的特征的分段表示特征矢量。这提供了以下有利效果可以改进针对时间序列变化的特征矢量序列的区分能力，从而可以提高特征矢量序列的检索精确度。通过时间分段表示特征矢量生成设备100输出的针对每个时间分段的时间分段表示特征矢量描述了时间分段中特征矢量序列的时间序列变化。这是因为集合了时间分段中时间序列上多个位置(时间)处的特征。此外，由于选择了不同次元的特征，所生成的时间分段表示特征矢量是具有不同含义的特征的集合(由于不同次元的特征是通过不同过程提取的特征，所以它们的含义是不同的)。如上所述，可以说从时间分段表示特征矢量生成设备100输出的时间分段表示特征矢量是时间分段中不同位置处具有不同含义的特征的集合。这样，它没有冗余，以及分段特征表示特征矢量具有高描述能力(区分能力)，由此可以以高精确度执行检索。通过使用从时间分段表示特征矢量生成设备100输出的针对每个时间段的时间分段表示特征矢量，由于可以区分时间分段中的时间序列变化，所以可以针对每个时间分段，以高速、高精确度执行特征矢量序列的检索。将在以下描述通过使用时间分段表示特征矢量生成设备100配置的特征矢量序列检索系统。[第一实施例的操作的描述]接下来，将参照图10的流程图，描述根据第一实施例的时间分段表示特征矢量生成设备100的操作。首先，当输入特征矢量序列时，针对每个时间分段，时间分段内特征矢量组选择装置101选择包括在时间分段中的多个帧的特征矢量(步骤Al)。然后时间分段内特征矢量组选择装置101将针对时间分段选择的帧的特征矢量的信息提供给次元选择装置102。接下来，根据针对从时间分段内特征矢量组选择装置101中提供的每个时间分段选择的帧的特征矢量的信息，次元选择装置102针对每个时间分段，从时间分段中不同帧的所选特征矢量中选择特征矢量的不同次元的特征(步骤A2)，以及将它们作为时间分段表示特征矢量输出。[第一实施例的效果]根据第一实施例的时间分段表示特征矢量生成设备100，可以生成能够描述(区分)时间分段内特征矢量序列中的时间序列的变化的时间分段表示特征矢量。这是因为， 通过从时间分段中的不同帧的特征矢量中选择特征矢量的不同次元的特征来生成时间分段表示特征矢量，集合时间分段内的时间序列上的多个位置(时间)的特征。由于以这种方式生成的时间分段表示特征矢量可以区分时间分段内的特征矢量序列中的时间序列变化(可以区分具有不同时间序列变化的特征矢量序列)，所以可以提高检索特征矢量序列的精确度。此外，由于从原始特征矢量序列中对所生成的时间分段表示特征矢量进行采样， 当执行其匹配时，匹配方法可以与针对各个原始帧的特征矢量的原始匹配方法相同。这样，在用于执行时间分段表示特征矢量的匹配和以分级方式在帧单元中执行匹配的系统中 (如将参照图9在以下所描述的第二特征矢量序列检索系统的情况)，具有可以使用单个电路执行匹配的有利效果。
[第二实施例]参照图11，根据本发明第二实施例的时间分段表示特征矢量生成设备110的不同在于，第一实施例中时间分段表示特征矢量生成设备100的时间分段内特征矢量组选择装置101由时间分段内特征矢量组选择装置111替代。针对时间分段内特征矢量组选择装置111，输入指示特征矢量序列的帧速率的信息和指示用于生成时间分段表示特征矢量的参考帧速率的信息。当输入特征矢量序列时， 时间分段内特征矢量组选择装置111使用特征矢量序列的帧速率来指定特征矢量序列中参考帧速率的采样位置，在所选择的采样位置处，选择多个帧的特征矢量，以及将针对每个时间分段所选择的帧的特征矢量的信息提供至次元选择装置102。图12示出了其特定的示例。在图12中，假定特征矢量序列的帧速率是30帧/秒， 以及将一秒的分段(即30帧)设置为时间分段。在这种情况下，用于生成时间分段表示特征矢量的参考帧速率假定为5帧/秒。当输入指示30帧/秒(特征矢量序列的帧速率) 的信息以及5帧/秒(参考帧速率)的信息时，时间分段内特征矢量组选择装置111在时间分段中的30帧/秒的特征矢量序列中指定与5帧/秒(参考帧速率)相对应的采样位置。作为指定采样位置的方法，可以如下计算采样间隔采样间隔(帧)=特征矢量序列的帧速率/参考帧速率，从而指定采样位置。在该示例中，由于采样间隔=30/5 = 6，则可以每6个帧对一个帧进行采样。如果采样间隔不是整数值而是分数值，则仅有必要在通过对分数计算的采样位置进行四舍五入获取的整数值的采样位置处对帧进行采样。时间分段内特征矢量组选择装置111在以这种方式指定的采样位置处选择多个帧，并且将信息提供给次元选择装置102。[第二实施例的效果]根据第二实施例的时间分段表示特征矢量生成设备110，甚至可以针对具有不同帧速率的特征矢量序列生成可比较的时间分段表示特征矢量。这是因为，通过使用参考帧速率生成时间分段表示特征矢量，针对生成时间分段表示特征矢量而选择的特征矢量的帧串被标准化为参考帧速率。例如，假定从相同的移动图像中生成帧速率是30帧/秒的第一特征矢量序列和帧速率是15帧/秒的第二特征矢量序列。这与从移动图像X中生成的特征矢量序列和从例如具有移动图像X的一半帧速率的移动图像X’中生成的特征矢量序列相对应。现在，假定将一秒分段设置为时间分段，以及将用于生成时间分段表示特征矢量的参考帧速率设置为 5帧/秒。在这种情况下，从第一特征矢量序列中，从30个帧中针对每6个帧进行选择，选择了 5个帧，而从第二特征矢量序列中，从15个帧中针对每3个帧选择5个帧。在这种情况下，从第二特征矢量序列中选择的5个帧与从第一特征矢量序列中选择的5个帧相同。因此，使用时间分段表示特征矢量，甚至针对具有不同帧速率的特征矢量序列，也可以以高精确度执行检索。[第三实施例]参照图13，根据本发明的第三实施例的时间分段表示特征矢量生成设备120的不同在于，根据第一实施例的时间分段表示特征矢量生成设备100的次元选择装置102由次元选择装置122所替代。针对次元选择装置122，输入指示特征矢量的各个次元的重要程度的信息(各个次元重要程度信息)。根据针对时间分段内特征矢量组选择装置101所提供的每个时间分段所选的帧的特征矢量的信息，次元选择装置122针对每个时间分段，根据各个次元的重要程度，按照从最高重要程度开始的顺序，从时间分段中的不同帧的所选特征矢量中选择特征矢量的不同次元的特征，并将它们作为时间分段表示特征矢量输出。指示各个次元的重要程度的信息可以是各个次元的重要程度被量化的信息、指示各个次元的重要程度的排列的信息、或以1或0两个值指示重要程度的信息。尽管重要程度的含义是任意的，但是它可以是针对检索精确度的特征矢量的次元的特征的贡献程度、 特征矢量的次元的特征所保持的区分能力的程度(区分不同数据的能力的程度)、或特征矢量的次元的特征所保持的稳健性的程度(针对作用于数据的各种噪声和处理的抵抗属性)。图14示出了其特定的示例。在图14中，特征矢量序列的每个特征矢量由25个次元(次元1至25)的特征组成。在该示例中，假定每个次元的重要程度随着次元编号的增加而降低。这意味着，次元按照从最高重要性开始的顺序进行排列，即，第一次元具有最高的重要性，以及第25次元具有最低的重要性。针对次元选择装置22，指示次元按照从最高重要性开始的顺序进行排列的信息被输入作为各个次元重要程度信息，以及次元选择装置 122根据该信息顺序地选择较小编号的次元的特征。在图14中，从25个次元的特征矢量中，按照从最高重要性开始的顺序选择从第一次元到第十一次元的总共11个次元的特征。[第三实施例的效果]根据第三实施例的时间分段表示特征矢量生成设备120，可以从具有特征矢量的较高程度重要性的次元中生成时间分段表示特征矢量。这是有效的，因为当从原始特征矢量的次元数中减少要生成的时间分段表示特征矢量的次元数时，选择具有较高重要性的次兀。接下来，将描述根据本发明的配置了时间分段表示特征矢量生成设备的特征矢量序列检索系统。尽管描述了针对使用时间分段表示特征矢量生成设备100配置特征矢量序列检索系统的情况，但是该系统当然可以配置有第二描述的时间分段表示特征矢量生成设备110或第三实施例的时间分段表示特征矢量生成设备120。[第一特征矢量序列检索系统]参照图8，根据本发明的第一特征矢量序列检索系统包括时间分段表示特征矢量生成设备100和匹配设备200。时间分段表示特征矢量生成设备100接收第一特征矢量序列和第二特征矢量序列，并输出针对第一特征矢量序列的每个时间分段的时间分段表示特征矢量和针对第二特征矢量序列的每个时间分段的时间分段表示特征矢量。将针对第一特征矢量序列的每个时间分段所输出的时间分段表示特征矢量和针对第二特征矢量序列的每个时间分段所输出的时间分段表示特征矢量提供给匹配设备200。匹配设备200包括时间分段表示特征矢量匹配装置201。时间分段表示特征矢量匹配装置201执行由时间分段表示特征矢量生成设备100提供的针对第一特征矢量序列的每个时间分段的时间分段表示特征矢量和针对第二特征矢量序列的每个时间分段的时间分段表示特征矢量之间的匹配，确定所述时间分段表示特征矢量之间是否相类似，以及如果确定了它们相类似，则输出相应的时间分段信息作为类似时间分段信息。作为执行与第一特征矢量序列的时间分段相对应的时间分段表示特征矢量和与第二特征矢量序列的时间分段相对应的时间分段表示特征矢量之间的匹配的方法，可以使用以下方法。第一，计算要比较的时间分段表示特征矢量之间的类似程度。例如，计算矢量之间的距离(欧几里得距离、汉明距离等)或矢量之间的类似度(余弦类似)，来计算类似程度。在使用矢量之间的距离的情况下，随着数值越小，确定矢量更为类似，而在使用矢量之间的类似度的情况下，随着数值越大，确定矢量更为类似。针对指示类似程度的数值，使用预定阈值(假定阈值提前给出)应用阈值处理，来确定它们是否类似。例如，如果使用矢量之间的距离，如果该值比预定阈值小，则确定矢量类似，而如果使用矢量之间的类似度， 如果该值大于预定阈值，则确定矢量类似。如果确定它们类似，则输出其中时间分段表示特征矢量彼此相对应的时间分段的信息，作为类似的时间分段信息。例如，如果确定与第一特征矢量序列的第80个帧到第100个帧的帧相对应的时间分段表示特征矢量和与第二特征矢量序列的第250个帧到第270个帧的帧的时间分段相对应的时间分段表示特征矢量类似，则例如可以将第一特征矢量序列的第80个帧到第100个帧的帧和第二特征矢量序列的第250个帧到第270个帧的帧输出作为类似的时间分段。这是通过时间分段表示特征矢量匹配装置201执行的匹配方法的示例，本发明不限于该方法。根据第一特征矢量序列检索系统，可以使用时间分段表示特征矢量，以高速、高精确度实现特征矢量序列的检索，从而能够区分时间分段内的时间序列变化。[第二特征矢量序列检索系统]参照图9，根据本发明的第二特征矢量序列检索系统的不同在于，第一特征矢量序列检索系统的匹配设备200由匹配设备210取代。匹配设备210包括时间分段表示特征矢量匹配装置201和帧单元特征矢量匹配装置 202。由于时间分段表示特征矢量匹配装置201与第一特征矢量序列检索系统的时间分段表示特征矢量匹配装置相同，所以其描述省略。帧单元特征矢量匹配装置212再次执行包括在从时间分段表示特征矢量匹配装置201输出的类似度时间分段信息所指示的每个时间分段中的帧的(所输入的第一特征矢量序列和第二特征矢量序列的特征矢量之间的)特征矢量之间的帧单元中的匹配，以及如果确定它们是类似的时间分段，则输出类似的时间分段信息。当帧单元中包括在第一特征矢量序列的类似时间分段中的帧的特征矢量和包括在第二特征矢量序列的类似时间分段中的帧的特征矢量之间执行匹配时，可以计算时间分段中相应帧(时间分段中位于相对相同位置的帧)的特征矢量之间的类似程度(例如矢量之间的距离或类似度)，应用阈值处理，以及如果确定它们连续地类似，则确定为类似时间分段。这是帧单元特征矢量匹配装置212执行的示例性方法，本发明不限于该方法。根据第二特征矢量序列检索系统，可以以高速、高准确度来执行特征矢量序列的检索作为第一阶段的检索，能够使用时间分段表示特征矢量来区分时间分段中时间序列变化，以及针对在该检索中确定为类似的时间分段，使用帧单元中的原始特征矢量序列执行更精确的匹配(分级匹配和检索)。
12
尽管以上已经描述本发明的实施例，但是本发明不限于这些示例，可以做出各种添加和修改。此外，调整本发明的时间分段表示特征矢量生成设备和匹配设备，从而可以通过计算机和程序、以及硬件来实现其功能。这种程序以写在诸如磁盘、半导体存储器等的计算机可读录制介质上的形式提供，例如当计算机启动时通过计算机读取，以及控制计算机的操作，从而允许计算机起到上述实施例的时间分段表示特征矢量生成设备和匹配设备的作用。本申请要求在2009年1月四日提交的日本专利申请No. 2009-17807的优先权益， 将其公开一并引入作为参考。工业应用本发明可应用于移动图像数据、声音数据等的检索。例如，可以高速从存储电影内容或音乐内容的数据库中检索所期望的内容。此外，也可以使用本发明用于检测移动图像数据或声音数据的非法复制非法上传至因特网等。
符号说明100时间分段表示特征矢量生成设备101时间分段内特征矢量组选择装置102次元选择装置200匹配设备201时间分段表示特征矢量匹配装置210匹配设备201时间分段表示特征矢量匹配装置212帧单元特征矢量匹配装置110时间分段表示特征矢量生成设备111时间分段内特征矢量组选择装置120时间分段表示特征矢量生成设备122次元选择装置
权利要求
1.一种时间分段表示特征矢量生成设备，包括时间分段内特征矢量组选择装置，用于针对每个时间分段、以及从针对各个帧的特征矢量序列中，选择包括在时间分段中的多个帧的特征矢量；以及次元选择装置，用于针对每个时间分段、以及从时间分段中不同帧的所选特征矢量中， 选择特征矢量的不同次元的特征，并生成作为表示时间分段的特征矢量的时间分段表示特征矢量。
2.如权利要求1所述的时间分段表示特征矢量生成设备，其中所述特征矢量序列是针对移动图像数据的各个帧的特征矢量的序列。
3.如权利要求2所述的时间分段表示特征矢量生成设备，其中基于形成移动图像的帧中多对子区域中的一对子区域的两个子区域的特征之间的差值来计算所述特征矢量。
4.如权利要求1至3中任一所述的时间分段表示特征矢量生成设备，其中所述次元选择装置从时间分段中所有帧的所选特征矢量中选择至少一个次元的特征。
5.如权利要求1至4中任一所述的时间分段表示特征矢量生成设备，其中基于指示所述特征矢量序列的帧速率的信息和指示用于生成时间分段表示特征矢量的参考帧速率的信息，所述时间分段内特征矢量组选择装置指定所述特征矢量序列中采用参考帧速率的采样位置，以及在所指定的采样位置处，选择多个帧的特征矢量。
6.如权利要求5所述的时间分段表示特征矢量生成设备，其中所述时间分段内特征矢量组选择装置基于由所述特征矢量序列的帧速率和所述参考帧速率之比定义的采样间隔，指定所述采样位置。
7.如权利要求1至6中任一所述的时间分段表示特征矢量生成设备，其中根据特征矢量的各个次元的预定重要程度，所述次元选择装置从具有最高重要程度的次元开始，从时间分段中的不同帧的所选特征矢量中顺序地选择特征矢量的不同次元的特征。
8.一种匹配设备，包括第一匹配装置，用于执行由根据权利要求1至7中任一所述的时间分段表示特征矢量生成设备生成的、针对第一特征矢量序列的每个时间分段的时间分段表示特征矢量和针对第二特征矢量序列的每个时间分段的时间分段表示特征矢量之间的匹配，以及确定这两个时间分段表示特征矢量是否相类似。
9.如权利要求8所述的匹配设备，还包括第二匹配装置，用于针对由所述第一匹配装置确定为相类似的时间分段表示特征矢量对，执行包括在帧单元中相应的时间分段中的帧的特征矢量之间的匹配。
10.一种时间分段表示特征矢量生成方法，包括针对每个时间分段、以及从针对各个帧的特征矢量序列中，选择包括在时间分段中的多个帧的特征矢量；以及针对每个时间分段、以及从时间分段中不同帧的所选特征矢量中，选择特征矢量的不同次元的特征，并生成作为表示时间分段的特征矢量的时间分段表示特征矢量。
11.如权利要求10所述的时间分段表示特征矢量生成方法，其中所述特征矢量序列是针对移动图像数据的各个帧的特征矢量的序列。
12.如权利要求11所述的时间分段表示特征矢量生成方法，其中基于形成移动图像的帧中多个子区域对中的一对子区域的两个子区域的特征之间的差值来计算所述特征矢量。
13.如权利要求10至12中任一所述的时间分段表示特征矢量生成方法，其中生成时间分段表示特征矢量包括从时间分段中所有帧的所选特征矢量中选择至少一个次元的特征。
14.如权利要求10至13中任一所述的时间分段表示特征矢量生成方法，其中选择多个帧的特征矢量包括基于指示所述特征矢量序列的帧速率的信息和指示用于生成时间分段表示特征矢量的参考帧速率的信息，指定所述特征矢量序列中采用参考帧速率的采样位置，以及在所指定的采样位置处，选择多个帧的特征矢量。
15.如权利要求14所述的时间分段表示特征矢量生成方法，其中选择多个帧的特征矢量包括基于由所述特征矢量序列的帧速率和所述参考帧速率之比定义的采样间隔，指定所述采样位置。
16.如权利要求10至15中任一所述的时间分段表示特征矢量生成方法，其中生成时间分段表示特征矢量包括根据特征矢量的各个次元的预定重要程度，从具有最高重要程度的次元开始，从时间分段中的不同帧的所选特征矢量中顺序地选择特征矢量的不同次元的特征。
17.一种匹配方法，包括执行由根据权利要求10至16中任一所述的时间分段表示特征矢量生成方法生成的、 针对第一特征矢量序列的每个时间分段的时间分段表示特征矢量和针对第二特征矢量序列的每个时间分段的时间分段表示特征矢量之间的匹配，以及确定这两个时间分段表示特征矢量是否相类似。
18.如权利要求17所述的匹配方法，还包括针对确定为相类似的时间分段表示特征矢量对，执行包括在帧单元中相应的时间分段的帧的特征矢量之间的匹配。
19.一种程序，用于使计算机用作时间分段内特征矢量组选择装置，用于针对每个时间分段、以及从针对各个帧的特征矢量序列中，选择包括在时间分段中的多个帧的特征矢量；以及次元选择装置，用于针对每个时间分段、以及从时间分段中不同帧的所选特征矢量中， 选择特征矢量的不同次元的特征，并生成作为表示时间分段的特征矢量的时间分段表示特征矢量。
全文摘要
时间分段表示特征矢量生成设备包括时间分段内特征矢量组选择装置，用于针对每个时间分段、以及从针对各个帧的特征矢量序列中，选择包括在时间分段中的多个帧的特征矢量；以及次元选择装置，用于针对每个时间分段、以及从时间分段中不同帧的所选特征矢量中，选择特征矢量的不同次元的特征，并生成作为表示时间分段的特征矢量的时间分段表示特征矢量。
文档编号G06F17/30GK102301698SQ201080005899
公开日2011年12月28日 申请日期2010年1月19日 优先权日2009年1月29日
发明者大网亮磨, 岩元浩太 申请人:日本电气株式会社