视频描述符生成装置的制造方法
【专利说明】视频描述符生成装置
[0001]本申请是申请日为2010年I月20日的中国专利申请201080005232.6 ( “视频描述符生成装置”)的分案申请。
技术领域
[0002]本发明涉及用于检索视频的视频描述符生成装置、视频描述符生成方法、以及视频描述符生成程序，其能够检测多个运动图像中的类似的或相同的运动图像区间。
【背景技术】
[0003]专利文献I中公开了一种视频描述符生成装置的示例。图27是示出了专利文献I所描述的视频描述符生成装置的框图。
[0004]每帧特征提取单元10根据输入视频计算帧单位特征，并将其输出至特征表创建单元20。特征表创建单元20根据从每帧特征提取单元10输出的帧单位特征创建特征表，并输出特征表作为视频描述符。
[0005]接下来，将对图27所示的装置的操作进行描述。
[0006]每帧特征提取单元10执行从输入视频中提取诸如每帧的颜色之类的特征的过程，并将所获得的特征输出至特征表创建单元20作为帧单位特征。
[0007]特征表创建单元20利用阈值执行对于帧之间的特征变化的处理，并在时间方向上压缩特征。具体地，特征表创建单元20计算帧的帧单位特征之间的差，并确定该差是否在特定容许变化范围内。然后，特征表创建单元20将视频划分为视频处于容许变化范围内的时间区间，并针对每一个划分的时间区间，将特征和时间区间长度(帧的数目)的集合输出作为视频描述符。
[0008]这样，可以在时间方向上压缩针对每一个帧所获得的视频的特征，由此能够减小特征量。此外，还能够实现高速匹配。
[0009]专利文献1:日本未经审查的专利公开N0.10-320400
【发明内容】
[0010]然而，上述系统涉及以下问题。
[0011]第一个问题在于，当在视频周围添加了黑条区域或L型区域时，检索准确度降低，这是因为不存在用于在检测到添加了黑条区域或L型区域时执行特征提取的装置。这样，即便由于4: 3与16: 9之间的幅型变换而在屏幕的顶部和底部或左部和右部插入黑色区域(下文称为黑条区域)，或者在为了紧急要况报告等而添加了 L型区域时，仍然直接提取特征，而不考虑这类问题。结果，由于提取了包括不必要的黑条区域或L型区域的特征，所以特征的值不同于未包括这些区域的情形，这使检索准确度恶化。
[0012][本发明的目的]
[0013]本发明的目的是提供视频描述符生成装置、视频描述符生成方法及视频描述符生成程序，在即便给视频添加了黑条区域或L型区域的情况下，也能够保持检索准确度。
[0014]根据本发明的一方面，一种视频描述符生成装置包括:第一提取单元，针对作为视频的帧或场的每一个画面，提取第一特征；第二提取单元，从视频中包括的图像的边缘所定义的区域中提取第二特征；以及特征合并单元，将第一特征和第二特征合并，以生成视频描述符。
[0015]如上所述地配置本发明，本发明具有有益效果:即便给视频添加了黑条区域或L型区域，也能够保持检索准确度。
【附图说明】
[0016]图1是示出了根据本发明的视频描述符生成装置的第一实施例的配置的框图。
[0017]图2是示出了根据本发明的视频描述符生成装置的第二实施例的配置的框图。
[0018]图3是示出了图1所示的特征合并单元140的实施例的配置的框图。
[0019]图4是示出了图1所示的特征合并单元140的实施例的配置的框图。
[0020]图5是示出了图2所示的特征合并单元240的实施例的配置的框图。
[0021]图6是示出了图1所示的特征合并单元140的实施例的配置的框图。
[0022]图7是示出了图2所示的特征合并单元240的实施例的配置的框图。
[0023]图8是示出了图2所示的特征合并单元240的实施例的配置的框图。
[0024]图9是示出了图2所示的特征合并单元240的实施例的配置的框图。
[0025]图10是示出了图2所示的特征合并单元240的实施例的配置的框图。
[0026]图11是示出了图2所示的特征合并单元240的实施例的配置的框图。
[0027]图12是示出了图2所示的特征合并单元240的实施例的配置的框图。
[0028]图13是示出了根据本发明的运动图像匹配装置的实施例的配置的框图。
[0029]图14是示出了图13所示的特征再现单元1000的实施例的配置的框图。
[0030]图15是示出了图13所示的特征再现单元1000的实施例的配置的框图。
[0031]图16是示出了图13所示的特征再现单元1000的实施例的配置的框图。
[0032]图17是示出了图13所示的特征再现单元1000的实施例的配置的框图。
[0033]图18是示出了图13所示的特征再现单元1000的实施例的配置的框图。
[0034]图19是示出了图13所示的特征再现单元1000的实施例的配置的框图。
[0035]图20是示出了图13所示的特征再现单元1000的实施例的配置的框图。
[0036]图21是示出了图13所示的特征再现单元1000的实施例的配置的框图。
[0037]图22是示出了图13所示的特征再现单元1000的实施例的配置的框图。
[0038]图23是示出了图13所示的特征再现单元1000的实施例的配置的框图。
[0039]图24示出了黑条区域和L型区域的示例。
[0040]图25示出了复用特征码序列的示例。
[0041]图26示意了特征的示例。
[0042]图27是示出了与本发明有关的视频描述符生成装置的配置的框图。
【具体实施方式】
[0043]接下来，将参照附图详细描述本发明的实施例。
[0044]参照图1，其示出了本发明的第一实施例的视频描述符生成装置，该装置包括视频边缘检测单元100、视觉特征提取单元120、位置校正视觉特征提取单元130和特征合并单元 140ο
[0045]视频边缘检测单元100根据视频计算视频边缘，并将边缘信息输出至位置校正视觉特征提取单元130。视觉特征提取单元120接收视频，从视频中获得第一特征，并将其输出至特征合并单元140。位置校正视觉特征提取单元130根据视频和从视频边缘检测单元100输出的边缘信息获得第二特征，并将其输出至特征合并单元140。特征合并单元140根据第一特征和第二特征计算视频描述符，并将其输出。
[0046]接下来，将详细描述图1所示的第一实施例的操作。
[0047]首先，将视频输入至视觉特征提取单元120。如果编码了原始视频，则首先由解码器对视频进行解码，然后以由帧或场组成的画面为单位输入该数据。
[0048]视觉特征提取单元120计算每一个画面的特征向量。视觉特征提取单元120将画面当作一幅静止的图像，并提取指示诸如该画面的颜色、图案、形状等的特征的视觉特征的向量。将所计算的特征向量输出至特征合并单元140作为第一特征。
[0049]另一方面，还将视频输出至视频边缘检测单元100。视频边缘检测单元100检测是否存在视频中原始没有包括的黑条区域或L型区域，如果存在，则获得边缘区域。
[0050]应注意，黑条区域表示由于4: 3到16: 9之间的幅型变换而被插入在屏幕的顶部和底部或左部和右部的黑色的多余区域。尽管它通常是黑色的，但是它不一定是黑色的。另一方面，L型(或倒L型)区域是用于广播紧急新闻等的视频显示技术，其中实际视频稍微收缩以生成用于广播大新闻的空间。在这种情况下，其颜色通常不是黑色的。在这两种情况下，通常显示不在原始视频中的区域。图24示出了这些区域的示例。在图24中，黑色区域对应于黑条区域或L型区域。除了这些区域，这类还包括将一图像并入另一图像的视频呈现技术(所谓的画中画)的情况以及当帧出现在主视频周围时由摄像机捕捉新闻节目主持人的后屏上示出的视频的情况。这样，通过按照与黑条区域的情形相同的方式来处理由画中画显示在内部的区域的外部以及屏幕的框架外部，本发明的方法可以应用于此。
[0051]视频边缘检测单元100获得画面中包括的、没有包括在原始视频中的区域及其边界。例如，可以通过下列操作计算边界:将Hough变换应用于画面以检测视频的线性分量，并获得以时间上连续的方式出现在该画面内的相同位置处的线性分量。将描述所获得的视频边缘的信息作为边缘信息输出至位置校正视觉特征提取单元130。例如，可以使用从实际屏幕的边缘到黑条区域或L型区域所生成的边缘的距离作为边缘信息。如果条区域仅存在于顶部和底部，则应将到右边界和左边界的距离值设置为O。如果也允许稍微倾斜的边缘，则可以一起描述其角度。此外，边缘信息还可以包括指示黑条或L型区域的类型的符号(例如L型、水平黑条和垂直黑条)以及描述每个图案的条区域所必须的参数。例如，如果已经将出现L型的部分的宽度设置为若干类型，则边缘信息应包括表示L型图案的符号和指定宽度的索引。
[0052]还将视频以画面为单位连同边缘信息一起输入至位置校正视觉特征提取单元130。位置校正视觉特征提取单元130在不涉及边缘信息所定义的位置以外的区域的情况下计算特征。这意味着，在边缘信息所定义的位置内的区域是整个图像的假设下提取特征。要提取的特征与视觉特征提取单元120所提取的相同。例如，如果视觉特征提取单元120提取颜色的布局特征，则位置校正视觉特征提取单元130也提取颜色的布局特征。将所提取的特征作为第二特征输出至特征合并单元140。
[0053]特征合并单元140将从视觉特征提取单元120输出的第一特征与从位置校正视觉特征提取单元130输出的第二特征进行合并，以生成视频描述符，并将其输出。在本示例中，可以简单地合并这两个特征，以形成一个特征，或者对这两个特征应用特定编码。也可以利用第一特征和第二特征具有高相关性的事实来对差进行编码。下面将对这一操作进行详细描述。
[0054]接下来，将参照图3描述特征合并单元140的实施例。
[0055]参照图3，其示出了特征合并单元140的实施例，特征合并单元140包括编码单元310、编码单元320和码序列复用单元230。
[0056]编码单元320对输入的第一特征进行编码，并将从其中获得的第一特征码序列输出至码序列复用单元230。编码单元310对输入的第二特征进行编码，并将从其中获得的第二特征码序列输出至码序列复用单元230。码序列复用单元230对第一特征码序列和第二特征码序列进行复用，以生成视频描述符，并将其输出。
[0057]接下来，将描述图3所示的特征合并单元140的操作。
[0058]首先，将第一特征输入至编码单元320。编码单元320对该特征进行编码，并生成第一特征码序列。这里，编码意味着以预定格式存储信息，包括根据维度简单地对准特征向量的值。例如，如果输入向量是N维度的整数向量，则对各个维度的N段整数值进行对准的格式是可接受的。如果输入向量具有浮点值，则可以执行量化，以将其表示为有限数目的表示值，并对指示表示值的索引(量化索引)进行对准。此外，还可以执行熵编码，熵编码针对所获得的整数值或表示值考虑各个值的出现频率。可以使用Huffman编码或算术编码作为熵编码。如果特征向量的维度之间存在相关性，则可以在执行移除相关性的过程之后执行熵编码。例如，可以获得具有相关性的维度之间的差值，以执行差编码，或在对输入的特征向量执行频率转换等之后执行量化或熵编码，以生成码序列。此外，作为特征向量，如果画面之间存在相关性，则可以根据过去画面的特征向量计算差，并通过上述编码方法对其进行编码，以生成码序列。将所生成的码序列输出至码序列复用单元230。
[0059]另一方面，将第二特征输入至编码单元310。编码单元310的操作与编码单元320的相同。编码单元310对第二特征进行编码，以生成第二特征码序列。将所生成的第二特征码序列输出至码序列复用单元230。
[0060]码序列复用单元230对第一特征码序列和第二特征码序列进行复用，由此生成视频描述符。如图25所示，可以将第一特征码序列和第二特征码序列与识别码简单地结合，该识别码用于指定码序列之间可分离的位置(然而，如果码序列具有固定的长度，或者码序列的长度另外有所描述，则用于识别的码是不必要的)，或者可以通过使码序列以画面为单位交替地交织来构造视频描述符。
[0061]利用如图3所示的特征合并单元140，可以生成视频描述符，视频描述符具有通过执行消除黑条区域的特征提取所获得的特征以及通过执行利用整个屏幕的特征提取所获得的特征。
[0062]接下来，将参照图4来描述特征合并单元140的另一实施例。
[0063]参照图4，其示出了特征合并单元140的实施例，特征合并单元140包括特征减法单元300、编码单元320、特征差编码单元340和码序列复用单元330。
[0064]特征减法单元300将第二特征减去第一特征，以计算特征之间的差，并将特征差值输出至特征差编码单元340。编码单元320对第一特征进行编码，并将所获得的第一特征码序列输出至码序列复用单元330。特征差编码单元340对从特征减法单元300输出的特征差值进行编码，并将特征差值码序列输出至码序列复用单元330。码序列复用单元330根据从编码单元320输出的第一特征码序列和从特征差编码单元340输出的特征差值码序列生成视频描述符，并将其输出。
[0065]接下来，将描述图4所示的特征合并单元140的操作。
[0066]首先，将第一特征输入至编码单元320。编码单元320的操作与图3所示的相同，并将第一特征码序列输出至码序列复用单元330。还将第一特征输入至特征减法单元300。还将第二特征输入至特征减法单元300。
[0067]在特征减法单元300中，针对特征向量的每一个维度，将第二特征减去第一特征，以此计算差向量。将差向量输出至特征差编码单元340作为特征差。
[0068]特征差编码单元340对特征差值进行编码，以生成特征差值码序列。由于第一特征和第二特征原本是从同一个视频提取的，在是否包括黑条区域或L型区域方面具有差另IJ，因而它们具有较大的相关性。这样，考虑如果计算两个特征之间的差，则出现的值的分布集中在O附近。利用这一特性，可以减少执行熵编码所生成的码数量。具体地，可以预先使用关于特征向量的每一个维度的学习数据来计算差值的频率分布，并利用该分布将算术编码应用于差值。也可以基于频率分布来构建Huffman编码表，并基于该表来对差值进行编码。如果特征差值几乎集中于0，则还可以构建码序列作为维度为非零值的索引与指示该非零值的码的组合。将所生成的特征差值码序列输出至码序列复用单元330。
[0069]码序列复用单元330将第一特征码序列和特征差值码序列结合，以生成视频描述符。其操作与图3所示的码序列复用单元230的操作相同。
[0070]利用图4所示的特征合并单元140，通过在计算差之后执行编码，可以减小特征量的数目。
[007