专利名称：人物服装特征提取装置、人物检索装置及其处理方法
技术领域：
本发明涉及从输入影像中提取人物服装特征的人物服装特征提取装置。另外，本发明涉及基于从输入影像中提取出的人物服装特征来检索人物的人物检索装置。进而，本发明涉及人物服装特征提取处理方法以及人物检索处理方法。本申请基于2009年10月16日在日本提出的特愿2009-239360号专利申请而主动优先权，并将其内容引用于此。
背景技术：
现有技术中，开发了各种人物检索方法以及监视系统、和图像储备检索系统。专利文献I公开了在监视系统中从所储备的影像中检索人物的人物检索方法。在该监视系统 中，在录制影像时，提取人物的脸以及服装的信息并保存在数据库中。在人物检索时，将保存在数据库中的脸/服装特征与作为查询所被赋予的图像的脸/服装特征进行比较，来判定是否为同一人物。參照图10来详述专利文献I中所公开的人物检索系统。图10表示人物检索装置的构成，由脸区域检测/脸特征提取部1000、1020、穿衣区域检测/穿衣特征提取部1010、1030、穿衣特征数据库1040、脸特征数据库1050、脸相似度计算部1070、以及人物相同性判定部1080构成。脸区域检测/脸特征提取部1000从由监视系统取得的影像中进行脸区域检测以及脸特征提取，并将提取出的脸特征输出到脸特征数据库1050中。穿衣区域检测/穿衣特征提取部1010从由监视系统取得的影像中进行穿衣区域检测以及穿衣特征提取，并将提取出的穿衣特征输出到穿衣特征数据库1040中。另ー方面，脸区域检测/脸特征提取部1020从所输入的查询图像中进行脸区域检测以及脸特征提取，并将查询脸特征输出给穿衣相似度计算部1070。脸相似度计算部1060比较储备于脸特征数据库1050中的脸特征和从脸区域检测/脸特征提取部1020输入的查询脸特征，并计算出脸相似度，将计算结果输出给人物相同性判定部1080。穿衣相似度计算部1070比较储备在穿衣特征数据库1040中的穿衣特征和从穿衣区域检测/穿衣特征提取部1030输入的查询穿衣特征,并计算出穿衣相似度，将计算结果输出给人物相同性判定部1080。人物相同性判定部1080基于脸相似度计算部1060所计算出的脸相似度和穿衣相似度计算部1070所计算出的穿衣相似度来判定人物的相同性，并输出人物检索结果。接下来，说明图10所示的人物检索装置的动作。首先，将从监视系统取得的影像输入到脸区域检测/脸特征提取部1000以及穿衣区域检测/穿衣特征提取部1010。脸区域检测/脸特征提取部1000对输入影像的各帧进行脸区域检测，对所检测出的脸区域进行脸特征提取。从由输入影像检测出的脸区域中提取的脸特征被保存到脸特征数据库1050中。穿衣区域检测/穿衣特征提取部1010从输入影像中检测穿衣区域，提取其视觉特征即穿衣特征。所提取出的穿衣特征被保存在穿衣特征数据库1040中。
人物检索时，将查询图像输入到脸区域检测/脸特征提取部1020以及穿衣区域检测/穿衣特征提取部1030。脸区域检测/脸特征提取部1020以及穿衣区域检测/穿衣特征提取部1030与所述脸区域检测/脸特征提取部1000以及穿衣区域检测/穿衣特征提取部1010发挥相同的作用，提取查询脸特征以及查询穿衣特征。脸相似度计算部1060将查询脸特征与保存在脸特征数据库105中的脸特征进行比较，计算出脸相似度。另ー方面，穿衣相似度计算部1070将查询穿衣特征与保存在穿衣相似度数据库1040中的穿衣特征进行比较，计算出穿衣相似度。人物相同性判定部1080综合脸相似度和穿衣相似度来判定人物相同性，并据此输出人物检索結果。专利文献2公开了ー种图像储备/检索系统，检索具有与表现人类主观感知的色调的色觉语言相符的图像特征的图像数据。在此，预先设定人类的自然语言所包含的色调表现与颜色空间的像素的对应关系。另外，从保存在数据库中的图像数据中提取像素，计 算出与色调表现之间的相似度并保存。若赋予色调表现作为查询，则调查该色调表现与图像数据之间的相似度，检索相似度高的图像数据并显示。在先技术文献专利文献专利文献I JP特开2009-199322号公报专利文献2 JP特开2009-3581号公报发明的概要发明要解决的课题图10所示的人物检索系统是仅接受查询图像的系统，不能进行基于查询文本的人物检索。即，是从查询图像中提取视觉特征(例如穿衣的顔色或花纹的信息)来进行人物检索的系统，无法将表示“红色衣服”这样的语言表现的查询文本变换为视觉特征来进行人物检索。另外，在从输入影像检测穿衣区域时，不考虑人物的朝向，不能将由人物的朝向不同而引起的能看到的穿衣的差异纳入考虑的范畴。进而，由于提取穿衣区域整体的视觉特征，因此在以“白色上衣配蓝色裤子”这样的上半身/下半身穿衣的视觉特征不同的情况下，不能将上半身/下半身的穿衣的差异反映到人物检索中。因此，即使检索者要检索正面朝向的人物，也会输出符合条件的人物以外的检索结果，另外，即使想要仅以上半身的穿衣来执行人物检索，也会检索出上半身以外的穿衣部分的视觉特征类似的人物。这样，现有的人物检索系统所输出的人物检索结果中包含较多的错误。专利文献2的图像储备/检索系统针对如“红色衣服”那样由一种颜色构成的穿衣能进行基于查询文本的人物检索，但由于查询文本仅能指定ー种颜色，因此不能使用多种颜色进行人物检索。与专利文献I相同，不能将人物朝向的差异、人物的上半身/下半身的视觉特征的差异反映到人物检索结果中。
发明内容
用于解决课题的手段本发明鉴于上述问题而提出，其目的在于提供一种能正确地提取包含在影像中的人物服装的特征的人物服装特征提取装置。另外，本发明提供一种对由影像取得的人物服装特征和查询文本进行对照来进行人物检索的人物检索装置。进而，本发明提供一种描述了人物服装特征提取处理方法和人物检索处理方法的程序。本发明所涉及的人物服装特征提取装置具备人物区域检测部，其从输入影像中检测出人物区域；人物朝向判定部，其判定人物区域中的人物的朝向；服装部位分离部，其判定人物区域中的人物服装的分离可能性，并输出服装部位分离信息；服装特征提取部，其考虑人物的朝向以及服装部位分离信息来提取人物区域中表示人物服装的视觉特征的服装特征；和服装特征保存部，其保存所提取出的服装特征。本发明所涉及的人物检索装置具备服装特征检索部，其基于表示人物的服装的
种类和顔色的服装查询文本来检索服装特征參数；服装特征查询生成部，其基于服装特征參数来输出服装特征查询；服装特征对照部，其将从服装特征保存部中检索出的服装特征与服装特征查询进行对照，并输出其对照结果；和人物检索部，其基于对照结果来输出人物检索結果。本发明所涉及的人物服装特征提取方法执行如下处理从输入影像中检测出人物区域的人物区域检测处理；判定人物区域中的人物的朝向的人物朝向判定处理；判定人物区域中的人物服装的分离可能性，来生成服装部位分离信息的人物服装部位分离处理；以及考虑人物的朝向以及服装部位分离信息来提取表示人物区域中的人物服装的视觉特征的服装特征的服装特征提取处理。本发明所涉及的人物检索方法执行如下处理基于表示人物服装的种类和顔色的服装查询文本来检索服装特征參数的服装特征检索处理；基于服装特征參数来生成服装特征查询的服装特征查询处理；将从服装特征保存部检索出的服装特征与服装特征查询进行対照的服装特征对照处理；以及基于其对照结果来输出人物检索结果的人物检索处理。本发明提供以能由计算机读取并执行的格式来描述上述的服装特征提取方法的程序。另外，本发明提供以能由计算机读取并执行的格式来描述上述的人物检索方法的程序。发明效果本发明从由监视摄像机等取得的影像中检测出人物区域，并正确地提取该人物区域中所存在的人物的服装特征，并且基于所提取出的人物服装特征来输出接近于检索者的意图的人物检索結果。
图I是表示本发明的实施例所涉及的人物服装特征提取装置的构成的框图。图2是表示本发明的实施例所涉及的人物检索装置的构成的框图。图3是表示人物朝向判定部的内部构成的框图。图4是表示服装部位分离部的内部构成的框图。图5是表示人物服装特征提取装置的处理的流程图。图6是示出表示人物服装特征的视觉特征的保存形式的一例的图。图7是表示人物朝向判定部的处理的流程图。图8是表示服装部位分离部的处理的流程图。
图9是表示人物检索装置的处理的流程图。图10是表示现有的人物检索系统的构成的框图。
具体实施例方式參照附图来详细说明本发明的实施例。图I是表示本发明所涉及的人物服装特征提取装置的构成的框图。人物服装特征提取装置由人物区域检测部100、人物朝向判定部110、服装部位分离部120、和人物服装特征提取部140构成。人物服装特征提取装置能通过使由CPU、ROM、RAM等构成的计算机安装人物服装特征提取程序来实现。也可以将人物服装特征提取程序(或者信息收集程序)保存在各种 存储介质中，或者经由通信介质来传输。存储介质包括软盘、硬盘、磁盘、光磁盘、CD-ROM、 DVD、ROM盒式磁盘、带电源备份的RAM盒式磁盘、闪存盒式磁盘、以及非易失性RAM盒式磁盘。通信介质包括电话线路等有线通信介质、微波线路等无线通信介质以及英特网。人物区域检测部100检测存在于输入影像中的人物区域。从输入信息中检测出的人物区域被输入到人物朝向判定部110、服装部位分离部210以及人物服装特征提取部130。人物朝向判定部110判定输入影像的人物区域中的人物的朝向，并输出给人物服装特征提取部130。服装部位分离部120判定存在于输入信息的人物区域中的人物的服装能否按各部位分离，并将服装部位分离信息输出给人物服装特征提取部130。详细而言，基于输入影像的人物区域以及背景区域来计算出服装部位分离信息，并输出给人物服装特征提取部130。人物服装特征提取部130基于输入影像的人物区域、人物朝向以及服装部位分离信息来提取人物的服装的视觉信息，并输出给人物服装特征保存部140。換言之，从输入信息的人物区域、人物朝向、以及服装部位分离信息中提取出人物服装特征并输出给人物服装特征保存部140。人物服装特征保存部140从人物服装特征提取部130输入人物服装特征并将其保存。接下来，详述图I所示的人物服装特征提取装置的动作。人物区域提取部100输入期望的影像作为图像处理对象，能够受理规定的压缩格式的图像数据、解码处理后的非压缩格式的图像数据。作为压缩格式，可以采用MPEG-2(Moving Picture Expert Group,运动图像专家组)格式或Η. 264格式(或者MPEG-4格式)。关于压缩格式的图像数据，对其进行解码处理并以帧为单位或以场为単位来进行输入。在下面的说明中，对于输入影像，以帧为単位来进行图像处理，但也可以以场为单位来进行同样的图像处理。另外，能够采用YUV形式、RGB形式、或者其它颜色空间的描述形式来作为输入影像的顔色格式。人物区域检测部100对输入影像的各帧进行人物区域的检测处理。能采用各种的方法来作为人物区域检测处理方法。例如，计算出预先取得的背景图像和输入影像之间的差分(后面称作“差分图像”)，通过执行阈值处理，从而仅提取输入影像中的人物区域。也可以从各帧中提取表示输入影像和背景图像之间的差分的差分图像，或者也可以将各帧分割成多个区域，针对各分割部分来提取差分图像。即，对输入影像的各帧的每个分割部分判定是否存在运动物体(人物以外的动物)，计算出不存在运动物体的状态下的影像和背景图像之间的差分来提取人物区域。另外，关于对差分图像实施的阈值处理中所使用的阈值，既可以将整个画面设置为一祥，也可以对各画面区域进行适宜的设定。例如，可以对信息随时间的变动大的画面区域増大阈值，另一方面，对信息随时间的变动少且稳定的画面区域减少阈值。从输入影像提取出的人物区域按每个接近的区域被分组，对各组分配単独的ID (识别信息)，与各ID对应的区域构成人物区域。作为人物区域的描述方法能够应用各种方法。例如可以代入与表示各ID所对应的区域的背景的值不同的值，并计算出表示代入后所构成的ニ維信息的遮蔽(mask)信息。将如此计算出的人物区域与输入影像一起输出给人物朝向判定部110。人物朝向判定部110基于输入影像和人物区域来判定人物的朝向。人物的朝向基于脸的朝向、人物的运动方向、以及人物的服装的対称性来决定。这是因为人物的朝向与脸的朝向、人物的动作強烈相关。一般而言，由于服装具有左右対称的花纹图案的情况较多，因此能将服装的対称性应用在人物是否是正面朝向的判定中。将这些信息用在输入图像的人物区域中所存在的人物的朝向判定中。关于人物朝向判定中使用的详细信息，将在后 面叙述。不需要将脸的朝向、人物的运动的朝向、以及服装的対称性全部用在人物朝向判定中，也可以基于这些信息中的至少I个信息来进行人物朝向的判定。在此，按每个ID对应区域来计算出人物朝向。例如，将人物朝向划分为正面、背面以及方向未定(即不能判定人物方向)这3个区分。将所计算出的人物朝向输出给人物服装特征提取部130。另外，不需要将人物朝向限定为正面、背面以及方向未定这3个区分，也可以细化为4个区分以上。服装部位分离部120对输入影像、人物区域以及背景区域进行输入。服装部位分离部120基于这些信息将人物的服装分离为多个部位。背景区域是表示按照人物区域在背景上的位置而变化的人物所能被看到的样子的信息。例如，在摄像机的摄像范围中，在地板上存在人物区域的下端(脚、鞋子等)的情况下，认为该背景区域使人物的全身可视化。另ー方面，在摄像机的摄像范围中存在桌子、书架等障碍物，人物区域的下端与障碍物接触的情况下，认为该背景区域仅使人物的一部分(例如上半身)可视化。如此，在摄像机的摄像范围中存在地板的情况下，标记为能对人物的整体像进行可视化的背景区域，另ー方面，将障碍物的上侧标记为能将人物的一部分(例如上本身)进行可视化的背景区域。由于在监视摄像机中将摄像范围固定，因此只要取得一次背景区域即可。作为该背景区域的取得方法，监视者(或操作人员)人为地对背景区域进行标记来取得背景区域。在监视摄像机的摄像范围在多个固定位置变化的情况下，对各固定位置人为地对背景区域进行标记，从而取得背景区域。在监视摄像机的摄像范围连续变化的情况下，先人为地临时对背景区域进行标记以取得背景区域，再追随监视摄像机的运动，来自动地变更背景区域。具体地，通过用现有技术的特征点提取方法自动地提取书架、桌子的角等特征点，将追随摄像机的运动而在摄像范围内移动的特征点在帧间建立对应，由此能追踪各背景区域中的人物区域的移动。服装特征提取部130基于输入影像、从人物区域提取部100所输出的人物区域、以及从服装部位分离部120所输出的服装部位分离信息，按人物的每个部位提取人物区域中的视觉特征。例如，服装部位分离信息是将人物的图像分离为上半身和下半身的信息，且指定了其分离位置的情况下，从人物区域中的比分离位置更靠进上侧的部分中提取上半身视觉特征，从人物区域中的比分离位置更靠进下侧提取下半身的视觉特征。也可以根据人物区域的上半身部分以及下半身部分来判定人物的脸部分和脚部分，并提取除了这些部分以外的视觉特征。如此从人物区域中提取的视觉特征与人物的各部分建立对应地被输出。例如，将上半身的视觉特征与表示是人物的上半身的索引组合来进行输出。另外，也可以与从人物朝向判定部110输出的人物朝向组合来进行输出。例如，在人物朝向是正面方向的情况下，与表示该正面方向的索引一起进行输出。在人物朝向是背面方向(或者侧面方向)的情况下，与表示该背面方向(或者侧面方向)的索引一起进行输出。在人物朝向是方向不定的情况下，与表示方向不定的索引(例如具有特定的值的索引)一起进行输出。视觉特征是表示人物的服装的顔色、花纹等的特征。在用HSV顔色空间来表现视觉特征的情况下，将人物区域的像素信息变换为色调(Hue)、彩度(Saturation)以及明度(Value)，通过进ー步进行量子化来生成HSV直方图。在如IS0/IEC 15938-3所规定的MPEG-7的Dominant Color Descriptor那样将代表色作为视觉特征的情况下,进行人物区域的顔色分割，在各分割区分内检索主导颜色并将其作为视觉特征。除了上述的方法以外，还能如MPEG-7的色彩布局那样，使用表现颜色的各种视觉特征。在使用边缘直方图来作为 表现花纹的视觉特征的情况下，提取人物区域内的各方向的边缘来生成边缘直方图。在基于Wavelet方的视觉特征的情况下,对人物区域进行Wavelet变换,计算出Wavelet系数。将该Wavelet系数或者其统计值(即Wavelet系数的方向分量的平均值、离散等)作为视觉特征。进而，也可以如MPEG-7的Homogeneous Texture那样,使用与花纹相关的各种视觉特征。另外，视觉特征并不需要包含颜色以及花纹两种成分，也可以只包含颜色以及花纹的任一一方。进而，视觉特征也可以包含颜色以及花纹以外的成分。将如上述那样提取出的人物的服装的视觉特征作为服装特征保存在服装特征保存部140中。能使用各种形式来作为服装特征的保存形式。例如，以固定时间长的时间为单位来划分输入影像，以各时间为单位来保存文件。或者，在影像的录像时间较短的情况下，以各影像为单位来保存文件。图6示出视觉特征的保存形式的一例。在此，接着头文件信息来按每个人物区域来依次保存视觉特征。对于各人物区域，依次保存人物区域ID、服装部位索引、人物朝向索引、顔色的视觉特征以及花纹的视觉特征。另外，视觉特征的保存形式并不限于图6的形式，可以是能唯一特定各人物区域的任意形式。接下来，详述图I所示的人物服装特征提取装置的动作。图5是表示人物服装特征提取装置的处理整体的流程图。首先，人物区域检测部100从输入影像中按每帧来检测人物区域(步骤S100)。接下来，人物朝向判定部110判定人物区域内的人物的朝向(步骤S110)。关于该详细的处理内容在后面进行叙述。接下来，服装部位分离部120将人物的服装分离为多个部位(步骤S120)。关于其详细的处理内容在后面叙述。接下来，服装特征提取部130提取人物的服装特征(步骤S130)。另外，步骤SllO和步骤S120的顺序反过来也没关系。人物服装特征提取装置基于人物的朝向和服装部位的分离可能性来提取服装特征，并保存。因此，能提供使具有因每个人物的朝向或每个服装部位而不同的视觉特征的服装的检索成为可能的信息(即服装特征信息)。接下来，详述人物服装特征提取装置的人物朝向判定部110的动作。图3是表示人物朝向判定部110的内部构成的框图。人物朝向判定部110由脸朝向判定部300、人物运动解析部310、服装対称性判定部320、以及综合朝向判定部330构成。
脸朝向判定部300根据输入影像判定人物的脸的朝向，并将其判定结果输出给综合朝向判定部330。人物运动解析部310基于输入影像和人物区域来解析人物运动，并将其解析结果输出给综合朝向判定部330。服装对称性判定部320基于输入影像和人物区域来判定服装对称性，并将其判定结果输出给综合朝向判定部330。综合朝向判定部330基于人物的脸的朝向、人物运动以及服装对称性来判定人物朝向。接下来，详述人物朝向判定部110的动作。脸朝向判定部300对输入影像的各帧检测人物的脸区域，并且，估计脸的朝向。作为人物的脸区域的检测以及脸的朝向的估计方法，能使用现有的各种方法。在输入图像的各帧中检测出多个人物的脸的情况下，估计各人物的脸的朝向。人物的脸的朝向所涉及的信息是按照各个人物的每张脸汇总了脸的位置、朝向(特别是左右方向的朝向)的集合的信息。在输入图像中未检测出人物的脸的情况下，输出表示未检测出人物的脸的信息。在人物的脸区域的检测和估计脸的朝向时，还算出表示检测/估计的正确性的可靠度，并将其添加到人物的脸的朝向所涉及的信息中。将如此判定的人物的脸的朝向输出给综合朝向判定部330。人物运动解析部310基于输入影像和人物区域的时间序列信息来解析人物区域 的运动。例如，按每帧检测人物区域内的特征点，并在帧间追踪特征点，由此来估计人物区域的运动。或者，在各帧计算出人物区域的重心，通过追踪该移动来估计人物区域的运动。此时，也可以基于在时间序列上前后的两帧来估计人物区域的运动。或者，也可以基于众多的帧来估计人物区域的运动。在人物区域的运动比较小的情况下，在帧间计算出光流(optical flow),基于该光流来估计人物区域的运动。这种情况下,也可以通过计算出人物区域内的像素间的光流的平均值，或者进行中值等的非线性统计处理，来估计人物区域的运动。将估计出的人物区域的运动(即人物运动)输出给综合朝向判定部330。服装对称性判定部320基于输入影像和人物区域来判定服装的对称性。作为判定服装的对称性的方法，能考虑各种方法，例如可以调查在水平方向上扫描人物区域的像素而得到的像素函数是否具有以人物区域的中心附近为轴的对称性。具体地，按照数学式(I)来计算出对称性的偏差。[数学式I]
权利要求
1.ー种人物服装特征提取装置，其特征在于，具备 人物区域检测部，其从输入影像中检测出人物区域； 人物朝向判定部，其判定人物区域中的人物的朝向； 服装部位分离部，其判定人物区域中的人物的服装的分离可能性，并输出服装部位分离信息； 服装特征提取部，其考虑人物的朝向以及服装部位分离信息以提取表示人物区域中的人物服装的视觉特征的服装特征；和 服装特征保存部，其保存所提取出的服装特征。
2.根据权利要求I所述的人物服装特征提取装置，其特征在干， 所述人物朝向判定部基于人物的脸的朝向、人物的运动以及服装的对称性的至少ー者来判定人物的朝向。
3.根据权利要求I所述的人物服装特征提取装置，其特征在干， 由所述人物朝向判定部所判定的人物的朝向表示正面方向、背面方向以及方向不定中的至少ー者。
4.根据权利要求I所述的人物服装特征提取装置，其特征在干， 所述服装部位分离部基于输入影像、人物区域以及背景区域来判定人物的服装部位的分离可能性。
5.根据权利要求4所述的人物服装特征提取装置，其特征在干， 所述服装部位分离部具备 区域形状分析部，其分析人物区域的几何学形状来生成形状分析信息； 可视部位判定部，其基于人物区域和背景区域而生成表示被可视化的人物的服装部位的可视部位信息；和 综合部位分离部，其基于形状分析信息以及可视部位信息来判定人物的服装部位的分离可能性，从而生成服装部位分离信息。
6.ー种人物检索装置，其特征在于，具备 服装特征检索部，其基于表示人物服装的种类和顔色的服装查询文本来检索服装特征參数； 服装特征查询生成部，其基于服装特征參数来输出服装特征查询； 服装特征对照部，其将从服装特征保存部中检索出的服装特征与服装特征查询进行对照，并输出对照結果；和 人物检索部，其基于对照结果来输出人物检索结果。
7.根据权利要求6所述的人物检索装置，其特征在干， 所述服装部位保存部保存基于输入影像的人物区域和表示人物的服装部位的分离可能性的服装部位分离信息而预先生成的服装特征。
8.根据权利要求7所述的人物检索装置，其特征在干， 所述服装部位保存部保存除了输入影像的人物区域以及服装部位分离信息之外还考虑了人物的朝向而生成的服装特征。
9.根据权利要求6所述的人物检索装置，其特征在干， 所述服装特征对照部按由服装部位分离信息所指定的每个服装部位来对照检索服装特征和服装特征查询。
10.根据权利要求6所述的人物检索装置，其特征在干， 所述人物检索装置还具备 人物区域检测部，其从输入影像中检测出人物区域； 人物朝向判定部，其判定人物区域中的人物的朝向； 服装部位分离部，其判定人物区域中的人物服装的分离可能性，并输出服装部位分离信息；和 服装特征提取部，其考虑人物的朝向以及服装部位分离信息来提取表示人物区域中的人物服装的视觉特征的服装特征， 所述服装特征保存部保存所提取出的服装特征。
11.ー种服装提取方法，其特征在干， 从输入影像中检测出人物区域， 判定人物区域中的人物的朝向， 判定人物区域中的人物服装的分离可能性，来生成服装部位分离信息， 考虑人物的朝向以及服装部位分离信息来提取表示人物区域中的人物服装的视觉特征的服装特征，并进行保存。
12.根据权利要求11所述的人物服装特征提取方法，其特征在干， 基于人物的脸的朝向、人物的运动以及服装的对称性的至少ー者来判定人物的朝向。
13.根据权利要求11所述的人物服装特征提取方法，其特征在干， 人物的朝向表示正面方向、背面方向以及方向不定中的至少ー者。
14.根据权利要求11所述的人物服装特征提取方法，其特征在干， 基于输入影像、人物区域以及背景区域来判定人物的服装部位的分离可能性。
15.根据权利要求14所述的人物服装特征提取方法，其特征在干， 分析人物区域的几何学形状来生成形状分析信息， 基于人物区域和背景区域而生成表示被可视化的人物的服装部位的可视部位信息，基于形状分析信息以及可视部位信息来判定人物的服装部位的分离可能性，从而生成服装部位分离信息。
16.—种人物检索方法，其特征在于， 基于表示人物服装的种类和顔色的服装查询文本来检索服装特征參数， 基于服装特征參数来生成服装特征查询， 将从服装特征保存部检索出的服装特征与服装特征查询进行对照，并输出对照結果， 基于对照结果来输出人物检索結果。
17.根据权利要求16所述的人物检索方法，其特征在干， 所述服装特征保存部保存基于输入影像的人物区域和表示人物的服装部位的分离可能性的服装部位分离信息而预先生成的服装特征。
18.根据权利要求17所述的人物检索方法，其特征在干， 所述服装部位保存部保存除了输入影像的人物区域以及服装部位分离信息之外还考虑了人物的朝向而生成的服装特征。
19.根据权利要求16所述的人物检索方法，其特征在于，按由服装部位分离信息所指定的每个服装部位来对照检索服装特征和服装特征查询。
20.根据权利要求16所述的人物检索方法，其特征在于， 从输入影像中检测出人物区域， 判定人物区域中的人物的朝向， 判定人物区域中的人物服装的分离可能性，来生成服装部位分离信息， 考虑人物的朝向以及服装部位分离信息来提取表示人物区域中的人物服装的视觉特征的服装特征，并保存在所述服装特征保存部中。
21.ー种程序，其特征在于，该程序以能由计算机读取并执行的格式描述了权利要求11到15所述的服装特征提取方法。
22.—种程序，其特征在于，该程序以能由计算机读取并执行的格式描述了权利要求16到20所述的人物检索方法。
全文摘要
从监视摄像机的输入影像中检测出人物区域，判定该人物区域中的人物的朝向，并且判定人物服装的分离可能性并生成服装部位分离信息，进而，考虑人物的朝向以及服装部位分离信息来提取表示人物区域中的人物服装的视觉特征的服装特征。基于人物的脸的朝向、人物的运动以及服装的对称性来判定人物的朝向。服装部位分离信息基于人物区域的几何学形状的方向信息、和表示通过人物区域以及背景区域而可视化的人物的服装部位的可视部位信息来生成。基于表示人物服装的种类和颜色的服装查询文本和提取出的人物的服装特征的对照结果来检索人物。
文档编号G06T1/00GK102687171SQ20108004598
公开日2012年9月19日 申请日期2010年10月13日 优先权日2009年10月16日
发明者大网亮磨, 平川康史, 高桥祐介 申请人:日本电气株式会社