跟踪装置、跟踪方法、跟踪装置的控制程序以及计算机可读取的记录媒体的制作方法

专利名称：跟踪装置、跟踪方法、跟踪装置的控制程序以及计算机可读取的记录媒体的制作方法
技术领域：
本发明涉及对拍摄图像内的特定人物的位置进行识别、跟踪的装置。
技术背景以往的由拍摄图像跟踪人物的装置中，从想要踪特定的人物的观点来看，需要在跟踪对象的人物上安装脉冲发送装置或GPS (global positioning system)装置等特定的装置(例如，参照专利文献1、 2)。而且，作为可以 在跟踪对象的人物上不安装特定装置的方法，有如下的技术。具体地说，有 如下的技术(例如，参照专利文献3):控制监视摄像机的摇摄(pan)、倾 斜(tilt)以及缩放(zoom),使得确认人物的面部位置，并使面部位于画面 的中央，从而跟踪面部的移动，进而从图像中提取面部的特征，与注册在数 据库中的面部比较是否一致，从而识别特定人。此外，有如下的技术(例如， 参照专利文献4):从图像中取得面部信息，并由多个摄像机协作跟踪没有 注册在数据库中或者注册在数据库中的人物。此外，有如下的技术(例如， 参照专利文献5 ):在画面上跟随通过指示(pointing)而被指定的被摄体(跟 踪对象)的移动来进行自动跟踪，且控制摄像机，使得被摄体到达监视画面 的中央。另外，在本说明书中的"跟踪"(tracking)是指，在拍摄图像内继续保 持(继续捕捉到画面中)被摄体(跟踪对象)的图像的情况。专利文献1:日本公开特许公报"特开2004-40514号公报(2004年2月 5日公开)"专利文献2:日本公开特许公报"特开2005-20205号公报(2005年1月 20日公开)"专利文献3:日本公开特许公报"特开2000-163600号公报(2000年6 月16日公开)"专利文献4:日本公开特许公报"特开2003-324720号公报(2003年11 月14日公开)"
专利文献5:日本公开特许公报"特开平6-33卯56号公报(1994年12 月6日公开)"发明内容但是，在以往的技术中，在存在多个要跟踪的人物的情况下，在跟踪某 一人物时，即使更想要跟踪的人物进入(frame in)图像中，也没有自动地切 换跟踪对象的方法。因此，在某一人物的跟踪中，画面中进入更想要跟踪的 人物的情况下，监视者等的用户需要在显示拍摄图像的画面上对其要跟踪的 人物进行指示等指定，从而进行跟踪对象的切换的操作。这样在跟踪对象有 跟踪的优先顺序的情况下，用户必需专门进行跟踪对象的切换。此外，因不 知道跟踪的优先顺序更高的对象什么时候会进入拍摄画面，所以用户需要一 直监视显示拍摄图像的画面。本发明是鉴于上述的问题点而完成的，其目的在于，实现一种跟踪装置、 跟踪方法、跟踪装置的控制程序、以及计算机可读取的记录媒体，即使存在 对跟踪具有优先顺序的人物的状况下，也能够自主地进行跟踪，而不会麻烦 用户。为了解决上述课题，本发明的跟踪装置是通过控制拍摄部分以跟踪对象 被继续映入拍摄图像中，从而捕捉该跟踪对象，其特征在于，所述跟踪装置 包括特征信息检测部件，从拍摄图像中检测被映入该拍摄图像中的特征信 息；跟踪对象核对部件，将所述特征信息检测部件所检测到的特征信息与跟 踪对象信息进行核对，从而判定所述检测到的特征信息是否为跟踪对象，所 述跟踪对象信息中相关联地注册有对于多个人物的特征信息与用于表示该特 征信息的跟踪顺序的优先级；优先级取得部件，在所述检测到的特征信息为 跟踪对象的情况下，从所述跟踪对象信息中取得该检测到的特征信息的优先 级；以及拍摄控制部件，基于所述取得的优先级，控制所述拍摄部分，使得 检测到所述特征信息的拍摄图像中优先级更高的特征信息被继续映入拍摄图 像中。此外，为了解决上述课题，本发明的跟踪方法是通过控制拍摄部分以跟 踪对象被继续映入拍摄图像中，从而捕捉该跟踪对象，其特征在于，所述跟 踪方法包括特征信息检测步骤，从拍摄图像中检测被映入该拍摄图像中的 特征信息；跟踪对象核对步骤，将所述检测到的特征信息与跟踪对象信息进行核对，从而判定所述检测到的特征信息是否为跟踪对象，所述跟踪对象信 息中相关联地注册有对于多个人物的特征信息与用于表示该特征信息的跟踪顺序的优先级；优先级取得步骤，在所述检测到的特征信息为跟踪对象的情 况下，从所述跟踪对象信息中取得该;险测到的特征信息的优先级；以及拍摄 控制步骤，基于所述取得的优先级，控制所述拍摄部分，使得检测到所述特 征信息的拍摄图像中优先级更高的特征信息被继续映入拍摄图像中。根据上述结构以及上述方法，对映入拍摄图像中的特征信息进行检测， 在检测到的特征信息为跟踪对象的情况下，取得用于表示检测到的特征信息 的跟踪顺序的优先级。优先级的取得是对判定为跟踪对象的特征信息进行， 所以即使多个特征信息被映入所述拍摄图像中，也能够基于所取得的优先级， 控制拍摄部分来进行拍摄，使得检测到所述特征信息的拍摄图像中优先级更 高的特征信息被继续映入拍摄图像中。因此，能够始终继续跟踪优先级更高 的特征信息。这里，优先级例如可以由数值来表示，优先级的数值少者被处 理为优先级更高也可以。例如，在有优先级l、 2、 3的情况下，假设优先级 按照1>2>3的顺序减小。当然，优先级的附加法并不限定于此。此外，"跟 踪，，是指，在拍摄图像内继续保持(继续捕捉到画面中)被摄体(跟踪对象) 的图像的情况。当然，在跟踪对象信息中附加了优先级的特征信息只有一个的情况下， 会继续跟踪其特征信息。另外，在跟踪对象信息中只注册了一个特征信息的 情况下，即使对其一个特征信息没有附加实际的优先级，也可以设为附加了 最高的优先级来取得优先级。此外，在只对多个特征信息的一部分附加了优 先级，对其他的特征信息没有附加的情况下，也可以设为对该其他的特征信 息 一律附加最低的优先级来取得优先级。这里，优选地，例如通过对作为拍摄装置的摄像机的动作，具体地说， 使摄像机的位置沿左右、上下、前后移动来进行的摇摄/倾斜、缩放、曝光变 化或者在有多个摄像机的情况下是切换摄像机等进行控制，从而进行拍摄部 分的控制。例如也可以通过将摄像机设置在轨道(rail)上的台面来进行所述 摄像机的位置的移动。当然，只要能够将优先级更高的特征信息继续映入拍 摄图像中，如何控制拍摄部分是没有关系的。此外，优选地，控制所述摄像机的动作在拍摄图像中的优先级更高的特 征信息变化时进行。更具体地说，优选地，关于优先级更高的特征信息，在
拍摄图像内的位置(即使在特征信息中包含的一部分位置变化也没有关系)、 大小、斜率以及方向的至少一个有变化时，控制以进行所述摄像机的动作。 当然，也可以在除此之外的情况下，即在特征信息中有变化时控制以所述摄 像机动作。此外，根据所述结构以及所述方法，由于控制拍摄部分，使得检测到所 述特征信息的拍摄图像中优先级更高的特征信息被继续映入拍摄图像中，所 以例如在优先级更高的特征信息出到拍摄部分可拍摄的范围外，无法捕捉优 先级更高的特征信息的情况下，也能够跟踪在其时刻的拍摄图像中的优先级 更高的特征信息(不能捕捉的特征信息之后优先级高的特征信息)。如上所述，根据所述结构以及所述方法，即使在有多个跟踪对象，跟踪 对象有跟踪的优先顺序的情况下，拍摄部分被控制为在拍摄图像中继续捕捉 优先级更高的特征信息，所以能够进行优先级更高的跟踪而无需经由用户的 操作。由于用户也无需指定跟踪对象，所以能够减轻用户的操作。因此，在 所述结构以及所述方法中，即使在存在对跟踪有优先顺序的人物也能够自主 地进行跟踪，而不会麻烦用户。除了所述结构，在本发明的跟踪装置中，所述特征信息也可以是用于表 示人物的面部的特征的面部信息。根据所述结构，若特征信息为面部信息，则由于面部信息善于区分,支才聂 体来确定人，所以在核对时能够容易进行认证。由于面部信息能够容易识别 人，所以例如在棒球或足球等的体育转播中，可以从人气高的选手的面部信 息依次附加优先级进行跟踪。当然，只要是能够区分被摄体，所述特征信息可以不是人物的面部的面 部信息，例如也可以是车的外观的信息。此时，例如也可以在赛车赛的转插-中，从人气高的车依次附加优先级进行跟踪。此外，在特征信息例如为马的 面部的信息的情况下，例如也可以在赛马的转播中，从人气高的马依次附加 优先级进行跟踪。另外，这些只是简单的例示。除了所述结构，在本发明的跟踪装置中，也可以包括位置掌握部件，对 于所述特征信息检测部件所检测的特征信息，继续掌握在拍摄图像内的位置， 在时间上由所述特征信息检测部件检测到特征信息的拍摄图像之后的拍摄图 像中，所述特征信息检测部件再次检测到相同的特征信息，并通过所述位置 掌握部件掌握了其特征信息在拍摄图像内的位置的情况下，所述跟踪对象核
对部件也可以省去所述核对。根据所述结构，在时间上检测到特征信息的拍摄图像之后的拍摄图像中，再次^r测到相同的特征信息，并通过所述位置掌握部件掌握了其特征信息的 位置的情况下，不进行跟踪对象核对部件的核对。这样，对于作为优先级更 高的特征信息的当前的跟踪对象以外的特征信息，也能够进行拍摄图像内的 位置的掌握(跟踪)。因此，能够减少跟踪对象核对部件的核对次数，所以能 够减轻跟踪装置的负担。除了所述结构，在本发明的跟踪装置中，拍摄部分也可以包括多个拍摄 装置，所述拍摄控制部件控制拍摄部分，使得若捕捉了所述优先级更高的特 征信息的拍摄装置不能捕捉该优先级更高的特征信息，则由能够捕捉该优先 级更高的特征信息的其他拍摄装置来捕捉。根据所述结构，若捕捉了优先级更高的特征信息的拍摄装置变得不能捕 捉，则能够由可捕捉该优先级更高的特征信息的其他拍摄装置来捕捉。此时， 预先预测特征信息的移动，若拍摄从捕捉了优先级更高的特征信息的拍摄装 置切换到其他装置，则能够顺利地继续进行捕捉，而不会忽略优先级更高的 特征信息。根据所述结构，可以在视场角不同的多个拍摄装置中使用优先级更高的 特征信息的跟踪，从而能够在更宽范围内进行优先级更高的特征信息例如特 定人物的跟踪。除了所述结构，在本发明的跟踪装置中，也可以包括输入部分，#皮设 置为用户可输入在所述跟踪对象信息中的优先级的设定或者变更。根据所述结构，用户可以对跟踪装置进行对于跟踪对象信息中的优先级 的设定或者变更的输入。这里，优选地，优先级是对预先注册的跟踪对象信 息中包含的特征信息预先设定，且能够随时变更。当然，也可以在没有预先 设定的情况下，在检测到优先级没有设定的特征信息时，成为可设定。此外， 也可以在4企测到没有注册在跟踪对象信息中的特征信息时，附加优先级后注 册到跟踪对象信息中。例如在体育的转播时等，也可以对多个选手例如从有人气的选手开始依 次附加优先顺序进行跟踪。此外，也可以随时进行优先级的变更，在进入替 补选手的情况等时新附加优先级进行跟踪。这些，只是简单的例示。或者，在检测到没有注册在跟踪对象信息中的特征信息的情况下，也可
以注册到跟踪对象信息中使用户设定优先级。除了所述结构，也可以在本发明的跟踪装置中，所述跟踪对象核对部件 计算所述特征信息检测部件所检测的特征信息和在所述跟踪对象信息中包含 的特征信息之间的相似度，若所计算的相似度大于预先决定的认证阈值，则判定该;险测到的特征信息为跟踪对象，此外，还计算用于表示比所述预先决 定的认证阈值大多少的认证可靠度，在所述优先级为相同值的多个特征信息 被映入所述拍摄图像的情况下，所述拍摄控制部件控制拍摄部分，使得所述 算出的认证可靠度大的特征信息被继续映入拍摄图像中。根据所述结构，对检测到的特征信息和在跟踪对象信息中包含的特征信 息之间的相似度进行计算，若所计算的相似度大于预先决定的认证阈值，则 判定该检测到的特征信息为跟踪对象。此外，还计算认证可靠度，在优先级 为相同值的多个特征信息被映入拍摄图像的情况下，认证可靠度更大的特征 信息被继续映入拍摄图像中。因此，即使在优先级为相同值的多个特征信息被映入拍摄图像，也能够 决定始终映入拍摄图像的对象，跟踪其对象的特征信息。此外，决定继续映 入拍摄图像中的对象依赖于认证可靠度，所以能够跟踪更准确的跟踪对象。除了所述结构，也可以在本发明的跟踪装置中，所述拍摄控制部件控制 所述拍摄部分，使得所述优先级更高的特征信息的大小和位置中的至少一个 在拍摄图像内始终成为一定。根据所述结构，可以使优先级更高的特征信息的大小和位置中的至少一 个在拍;t聂图像中始终成为一定。若在拍摄图像中将大小设为一定，则能够在 拍摄图像内容易发现优先级更高的特征信息。此外，若将位置设为一定，则 可以始终只观察其一定的位置例如显示拍摄图像的监视器的中央，就能够发 现优先级更高的特征信息。这样，通过将优先级更高的特征信息的大小和位 置的至少一个在拍摄图像中始终设为一定，从而能够容易地进行优先级更高 的特征信息的监视。另外，所述跟踪装置也可以由计算机实现，此时，记录了跟踪装置的控 制程序的计算机可读取的记录媒体也包含在本发明的范畴中，所述跟踪装置 的控制程序通过使计算机作为所述各个部件动作，从而由计算机实现所述跟 踪装置。如上所述，本发明的跟踪装置包括特征信息检测部件，从拍摄图像中
检测被映入该拍摄图像中的特征信息；跟踪对象核对部件，将所述检测到的 特征信息与跟踪对象信息进行核对，从而判定所述检测到的特征信息是否为 跟踪对象，所述跟踪对象信息中相关联地注册有对于多个人物的特征信息与 用于表示该特征信息的跟踪顺序的优先级；优先级取得部件，在所述4企测到 的特征信息为跟踪对象的情况下，从所述跟踪对象信息中取得该检测到的特 征信息的优先级；以及拍摄控制部件，基于所述取得的优先级，控制所述拍 摄部分，使得检测到所述特征信息的拍摄图像中优先级更高的特征信息被继 续映入拍摄图像中。根据上述结构，对映入拍摄图像中的特征信息进行检测，在才企测到的特 征信息为跟踪对象的情况下，取得用于表示检测到的特征信息的跟踪顺序的 优先级。优先级的取得是对判定为跟踪对象的特征信息进行，所以即使在多 个特征信息被映入所述拍摄图像中，也能够基于所取得的优先级，控制拍摄 部分来进行拍摄，使得检测到所述特征信息的拍摄图像中优先级更高的特征 信息被继续映入拍摄图像中。因此，能够始终继续跟踪优先级更高的特征信 息。当然，在优先顺序信息中附加优先级的特征信息只有一个的情况下，成 为继续跟踪其特征信息。此外，根据所述结构，由于控制拍摄部分，使得检测到所述特征信息的 拍摄图像中优先级更高的特征信息被继续映入拍摄图像中，所以例如在优先 级更高的特征信息出到拍摄部分可拍摄的范围外，无法捕捉优先级更高的特 征信息的情况下，也能够跟踪在其时刻的拍摄图像中的优先级更高的特征信 息(不能捕捉的特征信息之后优先级高的特征信息)。如上所述，根据所述结构，即使在有多个跟踪对象，跟踪对象有跟踪的 优先顺序的情况下，拍摄部分被控制为在拍摄图像中继续捕捉优先级更高的 特征信息，所以能够进行优先级高的跟踪而无需经由用户的操作。由于用户 也无需指定跟踪对象，所以能够减轻用户的操作。因此，在所述结构中，即 使存在对跟踪有优先顺序的人物也能够自主地进行跟踪，而不会麻烦用户。


图1是表示本发明的实施方式的图，是表示跟踪装置的主要部分结构的 方框图。图2是以表的形式表示面部信息数据库的 一个例子的图。
图3 (a)是跟踪对象的切换中的图像(image)图。图3 (b)是跟踪对象的切换中的图像图。图3 (c)是跟踪对象的切换中的图像图。图4 ( a)是摄像机切换中的图像图。图4 (b)是摄像机切换中的图像图。图4 (c)是摄像机切换中的图像图。图5是表示本实施方式的跟踪装置所进行的跟踪处理中的流程的流程 图6是表示摄像机切换中的处理的流程的流程图。图7(a)是将本实施方式的跟踪装置利用在赛马的转播的例子的图像图。图7 (b)是表示在图7 (a)中的摄像机的拍摄图像的图像图。图8( a )是将本实施方式的跟踪装置利用在棒球的转播的例子的图像图。图8 (b)是表示在图8 (a)中的某一摄像机的拍摄图像的图像图。图8 (c)是表示在图8 (a)中的不同的摄像机的拍摄图像的图像图。图8 (d)是表示在图8(a)中的其他摄像机的拍摄图像的图像图。标号说明1跟踪装置2控制部分3拍摄部分4存储部分5输入接受部分6显示部分21面部纟企测部分(特征信息检测部件) 22面部核对部分(跟踪对象核对部件) 23优先级取得部分(优先级取得部件) 24移动量计算部分 25拍摄控制部分(拍摄控制部件) 26位置掌握部分(位置掌握部件) 33拍摄装置41面部信息数据库(跟踪对象信息)具体实施方式
基于图1至图8说明本发明的一实施方式则如下。以下，作为如下的装置说明本实施方式的跟踪装置为跟踪特定的对象而将映入拍摄图像的特征 信息作为人物(人或物)的面部信息，从而核对面部信息。但是，只要是能 够识别映入拍摄图像的被摄体的信息，特征信息可以是任何信息。 [跟踪装置的结构]本实施方式的跟踪装置l包括控制部分2、拍摄部分3、存储部分4、输 入部分5以及显示部分6。控制部分2内置微型计算机，并根据计算机程序，通过输入部分5所接 受的输入操作等进行动作，统一地控制跟踪装置1中的各种结构的动作。此 外，控制部分2作为面部检测部分21、面部核对部分22、优先级取得部分 23、移动量计算部分24、拍摄控制部分25以及位置掌握部分26起作用。面部检测部分21从拍摄部分3所拍摄的拍摄图像中检测映入该拍摄图像 中的面部信息(面部)。面部核对部分22将面部^r测部件所^r测的面部信息与面部信息凝:据库 (DB)41进行核对，从而判定所检测的面部是否为跟踪对象，在所述面部信 息数据库(DB ) 41中对于多个人物的面部信息与表示该面部信息的跟踪顺序 的优先级相关联地注册。这里，假设面部信息是指面部图像。此时，比较面 部图像来判断同一性的方法是通过以往公知的方法，即固有面部法、LFA (Local Feature Analysis )法、曲线映射法、神经网络法、制约相互部分空间 法、扰动(perturbation)空间法、频率分析法等来进行。例如，如下进行。使用Gabor小波变换(Gabor wavelettransform )等计 算面部图像的特征量，通过计算与注册在数据库上的特征量之间的相似度， 从而进行同一性的判断，在相似度超过了预先设定的阈值的情况下，判断为 两者为同一个面部。虽然能这样比较面部图像来判断同一性，但该判断并不 限定于上述的方法。此外，面部核对部分22计算面部信息和包含在面部信息数据库41中的 面部信息之间的相似度，若计算的相似度大于预先决定的认证阈值时，判定 面部4全测部分21所检测的面部信息为跟踪对象，进而计算以比所述预先决定 的认证阈值大多少来表示的认证可靠度。优先级取得部分23从面部信息数据库41中取得所检测的面部信息的优 先级。移动量计算部分24测定在检测到的面部信息中优先级更高的面部信息 的移动，并计算该优先级更高的面部信息的移动量。例如可通过专利文献5 等公知的方法，进行在移动量计算部分24中的移动量的计算。拍摄控制部分25控制拍摄部分3,使得在拍摄图像中继续映入检测到面 部信息的拍摄图像中优先级更高的面部信息。此时，基于由移动量计算部分 24所计算的移动量，追随优先级更高的面部信息的移动进行控制。优选地， 例如通过对作为拍摄装置33的摄像机的动作，具体地说，使摄像机的位置沿 左右、上下、前后移动来进行的摇摄/倾斜、缩放、曝光变化或者在有多个摄 像机的情况下是切换摄像机等进行控制，从而进行拍摄部分3的控制。例如 可以通过将摄像机设置在轨道上的台面来进行所述摄像机的位置的移动。当 然，只要能够将优先级更高的面部信息继续映入拍摄图像中，如何控制拍摄 部分是没有关系的。此外，优选地，控制使得摄像机的动作在拍摄图像中的优先级更高的面 部信息变化时进行。更具体地说，优选地，在优先级更高的面部信息在拍摄 画面内的位置(即使在面部信息中包含的一部分，例如眼睛的位置变化也没 有关系)、大小、斜率以及方向的至少一个有变化时，控制以进行所述摄像 机的动作。当然，也可以在除此之外的情况下，控制摄像机动作。此外，也可以是，拍摄控制部分25控制拍摄部分3，使得优先级更高的 面部的大小和位置中的至少一个在拍摄图像中始终成为一定。当然，只要将 优先级更高的面部在拍摄图像中存在即可，但若将面部的大小在拍摄图像中 设为一定，则能够在拍摄图像中容易发现优先级更高的面部。此外，若将面 部的位置设为一定，则可以始终只观察其一定的位置例如显示拍摄图像的显 示画面的中央，就能够发现优先级更高的面部信息。当然，位置并不限定于 中央。这样，通过将优先级更高的面部的大小和位置的至少一个在拍摄图像 中始终设为一定，从而能够容易地进行优先级更高的面部的监视。位置掌握部分26对面部检测部分21所4企测的面部信息(面部)，继续更 新用于表示面部坐标信息的图像中的坐标(面部的位置)，从而继续掌握在拍 摄图像中的面部信息(面部)的位置，所述面部坐标信息保存到装置内的未 图示的面部位置保存区域(存储器)中。这里，面部坐标信息是对于面部检 测部分21所检测的面部信息(面部)在哪个位置存在的信息。然后，在时间
上由面部检测部分21检测到面部信息的拍摄图像之后的拍摄图像中，所述面 部检测部分21再次检测到相同的面部信息，并通过位置掌握部分26掌握了 其面部信息在拍摄图像内的位置的情况下，面部核对部分22不访问面部信息 数据库41。这是因为，对于作为优先级更高的面部信息的当前的跟踪对象之 外的面部信息，也进行在拍摄图像内的位置的掌握(跟踪)。因此，能够减少 面部核对部分22的核对次数，所以能够减轻跟踪装置1的负担。拍摄部分3包括具有多个摄像机的拍摄装置33、摄像机驱动装置31、 摄像机切换装置32，并基于拍摄控制部分25的控制来进行跟踪对象的拍摄。 摄像机驱动装置31是用于驱动拍摄装置33中的摄像机的装置，摄像机切换 装置32是用于切换驱动对象的摄像机的装置。此外，设为在拍摄装置33中 的摄像机分别进行摇摄/倾斜、缩放、曝光变化。在本实施方式中，图示了具有多个摄像机，但也可以是一台。此时，也 可以不具有摄像机切换装置32。此外，也可以具有多个用于控制一台或多台 摄像机的跟踪装置1，其跟踪装置具有通信部分，通过相互进行通信来跟踪 优先级更高的面部。存储部分4由硬盘等的非易失性存储装置构成。存储部分4存储面部信 息数据库41。在该面部信息数据库41中，对于多个人物的面部信息与用于 表示该面部信息的跟踪顺序的优先级相关联地注册。例如参照图2进行说明，在面部信息数据库41中，人物A的面部信息 和人物B的面部信息被注册为人物A的面部的优先级为1，人物B的面部的 优先级为2。假设优先级的数字少者优先级更高。在图2中，作为跟踪对象 而只注册了两个人，但也可以注册这以上的面部信息。此外，若对一个跟踪 对象注册多个面部信息(例如，正面、右侧、左侧、向上、向下等)而不是 对一个跟踪对象只注册一个面部信息的情况下，能够更加正确地进行在面部 核对部分22中的核对。此外，在面部信息数据库41中，也可以注册跟踪对 象的姓名、特征点(例如，若是棒球选手，则防守位置等)等的有关跟踪对 象的信息。这样，在用户设定或变更优先级时能够参照，所以有助于用户。当然，在面部信息数据库41中附加优先级的面部信息只有一个的情况 下，继续跟踪其面部信息。另外，也可以在面部信息数据库41中只有一个面 部信息的情况下，即使对其一个面部信息没有附加实际的优先级，也作为被 附加了最高的优先级的面部信息来取得优先级。此外，也可以在只对多个面
部信息的一部分附加优先级，而对其他的面部信息没有附加的情况下，作为 对该其他的面部信息一律附加了最低的优先级来取得优先级。此外，在该存储部分4中，也可以存储用于控制所述跟踪装置1的各种 结构的动作的控制程序、OS (operating system)程序、以及其他的各种程序。输入部分5是跟踪装置1用于接受来自用户的操作的接口 。输入部分5 被设置为用户可进行对于跟踪装置1的操作，例如被设置为用户可输入在面 部信息数据库中的优先级的设定或者变更。因此，用户可以从输入部分5对 预先被注册的面部信息数据库41中所包含的面部信息，设定或者变更优先 级。在没有预先设定优先级的情况下，也可以在检测到没有设定优先级的面 部信息时进行设定。此外，在检测到没有注册在跟踪对象信息中的面部信息 时，也可以附加优先级后注册到跟踪对象信息中。例如在体育的转播时等， 也可以对多个选手例如依次从有人气的选手开始附加优先顺序来跟踪。此外， 也可以随时变更优先级，在加入替补选手的情况等时可以新附加优先级来跟 踪。这些只是简单的例示。或者，也可以在检测到没有注册在跟踪对象信息 中的面部信息时，注册到跟踪对象信息中，使用户设定优先级。在输入部分5中，例如设置了操作键/按钮等，以提供给用户操作。用户 可以从该输入部分5对跟踪装置1进行各种指示例如跟踪操作的开始、停止、 面部信息数据库41的改写、面部信息数据库41的优先顺序的设定、变更等。 另外，也可以将输入部分5与在显示部分6中的显示画面兼用。即，例如输 入部分5和显示部分6的显示画面也可以设置一体型的触摸面板。此时，在 显示画面显示用户可输入的项目，通过用户触摸显示有所期望的项目的显示 区域，从而能够对跟踪装置1带来指示。此时，为了触摸到显示区域，也可 以设置棒状的操作部件等作为输入部分5。显示部分6包含显示画面(拍摄画面)，是用于输出(显示)由拍摄装 置所拍摄的拍摄图像的部分。也可以设置多个显示部分6,例如也可以设置 与摄像机相同个数。或者，也可以隔开显示部分6的显示画面以照到来自多 个摄像机的图像。此外，例如也可以具有声音输出部分(未图示)，其用于输出伴随由拍 摄装置33所拍摄的拍摄图像的声音。另外，也可以将面部核对部分22和面部信息数据库41设置在外部的装 置中，通过跟踪装置1和该外部的装置进行通信，从而进行核对处理。此外，本发明的跟踪装置也可以不包括拍摄部分3或面部信息数据库41 ， 也可以将控制部分2表现为本发明的跟踪装置。使用图3 ( a) ~ ( c ),说明使用上述结构的跟踪装置1进行跟踪的状态。 这里，假设如图2所示，预先在面部信息数据库41中注册了人物A的面部 信息和人物B的面部信息，以人物A的面部的优先级为1,人物B的面部的 优先级为2。假设优先级的数字少者优先级更高。首先，如图3 (a)所示，假设在拍摄图像50中，对人物A (的面部) 进行跟踪。这里，由于人物C没有注册在面部信息数据库41中，所以不是跟 踪对象。因此，作为跟踪对象而对人物C通过位置掌握部分26只掌握面部位 置，但不进行跟踪。接着，如图3(b)所示，假设在拍摄图像50中进入(framein,同一图 的黑箭头)作为跟踪的优先顺序的优先级比人物A高的人物B的面部。此时， 将跟踪对象从人物A的面部切换为人物B的面部(同一图的白箭头)。此时， 由于人物C的面部不是跟踪对象，所以只掌握面部位置。跟踪对象成为人物 B的面部，人物A的面部作为优先级低的跟踪对象(追踪对象)，只要人物 B的面部在拍摄图像50内，就只能掌握面部位置。然后，如图3(c)所示，将人物B的面部作为跟踪对象，人物B的面部 被收集到用于显示拍摄图像50的拍摄画面的一定范围51内。此外，将人物 A的面部设为优先级低的跟踪对象(追踪对象)，在画面内存在的情况下， 继续确认(掌握)其面部位置。在从这个状态，人物B的面部因某种原因而 从拍摄图像50消失的情况下，再次将人物A的面部设为跟踪对象。此外， 由于人物C的面部移动到(flame out)图l象之外，所以结束人物C的面部位 置的掌握(追踪)。以上的跟踪状态的说明是设为由一台摄像机进行跟踪。这里，摄像机可 以是一台，也可以是多台。接着，使用图4 (a) ~ (c)说明在拍摄部分3中的摄像机的切换。在这 里，假设从摄像机1到摄像机2进行切换。在图4(a) (c)中，分别从左 开始顺序地表示摄像机C2拍摄的图像I2、摄像机C1拍摄的图像Il、以及摄 像机C1和C2的拍摄范围和被摄体之间的位置关系。此外，在图4(a) (c) 中，假设带点的图像Il和12的区域为摄像机C1和摄像机C2的视场角重合 的部分。 如图4 (a)所示，在摄像机C1的视场角内存在跟踪对象的人物P的面 部的情况下，用摄像机Cl对跟踪对象的人物P的面部进行跟踪。在图4 (b)中，若通过移动量计算部分24的计算，预测到跟踪对象的 人物P从摄像机Cl的视场角移出，并且在摄像机C2的视场角中进入跟踪对 象的人物P，将画面从摄像机C1拍摄的图像Il切换到摄像机C2拍摄的图像 12。通过拍摄控制部分25控制摄像机切换装置32来进行切换的控制。然后，如图4 (c)所示，在摄像机C2的视场角内存在跟踪对象的人物 P的面部的情况下，用摄像机C2对跟踪对象的人物P的面部进行跟踪。如上所述，即使在跟踪装置1中有多个跟踪对象，且跟踪对象有跟踪的 优先顺序的情况下，拍摄部分3也被控制，使得在拍摄图像中继续捕捉优先 级更高的面部，所以能够进行优先级更高的跟踪而不会经由用户的操作，由 于用户也无需指定跟踪对象，所以能够减轻用户的操作。因此，通过使用跟 踪装置1，即使存在对跟踪有优先顺序的人物，也能够自主地进行跟踪，而 不会麻烦用户。[通过跟踪装置的跟踪处理]使用图5的流程图，说明在跟踪装置1中的跟踪处理的流程。另外，假 设在以下说明的处理之前，预先在面部信息数据库41中注册有设定了优先级 的面部信息。首先，面部检测部分21在拍摄图像中检测面部信息(以后省略为"面 部")，并判定在拍摄图像内是否存在面部(步骤1，以后省略为Sl)。这 里，面部的检测可以继续等到有被摄体进入为止，也可以是摄像机例如进行 活动(首振0 )等动作，从而在有被摄体进入之后开始检测。在检测到面部的情况下(在S1中"是'，)，判断检测到的面部是否为在 图像中掌握位置的面部(是否为在之前的帧中也存在的面部)(S2)。首先，说明在Sl中检测到的面部为在图像中没有掌握位置的面部的情况 (在S2中"否")，之后叙述掌握位置的面部的情况(在S2中"是")。在Sl中检测到的面部为在图像中没有掌握位置的面部的情况下(在S2 中"否")，面部核对部分22核对面部信息数据库41，判定是否注册有在 Sl中检测的面部(S3)。这里的判定如下进行。对检测的面部和在面部信息 数据库41中包含的面部信息之间的相似度进行计算，在计算的相似度大于预 先决定的认证阈值的情况下，判定为检测的面部为跟踪对象。进而，计算以 比预先决定的认证阈值大多少来表示的认证可靠度。在注册有在S1中检测的面部的情况下(在S3中"是")，优先级取得 部分23取得在S1中检测的面部的优先级(S4)。若取得优先级，则接着判 定当前跟踪中的面部(优先级更高的面部)是否在图像中存在(S5)。在当 前跟踪中的面部在图像中存在的情况下(在S5中"是")，比较在S1中检 测的面部和当前跟踪中的面部之间的优先级(S6 )。在Sl中检测的面部和当 前跟踪中的面部之间的优先级相同的情况下，判定在S3中的判定时所计算的 认证可靠度与当前跟踪中的面部的认证可靠度相比是否高(S7)。另外，假 设当前跟踪中的面部的认证可靠度保持在未图示的存储器等。在面部的认证可靠度的比较结果，在Sl中检测的面部的认证可靠度高的 情况下(在S7中"是")，从跟踪对象中除去当前的跟踪对象的面部，并作 为优先级低的跟踪对象而将当前的跟踪对象的面部注册到未图示的存储器等 中(S8)。在S6中，在S1中检测的面部的优先级高的情况下也进至S8，并 从跟踪对象中除去当前的跟踪对象的面部，作为优先级低的跟踪对象而将当 前的跟踪对象的面部注册在未图示的存储器等中。此外，在S6中，在S1中检测的面部的优先级j氐的情况下，将在S1中 检测的面部作为优先级低的跟踪对象而注册在未图示的存储器等中(S10)， 进至S18。此外，在S7中，在Sl中检测的面部的认证可靠度低的情况下(在 S7中"否")，也将在Sl中检测的面部作为优先级低的跟踪对象而注册在 未图示的存储器等中(S10),进至S18。此外，在没有注册有在S3中检测的面部的情况下(在S3中"否")， 将在S1中检测的面部作为跟踪对象而注册在未图示的存储器等中(S9)，进 至S18。此外，在S5中当前跟踪中的面部不在图像中的情况下(在S5中"否，，)， 将处理对象的面部(这里是在Sl中^r测的面部)作为跟踪对象而注册在未图 示的存储器等中(S11)，进至S18。此外，在将当前的跟踪对象的面部作为 优先级低的跟踪对象而注册在未图示的存储器等中(S8)之后，也进至Sll， 将处理对象的面部(这里是在Sl中检测的面部)作为跟踪对象而注册在未图 示的存储器等中，进至S18。接着，在S1中检测的面部为在图像中掌握位置的面部的情况下(在S2 中"是")，判定是否为当前跟踪中的面部(S12)。在是当前跟踪中的面部 的情况下(在S12中"是，，)，判定在图像内的中央附近是否有检测的面部 (当前跟踪中的面部)(S13)。在图像内的中央附近没有检测的面部的情况下(在S13中"否")，拍摄控制部分25控制拍摄部分3，使得所检测的面 部到图像的中央附近(S14 )。在图像内的中央附近有检测的面部的情况下(在 S13中"是")，或者在拍摄控制部分25控制拍摄部分3，使得所检测的面 部到图像的中央附近(S14)之后，进至S18。S12中，不是当前跟踪中的面部的情况下(在S12中"否")，判定在 Sl中检测的面部是否为优先级低的面部(不是优先级更高的面部的跟踪对象) (S15)。在是优先级低的面部的情况下(在S15中"是，，)，判定当前跟踪 中的面部是否在图像内(S16)。在不是优先级低的面部的情况下(在S15 中"否")，或者当前跟踪中的面部在图像内的情况下(在S16中"是")， 进至S18。另外，在S15中不是优先级低的面部的情况是指跟踪对象的情况。在S16中，当前跟踪中的面部不在图像内的情况下(在S16中"否")， 将在S1中检测的面部作为跟踪对象而注册在未图示的存储器等中(S11)， 进至S18。最后，将用于表示面部坐标信息的图像中的坐标(面部的位置)改写为 检测坐标(在S1中通过面部检测部分21检测到面部信息的位置)，从而更 新面部位置信息(S18)，所述面部坐标信息保存在装置的面部位置保存区域 (存储器)中。另外，在S1中在图像内没有检测到面部的情况下(在S1中"否，，)， 删除在存储器等中注册的跟踪对象的信息、追踪对象的信息(S17)，结束。 通过重复进行如上所述的图5所示的处理，从而进行在跟踪装置1中的跟踪 的处理。、接着，使用图6的流程图，说明在拍摄部分3中有多个摄像机的情况下 的摄像机的切换处理。在以下的说明中，将从摄像机1到摄像机2的切换作 为前提进4于i兌明。如图6所示，首先，判定在摄像机1的切换区域(图4 (a) ~ (c)的 点区域)中是否有优先级更高的面部(S51 )。在区域中没有面部的情况下(在 S51中"否")，结束处理。在区域中有面部的情况下(在S51中"是")， 判定在摄像机Cl的前帧中的优先级更高的面部的位置是否在切换区域之外 (S52)。在不是切换区域之外的情况下(在S52中"否")，结束处理。在 切换区域之外的情况下(在S52中"是")，判定在摄像机C2的切换区域 之外是否有优先级更高的面部(S53)。在区域之外没有该面部的情况下(在 S53中"否")，结束处理。在区域之外有该面部的情况下(在S53中"是")， 判定在摄像机C2的前帧中的优先级更高的面部的位置是否为切换区域 (S54)。在不是切换区域的情况下(在S54中"否，，)，结束处理。在切换 区域的情况下(在S54中"是")，进行从摄像机Cl到摄像机C2的切换(S55 )。如上那样进行摄像机的切换，但两个以上的摄像机中的切换也同样地进 行，若捕捉到优先级更高的面部的摄像机不能捕捉该优先级更高的面部，则 被控制为由能够捕捉该优先级更高的面部的其他的摄像机来捕捉。[实施例1]使用图7 (a)和(b)，说明假设将所述实施方式的跟踪装置1例如用 在赛马的转播中的情况。另外，此时，说明假设作为拍摄装置33的摄像机只 有一台的情况。预先，马的面部作为面部信息而注册在面部信息数据库41中，假设优先 级按人气顺序被附加为马Hl为1,马H5为2。此外，如图7 (a)所示，摄 像机C1设置在轨道1上，可沿着马的前进方向而移动。此时，开始是如图7 (b)所示那样，控制摄像机C1来继续跟踪马H5，使得开头的马H5成为拍 摄图像I1的中心，但在马H2进入拍摄图像I1时，在下一帧，摄像机C1被 控制-使马H2成为画面的中心。这样，通过按照人气的顺序设定跟踪的优先级，从而能够将在拍摄图像 内可识别的马中的人气最高的马为中心构成画面。另外，也可以利用骑在马上的骑手的面部来代替马的面部。此时，将所 述骑手的面部作为面部信息而注册在面部信息数据库41中即可。另外，优先 级可以按照所述骑手的人气顺序来附加，也可以按照所述骑手所骑的马的人 气顺序来附加。[实施例2]使用图8 (a) ~ (d)，说明假设将所述实施方式的跟踪装置1例如用在 图8 (a)所示的棒球的转播中的情况。此时，说明假设作为拍摄装置33的摄 像机为三台的情况。预先，选手的面部作为面部信息而注册在面部信息数据库41中，假设作 为跑垒员 >击^求手>守场员的顺序注册了跟踪的优先级。
如图8 (b) ~ (d)所示，在摄像机C1捕捉跑垒员A、在摄像机C2捕 捉守场员B、在摄像机C3捕捉守场员C，并且被控制为分别成为画面11~13 的中心，分别进行跟踪。在摄像机C2中，在使得跑垒员A通过跑垒进入摄 像机C2的视场角时，切换为跟踪跑垒员A，即将跑垒员A成为画面12的中 心。然后，若从视场角消失，则返回到守场员B的跟踪。此外，在摄像机C3 中，也在跑垒员A通过跑垒进入摄^^几C3的视场角时，切换为跟踪跑垒员 A,使得跑垒员A成为画面13的中心。然后，若从视场角消失，则返回到守 场员C的跟踪。这样，能够基于优先级来进行跟踪。此外，在将实施方式的跟踪装置1例如用于足球的转播的情况下.，也可 以按照例如前锋>中锋>后卫>守门员或者主力选手>替补选手的顺序设定优先 级，进行跟踪。此外，例如为了防犯而跟踪可疑的人物的情况下，也可以按 照通缉中的人物>有犯罪历史的人物>其他人物的顺序设定优先级，进行跟踪。 此外，也可以在自行车竟赛、赛艇、赛车、摩托车比赛、马拉松、接力赛、 田径等中，按照第1人气>第2人气……的顺序来设定优先级，进行跟踪。此 外，在例如是业余棒球的转播的情况下，也可以按选秀(draft)候补附加优 先顺序来跟踪。另外，这些只是简单的例示，对于跟踪顺序的附加方法没有 限定，对于跟踪对象也没有限定。范围内可进行各种变更。即，将在权利要求所述的范围内进行适当的变更的 技术手段组合而得的实施方式以及实施例也包含在本发明的技术范围中。最后，跟踪装置1的各个模块，特别是控制部分2可以由硬件模块构成， 也可以如下那样使用CPU通过软件来实现。即，跟踪装置l包括用于执行实现各个功能的控制程序的命令的CPU (central processing unit)、存小者了上述禾呈序的ROM ( read only memory)、 展开上述程序的RAM (random access memory)、存储上述程序以及各种数 据的存储器等的存储装置(存储媒体)等。而且，也可以通过将以计算机可 读取地方式记录了作为实现上述功能的软件的跟踪装置1的控制程序的程序 代码(执行格式程序、中间代码程序、源程序)的记录媒体提供给所述跟踪 装置1，其计算机(或者CPU或MPU)读出记录在记录媒体中的程序代码来 执行，从而也可以实现本发明的目。
作为所述记录媒体，例如可使用磁带或卡带等的带类、包括软盘(注册商标)/硬盘等的磁盘或CD-ROM/MO/MD/DVD/CD-R等的光盘的盘类、IC 卡(包括存储器卡)/光卡等的卡类、或者掩模ROM/EPROM/EEPROM/闪速 ROM等的半导体存储器类等。此外，也可以与通信网络可连接地构成跟踪装置1,通过通信网络来提 供所述程序代码。作为该通信网络，没有特别限定，例如可利用因特网、内 部网、特别网(extra net) 、 LAN、 ISDN、 VAN、 CATV通信网、虛拟专用 网(virtual private network)、电话线路网、移动通信网、卫星通信网等。此 外，作为构成通信网络的传输媒体也没有特别限定，例如可利用正EE1394、 USB、电力线传输、电缆TV线路、电话线、ADSL线路等有线，也可以利用 IrDA或遥控等的红外线、Bluetooth (注册商标)、802.11无线、HDR、便携 电话网、卫星线路、地面波数字网等的无线。另外，本发明也可以通过所述 程序代码以电子化传输所具体化的、埋入载波的计算机数据信号的方式实现。产业上的可利用性本发明可适用于跟踪多个被摄体的系统中，例如可利用于防犯系统，此 外，还可以利用于电视会议、电视讲座、体育转播等各种用途。
权利要求
1. 一种跟踪装置，通过控制拍摄部分以跟踪对象被继续映入拍摄图像中，从而捕捉该跟踪对象，其特征在于，所述跟踪装置包括特征信息检测部件，从拍摄图像中检测被映入该拍摄图像中的特征信息；跟踪对象核对部件，将所述检测到的特征信息与跟踪对象信息进行核对，从而判定所述检测到的特征信息是否为跟踪对象，所述跟踪对象信息中相关联地注册有对于多个人物的特征信息与用于表示该特征信息的跟踪顺序的优先级；优先级取得部件，在所述检测到的特征信息为跟踪对象的情况下，从所述跟踪对象信息中取得该检测到的特征信息的优先级；以及拍摄控制部件，基于所述取得的优先级，控制所述拍摄部分，使得检测到所述特征信息的拍摄图像中优先级更高的特征信息被继续映入拍摄图像中。
2. 如权利要求1所述的跟踪装置，其特征在于， 所述特征信息是用于表示人物的面部特征的面部信息。
3. 如权利要求1或2所述的跟踪装置，其特征在于， 包括位置掌握部件，对于所述特征信息检测部件所检测的特征信息，继续掌握在拍摄图像内的位置，在时间上由所述特征信息检测部件检测到特征信息的拍摄图像之后的拍 摄图像中，所述特征信息检测部件再次检测到相同的特征信息，并通过所述 位置掌握部件掌握了其特征信息在拍摄图像内的位置的情况下，所述跟踪对 象核对部件省去所述核对。
4. 如权利要求1至3的任一项所述的跟踪装置，其特征在于， 拍摄部分包括多个拍摄装置，所述拍摄控制部件控制拍摄部分，使得若捕捉了所述优先级更高的特征 信息的拍摄装置不能捕捉该优先级更高的特征信息，则由能够捕捉该优先级 更高的特征信息的其他拍摄装置来捕4足。
5. 如权利要求1至4的任一项所述的跟踪装置，其特征在于，包括 输入部分，被设置为用户可输入在所述跟踪对象信息中的优先级的设定或者变更。
6. 如权利要求1至5的任一项所述的跟踪装置，其特征在于， 所述跟踪对象核对部件计算所述特征信息;险测部件所^r测的特征信息和在所述跟踪对象信息中包含的特征信息之间的相似度，若所计算的相似度大 于预先决定的认证阈值，则判定该检测到的特征信息为跟踪对象，此外，还 计算用于表示比所述预先决定的认证阈值大多少的认证可靠度，在所述优先级为相同值的特征信息被映入多个所述拍摄图像的情况下， 所述拍摄控制部件控制拍摄部分，使得比所述算出的认证可靠度大的特征信 息被继续映入拍摄图像中。
7. 如权利要求1至6的任一项所述的跟踪装置，其特征在于， 所述拍摄控制部件控制所述拍摄部分，使得所述优先级更高的特征信息的大小和位置中的至少一个在拍摄图像内始终成为一定。
8. —种跟踪方法，通过控制拍摄部分以跟踪对象被继续映入拍摄图像中， 从而捕捉该跟踪对象，其特征在于，所述跟踪方法包括特征信息检测步骤，从拍摄图像中检测被映入该拍摄图像中的特征信息； 跟踪对象核对步骤，将所述检测到的特征信息与跟踪对象信息进行核对， 从而判定所述检测到的特征信息是否为跟踪对象，所述跟踪对象信息中相关 联地注册有对于多个人物的特征信息与用于表示该特征信息的跟踪顺序的优 先级；优先级取得步骤，在所述检测到的特征信息为跟踪对象的情况下，从所 述跟踪对象信息中取得该;险测到的特征信息的优先级；以及拍摄控制步骤，基于所述取得的优先级，控制所述拍摄部分，使得检测 到所述特征信息的拍摄图像中优先级更高的特征信息被继续映入拍摄图像 中。
9. 一种跟踪装置的控制程序，用于使权利要求1至7的任一项所述的跟 踪装置动作，用于使计算机作为所述跟踪装置中的所述各个部件起作用。
10. —种计算机可读取的记录媒体，记录了权利要求9所述的跟踪装置 控制程序。
全文摘要
跟踪装置(1)包括面部检测部分(21)，从拍摄图像中检测面部信息；面部核对部分(22)，将所检测的面部信息与面部信息数据库(41)进行核对，从而判定映入该拍摄图像中的面部信息是否为跟踪对象，在所述面部信息数据库(41)中相关联地注册有对于多个人物的面部信息与用于表示该面部信息的跟踪顺序的优先级；优先级取得部分(23)，在映入所述拍摄图像中的面部信息为跟踪对象的情况下，从面部信息数据库(41)取得映入所述拍摄图像中的面部信息的优先级；以及拍摄控制部分(25)，基于所取得的优先级，控制拍摄部分(3)，使得所述拍摄图像中优先级更高的面部信息被继续映入拍摄图像中。
文档编号G06T7/00GK101401426SQ20078000898
公开日2009年4月1日 申请日期2007年3月14日 优先权日2006年3月15日
发明者井上智裕, 千贺正敬, 垣内崇, 桑野悟 申请人:欧姆龙株式会社