专利名称：被摄物体跟踪方法、被摄物体跟踪装置及计算机程序产品的制作方法
技术领域：
本发明涉及用于在帧之间跟踪被摄物体的被摄物体跟踪方法、被 摄物体跟踪装置以及计算机程序产品。
背景技术：
公知有如下的图形匹配方法。该图形匹配方法中，将图像分割成 多个区域，对应每个区域进行模板匹配处理，提取相似度最高的区域 作为匹配区域(日本特开平5-81433号公报)。
但是，在利用现有方法通过模板匹配特别指定图像内的被摄物体 位置，要在帧之间跟踪被摄物体位置的情况下，在背景中存在与模板 相似的图像时，有可能产生假匹配而不能准确地跟踪被摄物体。
发明内容
根据本发明的第一方案， 一种被摄物体跟踪方法，其中，使搜索 框在以时间序列输入的输入图像的各帧内设定的搜索对象区域内移 动，同时计算出各搜索框位置中的搜索框内的图像和模板图像之间的 相似度，将计算出的相似度最高的搜索框的输入图像内的位置特别指 定为存在被摄物体的位置(被摄物体位置)，在各帧的输入图像之间 跟踪特别指定的被摄物体位置，计算出相似度的最大值和第二大值的 差分，根据计算出的差分的大小，设定下一个帧中的搜索对象区域。
根据本发明的第二方案，在第一方案的被摄物体跟踪方法中，优 选的是，在差分在规定的阈值以下的情况下，将相似度成为最大值的 搜索框位置和相似度成为第二大的值的搜索框位置特别指定为被摄物 体位置候补，根据特别指定为被摄物体位置候补的搜索框位置，设定 下一个帧中的搜索对象区域。
根据本发明的第三方案，在第一方案的被摄物体跟踪方法中，优 选的是，在差分大于规定的阈值的情况下，将相似度成为最大值的搜 索框位置特别指定为被摄物体位置候补，根据特别指定为被摄物体位 置候补的搜索框位置，设定下一个帧中的搜索对象区域。
根据本发明的第四方案，在第一方案的被摄物体跟踪方法中，优 选的是，在差分在规定的阈值以下的情况下，将相似度成为最大值的 搜索框位置和相似度成为第二大的值的搜索框位置特别指定为被摄物 体位置候补，在差分大于阈值的情况下，将相似度成为最大值的搜索 框位置特别指定为被摄物体位置候补，根据特别指定为被摄物体位置 候补的搜索框位置，设定下一个帧中的搜索对象区域。
根据本发明的第五方案，在第二方案的被摄物体跟踪方法中，优 选的是，在特别指定为被摄物体位置候补的各自的搜索框位置中，将 包含各搜索框的规定尺寸的区域设定为下一个帧中的搜索对象区域。
根据本发明的第六方案，在第五方案的被摄物体跟踪方法中，优 选的是，与相对于对应的各自的搜索框计算出的相似度对应而决定搜 索对象区域的尺寸。
根据本发明的第七方案，在第一方案的被摄物体跟踪方法中，优 选的是，在设定多个搜索对象区域的情况下，将各自的搜索对象区域 作为对象而计算出相似度，将计算出的相似度最高的搜索框的输入图 像内的位置特别指定为被摄物体位置。
根据本发明的第八方案， 一种计算机能够读出的计算机程序产品， 其中，具有被摄物体跟踪用控制程序，该控制程序，包括相似度计 算命令，使搜索框在以时间序列输入的输入图像的各帧内设定的搜索 对象区域内移动，同时计算出各搜索框位置中的搜索框内的图像和模 板图像之间的相似度；被摄物体位置特别指定命令，将由相似度计算 命令计算出的相似度最高的搜索框的输入图像内的位置特别指定为存 在被摄物体的位置(被摄物体位置)；被摄物体跟踪命令，在各帧的 输入图像之间跟踪由被摄物体位置特别指定命令特别指定的被摄物体 位置；差分计算命令，计算出由相似度计算命令计算出的相似度的最 大值和第二大值的差分；和搜索对象区域设定命令，根据由差分计算 命令计算出的差分的大小，设定下一个帧中的搜索对象区域。
根据本发明的第九方案，在第八方案的计算机程序产品中，优选 的是，还包括被摄物体位置候补特别指定命令，在由差分计算命令计 算出的差分在规定的阈值以下的情况下，将相似度成为最大值的搜索 框位置和相似度成为第二大的值的搜索框位置特别指定为被摄物体位 置候补，搜索对象区域设定命令，根据由被摄物体位置候补特别指定 命令特别指定为被摄物体位置候补的搜索框位置，设定下一个帧中的 搜索对象区域。
根据本发明的第十方案，在第八方案的计算机程序产品中，优选 的是，还包括被摄物体位置候补特别指定命令，在由差分计算命令计 算出的差分大于规定的阈值的情况下，将相似度成为最大值的搜索框 位置特别指定为被摄物体位置候补，搜索对象区域设定命令，根据由 被摄物体位置候补特别指定命令特别指定为被摄物体位置候补的搜索 框位置，设定下一个帧中的搜索对象区域。
根据本发明的第十一方案，在第八方案的计算机程序产品中，优 选的是，还包括被摄物体位置候补特别指定命令，在由差分计算命令 计算出的差分在规定的阈值以下的情况下，将相似度成为最大值的搜
索框位置和相似度成为第二大的值的搜索框位置特别指定为被摄物体 位置候补，在差分大于上述阈值的情况下，将相似度成为最大值的搜 索框位置特别指定为被摄物体位置候补，搜索对象区域设定命令，根 据由被摄物体位置候补特别指定命令特别指定为被摄物体位置候补的 搜索框位置，设定下一个帧中的搜索对象区域。
根据本发明的第十二方案，在第九方案的计算机程序产品中，优 选的是，搜索对象区域设定命令，在由被摄物体位置候补特别指定命 令特别指定的各自的搜索框位置中，将包含各搜索框的规定尺寸的区 域设定为下一个帧中的搜索对象区域。
根据本发明的第十三方案，在第十二方案的计算机程序产品中， 优选的是，搜索对象区域设定命令，与相对于对应的各自的搜索框计 算出的相似度对应而决定搜索对象区域的尺寸。
根据本发明的第十四方案，在第八方案的计算机程序产品中，优 选的是，在由搜索对象区域设定命令设定多个搜索对象区域的情况下， 相似度计算命令，将各自的搜索对象区域作为对象而计算出相似度， 被摄物体位置特别指定命令，将由相似度计算命令计算出的相似度最 高的搜索框的输入图像内的位置特别指定为被摄物体位置。
根据本发明的第十五方案， 一种被摄物体跟踪装置，其包括执行 第八至第十四中任一方案的控制程序的执行装置。
根据本发明的第十六方案，第八至第十四中任一方案的计算机程 序产品为记录有控制程序的记录介质。
根据本发明的第十七方案，第八至第十四中任一方案的计算机程 序产品为在传送波中包含控制程序的数据信号。
图1是表示照相机的一实施方式的结构的框图。
图2是表示目标图像I、模板图像A以及搜索框B的具体例的图。
图3A、图3B是表示在目标图像I的规定范围内，使搜索框B移 动的同时进行模板匹配的情况下计算出的相似度的变化的图。
图4A、图4B是表示第一重合区域、第二重合区域、第一搜索对 象区域以及第二搜索对象区域的具体例的图。
图5是表示被摄物体跟踪装置100的处理的流程图。
图6是表示相似度值比较处理的流程的流程图。
图7是表示向个人用计算机提供程序的情况的图。
具体实施例方式
图1是表示将照相机作为本实施方式中的被摄物体跟踪装置使用 时的一实施方式的结构的框图。照相机100包括操作部件101、镜头 102、摄像元件103、控制装置104、存储卡槽105以及显示器106。操 作部件101包括由使用者操作的各种输入部件，例如电源按钮、点动 开关、縮放按钮、十字键、决定按钮、重放按钮、删除按钮等。
镜头102由多个光学镜头组构成，在图1中作为代表以1个镜头 表示。摄像元件103例如为CCD、 CMOS，拍摄由镜头102成像的被 摄物体像以取得图像。然后，将取得的图像的数据(图像数据)向控 制装置104输出。控制装置104将由摄像元件103取得的图像数据压 縮成规定的图像格式，例如jpeg格式，产生Exif (Exchangeable Image File Format for Digital Still Camera)等规定格式的图像文件后向存储卡 槽105输出。
存储卡槽105是用于插入作为存储介质的存储卡的槽，将从控制 装置104输出的图像文件写入存储卡而进行记录。并且，根据来自控 制装置104的指示，读出存储在存储卡内的图像文件。
显示器106为搭载在照相机100的背面的液晶显示器(背面显示 器)，在该显示器106中显示存储在存储卡内的图像或用于设定照相 机100的设定菜单等。并且，控制装置104从摄像元件103以时间序 列取得图像并向显示器106输出。由此，在显示器106中以规定时间 间隔依次显示各帧的图像。即在显示器106中显示滑动图像。
控制装置104由CPU、存储器以及其他周边电路构成，功能上具 有模板匹配部104a和被摄物体跟踪部104b。另外，在构成控制装置104 的存储器中包含SDRAM、闪速存储器。SDRAM为易失性的存储器， 在CPU执行程序时作为用于展开程序的工作存储器使用，或作为用于 暂时记录数据的缓冲存储器使用。并且，闪速存储器为非易失性的存 储器，记录有在执行程序时读出的各种参数等。
在本实施方式中，模板匹配部104a，相对于从摄像元件103输入 的滑动图像的各帧进行模板匹配处理，在帧内特别指定拍摄被摄物体 的区域。然后，被摄物体跟踪部104b在帧之间跟踪特别指定的区域。 具体来说，如下所述地进行处理。
模板匹配部104a进行作为模板匹配处理的标准的模板图像和从摄 像元件103以时间序列输入的各帧的图像数据(目标图像)之间的匹 配运算。具体来说，如图2所示，利用模板图像A特别指定目标图像 I内的被摄物体位置。模板图像A根据来自使用者的指示取得。例如， 在滑动图像的最初的帧显示在显示器106上时，使用者对操作部件101 进行操作，以在最初的帧内，指定包含要在帧之间跟踪的被摄物体的 范围。模板匹配部104a，将由使用者指定的范围内的图像作为模板图 像A提取，并存储在SDRAM中。
模板匹配部104a，在开始从摄像元件103输入滑动图像时，将各 帧的图像作为目标图像I，在该目标图像I上的规定的位置上设定与模 板图像相同大小的搜索框B。模板匹配部104a，使设定的搜索框B在
目标图像I内移动的同时进行各位置中的搜索框B内的图像(搜索部 分图像)和模板图像A之间的匹配运算。匹配运算的结果，将搜索部
分图像与模板图像A的相似度最高的重合区域的目标图像I内的坐标
值特别指定为被摄物体位置。
另外，模板匹配部104a，不将目标图像I的整体作为对象，而是 将包含从图像内提取模板图像A的位置的规定范围内(搜索对象区域 内)作为对象而进行模板匹配。由此，能够将进行模板匹配的范围限 定为存在目标图像I内的被摄物体的可能性高的范围，能够使处理高速 化。并且，由于模板匹配的方法公知，因而省略详细的说明，例如可 通过下述式(1)所示的残差和或下述式(2)所示的规格化相互关系 计算相似度。
在通过下述式(1)所示的残差和计算相似度的情况下，表示计算 出的r越小搜索部分图像与模板图像A的相似度越高。另一方面，通 过下述式(2)所示的规格化相互关系计算相似度的情况下，表示计算 出的r越大搜索部分图像与模板图像A的相似度越高。
欲it
—T5;加Sn (Am -刑(2eL伊鹏 -萄2)
图3A、图3B是表示使搜索框B在目标图像I的规定范围内移动 的同时进行模板匹配的情况下计算出的相似度的变化的图。在该图3A、 图3B中，纵轴表示相似度，横轴表示运算次数。目卩，表示在使搜索框 B移动的同时进行多次模板匹配的情况下，对应每次描绘相似度的结 果。其中，纵轴将相似度规格化地表示成0至1的数值，在本实施方 式中，将该以0至1表示的相似度的值称作相似度值。表示该相似度 值越接近0相似度越低，越接近l相似度越高。 在本实施方式中，模板匹配部104a，使搜索框B在搜索对象区域 内移动的同时进行多次模板匹配的结果，特别指定搜索部分图像与模 板图像A的相似度值最高的第一重合区域和搜索部分图像与模板图像 A的相似度值第二高的第二重合区域。模板匹配部104a将特别指定的 第一重合区域特别指定为该帧、即目标图像I中的被摄物体位置。
例如，在模板匹配的结果，相似度值如图3A所示地变化的情况下， 计算出最高相似度值3a时的目标图像I上搜索框B的位置被特别指定 为第一重合区域。并且，计算出第二高相似度值3b时的目标图像I上 搜索框B的位置被特别指定为第二重合区域。并且，第一重合区域被 特别指定为目标图像I上的被摄物体位置。
并且，模板匹配部104a计算出第一重合区域中的相似度值(最大 相似度)和第二重合区域中的相似度值(第二相似度)的差分的绝对 值。其结果，在相似度值的差分的绝对值大于规定的阈值的情况下， 例如在0.05以上的情况下，判断为第一重合区域的作为被摄物体位置 的可靠性高。另一方面，第一重合区域中的相似度值和第二重合区域 中的相似度值的差分的绝对值的计算结果在规定的阈值以下的情况 下，判断为第一重合区域的作为被摄物体位置的可靠性低。
艮口，模板匹配部104a，在第一重合区域中的相似度值和第二重合 区域中的相似度值的比较结果满足下述式(3)的情况下，判断为第一 重合区域的作为被摄物体位置的可靠性高，在不满足的情况下判断为 其可靠性低。
I第一重合区域中的相似度值-第二重合区域中的相似度值I 〉阈 值…(3)
例如，如图3A所示，在第一重合区域中的相似度值3a和第二重
合区域中的相似度值3b的差分的绝对值为0.8的情况下，模板匹配部
104a判断为第一重合区域的作为被摄物体位置的可靠性高。相对于此， 如图3B所示，在第一重合区域中的相似度值3c和第二重合区域中的 相似度值3d的差分的绝对值为0.015的情况下，模板匹配部104a判断 为第一重合区域的作为被摄物体位置的可靠性低。
在模板匹配部104a判断为第一重合区域的作为被摄物体位置的可 靠性低的情况下，设定下一个帧中的搜索对象区域，以在下一个帧中， 将第一重合区域及其周边区域以及第二重合区域及其周边区域作为各 自的搜索对象区域而进行模板匹配。在这里，将第一重合区域及其周 边区域作为第一搜索对象区域，将第二重合区域及其周边区域作为第 二搜索对象区域。
例如，在目标图像I内如图4A所示地特别指定第一重合区域4a 和第二重合区域4b的情况下，模板匹配部104a，在下一个帧中，如图 4B所示地在目标图像I内设定第一搜索对象区域4c和第二搜索对象区 域4d。由此，在当前帧中，在第一重合区域的作为被摄物体位置的可 靠性低的情况下，通过在相似度值第二高的第二重合区域的周围也包 含搜索对象区域，能够提高下一个帧中的模板匹配的精度。
此时，模板匹配部104a，与第一重合区域4a的相似度值对应地决 定第一搜索对象区域4c的尺寸(面积)，与第二重合区域4b的相似度 值对应地决定第二搜索对象区域4d的尺寸(面积)。例如，模板匹配 部104a，通过下述式(4)计算出第一搜索对象区域4c的纵向尺寸(高 度)，通过下述式(5)计算出横向尺寸(宽度)。并且，通过下述式
(6) 计算出第二搜索对象区域4d的纵向尺寸(高度)，通过下述式
(7) 计算出横向尺寸(宽度)。
第一搜索对象区域4c的纵向尺寸=(1一第一重合区域4a的相似度 值)X目标图像I的纵向尺寸…(4) 第一搜索对象区域4c的横向尺寸=(1一第一重合区域4a的相似度 值)X目标图像I的横向尺寸…(5)
第二搜索对象区域4d的纵向尺寸=(1一第二重合区域4b的相似度 值)X目标图像I的纵向尺寸…(6)
第二搜索对象区域4d的横向尺寸Kl一第二重合区域4b的相似度 值)X目标图像I的横向尺寸…(7)
模板匹配部104a，在下一个帧中相对于第一搜索对象区域和第二 搜索对象区域的各区域，利用模板图像A进行模板匹配。并且，模板 匹配部104a，相对于第一搜索对象区域和第二搜索对象区域的各区域， 特别指定上述的第一重合区域和第二重合区域。模板匹配部104a，对 计算出的在第一搜索对象区域内特别指定的第一重合区域的相似度值 和在第二搜索对象区域内特别指定的第一重合区域的相似度值进行比
较，将相似度值大的第一重合区域特别指定为下一个帧中的被摄物体 位置。
并且，根据在包含作为被摄物体位置特别指定的第一重合区域的 搜索区域内特别指定的第一重合区域和第二重合区域，通过下述式(3) 判断第一重合区域的作为被摄物体位置的可靠性，之后同样进行上述 的处理。
另一方面，模板匹配部104a，在判断为第一重合区域的作为被摄 物体位置的可靠性高的情况下，设定下一个帧中的搜索对象区域，以 在下一个帧中，将第一重合区域及其周边区域作为搜索对象区域而进 行模板匹配。然后，将搜索对象区域内作为对象而进行利用模板图像A 的模板匹配处理，执行上述的处理。
被摄物体跟踪部104b，在由上述处理通过模板匹配部104a特别指 定的被摄物体位置上，表示用于明示存在被摄物体的范围的目标框， 由此向使用者表示帧内的存在被摄物体的位置。即，被摄物体跟踪部
104b，通过用框包围各帧的目标图像I内作为被摄物体位置特别指定的 第一重合区域，表示目标框，所述目标框在目标图像I内表示被摄物体 位置。通过相对于以时间序列输入的滑动图像的各帧执行以上说明的 处理，能够在各帧中的被摄物体位置表示目标框，能够在各帧之间进 行被摄物体跟踪。
图5是表示本实施方式中的被摄物体跟踪装置100的处理的流程
图。图5所示的处理，作为从摄像元件103开始输入滑动图像时起动 的程序，由控制装置104来执行。
在步骤S1中，模板匹配部104a读出滑动图像的最初的帧后进入 步骤S2。在步骤S2中，模板匹配部104a，如上所述地根据来自使用 者的指示，从所读出的最初的帧内提取模板图像A。然后，进入步骤 S3。
在步骤S3中，模板匹配部104a，如上所述地将表示第一重合区 域的作为被摄物体位置的可靠性的高低的FLAG设定为OFF。另外， 在图5所示的处理中，FLAG为ON时表示第一重合区域的作为被摄物 体位置的可靠性低，FLAG为OFF时表示第一重合区域的作为被摄物 体位置的可靠性高。然后，进入步骤S4，模板匹配部104a读出滑动图 像的下一个帧后进入步骤S5。
在步骤S5中，模板匹配部104a判断FLAG是否设定为ON。判 断为否定的情况下，进入步骤S7，模板匹配部104a如否定一样使搜索 框B在设定在目标图像I内的搜索对象区域内移动，同时进行各位置 中的搜索框B内的图像和模板图像A之间的匹配而进行相似度运算。 并且，模板匹配部104a，如上所述地特别指定计算出最高的相似度值 的第一重合区域和计算出第二高的相似度值的第二重合区域，将第一 重合区域特别指定为被摄物体位置。然后进入步骤S8。相对于此，判 断为肯定的情况下，进入步骤S6，模板匹配部104a执行在图6中后述的被摄物体位置特定处理后进入步骤S8。
在步骤S8中，被摄物体跟踪部104b，在帧上的被摄物体位置表 示目标框后进入步骤S9。在步骤S9中，模板匹配部104a利用上述的 式(3)判断第一重合区域中的相似度值(最大相似度)和第二重合区 域中的相似度值(第二相似度)的差分的绝对值是否大于规定的阈值。 在判断为肯定的情况下，进入步骤SIO。
在步骤S10中，模板匹配部104a，如上所述地设定下一个帧中的 搜索对象区域，以在下一个帧中，将第一重合区域及其周边区域作为 搜索对象区域而进行模板匹配。然后进入步骤S13，模板匹配部104a 判断来自摄像元件103的帧的输入、即滑动图像的输入是否结束。在 判断为否定的情况下，返回步骤S4而重复处理。相对于此，在判断为 肯定的情况下，结束处理。
另一方面，在步骤S9中判断为否定的情况下，进入步骤Sll。在 步骤S11中，模板匹配部104a，将上述FLAG设定为表示第一重合区 域的作为被摄物体位置的可靠性低的ON。然后进入步骤S12，模板匹 配部104a，设定下一个帧中的搜索对象区域，以如上所述地在帧中将 第一重合区域及其周边区域以及第二重合区域及其周边区域作为各自 的搜索对象区域而进行模板匹配。然后进入上述的步骤S13。
图6是表示在步骤S6执行的被摄物体位置特定处理的流程的流程 图。在步骤S101中，模板匹配部104a，使搜索框B在上述的步骤S12 中根据第一重合区域设定的第一搜索对象区域内移动，同时进行各位 置中的搜索框B内的图像和模板图像A之间的匹配而进行相似度运算。 并且，模板匹配部104a，如上所述地特别指定计算出最高的相似度值 的第一重合区域和计算出第二高的相似度值的第二重合区域。将特别 指定的第一重合区域中的相似度值设为rl。然后进入步骤S102。
在步骤S102中，模板匹配部104a，如上所述地使搜索框B在上 述的步骤S12中根据第二重合区域设定的第二搜索对象区域内移动， 同时进行各位置中的搜索框B内的图像和模板图像A之间的匹配而进 行相似度运算。并且，模板匹配部104a，如上所述地特别指定计算出 最高的相似度值的第一重合区域和计算出第二高的相似度值的第二重 合区域。将特别指定的第一重合区域中的相似度值设为r2。然后进入 步骤S103。
在步骤S103中，模板匹配部104a，对计算出的rl和r2进行比较， 判断是否成立r2〉rl的关系。在判断为否定的情况下，进入步骤S104， 模板匹配部104a将在第一搜索对象区域内特别指定的第一重合区域特 别指定为被摄物体位置后进入步骤S106。相对于此，在判断为肯定的 情况下，进入步骤S105，模板匹配部104a将在第二搜索对象区域内特 别指定的第一重合区域特别指定为被摄物体位置后进入步骤S106。在 步骤S106中，将被设定为ON的FLAG设定为OFF后，返回图5所示 的处理。
根据以上说明的本实施方式，能够得到如下所述的作用效果。
(l)模板匹配部104a，使搜索框在以时间序列输入的输入图像的 各帧内设定的搜索对象区域内移动，同时计算出各搜索框位置中的搜 索框内的图像和模板图像之间的相似度值，将计算出的相似度值最高 的搜索框的输入图像内的位置特别指定为存在被摄物体的位置(被摄 物体位置)。并且，被摄物体跟踪部104b在多个帧的输入图像之间跟 踪模板匹配部104a特别指定的被摄物体位置。模板匹配部104a特别指 定计算出的相似度值成为最大值的第一重合区域和相似度值为第二的 第二重合区域，在第一重合区域中的相似度值和第二重合区域中的相 似度值的差分的绝对值在规定的阈值以下的情况下，根据第一重合区 域和第二重合区域，设定下一个帧中的搜索对象区域。由此，在当前 帧中，在第一重合区域的作为被摄物体位置的可靠性低的情况下，在
下一个帧中的搜索对象区域，由于相似度值第二高的第二重合区域的 周围也包含在搜索对象区域中，从而能够提高下一个帧中的模板匹配 的精度。
(2) 模板匹配部104a，将第一重合区域及其周边区域作为第一搜
索对象区域，将第二重合区域及其周边区域作为第二搜索对象区域， 由此，能够将下一个帧中的搜索对象区域限定在存在被摄物体的可能 性高的区域，从而提高处理速度。
(3) 模板匹配部104a，分别与第一重合区域的相似度值、第二重 合区域的相似度值对应而决定第一搜索对象区域和第二搜索对象区域 的尺寸。由此，能够在下一个帧中，与各自的重合区域的相似度值对 应而将最佳范围设定为搜索范围。
(4) 模板匹配部104a，在设定第一搜索区域和第二搜索区域作为 下一个帧的搜索区域的情况下，在下一个帧中，以各自的搜索对象区 域作为对象而计算出相似度值，将各自的搜索对象区域中的第一重合 区域中的、相似度值最高的特别指定为被摄物体位置。由此，能够从 存在被摄物体的可能性高的第一搜索区域和第二搜索区域中，精度良 好地特别指定被摄物体位置。
变形例
此外，上述实施方式的照相机也可以如下所述地进行变形。
(1)在上述实施方式中，对模板匹配部104a特别指定模板图像 A和搜索部分图像之间的相似度最高的第一重合区域和模板图像A和 搜索部分图像之间的相似度第二高的第二重合区域的例子进行了说 明，但是，特别指定的重合区域不限于2个，还可以特别指定相似度 值第三高的第三重合区域等3个以上的重合区域。在这种情况下，模 板匹配部104a，也可以根据特别指定的多个重合区域中的、相似度值
与第一重合区域的相似度值的差分不足规定的阈值、例如0.05以下的 重合区域，设定下一个帧的搜索对象区域。
(2) 在上述实施方式中，对使用照相机100作为被摄物体跟踪装 置，在滑动图像上跟踪被摄物体的例子进行了说明。但是，在照相机
ioo具有动画摄影功能的情况下，也可以将拍摄完的动画的各帧作为对
象而进行模板匹配，在构成动画的各帧之间进行被摄物体跟踪。并且， 也可以在能够重放动画的其他设备，例如个人用计算机(计算机)中
记录用于执行图5及图6所示的处理的程序，通过执行该程序，在计 算机上进行被摄物体跟踪。
(3) 并且，在个人用计算机等中应用的情况下，与上述控制有关 的程序可通过CD-ROM等记录介质或互联网等数据信号提供。图7是 表示该情况的图。个人用计算机400通过CD-ROM404接受程序的提 供。并且，个人用计算机400具有与通信线路401连接的功能。计算 机402是提供上述程序的服务器计算机，在硬盘403等记录介质中存 储所述程序。通信线路401为互联网等通信线路或专用通信线路等。 计算机402使用硬盘403读出程序，通过通信线路401将程序发送给 个人用计算机400。即，将程序作为数据信号包含在传送波中，通过通 信线路401发送。由此，程序可作为记录介质或数据信号等各种形式 的计算机能够读出的计算机程序产品来供给。
上述实施方式仅是本发明的示例，在不脱离本发明的范围的条件 下可以进行各种修改。
权利要求
1.一种被摄物体跟踪方法，其中，使搜索框在以时间序列输入的输入图像的各帧内设定的搜索对象区域内移动，同时计算出各搜索框位置中的所述搜索框内的图像和模板图像之间的相似度，将计算出的所述相似度最高的所述搜索框的所述输入图像内的位置特别指定为存在被摄物体的位置(被摄物体位置)，在所述各帧的输入图像之间跟踪特别指定的所述被摄物体位置，计算出所述相似度的最大值和第二大值的差分，根据计算出的所述差分的大小，设定下一个帧中的所述搜索对象区域。
2. 如权利要求l所述的被摄物体跟踪方法，其中， 在所述差分在规定的阈值以下的情况下，将所述相似度成为最大值的所述搜索框位置和所述相似度成为第二大的值的所述搜索框位置 特别指定为被摄物体位置候补，根据特别指定为所述被摄物体位置候补的所述搜索框位置，设定 下一个帧中的所述搜索对象区域。
3. 如权利要求l所述的被摄物体跟踪方法，其中， 在所述差分大于规定的阈值的情况下，将所述相似度成为最大值的所述搜索框位置特别指定为所述被摄物体位置候补，根据特别指定为所述被摄物体位置候补的所述搜索框位置，设定 下一个帧中的所述搜索对象区域。
4. 如权利要求l所述的被摄物体跟踪方法，其中， 在所述差分在规定的阈值以下的情况下，将所述相似度成为最大值的所述搜索框位置和所述相似度成为第二大的值的所述搜索框位置 特别指定为被摄物体位置候补， 在所述差分大于所述阈值的情况下，将所述相似度成为最大值的 所述搜索框位置特别指定为被摄物体位置候补，根据特别指定为所述被摄物体位置候补的所述搜索框位置，设定 下一个帧中的所述搜索对象区域。
5. 如权利要求2所述的被摄物体跟踪方法，其中， 在特别指定为所述被摄物体位置候补的各自的所述搜索框位置中，将包含各搜索框的规定尺寸的区域设定为下一个帧中的所述搜索 对象区域。
6. 如权利要求5所述的被摄物体跟踪方法，其中， 与相对于对应的各自的搜索框计算出的所述相似度对应而决定所述搜索对象区域的尺寸。
7. 如权利要求l所述的被摄物体跟踪方法，其中， 在设定多个搜索对象区域的情况下， 将各自的搜索对象区域作为对象而计算出所述相似度， 将计算出的所述相似度最高的所述搜索框的所述输入图像内的位置特别指定为所述被摄物体位置。
8. —种被摄物体跟踪装置，其包括实施权利要求1至7中任一项 所述的被摄物体跟踪方法的装置。
全文摘要
一种被摄物体跟踪方法，其中，使搜索框在以时间序列输入的输入图像的各帧内设定的搜索对象区域内移动，同时计算出各搜索框位置中的搜索框内的图像和模板图像之间的相似度，将计算出的相似度最高的搜索框的上述输入图像内的位置特别指定为存在被摄物体的位置(被摄物体位置)，计算出相似度的最大值和第二大值的差分，根据计算出的差分的大小，设定下一个帧中的搜索对象区域。
文档编号G06F17/30GK101373477SQ200810146349
公开日2009年2月25日 申请日期2008年8月25日 优先权日2007年8月24日
发明者阿部启之 申请人:株式会社尼康