摄影对象追踪方法、计算机程序产品及摄影对象追踪设备的制作方法

专利名称：摄影对象追踪方法、计算机程序产品及摄影对象追踪设备的制作方法
技术领域：
本发明涉及一种包含用于在帧间对摄影对象进行追踪的摄影对象 追踪程序的计算机程序产品以及一种摄影对象追踪设备。
背景技术：
在相关技术中存在为大家所公知的图案匹配方法，由此将图像划 分成多个图像区域并且提取通过对不同区域执行模板匹配处理所确定
的可实现最高相似级别的区域作为匹配区域(日本专利申请No. H5 — 81433)。
然而，如果采用相关技术中的方法以通过模板匹配来确定其背景 包含与模板相似的图像的图像之内的摄影对象位置，以便在帧间对摄
影对象进行追踪，那么会出现伪匹配(false match)，这使得不能进行
准确的对象追踪。

发明内容
根据本发明第一方面的摄影对象追踪方法包括计算顺序输入的 图像与模板图像的相似级别；根据该相似级别来确定每个输入图像中 的摄影对象位置；通过输入图像追踪摄影对象位置；判断对于该摄影 对象位置所计算的相似级别的可靠性是高还是低；以及如果判断相似 级别的可靠性低，则改变计算相似级别、确定摄影对象位置以及追踪
摄影对象位置中的至少一个的方式。
根据本发明的第二方面，在第一方面的摄影对象追踪方法中，通 过设置每个输入图像中的搜索目标区域、使搜索框移动到搜索目标区 域之内的多个位置、并且计算每个位置上的搜索框之内的图像与模板图像的相似级别来计算相似级别，并且确定摄影对象位置位于计算出 最高相似级别的搜索框的位置处。
根据本发明的第三方面，在第二方面的摄影对象追踪方法中，如 果相似级别的平均值与最高相似级别之间的差值的绝对值大于预定阈 值，则判断可靠性高，而如果该差值的绝对值等于或小于阈值，则判 断可靠性低。
根据本发明的第四方面，在第三方面的摄影对象追踪方法中，如 果判断可靠性低，则期望的是取消相应的输入图像中所确定的摄影对 象位置作为追踪目标的资格。
根据本发明的第五方面，在第三方面的摄影对象追踪方法中，如 果判断可靠性低，则优选的是，与对于该摄影对象位置所计算的相似 级别相对应地调节下述搜索目标区域的区域大小，在对随后的输入图 像所执行的模板匹配处理期间，搜索框在所述搜索目标区域上移动。
根据本发明的第六方面，在第三方面的摄影对象追踪方法中，如 果判断可靠性低，则与对于该摄影对象位置所计算的相似级别相对应 地调节搜索框在其上移动的搜索目标区域的区域大小，经由搜索框之 内的图像与模板图像的模板匹配来重新计算相似级别，所述模板匹配 是通过使搜索框在设置于当前输入图像之内的、具有被调节了的区域 大小的搜索目标区域内移动来执行的，并且将输入图像之内具有最高 重新计算的相似级别的搜索框的位置指定为摄影对象位置。
根据本发明的第七方面，在第二方面的摄影对象追踪方法中，如 果利用先前的输入图像所计算的最大相似级别的平均值与利用当前的 输入图像所计算的最大相似级别之间的差值的绝对值大于预定阈值， 则可判断可靠性高，而如果该差值的绝对值等于或小于阚值，则可判 断可靠性低。根据本发明的第八方面，在第七方面的摄影对象追踪方法中，如 果判断可靠性低，则优选的是，扩大下述搜索目标区域的区域大小， 在对随后的输入图像所执行的模板匹配处理期间，搜索框在所述搜索 目标区域上移动。根据本发明的第九方面，在第七方面的摄影对象追踪方法中，如 果判断可靠性低，则扩大搜索框在其上移动的搜索目标区域的大小， 经由搜索框之内的图像与模板图像的模板匹配来重新计算相似级别， 所述模板匹配是通过使搜索框在设置于当前输入图像之内的、被放大 了的搜索目标区域内移动来执行的，并且将输入图像之内具有最高重 新计算的相似级别的搜索框的位置指定为摄影对象位置。根据本发明第十方面的计算机可读计算机程序产品用于执行第一 至第九方面中的任一个的摄影对象追踪方法。根据本发明第十一方面的摄影对象追踪设备，包括相似级别计 算单元，计算顺序输入的图像与模板图像的相似级别；摄影对象位置 确定单元，根据相似级别来确定每个输入图像中的摄影对象位置；摄 影对象追踪单元，通过输入图像对摄影对象位置进行追踪；可靠性判 断单元，判断对于摄影对象位置所计算的相似级别的可靠性是高还是 低；以及处理控制单元，如果判断相似级别的可靠性低，则改变相似 级别计算单元对相似级别的计算、摄影对象位置确定单元对摄影对象位置的确定以及摄影对象追踪单元对摄影对象位置的追踪中的至少一 个的方式。


图1是示出了在实施例中所实现的照相机中所釆用的结构的方框图；图2示出了目标图像I、模板图像A以及搜索框B的特定示例；图3A和3B示出了当搜索框B在目标图像I的特定范围内移动时 通过模板匹配来计算的相似因子可如何变化；
图4示出了在第一实施例中的照相机100中所执行的处理的流程
图5示出了在第二实施例中可如何设置搜索目标区域；
图6示出了在第二实施例中的照相机100中所执行的处理的流程
图7示出了在第三实施例中可观察到的在帧间出现的相似因子的
变化；
图8示出了在第三实施例中可如何设置搜索目标区域；
图9示出了在第三实施例中的照相机100中所执行的处理的流程
图IO示出了在变形例中的照相机100中所执行的处理的流程图； 图11示出了在变形例中可如何设置搜索目标区域； 图12A和12B示出了在变形例中搜索框可如何在搜索目标区域之 内移动；以及
图13示出了在个人计算机上可如何追踪摄影对象。
具体实施方式
第一实施例
图1是示出了用于表示在本发明的第一实施例中所实现的摄影对 象追踪设备的照相机的方框图。照相机100具有操作构件101、透镜 102、图像传感器103、控制装置104、存储卡槽105、以及监视器106。 操作构件101包括诸如电源按钮、快门释放开关、縮放按钮、十字键 (cross key)、选择按钮、重放按钮以及删除按钮这样的用户操作的各 种输入构件。
虽然透镜102是由多个光学透镜组构成的，但是图1示出了单个 典型的透镜102。可由CCD或CMOS构成的图像传感器103通过捕获 经由透镜102所形成的对象图像而获得图像。然后将其已获得的图像的数据(图像数据)输出到控制装置104。控制装置104将经由图像传 感器103所获得的图像数据压縮成诸如JPEG格式这样的特定图像格 式，产生诸如Exif (用于数字式静物照相机的可交换图像文件格式) 这样的预定格式的图像文件，并且将由此所产生的图像文件输出到存 储卡槽105。
在加载了用作存储介质的存储卡的存储卡槽105上，将从控制装 置104所输出的图像文件写入并记录到存储卡中。此外，响应从控制 装置104输出的指令，在存储卡槽处读取存储在存储卡中的图像文件。
在作为装配在照相机100的后面的液晶监视器(后部监视器)的 监视器106上，将存储在存储卡中的图像、在其中选择用于照相机100 的设置的设置菜单等显示出来。此外，控制装置104按照时间顺序从 图像传感器103获得图像并且将由此获得的图像输出到监视器106。其 结果是，在监视器106上以预定时间间隔将每一个与给定帧相对应的 图像依次显示出来。换言之，在监视器106上将通过图像(through image)显示出来。
由CPU、存储器以及其他外围电路构成的控制装置104包括诸如 模板匹配单元104a和摄影对象追踪单元104b这样的功能单元。应当注 意，控制装置104中的存储器包括可以是闪存的用作缓冲存储器的 ROM以及诸如SDRAM这样的RAM。该实施例中模板匹配单元104a 对从图像传感器103输入的通过图像的顺序(sequential)帧的每一个 执行模板匹配处理以便确定对其上的该帧之内的摄影对象进行拍摄的 区域。摄影对象追踪单元104b在帧间对由此确定的区域进行追踪。更 具体地，执行以下处理。
模板匹配单元104a执行匹配计算以确定对于在按照时间顺序从图 像传感器103输入的每个帧中的图像数据(目标图像)的模板匹配处 理中用作参考图像的模板图像的匹配。更具体地，如图2所示，参考
9模板图像A确定目标图像I内的摄影对象位置。模板图像A是根据用
户所提供的指令而获得的。例如，当在监视器106上将第一通过图像 帧显示出来时用户对操作构件101进行操作以指定包含要在帧间追踪 的摄影对象的第一帧之内的范围。模板匹配单元104a提取用户所指定 的范围之内的图像以作为模板图像A并且将所提取的模板图像存储到 ROM中。
当从图像传感器103输入的通过图像开始时，模板匹配单元104a 将每个帧中的图像指定为目标图像I并且在目标图像I的特定位置设置 具有与模板图像的区域大小相等的区域大小的搜索框B。模板匹配单元 104a使由此设置的搜索框B在目标图像I内移动并且执行匹配计算以 在采用不同位置的搜索框B之内的图像(搜索区域图像)当中找到模 板图像A的匹配。根据该匹配计算结果，然后确定在目标图像I之内 所采用的下述坐标值所表示的摄影对象位置，所述坐标值与可实现搜 索框B中的图像与模板图像A之间的最高相似级别的匹配区域相对应。
应当注意，模板匹配单元104a在特定目标范围(搜索目标区域) 上执行模板匹配，而不是在整个目标图像I上执行模板匹配，所述特定 目标范围包含在其处已提取了模板图像A的位置。通过这些手段，可 将模板匹配范围限制在目标图像I中的可能包含摄影对象的范围，其结 果是可快速地执行该处理。另外，因为可通过采用为相关技术中所公 知的任何模板匹配方法来执行模板匹配处理，因此省略其详细说明。 例如，可通过根据例如以下(1)中所表达的残差和(residual sum)或 者以下(2)中所表达的标准化相关性(normalized correlation)来计算 相似因子而执行模板匹配处理。
当假定根据以下(1)中所表达的残差和来计算的作为相似因子的 r是较小值时，模板图像A与搜索区域图像之间的相似级别较高。相反， 当假定根据以下(2)中所表达的标准化相关性来计算的作为相似因子 的r是较大值时，模板图像A与搜索区域图像之间的相似级别较高。(表达式l)<formula>formula see original document page 11</formula>
(表达式2)<formula>formula see original document page 11</formula>
胆工(d胆工(")2)
图3A和3B示出了通过使搜索框B在目标图像I中的特定范围之 内移动来执行的模板匹配处理所计算的相似因子可如何变化。在图3A 和3B中，沿纵轴表示相似因子并且沿横轴表示执行计算的次数。也就 是说，该图示出了通过对当搜索框B移动并且多次执行模板匹配时每 次执行模板匹配所计算的相似因子进行标绘所获得的结果。应当注意， 在该实施例的描述中，沿纵轴所表示的相似因子具有在0和1的范围 内的标准化数值，将在0至1的范围内的表示相似级别的值称为相似 因子值。当相似因子值接近0时，相似级别较低，而当相似因子值靠 近1时，相似级别较高。
例如，如果通过模板匹配处理而使相似因子如图3A所示变化，那 么由当计算可实现最高相似因子值的点3a时目标图像I中的搜索框B 所采用的位置被确定为摄影对象位置。另一方面，如果相似因子如图 3B所示变化，那么由当计算可实现最高相似因子值的点3c时目标图像 I中的搜索框B所采用的位置被确定为摄影对象位置。
对显示于图3A中的结果与显示于图3B中的结果进行的比较表 明，虽然点3a上的相似因子值(最高相似因子值)由于与图3A中的 相似因子值平均值(相似因子候选值平均值)3b显著相差0.94而明显 高，但是图3B中的点3c上的最高相似因子值由于相对于相似因子候 选值平均值3d相差很小差值0.12而不明显高于其它相似因子值。这意 味着，在可将根据诸如图3A所示的结果而确定的摄影对象位置假定为 高度可靠的同时，可将根据诸如图3B所示的结果而确定的摄影对象位 置的可靠性假定为低。如果满足以下(3)中所表达的关系，那么该实施例中的模板匹配单元104a判断已确定的摄影对象位置的可靠性高，而在如果不满足(3) 中的关系的情况下判断可靠性低。|最高相似因子值一相似因子候选值平均值|>阈值...(3)在判断己确定的摄影对象位置高度可靠时，模板匹配单元104a指 定与对应于摄影对象位置的搜索框B相匹配的范围以作为目标图像I 中其内存在摄影对象的范围。于是，摄影对象追踪单元104b显示表示 下述范围的目标框，对象存在于该帧上的所述范围内，使得用户能够 确定摄影对象存在于该帧中的位置。另一方面，如果判断已确定的摄影对象位置的可靠性低时，摄影 对象追踪单元104b不显示与摄影对象位置相对应的目标框并且模板匹 配单元104a移动到对下一帧的模板匹配中。也就是说，在判断已确定 的摄影对象位置的可靠性低时，摄影对象追踪单元104b取消特定摄影 对象位置作为摄影对象追踪目标的资格。当对所输入的每个通过图像帧执行上述处理时，只有当在经由模 板匹配单元104a所执行的模板匹配处理而确定的相应的摄影对象位置 处实现高相似级别时，才可通过显示包含该追踪目标的目标框而在帧 间追踪摄影对象。图4示出了在第一实施例的照相机100中所执行的处理的流程图。 图4中的处理是由控制装置104基于下述程序来执行的，当从图像传 感器103所输入的通过图像开始时，启动所述程序。在步骤Sl中，模板匹配单元104a首先读取通过图像帧并且此后 操作前进到步骤S2。在步骤S2中，模板匹配单元104a根据用户发出 的指令从所读取的第一帧提取模板图像A。随后，操作前进到步骤S3。在步骤S3中，模板匹配单元104读取下一通过图像帧并且此后操 作前进到步骤S4。在步骤S4中，当如先前所说明的搜索框B在目标 图像I的预定范围之内移动时，模板匹配单元104a通过使不同位置上 的搜索框B之内的图像与模板图像A相匹配而执行的相似因子计算来 计算摄影对象位置。随后，操作前进到步骤S5。在步骤S5中，模板匹配单元104a参考表达式(3)来判定已确定 的摄影对象位置的可靠性是否高。如果判断可靠性低，那么操作回到 步骤S3以读取下一帧。另一方面，如果判断可靠性高，那么操作前进 到步骤S6，在步骤S6中摄影对象追踪单元104b显示表示下述范围的 目标框，在所述范围内摄影对象存在于当前帧上。此后操作前进到步 骤S7。在步骤S7中，模板匹配单元104a选择随后帧(subsequent frame) 的模板匹配所需的各种参数设置。例如，可选择搜索区域参数设置以 与所确定的摄影对象位置处的所计算的相似因子值相对应地指定搜索 框B在下一帧中要移动的范围(搜索范围)的位置或区域大小。更具体地，如果所确定的摄影对象位置处的已计算的相似因子值 高，那么对该摄影对象进行适当识别的可能性高并且因此，设置下一 帧的搜索区域参数以便在以所确定的对象位置为中心的较小范围上进 行搜索。另一方面，如果所确定的摄影对象位置处的已计算的相似因 子值低，那么略去该摄影对象并且因此，设置下一帧的搜索区域参数 以便在以所确定的对象位置为中心的更大范围上进行搜索。此后该操 作前进到步骤S8。在步骤S8中，模板匹配单元104a对所输入的通过图像是否已结 束做出判定。如果做出否定判定，那么操作回到步骤S3，在该步骤S3 中模板匹配单元104a读取下一帧。另一方面，如果做出肯定判定，那么该处理结束。在如上所述的第一实施例中可实现以下优点。(1) 当搜索框在设置在顺序输入的每个输入图像帧中的搜索目标 区域之内移动时，对搜索框中的图像和模板图像执行模板匹配以计算表示包含在采用(assume)特定搜索框位置的搜索框之中的图像与模板 图像之间的相似级别的相似因子。此后，将包含在与其相对应地计算 最高相似级别的搜索框之中的输入图像中的位置确定为摄影对象位 置，并且判断该摄影对象位置上的相似因子的可靠性。如果判断对于 该摄影对象位置所计算的相似因子的可靠性低，那么取消该帧中己确 定的摄影对象位置作为摄影对象追踪目标的资格。其结果是，仅显示 可实现高级别的相似因子可靠性的摄影对象位置处的目标框，而又可 进行髙度准确的摄影对象追踪。(2) 如按照(3)中的表达式来判断相似因子的可靠性。也就是 说，如果相对于模板图像而言最高相似因子值与对于采用不同搜索框 位置的搜索框中的图像所计算的相似因子值的平均值之间的差值的绝 对值大于预定阈值，那么判断对于该摄影对象位置所计算的相似因子 的可靠性高。然而，如果绝对值等于或小于预定阈值，那么判断对于 该摄影对象位置所计算的相似因子的可靠性低。因为这可按照统一标 准的方式来判断相似因子可靠性。第二实施例在如上所述的第一实施例中，如果通过(3)中所表达的决策 (decision-making)而判断已确定的摄影对象位置的可靠性低，那么模 板匹配单元104a继续对下一帧进行处理而不显示特定摄影对象位置处 的目标框。换言之，如果判断已确定的摄影对象位置的可靠性低，那 么取消特定摄影对象位置作为摄影对象追踪目标的资格。第二实施例中的模板匹配单元104a与第一实施例中的模板匹配单 元不同之处在于即使当通过(3)中所表达的决策而判断已确定的摄影 对象位置的可靠性低时，也显示当前帧中已确定的摄影对象位置处的 目标框并且指定该摄影对象位置作为摄影对象追踪目标。此后模板匹 配单元104a对先前所描述的搜索区域参数进行重新设置以在更大范围 上进行搜索以便提高在随后的帧中所确定的摄影对象位置的可靠性。 应当注意，因为参考图1至3所描述的第一实施例的方面还可应用于 第二实施例，所以没有提供其重复说明。对第二实施例进行进一步详细说明，如果判断所确定的摄影对象 位置的可靠性低，那么模板匹配单元104a扩大搜索目标区域，在目标 图像I中目标框B在所述搜索目标区域上移动。例如，如图5所示可 设置目标图像I之内的搜索目标区域C。此时，模板匹配单元104a以 预定比率扩大搜索目标区域或者与对于摄影对象位置所计算的相似因 子值相对应地调节该搜索目标区域的扩大率。图6示出了在第二实施例的照相机100中所执行的处理的流程图。 图6中的处理是由控制装置104基于下述程序来执行的，当开始从图 像传感器103输入通过图像时，启动所述程序。应当注意，将相同的 步骤编号分配给执行与图4中的处理相同的处理的步骤，已参考图4 对第一实施例进行描述，并且以下说明集中于与第一实施例的不同。在步骤S4中，如先前所说明的，模板匹配单元104a通过所执行 的相似因子计算来确定摄影对象位置。该实施例中的模板匹配单元 104a确定与设置在摄影对象位置处的搜索框B相对应的范围以作为包 含目标图像I中的摄影对象的范围，而不考虑已确定的摄影对象位置的 可靠性级别。此后操作前进到步骤S6，其中，在操作前进到步骤S7 之前，摄影对象追踪单元104b显示表示包含该帧上的摄影对象的范围 的目标框。在步骤S7中，模板匹配单元104a选择诸如先前所提到的用于下 一帧的模板匹配的所需的搜索区域参数设置这样的各种参数设置。随 后，操作前进到步骤S5，其中，模板匹配单元104a根据表达式(3) 来判定已确定的摄影对象位置的可靠性是否高。如果判断可靠性高， 那么操作前进到步骤S8。另一方面，如果判断可靠性低，那么操作前进到步骤Sll以根据 与摄影对象位置相对应地计算的相似因子值来重新设置步骤S7中所设 置的搜索区域参数。例如，如果所确定的摄影对象位置处的己计算的 相似因子的可靠性低，那么略去该摄影对象并且因此，必须在下一帧 中搜索以所确定的位置为中心的更大范围。因此，应对搜索区域参数 进行设置以便在这些情况下在比步骤S7中所设置的范围更大的范围上 执行搜索。此后操作前进到步骤S8。除了第一实施例的优点之外，通过上述第二实施例还可实现以下 优点。(1) 即使与特定摄影对象位置相对应地计算的相似因子的可靠性 低，也可显示已确定的摄影对象位置处的目标框。因此，显示每个通 过图像帧上的目标框而不考虑可靠性是高还是低，这使得用户能够确 定摄影对象位置的变化。(2) 如果与己确定的摄影对象位置相对应地计算的相似因子的可 靠性低，那么重新设置搜索区域参数。当对于所确定的摄影对象位置 所计算的相似因子的可靠性低时，略去该摄影对象。在这种情况下， 必须在以下一帧中的已确定的摄影对象位置为中心的更大范围上执行 搜索。在第二实施例中，引入了该构想并且对于下一帧而言使要搜索 的搜索目标区域的区域大小最佳化。第三实施例在如上所述的第一和第二实施例中，模板匹配单元104a根据如(3) 中的表达式所执行的决策而判断用于当前帧的已确定的摄影对象位置 的可靠性低。作为替代，在第三实施例中，计算对应于先前帧中的搜 索目标区域而计算的最大相似因子值的平均值与当前帧中的搜索目标 区域中的最大相似因子值之间的差值的绝对值，并且如果该计算结果
中所表示的绝对值大于特定阈值，那么判断用于当前帧的已确定的摄 影对象位置的可靠性高，然而如果该计算结果中所表示的绝对值等于 或小于预定阈值，那么判断用于当前帧的已确定的摄影对象位置的可 靠性低。如果判断当前帧中的己确定的摄影对象位置的可靠性低，那 么模板匹配单元104a扩大当前帧中的搜索目标区域。
更具体地，与第一和第二实施例中一样，模板匹配单元104a在目 标图像I中的预定位置处设置下述搜索框B，所述搜索框B占用其大小 等于模板图像大小的区域。此后模板匹配单元104a执行匹配计算以通 过使搜索框B在目标图像I之内移动而使占用不同位置的搜索框B之 内的图像(搜索区域图像)与模板图像A相匹配。它根据匹配计算结 果来确定与下述匹配区相对应的目标图像I之内的特定坐标值所表示 的位置，所述匹配区包含在可实现与模板图像A的最高相似级别的搜 索框B之内的图像。还计算该具体摄影对象位置处的相似因子值。此 后对以已确定的摄影对象位置为中心的新搜索框B进行设置并且通过 利用新设置的搜索框B来执行下一帧的匹配计算。
如图7所示，现在对已对于第四帧中的图像计算了最大相似因子 值的示例进行说明。在该情况下，模板匹配单元104a计算已对应于三 个之前的帧而计算的最大相似因子值的平均值7a，然后计算该平均值 7a与对于当前帧(第四帧)中的图像所计算的最大相似因子值7b之间 的差值的绝对值7c。如果表示该差值的绝对值7c大于预定阈值，那么 判断当前帧中已确定的摄影对象位置的可靠性高。另一方面，如果表 示该差值的绝对值7c等于或小于预定阈值，那么判断当前帧中已确定 的摄影对象位置的可靠性低。也就是说，只要满足以下(4)中所表达的关系，第三实施例中的 模板匹配单元104a就判断所确定的摄影对象位置的可靠性高，但是如 果不满足该关系，则判断可靠性低。
l对于先前帧所计算的最大相似因子值的平均值一对于当前帧所计算的最 大相似因子值|>阈值 ...(4)
如果不满足表达式(4)中的关系并且因此判断对于当前帧的已确 定的摄影对象位置的可靠性低，那么模板匹配单元104a在如图8所示 的扩大的搜寻目标区域上执行下一帧(图8中的帧5)的模板匹配处理。 在下一帧中所设置的摄影对象位置(搜索目标区域的中心)可采用与 在之前的帧中所包括的位置相同的位置(图8中的帧3)。
现在对下述示例进行说明，其中，经由通过利用第一至第四(当 前)帧并且对每个目标图像I中的搜索目标区域C进行设置而执行的 模板匹配，可判断对于当前帧(第四帧)的已确定的摄影对象位置的 可靠性低。在这种情况下，模板匹配单元104a通过扩大当前帧中的搜 索目标区域C来设置新的搜索目标区域D，然后在新设置的搜索目标 区域D上执行下一帧(帧5)的模板匹配处理。
图9示出了在第三实施例的照相机100中所执行的处理的流程图。 图9中的处理是由控制装置104基于下述程序来执行的，当开始从图 像传感器103输入通过图像时，启动所述程序。应当注意，将相同的 步骤编号分配给执行了与图4和图6中的处理相同的处理的步骤，已 参考图4对第一实施例进行了描述以及已参考图6对第二实施例进行 了描述，并且以下说明集中于与第一和第二实施例的不同。
在步骤S51中，模板匹配单元104a参考表达式(4)来判定已确 定的摄影对象位置的可靠性是否高。如果判断可靠性高，那么操作回到步骤S6，在步骤S6中摄影对象追踪单元104b显示与己确定的摄影 对象位置相对应的范围上的目标框。
另一方面，在操作前进到步骤S8之前，如果在步骤S51中判断可 靠性低，那么操作前进到步骤Sll，在该步骤Sll中模板匹配单元104a 重新设置搜索参数以便扩大搜索目标区域。
除了第一和第二实施例的优点之外，通过如上所述的第三实施例 还可实现以下优点。也就是说，确定下述绝对值，该绝对值表示对应 于先前帧而计算的最大相似因子值的平均值与对于当前帧所计算的最 大相似因子值之间的差值，然后对该绝对值与阈值进行比较，并且判 定对于当前帧的已确定的摄影对象位置的可靠性是高还是低。通过这 些手段，根据对于先前帧所计算的相似因子值可以高准确度级别来判 定对于当前帧的已确定的摄影对象位置的可靠性是高还是低。
变形示例
应当注意，具体化上述本发明的摄影对象追踪设备可考虑以下变形。
(1)在先前所说明的第二实施例中，即使对应于特定摄影对象位 置而计算的相似因子的可靠性低并且调节在对随后的帧的模板匹配过 程中所使用的搜索参数，也可显示该摄影对象位置上的目标框。反之， 当判断对于最初所确定的摄影对象位置所计算的相似因子的可靠性低 时，模板匹配单元104a重新设置搜索参数并且重新执行相似因子计算 以通过利用所调节的搜索参数来重新计算对于当前帧的摄影对象位 置。于是，摄影对象追踪单元104b显示所重新计算的摄影对象位置上 的目标框。
更具体地，控制装置104可执行图IO中所示的处理。应当注意， 在图10中，将相同的步骤编号分配给执行与图4、图6和图9中的处理相同的处理的步骤，已参考图4对第一实施例进行了描述，已参考
图6对第二实施例进行了描述，以及已参考图9对第三实施例进行了 描述。如图10所示，模板匹配单元104a在步骤S5中根据表达式(3) 来判定已确定的摄影对象位置的可靠性是否高。如果判断可靠性高， 那么操作前进到步骤S6，在步骤S6中摄影对象追踪单元104b显示与 所确定的摄影对象位置相对应的范围上的目标框。
另一方面，如果在步骤S5中判定可靠性低，那么操作前进到步骤 Sll，在步骤Sll中，模板匹配单元104a重新设置搜索参数以便扩大 搜索目标区域，然后操作前进到步骤S12。在步骤S12中，模板匹配单 元104a重新执行相似因子计算并且通过利用所调节的搜索参数来重新 计算对于当前帧的摄影对象位置。随后，操作前进到步骤S6，在步骤 S6中摄影对象追踪单元104b显示与新确定的摄影对象位置相对应的范 围上的目标框。
因为对搜索区域参数进行调节，以及如果判断通过对当前帧执行 模板匹配而最初确定的摄影对象位置的可靠性低则重执行模板匹配， 所以摄影对象追踪准确度提高了。
同样，在上述第三实施例中，在扩大了当前帧(图8中的帧4)中 的搜索目标区域之后重新执行模板匹配。例如，模板匹配单元104a可 设置比如图ll所示的当前帧(帧4)中的搜索目标区域C更大的新搜 索目标区域D。也就是说，可设置如帧4'中所表示的搜索目标区域D。 此后在搜索目标区域D上对当前帧(帧4')重新执行模板匹配处理。
(2)如果象在上述变形(1)中一样在当前帧中的扩大的搜索目 标区域上重新执行模板匹配，那么，通过第一模板匹配期间(session) 而搜索过的范围，即，通过步骤S4中所执行的处理而搜索过的范围， 不必再次经受该处理。换言之，只需在未经过初始模板匹配期间的范 围上，S卩，仅在扩大而超出了初始搜索目标区域的区域上，执行随后的搜索。例如，假定为初始模板匹配期间所设置的搜索目标区域是图12A中的范围8a,并且假定为随后的搜索所设置的扩大的范围包括附加范 围8a和范围8b，那么只需在搜索区域范围8b上重新执行搜索。更具 体地，模板匹配单元104a必须通过使搜索框B从重新搜索范围(8a+8b) 的外部以螺旋模式(pattern)移动来执行模板匹配，并且在搜索框B 进入范围8a之前立即停止该处理。(3) 参考第三实施例对下述示例进行说明，其中，模板匹配单元 104a根据表达式(4)来对下述差值的绝对值与阈值进行比较，以便判 断当前帧中已确定的摄影对象位置的可靠性，所述差值是在先前帧中 的搜索目标区域之内的最大相似因子值的平均值与在当前帧中所设置 的搜索目标区域中的最大相似因子值之间的差值。然而，如果对于先 前帧所计算的最大相似因子值包括具有低可靠性级别的相似因子值， 即最大相似因子值小于预定值，那么通过排除具有低可靠性的相似因 子值来计算在先前帧中所设置的搜索目标区域之内的最大相似因子值 的平均值。通过这些手段，可提高所进行的关于对于当前帧的己确定 的摄影对象位置的可靠性的判定的准确度。(4) 参考第一至第三实施例，已对下述示例进行说明，在所述示 例中，摄影对象追踪设备具体化为照相机，并且在通过图像中对摄影 对象进行追踪。然而，如果照相机100具有动态图像捕获功能，那么， 对构成已摄影的动态图像的不同帧执行模板匹配，并且通过构成动态 图像的帧来对摄影对象进行追踪。另外，将可执行图4、图6或图7中 所示的处理的程序记录在诸如可对动态图像进行重放的个人计算机这 样的另一设备中，并且当个人计算机执行该程序时在该个人计算机上 执行摄影对象追踪。可经由诸如CD-ROM这样的记录介质或者诸如互联网这样的通信线路提供可使个人计算机等根据上述本发明来执行摄影对象追踪处理 的程序。图13说明了可如何提供这种程序。个人计算机200通过CD-ROM 202来接收该程序。个人计算机200还可与下述通信线路201 相连，通过所述通信线路201可接收服务器203所提供的程序。通信 线路201可以是用于互联网通信、个人计算机通信等的通信线路，或 者可以是专用通信线路。服务器203经由通信线路201将程序传送到 个人计算机200。也就是说，经由通信线路201对来自服务器203的转 换成载波上的数据信号的程序进行传送。因此，可将该程序作为采用 包括记录介质或载波的任何不同模式的计算机可读计算机程序产品来 发行。应当注意，只要不牺牲用于表征本约定的功能，本约定无论如何 不会在任何方面受限于在上述实施例中所采用的结构细节。
权利要求
1. 一种摄影对象追踪方法，包括计算(S4)顺序输入的图像与模板图像的相似级别； 根据所述相似级别来确定(S4)每个所述输入图像中的摄影对象 位置；通过所述输入图像来追踪(S6)所述摄影对象位置； 判断(S5)对于所述摄影对象位置所计算的相似级别的可靠性是 高还是低；以及如果判断所述相似级别的可靠性低，则改变计算所述相似级别、 确定所述摄影对象位置和追踪所述摄影对象位置中的至少一个的方 式。
2. 根据权利要求1的摄影对象追踪方法，其中-通过在每个所述输入图像中设置搜索目标区域、使搜索框移动到所述搜索目标区域之内的多个位置以及计算每个所述位置处的搜索框 之内的图像与所述模板图像的相似级别来计算所述相似级别，并且确定所述摄影对象位置位于计算出最高相似级别的所述搜索框的 位置处。
3. 根据权利要求2的摄影对象追踪方法，其中如果所述相似级别的平均值与最高相似级别之间的差值的绝对值 大于预定阈值，则判断所述可靠性高，而如果该差值的绝对值等于或 小于所述阈值，则判断所述可靠性低。
4. 根据权利要求3的摄影对象追踪方法，其中如果判断所述可靠性低，则取消相应的输入图像中所确定的摄影 对象位置作为追踪目标的资格。
5. 根据权利要求3的摄影对象追踪方法，其中如果判断所述可靠性低，则对应于对于所述摄影对象位置所计算 的相似级别，来调节在对于随后的输入图像所执行的模板匹配处理期 间所述搜索框要在其上移动的所述搜索目标区域的区域大小。
6. 根据权利要求3的摄影对象追踪方法，其中 如果判断所述可靠性低；则对应于对于所述摄影对象位置所计算的相似级别来调节所述搜 索框要在其上移动的所述搜索目标区域的区域大小；通过所述搜索框之内的图像与所述模板图像的模板匹配来重新计 算所述相似级别，所述模板匹配是通过使所述搜索框在设置于当前输 入图像内的、具有调节了的区域大小的所述搜索目标区域内移动来执 行的；并且将所述输入图像之内具有最高重新计算的相似级别的搜索框的位 置指定为所述摄影对象位置。
7. 根据权利要求2的摄影对象追踪方法，其中 如果利用先前的输入图像所计算的最大相似级别的平均值与利用当前的输入图像所计算的最大相似级别之间的差值的绝对值大于预定 阈值，则判断所述可靠性高，而如果该差值的绝对值等于或小于所述 阈值，则判断所述可靠性低。
8. 根据权利要求7的摄影对象追踪方法，其中 如果判断所述可靠性低，则扩大所述搜索目标区域的区域大小，其中在对于随后的输入图像所执行的模板匹配处理期间，将要使所述 搜索框在所述搜索目标区域上移动。
9. 根据权利要求7的摄影对象追踪方法，其中 如果判断所述可靠性低；则扩大所述搜索框要在其上移动的所述搜索目标区域的区域大小；通过所述搜索框之内的图像与所述模板图像的模板匹配来重新计 算所述相似级别，所述模板匹配是通过使搜索框在设置于当前输入图 像内的、放大了的搜索目标区域内移动来执行的；并且将所述输入图像之内具有最高重新计算的相似级别的搜索框的位 置指定为所述摄影对象位置。
10. —种用于执行根据权利要求1至9中的任一项的摄影对象追 踪方法的计算机可读计算机程序产品(202)。
11. 一种摄影对象追踪设备(100)，包括相似级别计算单元(104a)，计算顺序输入的图像与模板图像的 相似级别；摄影对象位置确定单元(104a)，根据所述相似级别来确定每个 所述输入图像中的摄影对象位置；摄影对象追踪单元(104b)，通过所述输入图像来追踪所述摄影 对象位置；可靠性判断单元(104a)，判断对于所述摄影对象位置所计算的 相似级别的可靠性是高还是低；以及处理控制单元(104)，如果判断所述相似级别的可靠性低，则该 处理控制单元改变所述相似级别计算单元对所述相似级别的计算、所 述摄影对象位置确定单元对所述摄影对象位置的确定以及所述摄影对 象追踪单元对所述摄影对象位置的追踪中的至少一个的方式。
全文摘要
本发明提供摄影对象追踪方法、计算机程序产品及摄影对象追踪设备。该方法包括计算(S4)顺序输入的图像与模板图像的相似级别；根据该相似级别来确定(S4)每个输入图像中的摄影对象位置；通过输入图像追踪(S6)摄影对象位置；判断(S5)对于该摄影对象位置所计算的相似级别的可靠性是高还是低；并且如果判断相似级别的可靠性低，则改变计算相似级别、确定摄影对象位置以及追踪摄影对象位置中的至少一个的方式。该计算机程序产品用于执行该方法。该设备包括相似级别计算单元，进行所述计算步骤；摄影对象位置确定单元，进行所述确定步骤；摄影对象追踪单元，进行所述追踪步骤；可靠性判断单元，进行所述判断步骤；处理控制单元，进行所述改变步骤。
文档编号G06K9/00GK101311965SQ200810092860
公开日2008年11月26日 申请日期2008年5月4日 优先权日2007年5月2日
发明者铃木真树, 阿部启之 申请人:株式会社尼康