追踪点检测设备和方法,程序及记录介质的制作方法

专利名称：追踪点检测设备和方法,程序及记录介质的制作方法
技术领域：
本发明涉及追踪点检测设备和方法、程序及记录介质。更具体地 说，本发明涉及能够更有效、更确定地追踪对象的追踪点检测设备和 方法、程序及记录介质。
背景技术：
例如，从图像拾取设备传来的监视图像被显示在家庭安全系统中
的电视(TV)监视器上。对于这种系统，已提出了提高通过使用监视设 备，检测进入者的准确性的方法，所述监视设备是通过组合微波传感 器和图像传感器构成的。
此外，提出了自动追踪设置在追踪目标上的追踪点，并显示追踪 目标的图像的方法，所述追踪目标是在显示成运动图像的图像内变动 (移动)的对象。
不过，例如，如果多个对象在运动图像中移动，那么难以确定地 追踪希望的对象。
从而，提出了 一种称为门方法的方法。当依椐门方法进行追踪时， 仅仅根据包括在预先设置的称为门的预定区域中的像素检测追踪点。
不过，包括在门中的像素不是在每种情况下都被包括在希望追踪 的对象的图像中。例如，门可包括希望被追踪的对象的像素，和在所 述对象之后的背景图像的像素。
在这种情况下，如果仅仅根据包括在门中的像素追踪对象，那么 可能检测到错误的追踪点。
从而，提出了一种估计运动图像的背景图像的运动向量，从包括 在门的像素中除去运动向量和估计的运动向量相同的像素的技术(例 如，参见未经审查的日本专利申请公开No.2005-303983)。

发明内容
但是，即使使用在未经审查的日本专利申请公开No.2005-303983 中公开的技术，如果对象图像和背景图像相似地移动，那么也会确定 错误的追踪点。
最理想的是更有效、更确定地追踪对象图像。
按照本发明的实施例的追踪点检测设备是一种追踪点检测设备， 包括背景运动向量检测装置，用于检测构成运动图像的各帧之中的 帧中的像素的运动向量，并按照检测的运动向量，检测表示运动图像 的背景图像的运动的背景运动向量；背景图像生成装置，用于通过按 照检测的背景运动向量，对帧中的像素进行运动补偿，计算和更新保 存在存储器中的背景帧中的像素的像素值，所述背景帧是背景图像的 帧；门设置装置，用于把在其中进行表示位于在帧中指定的追踪点的 像素的运动的运动向量的检测的区域设置成由以位于追踪点的像素 为中心的预定数目的像素构成的运动检测范围，并通过按照保存在存 储器中的背景帧的数据，从包括在运动检测范围中的像素之中除去被 视为运动图像的背景图像的像素的像素，设置由数目小于或等于包括 在运动检测范围中的像素的数目的像素构成的门；追踪点运动检测装 置，用于利用包括在门中的像素，检测位于追踪点的像素的运动向量； 和追踪点确定装置，用于按照检测的位于追踪点的像素的运动向量， 确定位于最新帧的追踪点的像素。
背景图像生成装置可把从其开始处理的帧的数据作为背景帧的 初始数据保存在存储器中，按照背景运动向量对时间上在最新帧之前 的时间上在先帧中的每个像素进行运动补偿，并通过确定最新帧中的 像素的像素值与时间上在先帧中的对应像素的像素值之间的差值的
绝对值是否小于或等于第一预置阈值，检测运动图像的背景图像的候 选像素。
在确定最新帧中的像素的像素值与时间上在先帧中的对应像素 的像素值之间的差值的绝对值小于或等于第一预置阈值的情况下，背景图像生成装置还可计算最新帧中的像素的像素值与背景帧中的对 应像素的像素值之间的差值的绝对值，如果最新帧中的像素的像素值 与背景帧中的对应像素的像素值之间的差值的绝对值被确定为小于 或等于第二预置阈值，那么递增背景帧中的对应像素的计数器的计数
值，并根据背景帧中的对应像素的计数器的计数值，确定背景帧中的 对应像素的像素值是否应被更新。
在确定最新帧中的像素的像素值与时间上在先帧中的对应像素 的像素值之间的差值的绝对值小于或等于第一预置阈值，并且确定最 新帧中的像素的像素值与背景帧中的对应像素的像素值之间的差值 的绝对值小于或等于第二预置阈值的情况下，背景图像生成装置可确 定背景帧中的对应像素的计数器的计数值是否大于或等于第三预置 阈值，如果确定背景帧中的对应像素的计数器的计数值大于或等于第 三预置阈值，那么通过进行预定的计算，计算背景帧中的对应像素的 像素值。
背景图像生成装置可利用最新帧中的像素的像素值，背景帧中的 对应像素的像素值，和按照背景帧中的对应像素的计数器的计数值确 定的加权因子，计算背景帧中的对应像素的像素值。
门设置装置可设置由以位于在时间上在先帧中指定的追踪点的 像素为中心的预定数目的像素构成的运动检测范围，从存储器读取与 运动检测范围对应的背景帧中的像素，并通过从包括在运动检测范围 中的像素之中，除去被视为运动图像的背景图像的像素的像素，设置 门，被视为运动图像的背景图像的像素的像素是时间上在先帧中的像 素的像素值与背景帧中的对应像素的像素值之间的差值的绝对值小 于或等于预置阁值的像素。
背景运动向量检测装置可检测帧中的像素的运动向量，每个运动 向量是按照最新帧中的对应像素的像素值与时间上在先帧中的对应 像素的像素值之间的差值的绝对值检测的，产生关于所检测的运动向 量的柱状图，并把由产生的柱状图中的尖峰指示的运动向量检测为背 景运动向量。按照本发明的实施例的追踪点检测方法是一种包括下述步骤的
追踪点检测方法检测构成运动图像的各帧之中的帧中的像素的运动 向量，并按照检测的运动向量，检测表示运动图像的背景图像的运动 的背景运动向量；通过按照检测的背景运动向量，对帧中的像素进行 运动补偿，计算和更新保存在存储器中的背景帧中的像素的像素值， 所述背景帧是背景图像的帧；把在其中进行表示位于在帧中指定的追 踪点的像素的运动的运动向量的检测的区域设置成由以位于追踪点 的像素为中心的预定数目的像素构成的运动检测范围，并通过按照保 存在存储器中的背景帧的数据，从包括在运动检测范围中的像素之中 除去被视为运动图像的背景图像的像素的像素，设置由目小于或等于 包括在运动检测范围中的像素的数目的像素构成的门；利用包括在门 中的像素，检测位于追踪点的像素的运动向量；和按照检测的位于追 踪点的像素的运动向量，确定位于最新帧的追踪点的像素。
按照本发明的实施例的程序是使计算机起下述作用的程序背景 运动向量检测装置，用于检测构成运动图像的各帧之中的帧中的像素 的运动向量，并按照检测的运动向量，检测表示运动图像的背景图像 的运动的背景运动向量；背景图像生成装置，用于通过按照检测的背 景运动向量，对帧中的像素进行运动补偿，计算和更新保存在存储器 中的背景帧中的像素的像素值，所述背景帧是背景图像的帧；门设置 装置，用于把在其中进行表示位于在帧中指定的追踪点的像素的运动 的运动向量的检测的区域设置成由以位于追踪点的像素为中心的预 定数目的像素构成的运动检测范围，并通过按照保存在存储器中的背 景帧的数据，从包括在运动检测范围中的像素之中除去被视为运动图 像的背景图像的像素的像素，设置由数目小于或等于包括在运动检测 范围中的像素的数目的像素构成的门；追踪点运动检测装置，用于利 用包括在门中的像素，检测位于追踪点的像素的运动向量；和追踪点 确定装置，用于按照检测的位于追踪点的像素的运动向量，确定位于 最新帧的追踪点的像素。
按照本发明的实施例，检测构成运动图像的各帧之中的帧中的像素的运动向量，并按照检测的运动向量，检测表示运动图像的背景图
像的运动的背景运动向量；通过按照检测的背景运动向量，对帧中的 像素进行运动补偿，计算和更新保存在存储器中的背景帧中的像素的 像素值，所述背景帧是背景图像的帧；把在其中进行表示位于在帧中 指定的追踪点的像素的运动的运动向量的检测的区域设置成由以位 于追踪点的像素为中心的预定数目的像素构成的运动检测范围，并通 过按照保存在存储器中的背景帧的数据，从包括在运动检测范围中的 像素之中除去被视为运动图像的背景图像的像素的像素，设置由数目
小于或等于包括在运动检测范围中的像素的数目的像素构成的门；利 用包括在门中的像素，检测位于追踪点的像素的运动向量；和按照检 测的位于帧的追踪点的像素的运动向量，确定位于最新帧的追踪点的 像素。
按照本发明的实施例，能够更有效并且更确定地追踪对象图像。


图1是表示按照本发明的实施例的对象追踪系统的结构的例子 的方框图2是表示图1中所示的追踪单元的结构的例子的方框图3是表示图2中所示的背景运动检测单元的结构的例子的方框
图4是图解说明代表点匹配处理的示图； 图5是图解说明背景运动向量的检测例子的示图； 图6是图解说明加权因子的示图； 图7是图解说明按照本发明的实施例的门的例子的示图； 图8是图解说明按照本发明的实施例的对象追踪处理的例子的 流程图9是图解说明背景运动检测处理的例子的流程图； 图IO是图解说明背景图像生成处理的例子的流程图； 图ll是图解说明背景图像生成处理的例子的流程图；图12是图解说明门设置处理的例子的流程图； 图13是表示个人计算机的结构的例子的方框图。
具体实施例方式
下面，参考附图，说明本发明的实施例。
图1是表示按照本发明的实施例的对象追踪系统10的结构的例 子的方框图。
图1中，运动图像的信号被输入调谐器21,调谐器21把信号分 成图像信号和音频信号。调谐器21把图像信号输出给图像处理单元 22,把音频信号输出给音频处理单元23。
图4象处理单元22对从调谐器21输入的图像信号解码，并把所得 到的图像提供给追踪单元24。
追踪单元24执行在从图像处理单元22供给的图像中，追踪设置 在对象图像上，并由用户指定的追踪点的处理。追踪单元24利用追 踪结果等计算表现位置，所述表现位置被用作被追踪对象图像的表现 基准，并把关于所述表现位置的坐标信息输出给图像处理单元25。
图像处理单元25按照从追踪单元24供给的坐标信息等，进行例 如产生缩放图像的处理。
图像显示器26显示从图像处理单元25供给的缩放图像。
音频处理单元23对从调谐器21输入的音频信号解码，并把所得 到的音频信号提供给扬声器27。
控制单元30包括微计算机等等，并按照用户的指令控制各个单 元。遥控器31由用户操作，向控制单元30输出与用户的操作对应的 信号。
图2是表示追踪单元24的结构的例子的方框图。 如图2中所示，追踪单元24包括背景运动检测单元51，背景图
像生成单元52，门生成单元53，追踪点运动检测单元54，和追踪点
确定单元55。
背景运动检测单元51检测所供给的图像的预定像素的运动向量，并按照检测的运动向量检测背景运动向量，背景运动向量表示背 景图像的运动。
图3是表示背景运动检测单元51的结构的详细例子的方框图。 在图3中，代表点匹配处理单元71依据称为代表点匹配法的方法检 测运动向量。
下面将参考图4，说明依据代表点匹配法的运动向量的检测。代 表点匹配处理单元71在主题帧中设置预定的代表点。在图4中所示 的例子中，圓代表充当主题帧中的代表点的像素，20^5x4)个像素将 充当代表点。
代表点匹配处理单元71计算充当主题帧中的预定代表点的像素 的像素值和包括在参考帧中的搜索区中的像素的像素值之间的差值。 在本例中，在参考帧中设置了以坐标(x，y)为中心，由sxt个像素构成 的搜索区，坐标(x，y)表示充当代表点的像素的位置。代表点匹配处理 单元71计算参考帧的搜索区中的像素的像素值和充当主题帧中的预 定代表点的像素的像素值之间的差值，搜索区的大小为sxt，并以参 考帧的坐标(x,y)为中心。
这里，图4中的主题帧是时间上在参考帧之前的帧。
随后，代表点匹配处理单元71与对应的运动向量关联地保存如 上所述计算的像素值之间的每个差值的绝对值。例如，与运动向量(l，l) 关联地保存位于参考帧中的坐标(x+l，y+l)的像素的像素值和充当主 题帧中的代表点的像素的像素值之间的差值的绝对值。与运动向量 (-l，-l)关联地保存位于参考帧中的坐标(x-l,y-l)的像素的像素值和充 当主题帧中的代表点的像素的像素值之间的差值的绝对值。与运动向 量(O,O)关联地保存位于参考帧中的坐标(x，y)的像素的像素值和充当主 题帧中的代表点的像素的像素值之间的差值的绝对值。
如上所述，搜索区由sxt个像素构成，从而对于每个代表点，计 算(sxt)个运动向量的差值的绝对值。
代表点匹配处理单元71对主题帧中的20个代表像素中的每个像 素，进行计算所述差值的绝对值的处理，并与对应的运动向量关联地保存所述绝对值。这里，计算的差值的绝对值越小(越接近于0)，对
应的运动向量的可靠性越高。
返回图3,估计值表生成单元72按照来自代表点匹配处理单元 71的处理结果，生成运动向量的估计值表。估计值表生成单元72比 较由代表点匹配处理单元71计算的每个差值的绝对值与预置阈值。 如果差值的绝对值小于或等于预置阈值，那么估计值表生成单元72 把与所述差值的绝对值相关的运动向量的估计值加1。估计值表生成 单元72通过对代表点匹配处理单元71计算的所有差值的绝对值进行 这样的处理，生成运动向量的估计值表。从而，生成包括(sxt)个运动 向量的估计值的估计值表，每个运动向量与包括在参考帧的sxt搜索 区中的像素中的一个对应像素对应。
候选向量提取单元73按照估计值表生成单元72生成的估计值 表，生成如图5中所示的柱状图。
随后，候选向量提取单元73检测与柱状图中的尖峰对应的运动 向量，作为表示主题帧的背景图像的运动的背景运动向量。这是因为 与柱状图中的尖峰对应的运动向量被视为代表主题帧的主要运动的 运动向量，并且这种运动通常被视为覆盖主题帧的图像的大部分的背 景图像的运动。在图5中所示的例子中，尖峰位于向量(O，O)。这意味 在这种情况下，主题帧的背景图像几乎没有移动。
这里，说明了依据代表点匹配法计算与主题帧中的对应像素的运 动向量相关的差值的绝对值的情况；不过，例如，可以使用块匹配方 法、梯度方法等来计算与对应运动向量相关的差值的绝对值。
此外，说明了对于图4中所示的20个代表点中的每一个，计算 运动向量的差值的绝对值的情况；不过，例如，可从所述20个代表 点中选择满足预定条件的代表点，并对每个选择的代表点计算运动向 量的差值的绝对值。例如，如果充当代表点的像素亮度低，并且该像 素和周围像素之间的亮度差较小(平直)，那么最好不把从充当该代表 点的像素的运动向量获得的数据增加到柱状图中。这是因为这种运动 向量被视为可靠性低的运动向量。按照这种方式检测背景运动向量，并且检测的背景运动向量被用
在如下所述由背景图像生成单元52进行的运动补偿处理中。
参见图2，背景图像生成单元52生成和更新背景图像的帧(下面 称为"背景帧")。
背景图像生成单元52把例如第0帧(它是时间上最早的帧)作为 初始背景帧(背景帧的初始数据)保存在存储器(图中未示出)或类似物中。
此外，背景图像生成单元52计算一帧输入图像数据中'的像素值 和时间上在该帧之后的另 一帧中的对应像素值之间的差值的绝对值。 例如，背景图像生成单元52计算第一帧中的像素的像素值与时间上 在第一帧之后的第二帧中的对应像素的像素值之间的差值，并确定每 个差值的绝对值是否小于或等于预定阈值(下面称为"第一预置阈 值，，)。
这里，当背景图像生成单元52计算第二帧中的像素的像素值与 第一帧中的对应像素的像素值之间的差值时，背景图像生成单元52 通过利用背景运动检测单元51检测的背景运动向量，对第一帧中的 像素进行运动补偿，指定与第一帧中的像素的位置对应的第二帧中的 像素的位置。
即，背景图像生成单元52利用背景运动向量对两个时间上相邻 的帧进行运动补偿，计算所述两个时间上相邻的帧中的像素值之间的 差值的绝对值，并比较每个差值的绝对值与第一预置阈值。这里，其 差值的绝对值小于或等于第一预置阈值的像素被视为具有与运动图
像的背景图像的运动向量相似的运动向量的像素。该像素被视为被包 括在背景图像中的可能性高的像素。背景图像生成单元52把这样的 像素看作背景图像的候选像素，并如下所述从一个或多个候选像素中 指定背景图像的像素。
从而，背景图像生成单元52指定第二帧中的像素(背景图像的候 选像素)的位置，该像素的差值的绝对值已被确定为小于或等于第一预 置阈值，从存储器或类似物中读取背景帧中的像素的像素值，背景帧中的该像素与第二帧中的所述像素位于相同的位置，并计算第二帧中 的所述像素的像素值与背景帧中的该像素的像素值之间的差值的绝
对值。随后，背景图像生成单元52比较第二帧中的所述像素的像素 值与背景帧中的该像素的像素值之间的差值和预定阈值(下面称为"第 二预置阈值")。
即，背景图像生成单元52计算最近的一帧(这里，第二帧)中的 预定像素与背景帧中的对应像素之间的差值的绝对值。这里，其差值 的绝对值小于或等于第二预置阈值的像素被视为在运动图像中略微 移动的 一部分的像素。该像素被视为包括在背景图像中的可能性高的 像素。这是因为存在于运动图像中的对象通常变动(移动)。
背景图像生成单元52从与最新帧(这里，笫二帧)中的预定像素 对应的背景帧中的像素中指定像素，对于该像素来说，背景帧中的该 像素的像素值与最新帧中的预定像素中的 一个对象像素的像素值之
间的差值的绝对值小于或等于第二预置阈值。背景图像生成单元52 随后把用于背景帧中的该像素的计数器加1。
类似地，背景图像生成单元52利用背景运动向量进行运动补偿， 计算第二帧的像素的像素值与时间上在第二帧之后的第三帧中的对
应像素的像素值之间的差值，并确定每个差值的绝对值是否小于或等 于第一预置阈值。
随后，背景图像生成单元52指定第三帧中其差值的绝对值已被 确定为小于或等于第一预置阈值的像素的位置，从存储器或类似物中 读取与第三帧中的所述像素位于相同位置的背景帧中的像素的像素 值，并比较第三帧中的像素的像素值与背景帧中的像素的像素值之间 的差值的绝对值和第二预置阈值。
背景图像生成单元52指定包括在背景帧中的像素，对该像素来 说，背景帧中的该像素的像素值与最新帧(这里，笫三帧)中的预定像 素的像素值之间的差值的绝对值已被确定为小于或等于第二预置阈 值，并把用于包括在背景帧中的该像素的计数器加1。相反，背景图 像生成单元52把包括在背景帧中，并且对其来说，背景帧中的像素
16的像素值与最新帧中的对应预定像素的像素值之间的差值的绝对值
大于第二预置阈值的像素的计数器的计数值置为0。此外，当背景图 像生成单元52利用背景运动向量进行时间上相邻的两帧之间的运动 补偿，背景图像生成单元52把包括在背景帧中，位于与其计算的差 值的绝对值大于第一预置阈值的像素对应的位置的像素的计数器的 计数值置为0。
背景图像生成单元52反复进行这样的处理。即，对于背景帧中 的每个像素，如果背景帧中的该像素被接连多次确定为背景图像的像 素，那么背景帧中的该像素被确定为背景图像的像素的次数被保存为 该像素的计数器。
此外，当背景图像生成单元52递增这样的计数器时，背景图像 生成单元52确定计数器的计数值是否已大于或等于预置阈值(下面称 为"第三预置阈值")。如果背景图像生成单元52确定计数器的计数值 大于或等于第三预置阈值，那么背景图像生成单元52计算与该计数 器对应，并且包括在背景帧中的像素的像素值。这里，其计数值被确 定为大于或等于第三预置阚值的像素是已被接连多次确定为背景图 像的像素的像素。从而，该像素可被视为关于背景图像具有高连续性
的像素。
背景图像生成单元52利用下面的表达式，计算包括在背景帧中 的像素的值X。
X=aY+(l-a)Z
这里，Y代表最新帧中的像素的像素值，Z代表背景帧中的像素 的像素值，背景帧被保存在存储器或类似物中。此外，a代表加权因 子，是按照背景帧中的像素的计数值确定的。
图6是加权因子a的值与计数值的关系图。如图6中所示，加权 因子a的值在0-l的范围中。当计数值变得越大时，加权因子a的值 坤皮设置成接近于1,在计数值超过预定值之后的任何情况下，纟皮设置 成保持为1 值。这里，背景图像生成单元52预选保存关于如图6 中所示的关系图的数据。即，具有高连续性(大的计数值)，并且包括在背景帧中的像素的 像素值被更新为与包括在最新帧中的对应像素的像素值接近的值。具 有高连续性，并且包括在背景帧中的像素的像素值被包括在最新帧中
的对应像素的像素值替换。这样，背景图像生成单元52利用上述表 达式更新包括在背景帧中的像素的像素值，该像素已被确定为关于背 景图像具有高连续性。
背景图像生成单元52按照这种方式生成和更新背景帧的图像。
参见图2，门生成单元53生成门，所述门是由追踪点运动检测 单元54进行运动检测的区域。
门生成单元53计算主题帧中的像素的像素值与由背景图像生成 单元52生成的背景帧中的对应像素的像素值之间的差值的绝对值， 并通过确定每个差值的绝对值是否小于或等于预置阈值(下面称为"第 四预置阈值")，设置称为门的区域。
门生成单元53把其中已如图7中所示指定了追踪点的帧视为主 题帧，并把由含有所述追踪点的预定数目的像素构成的运动检测范围 设为中心。
在图7中所示的例子中，由(nxm)个^f象素构成的运动检测范围以 位于主题帧的追踪点的像素为中心。
门生成单元53获得包括在与主题帧的运动检测范围对应的背景 帧的运动检测范围中的像素。这里，门生成单元53从背景图像生成 单元52生成，并保存在存储器或类似物中的背景帧中获得均与包括 在主题帧中设置的运动检测范围中的像素中的对应像素位于相同位 置的像素。
随后，门生成单元53计算主题帧的运动检测范围中的像素的像 素值与背景帧的运动检测范围中的对应像素的像素值之间的差值的 绝对值。这里，其差值的绝对值小于或等于第四预置阈值的像素被视 为背景图像的像素，其差值的绝对值大于第四预置阈值的像素被视为 希望追踪的对象的图像的像素。
门生成单元53从主题帧的运动检测范围中的像素中，指定其差值的绝对值大于第四预置阈值的像素，并把所述像素的坐标指定为门 的坐标。
门生成单元53按照如上所述指定的坐标，在将在其中检测追踪 点，并且时间上在主题帧之后的参考帧中设置门。从而，如图7中所 示，在参考帧中设置门。
返回参见图2，追踪点运动检测单元54利用包括在由门生成单 元53生成的门中的像素，检测主题帧的追踪点的运动。
例如，追踪点运动检测单元54通过确定图7中所示的主题帧的 追踪点对应于参考帧中的哪个像素，检测主题帧的追踪点的运动。这 里，追踪点运动检测单元54通过仅仅利用包括在门中的像素，进行 诸如块匹配、代表点匹配之类的处理，检测位于主题帧的追踪点的-像 素的运动向量，所述像素是如上参考图7所述那样选择的。
追踪点确定单元55按照追踪点运动检测单元54检测的运动向 量，确定主题帧的追踪点移动到参考帧中的哪个位置，并把位于所确 定位置的像素确定为位于参考帧的追踪点的像素。
这样，对于运动图像的每一帧，检测该帧的追踪点。按照本发明 的实施例，仅仅利用包括在由门生成单元53设置的门中的像素检测 追踪点的运动，从而能够更有效、更确定地追踪对象图像。
在现有技术中，对象图像的像素和背景图像的像素可能被包括在 门中。在这种情况下，如果仅仅按照包括在门中的像素追踪对象图像， 那么可能检测错误的追踪点。
按照本发明的一个实施例，门生成单元53通过从与基于现有技 术的现有门对应的运动检测范围中的像素中，除去背景图像的像素， 生成门。从而，仅仅根据包括在门中的像素，能够高度确定地追踪对 象图像。
此外，在现有技术中，例如，如果对象图像和背景图像相似地移 动，那么可能检测错误的追踪点。
按照本发明的一个实施例，按照包括在由背景图像生成单元52 生成的背景帧中的对应像素的像素值，从包括在运动检测范围中的像素中除去被视为背景图像的像素的任何像素。从而，例如，即使对象 图像和背景图像类似地移动，也能够确定地从包括在运动检测范围中 的像素中，仅仅除去被视为背景图像的像素的像素。
下面，参考图8中所示的流程图，说明由按照本发明的实施例的 对象追踪系统10进行的对象追踪处理。当输入要被处理，以便追踪 对象图像的运动图像的图像数据时，执行该处理。
在步骤S11中，追踪单元24确定输入的图像数据是否是从其开 始处理的帧(下面称为"处理起始帧")的数据。在步骤S11中，如果追 踪单元24确定输入的图像数据是处理起始帧的数据，那么处理进入 步骤S12。如果追踪单元24确定输入的图像数据不是处理起始帧的数 据，那么处理进入步骤S13。
在步骤S12中，追踪单元24确定初始追踪点。例如，初始追踪 点是通过确定与由用户在显示在图像显示器26上的图像中，指定为 追踪点的位置对应的像素的坐标来确定的。
在步骤S13中，背景运动检测单元51执行下面将参考图9说明 的背景运动检测处理。从而，检测背景运动向量。
在步骤S14中，背景图像生成单元52执行下面将参考图10和 ll说明的背景图像生成处理。从而，生成背景帧。
在步骤S15中，门生成单元53执行下面将参考图12说明的门设 置处理。从而，设置门。
在步骤S16中，追踪点运动检测单元54仅仅利用包括在由步骤 S15中的处理设置的门中的像素，进行块匹配、代表点匹配等等，并 检测位于追踪点的像素的运动向量。
在步骤S17中，追踪点确定单元55按照由步骤S16中的处理检 测的运动向量，确定主题帧的追踪点移动到参考帧中的哪个位置，并 把位于所确定位置的像素确定为位于参考帧的追踪点的像素。
在步骤S18中，追踪单元24确定是否存在下一帧。如果追踪单 元24确定存在下一帧，那么处理返回步骤Sll，再次执行步骤Sll 中及其后的处理。在步骤S18中，如果追踪单元24确定不存在下一
20帧，那么处理结束。
下面，参考图9中所示的流程图，更具体地说明图8的步骤S13 中的背景运动检测处理。
在步骤S31中，代表点匹配处理单元71进行代表点匹配处理。 这里，例如，如上参考图4所述，代表点匹配处理单元71设置 主题帧中的预定代表点。随后，代表点匹配处理单元71计算充当主 题帧中的预定代表点的像素的像素值与包括在参考帧的搜索区中的 像素的像素值之间的差值的绝对值。代表点匹配处理单元71与对应 运动向量关联地保存所述差值的绝对值。按照这种方式，代表点匹配 处理单元71对于主题帧中的每个代表点(例如，20个代表点)，进行 计算所述差值的绝对值，并与对应运动向量关联地保存所述差值的绝 对值的处理。
在步骤S32中，估计值表生成单元72按照步骤S31中的处理结 果，生成运动向量的估计值表。
这里，估计值表生成单元72比较由代表点匹配处理单元71计算 的每个差值的绝对值和预置阅值。如果所述差值的绝对值小于或等于 预置阈值，那么估计值表生成单元72把与所述差值的绝对值相关的 运动向量的估计值加1。估计值表生成单元72通过对代表点匹配处理 单元71计算的所有差值的绝对值进行这样的处理，生成运动向量的 估计值表。
在步骤S33中，候选向量提取单元73按照由步骤S32中的处理 生成的估计值表，生成柱状图，并提取背景运动向量。
这里，例如，候选向量提取单元73生成如图5中所示的柱状图。 随后，候选向量提取单元73提取与柱状图中的尖峰对应的运动向量， 作为代表主题帧的背景图像的运动的背景运动向量。
按照这种方式，检测了背景运动向量。
这里，说明了依据代表点匹配法计算与包括在主题帧中的像素的 运动向量相关的差值的绝对值的情况；不过，例如，可以使用块匹配 方法、梯度方法等等来计算与运动向量相关的差值的绝对值。
2此外，例如，说明了对于图4中所示的20个特征点的每一个，
计算运动向量的差值的绝对值的情况；不过，例如，可从20个代表
点中选择满足预定条件的代表点，并关于每个选择的代表点，计算运 动向量的差值的绝对值。例如，如果充当代表点的像素亮度低，并且 该像素和周围像素之间的亮度差较小(平直)，那么最好不把从充当该 代表点的像素的运动向量获得的数据增加到柱状图中。
下面参考图IO和11中所示的流程图，更具体地说明图8的步骤 S14中的背景图像生成处理。
在步骤S51中，背景图像生成单元52确定当前输入帧是否是处 理起始帧。例如，如果输入构成运动图像的数据的各帧中的第一帧(时 间上第一的帧)，那么步骤S51中，背景图像生成单元52确定输入 帧是处理起始帧。之后，处理进入步骤S52。
在步骤S52中，背景图像生成单元52把处理起始帧作为初始背 景帧(背景帧的初始数据)保存在存储器(图中未示出)或类似物中。
在执行步骤S52中的处理之后，在步骤S53中，背景图像生成 单元52把所有计数器的计数值都置为0,每个计数器被分配给构成一 帧图像的各个像素中的对应 一个像素。
在背景图像生成单元52在步骤S51中确定当前输入帧不是处理 起始帧，或者在执行步骤S53中的处理之后，处理进入步骤S54，背 景图像生成单元52按照由步骤S13中的处理检测的背景运动向量， 对包括在时间上在先帧中的像素进行运动补偿。
这里，时间上在先帧是保存在为把图像数据延迟显示 一帧的时间 而准备的存储器或类似物中的帧。
在步骤S54中，通过对包括在时间上在先帧中的像素进行运动补 偿，确定包括在当前输入帧(最新帧)中的像素的与包括在时间上在先 帧中的像素的位置对应的位置。
在步骤S55中，背景图像生成单元52计算包括在最新帧中的像
值的绝对值,这里，步骤S55中的获得所述差值的绝对值的这种计算是在最新
行的。这种情况下，;如，计算位于最新帧中的坐标(x，y)的像素的像 素值和位于时间上在先帧中的坐标(x，y)的像素的像素值之间的差值 的绝对值。随后，当再次执行步骤S55中的处理时，计算位于最新帧 中的坐标(x+l，y)的像素的像素值和位于时间上在先帧中的坐标(x+l，y)
的像素的像素值之间的差值的绝对值，等等。按照这种方式，获得最
的差值的绝对值。
在步骤S56中，背景图像生成单元52确定由步骤S55中的处理 计算的差值的绝对值是否小于或等于第一预置阄值。
在步骤S56中，如果背景图像生成单元52确定由步骤S55中的 处理计算的差值的绝对值小于或等于第一预置阈值，那么处理进入步 骤S57。
在步骤S57中，背景图像生成单元52确定其差值的绝对值已由 步骤S56中的处理确定为小于或等于第一预置阈值的像素的位置，从 存储器或类似物中读取包括在背景帧中，并与其差值的绝对值已被确 定为小于或等于第一预置阈值的像素位于相同位置的像素的像素值， 并且计算包括在最新帧中的像素的像素值与包括在背景帧中的该像 素的像素值之间的差值的绝对值。
在步骤S58中，背景图像生成单元52确定由步骤S57中的处理
计算的差值的绝对值是否小于或等于第二预置阈值。
在步骤S58中，如果背景图像生成单元52确定由步骤857中的 处理计算的差值的绝对值不小于或等于第二预置阈值，那么处理进入 步骤S59。此外，在步骤S56中，如果背景图像生成单元52确定由步 骤S55中的处理计算的差值的绝对值不小于或等于第一预置阈值，那 么处理也进入步骤S59。
在步骤S59中，背景图像生成单元52把包括在背景帧中的像素 的计数器的计数值置为0。在执行步骤S59中的处理之后，处理进入图11的步骤S64。
相反，在步骤S58中，如果背景图像生成单元52确定由步骤S57 中的处理计算的差值的绝对值小于或等于第二预置阈值，那么处理进 入图11的步骤S60。
在步骤S60中，背景图像生成单元52确定像素的计数值是否大 于或等于第三预置阈值。如果背景图像生成单元52确定像素的计数 值大于或等于第三预置阈值，那么处理进入步骤S61。
在步骤S61中，背景图像生成单元52计算包括在背景图像中的 像素的像素值。随后，如上所述，例如，利用下面的表达式计算包括 在背景帧中的像素的值X。
X-aY+(l-a)Z
这里，Y代表包括在最新帧中的像素的像素值，Z表示包括在保 存于存储器或类似物中的背景帧中的像素的像素值。此外，a表示加 权因子，是如上所述，利用如图6中所示的数据，按照背景帧中的像 素的计数值确定的。
在步骤S62中，背景图像生成单元52用由步骤S61中的处理计 算的值代替包括在背景帧中的像素的像素值，并更新背景帧的数据。
在步骤S63中，背景图像生成单元52把像素的计数值加1。这 里，加权因子a的值可与该计数值关联地被保存。
在步骤S64中，背景图像生成单元52确定是否完成了对一帧中 的所有像素的处理。如果背景图像生成单元52确定未完成对一帧中 的所有像素的处理，那么处理返回步骤S55，并再次执行步骤S55中 及其后的处理。
在步骤S64中，如果背景图像生成单元52确定完成了对一帧中 的所有像素的处理，那么结束背景图像生成处理，处理进入图8的步 骤S15。
按照这种方式，执行背景图像生成处理。这样，包括在背景帧中， 并且具有高连续性(大计数值)的像素的像素值被更新为与包括在最新 帧中的对应像素的像素值接近的值。具有较高连续性的像素的像素值
24被包括在最新帧中的对应像素的像素值替换。从而，能够生成和保存 适合于对最新帧进行的处理的背景图像。
下面参考图12中所示的流程图，更具体地说明图8的步骤S15 中的门设置处理。
在步骤S81中，门生成单元53获得由步骤S12或S17中的处理 确定的追踪点的坐标(x，y)。
在步骤S82中，门生成单元53设置运动检测范围。这里，如上 参考图7所述那样设置由以追踪点为中心的预定数目的像素构成的运 动检测范围。例如，设置由以追踪点为中心的水平方向的m个像素和 垂直方向的n个^^素构成的运动检测范围。
在步骤S83中，用作表示像素的水平位置的坐标值的变量xx的 值被设为(x-m/2)，用作表示像素的垂直位置的坐标值的变量yy的值 被设为(y-n/2)。
在步骤S84中，门生成单元53获得主题帧中的像素(xx，yy)和背 景帧中的像素(xx，yy)。这里，例如，主题帧是在最近帧之前一帧的帧， 背景帧由背景图像生成单元52在步骤S14中执行的处理中生成，并 被保存在存储器中或类似物中。
在步骤S85中，门生成单元53确定主题帧中的Y象素(xx，yy)的像 素值和背景帧中的像素(xx,yy)的像素值之间的差值的绝对值是否小 于或等于第四预置阈值。
在步骤S85中，如果门生成单元53确定主题帧中的像素(xx,yy) 的像素值和背景帧中的像素(xx，yy)的像素值之间的差值的绝对值大 于第四预置阈值，那么处理进入步骤S86。门生成单元53把像素(xx，yy) 看作包括在门中的像素。
相反，在步骤S85中，如果门生成单元53确定主题帧中的像素 (xx，yy)的像素值和背景帧中的像素(xx，yy)的像素值之间的差值的绝对 值小于或等于第四预置阈值，那么处理进入步骤S87。门生成单元53 把像素(xx，yy)看作未包括在门中的像素。
在进行步骤S86或S87中的处理之后，门生成单元53在步骤S88中把变量xx的值加1。
在步骤S89中，门生成单元53确定变量xx的值是否超过x+m/2。 在步骤S89中，如果门生成单元53确定变量xx的值未超过x+m/2， 那么处理返回步骤S84，再次执行步骤S84中及其后的处理。
在步骤S89中，如果门生成单元53确定变量xx的值超过x+m/2， 那么处理进入步骤S90。
在步骤S90中，门生成单元53把变量xx的值设为(x-m/2)，并 把变量yy的值加1。
在步骤S91中，门生成单元53确定变量yy的值是否超过y+n/2。 在步骤S91中，如果门生成单元53确定变量yy的值未超过y+n/2, 那么处理返回步骤S84，再次执行步骤S84中及其后的处理。
在步骤S91中，如果门生成单元53确定变量yy的值超过y+n/2， 那么这意味包括在运动检测范围中的每个像素已^^皮确定该像素是包 括在门中的像素还是未包括在门中的像素。从而，结束门设置处理， 处理进入图8的步骤S16。
按照这种方式，设置门。通过设置这样的门，能够从关于追踪点 的运动检测范围中除去背景图像的像素。从而，能够有效并且确定地 检测追踪点的运动。
这样，通过从包括在与基于现有技术的现有门对应的运动检测范 围中的像素之中，除去被视为背景图像的像素的任意像素，生成门， 从而在按照本发明的实施例的对象追踪系统10进^f亍的对象追踪处理 中，仅仅根据包括在门中的像素，就能够有效并且确定地追踪对象图 像。
此外，生成背景帧，在按照本发明的实施例的对象追踪系统10 进行的对象追踪处理中，根据包括在背景帧中的像素的像素值，从包 括在运动检测范围中的像素之中除去被视为背景图像的像素的任意 像素。从而，例如，即使对象图像和背景图像类似地移动，也能够从 包括在运动检测范围中的像素之中，确定地仅仅除去被视为背景图像 的像素的像素。这里，上述一系列处理操作可由硬件或软件执行。如果上述一系 列处理操作由软件执行，那么构成所述软件的程序^皮安装到用专用硬
件构成的计算机，或者如图13中所示的通用计算坤几700中，通过借 助网络或者记录介质，在其上或类似地安装各种程序，所述通用计算 机700能够执行各种功能。
在图13中，中央处理器(CPU)701按照保存在只读存储器 (ROM)702中的程序，或者从存储单元708装入随机存取存储器 (RAM)703中的程序，执行各种处理操作。CPU 701执行各种处理操 作所必需的数据酌情保存在RAM 703中。
CPU 701、 ROM 702和RAM 703通过总线704互连。此外，输 入/输出接口 705与总线704连接。
输入单元706、输出单元707、存储单元708和通信单元709与 输入/输出接口 705连接。输入单元706包括键盘、鼠标等等。输出单 元707包括显示器，比如阴极射线管(CRT)显示器或者液晶显示器 (LCD)、扬声器等等。存储单元708包括硬盘等等。通信单元709包 括调制解调器、诸如LAN卡之类的网络接口卡等等。通信单元709 通过包括因特网在内的网络进行通信处理。
此外，驱动器710酌情与输入/输出接口 705连接。诸如磁盘、 光盘、磁光盘或者半导体存储器之类的可拆卸介质711酌情被装入输 入/输出接口 705中。从可拆卸介质711读取的计算4几程序酌情被安装 到存储单元708上。
如果上述一 系列处理操作由软件执行，那么经诸如因特网之类的 网络，或者从诸如可拆卸介质711之类的记录介质安装构成所述软件 的程序。
这里，所述记录介质包括图13中所示的可拆卸介质711，比如 磁盘(比如软盘)、光盘(比如只读光盘存储器(CD-ROM)或者数字通用 光盘(DVD))、磁光盘(比如MiniDisc(MD))、或者半导体存储器，程序 被记录在除设备之外提供的可拆卸介质711上，程序经可拆卸介质711 被分发给用户。记录介质711还包括ROM 702、包括在存储单元708中的硬盘等等，程序被记录在ROM 702或硬盘上，以所述程序被分 别预先保存在ROM 702或硬盘上的状态把程序分发给用户。
这里，执行本说明书中的上述一 系列处理操作的步骤可按照上面 说明的顺序按时序执行，可不按照时序执行。执行本说明书中的上述 一系列处理操作的步骤可被并行地或者单独地执行。
本申请包含与在2008年6月26日向日本专利局提交的日本优先
权专利申请JP2008-167296中公开的主题相关的主题，该日本优先权 专利申请的整个内容在此引为参考。
本领域的技术人员应明白根据设计要求和其它因素，可产生各种 修改、组合、子組合和变更，只要它们在附加权利要求或其等同物的 范围之内。
权利要求
1、一种追踪点检测设备，包括背景运动向量检测装置，用于检测构成运动图像的各帧之中的帧中的像素的运动向量，并按照检测的运动向量检测表示运动图像的背景图像的运动的背景运动向量；背景图像生成装置，用于通过按照检测的背景运动向量，对帧中的像素进行运动补偿，计算和更新保存在存储器中的背景帧中的像素的像素值，所述背景帧是背景图像的帧；门设置装置，用于把在其中进行表示位于在帧中指定的追踪点的像素的运动的运动向量的检测的区域设置成由以位于追踪点的像素为中心的预定数目的像素构成的运动检测范围，并通过按照保存在存储器中的背景帧的数据，从包括在运动检测范围中的像素之中除去被视为运动图像的背景图像的像素的像素来设置由数目小于或等于包括在运动检测范围中的像素的数目的像素构成的门；追踪点运动检测装置，用于利用包括在门中的像素，检测位于追踪点的像素的运动向量；和追踪点确定装置，用于按照检测的位于追踪点的像素的运动向量，确定位于最新帧的追踪点的像素。
2、 按照权利要求1所述的追踪点检测设备， 其中背景图像生成装置把从其开始处理的帧的数据作为背景帧的初始数据保存在存储器中，按照背景运动向量对时间上在最新帧之前的时间上在先帧中的 每个像素进行运动补偿，和通过确定最新帧中的像素的像素值与时间上在先帧中的对应像 素的像素值之间的差值的绝对值是否小于或等于第一预置阈值，检测 运动图像的背景图像的候选像素。
3、 按照权利要求2所述的追踪点检测设备，其中在确定最新帧中的像素的像素值与时间上在先帧中的对应像素的像素值之间的差值的绝对值小于或等于第 一预置阈值的情况 下，背景图像生成装置还计算最新帧中的像素的像素值与背景帧中的 对应像素的像素值之间的差值的绝对值，如果最新帧中的像素的像素值与背景帧中的对应像素的像素值 之间的差值的绝对值被确定为小于或等于第二预置阈值，那么递增背 景帧中的对应像素的计数器的计数值，和根据背景帧中的对应像素的计数器的计数值，确定背景帧中的对 应像素的像素值是否应被更新。
4、 按照权利要求3所述的追踪点检测设备，其中在确定最新帧中的像素的像素值与时间上在先帧中的对应 像素的像素值之间的差值的绝对值小于或等于第一预置阈值，并且确 定最新帧中的像素的像素值与背景帧中的对应像素的像素值之间的 差值的绝对值小于或等于第二预置阈值的情况下，背景图像生成装置 确定背景帧中的对应像素的计数器的计数值是否大于或等于第三预 置阈值，如果确定背景帧中的对应像素的计数器的计数值大于或等于第 三预置阈值，那么通过进行预定的计算，计算背景帧中的对应像素的 像素值。
5、 按照权利要求4所述的追踪点检测设备， 其中背景图像生成装置利用最新帧中的像素的像素值、背景帧中的对应像素的像素值和按照背景帧中的对应像素的计数器的计数值 确定的加权因子，计算背景帧中的对应像素的像素值。
6、 按照权利要求1所述的追踪点检测设备， 其中门设置装置设置由以位于追踪点的像素为中心的预定数目的像素构成的运动检测范围，所述追踪点是在时间上在最新帧之前的 时间上在先帧中指定的，从存储器读取与运动检测范围对应的背景帧中的像素，和通过从包括在运动检测范围中的像素之中除去被视为运动图像 的背景图像的像素的像素来设置门，所述被视为运动图像的背景图像的像素的像素是时间上在先帧中的像素的像素值与背景帧中的对应 像素的像素值之间的差值的绝对值小于或等于预置阈值的像素。
7、 按照权利要求1所述的追踪点检测设备，其中背景运动向量检测装置检测帧中的像素的运动向量，每个运 动向量是按照最新帧中的对应像素的像素值与时间上在最新帧之前 的时间上在先帧中的对应像素的像素值之间的差值的绝对值检测的，产生关于所检测的运动向量的柱状图，和把由产生的柱状图中的尖峰指示的运动向量检测为背景运动向
8、 一种追踪点检测方法，包括下述步骤检测构成运动图像的各帧之中的帧中的像素的运动向量，并按照 检测的运动向量检测表示运动图像的背景图像的运动的背景运动向通过按照检测的背景运动向量对帧中的像素进行运动补偿，计算 和更新保存在存储器中的背景帧中的像素的像素值，所述背景帧是背 景图像的帧；把在其中进行表示位于在帧中指定的追踪点的像素的运动的运 动向量的检测的区域设置成由以位于追踪点的像素为中心的预定数 目的像素构成的运动检测范围，并通过按照保存在存储器中的背景帧 的数据，从包括在运动检测范围中的像素之中除去被视为运动图像的 背景图像的像素的像素来设置由数目小于或等于包括在运动检测范 围中的像素的数目的像素构成的门；利用包括在门中的像素，检测位于追踪点的像素的运动向量；和 按照检测的位于追踪点的像素的运动向量，确定位于最新帧的追 踪点的像素。
9、 一种使计算机起下述作用的程序背景运动向量检测装置，用于检测构成运动图像的各帧之中的帧 中的像素的运动向量，并按照检测的运动向量检测表示运动图像的背 景图像的运动的背景运动向量；背景图像生成装置，用于通过按照检测的背景运动向量，对帧中 的像素进行运动补偿，计算和更新保存在存储器中的背景帧中的像素的像素值，所述背景帧是背景图像的帧；门设置装置，用于把在其中进行表示位于在帧中指定的追踪点的 像素的运动的运动向量的检测的区域设置成由以位于追踪点的像素 为中心的预定数目的像素构成的运动检测范围，并通过按照保存在存 储器中的背景帧的数据，从包括在运动检测范围中的像素之中除去被 视为运动图像的背景图像的像素的像素来设置由数目小于或等于包 括在运动检测范围中的像素的数目的像素构成的门；追踪点运动检测装置，用于利用包括在门中的像素，检测位于追 踪点的像素的运动向量；和追踪点确定装置，用于按照检测的位于追踪点的像素的运动向 量，确定位于最新帧的追踪点的像素。
10、 一种具有按照权利要求9所述的程序的记录介质。
11、 一种追踪点检测设备，包括背景运动向量检测单元，被配置成检测构成运动图像的各帧之中 的帧中的像素的运动向量，并按照检测的运动向量检测表示运动图像 的背景图像的运动的背景运动向量；背景图像生成单元，被配置成通过按照检测的背景运动向量，对 帧中的像素进行运动补偿，计算和更新保存在存储器中的背景帧中的 像素的像素值，所述背景帧是背景图像的帧；门设置单元，被配置成把在其中进行表示位于在帧中指定的追踪 点的像素的运动的运动向量的检测的区域设置成由以位于追踪点的 像素为中心的预定数目的像素构成的运动检测范围，并通过按照保存 在存储器中的背景帧的数据，从包括在运动检测范围中的像素之中除 去被视为运动图像的背景图像的像素的像素来设置由数目小于或等 于包括在运动检测范围中的像素的数目的像素构成的门；追踪点运动检测单元，被配置成利用包括在门中的像素，检测位 于追踪点的像素的运动向量；和追踪点确定单元，被配置成按照检测的位于追踪点的像素的运动 向量，确定位于最新帧的追踪点的像素。
全文摘要
追踪点检测设备包括背景运动向量检测单元、背景图像生成单元、门设置单元、追踪点运动检测单元和追踪点确定单元。背景运动向量检测单元被配置成检测包括在运动图像的帧中的像素的运动向量，并按照检测的运动向量，检测表示运动图像的背景图像的运动的背景运动向量。背景图像生成单元被配置成通过按照检测的背景运动向量，对帧中的像素进行运动补偿，计算和更新保存在存储器中的背景帧中的像素的像素值，所述背景帧是背景图像的帧。门设置单元被配置成按照保存在存储器中的背景帧的数据，设置门。
文档编号G06T7/20GK101615296SQ200910150569
公开日2009年12月30日 申请日期2009年6月26日 优先权日2008年6月26日
发明者大月知之, 山野高将, 武田直己, 近藤哲二郎, 高桥健治 申请人:索尼株式会社