基于图像的运动跟踪的制作方法

专利名称：基于图像的运动跟踪的制作方法
技术领域：
本发明总体涉及复杂场景中基于图像的运动跟踪。具体来说，本发明涉及根据权利要求1的前序的设备和根据权利要求13的前序的相应方法。本发明还涉及根据权利要求24的计算机程序和根据权利要求26的计算机可读介质。
背景技术：
现代图像处理技术允许从复杂场景中精密实时地提取数据。例如，不同类型的交通工具可以被自动地辨别并且可以基于由视频摄像机记录的图像进行跟踪。国际专利申请WO96/13023描述了一种在诸如道路收费设施的控制站的交通工具识别的设备。这里，在特定照明器件的照亮下，至少一个视频摄像机记录交通工具的轮廓。
个体也可以通过与合适的图像处理设备关联的摄像机来自动跟踪。文献US，6,359,647公开了一种自动的摄像机传递系统，它能够跟踪处于多摄像机监视系统中的不同摄像机的视野间的目标对象。因此，当目标对象离开第一摄像机的视野并且估计进入第二摄像机的视野时，第二摄像机负责生成图像。
在其他应用中，其可以更换为涉及由不止一个摄像机来记录同一个场景的图像。运动事件构成一个这样的示例，因为这里，取决于比赛的事件，不同的视角才是有趣的。因此，尽管第一摄像机记录特定的事件，但还可能希望从第一到第二摄像机进行切换。国际专利申请WO03/056809描述了一种用于实时监视比赛者运动的系统，诸如在足球场上跑动的足球比赛者。该系统自动确定许多摄像机中哪个摄像机位于拍摄运动场上的某一事件的最佳位置。因此，该系统帮助负责电视记录/发射足球比赛或类似比赛的制作者。
然而，在许多运动中，产生与个体运动参与者从事的活动有关的各种类型的统计和系统数量数据(systematic quantitative data)编辑还是有趣的。例如，在如足球、橄榄球、篮球、排球、曲棍球以及网球比赛中，可能希望确定覆盖场地的量、总的跑动距离、跑动的最高速度、跑动的平均速度、控球时间、特定比赛者相对于比赛场和/或相对于其他比赛者的空间分布。文献US，5,363,297公开了一种用于生成这样的数据记录的基于摄像机的自动跟踪系统。这里，最好使用两个摄像机，它们彼此大致正交地安置(例如第一摄像机拍摄运动场的俯视图，而第二摄像机拍摄运动场的侧视图)。因此也就是说，最小化了阴影和遮挡/廓影重叠的情形的风险。
但是，在许多情况下，使用高架摄像机是完全不可能或不实际的，诸如象足球的户外运动。此外，户外比赛场可能相当大和/或这里的照明条件可能存在有问题。结果，两个正交排列的侧景摄像机不能正常地提供以令人满意的精确度跟踪个体比赛者所必需的图像分辨率或质量。如果通过人工操作员交互来给每个比赛者和球分配特定的标识，则该分辨率要求可以大大地放宽。由于长的距离和可能的复杂照明条件，在户外应用时，该类型的系统可能相对较快地丢失对一个或多个比赛者和/或球的跟踪。当然，可以使用装在比赛者身上的各种涉及发射器/接收器的独立遥感勘测系统来辅助摄像机。然而，这种解决方案会与包括给比赛者带来不便的其他问题相关联，因此这并不特别理想。

发明内容
因此，本发明的一个目的是减轻上述问题，并且因此提供一种可靠和有效的基于图像的跟踪给定区域中数个对象中的每一个做出的运动的解决方案。
根据本发明的一个方面，该目的通过如开始所描述的设备来实现，其中图像寄存装置中的至少一个包括摄像机的立体对，该摄像机的立体对中的第一摄像机与第二摄像机分开基本距离。该第一和第二摄像机基本上平行并且朝向所述区域，使得第一摄像机的第一图像平面寄存与第二摄像机的第二图像平面寄存的所述区域的一部分基本上重叠的所述区域的一部分。
通过这种设计策略所获得的重要的有利之处在于通过合理的资源能获得相当高的分辨率。此外，如果使用多个摄像机的立体对，即使对象在短时间段内彼此隐蔽也可以完成可靠的跟踪。
根据本发明的该方面的优选实施例，该数据处理单元包括立体模块，该立体模块适于基于由第一摄像机记录的第一图像的数据和由第二摄像机记录的第二图像的数据来生成立体图像。假定第一和第二图像都是在特定时间点记录的。由此，立体模块将来自两个图像的信息结合成适合于较高水平结果的表示，诸如特定对象的位置。最好，该立体图像表示所述区域的静止表面上的时变高程的估计(estimates of time varyingelevation)。
根据本发明的该方面的另一优选实施例，该数据处理单元包括场景初始化模块，其适于基于图像寄存装置在对象不存在于所述区域中时所记录的数据来产生该区域的初始背景模型。因此，通过该背景模型，运动对象，例如个体和球，可以与基本上静止的对象区分开来，例如，比赛场和各种观众看台和平台。
根据本发明的该方面的另一个优选实施例，该立体模块适于通过涉及变换第一和第二图像中的一个来与第一和第二图像的另一个的表示相匹配的过程而生成所述立体图像。具体地，该变换致使在该立体图像中作为基于第一图像中被估计来表示表面的特定片断的图像点的每个图像点被投射到与被估计来表示特定片断的第二图像中的图像点相同的图像点上。此外，该变换还致使在立体图像中被估计来表示表面上的对象的第一和第二图像中的图像点相对彼此至少被横向平移。这里，平移(translation)的程度取决于相对于表面的对象的高度。该表示是有利的，这是因为它进一步方便了运动对象的辨别，例如比赛者和球。
根据本发明的该方面的另一个优选实施例，数据处理单元包括第一信息提取模块，其适于确定表示表面的图像点的估计。初始背景模型用作该确定的输入数据。
根据本发明的该方面的另一个优选实施例，数据处理单元包括密度模块，其适于基于立体图像来生成密度图。该密度图表示对于所述区域中的对象在候选位置上的相应概率函数。因此，通过研究该概率函数，可以估计每个对象的位置。最好，数据处理单元中的第二信息提取模块执行该操作。第二模块适于基于该概率函数来辨别对象的位置。
根据本发明的该方面的另一个优选实施例，第一信息提取模块适于重复地(例如，在每秒视频帧后)基于先前的背景模型和对象的辨别的位置来确定更新的背景模型。第一信息提取模块还适于重复地(例如，在每秒视频帧后)基于更新的背景模型来确定表示所述表面的图像点的更新估计。这样的更新是期望的，这是因为由此可以维持高的跟踪可靠性。通常，与发生在所述区域的事件基本无关的其他环境参数和照明条件会不时改变。因此，背景模型必须更新，以便能够连续地正确辨别运动对象。
根据本发明的该方面的另一个优选实施例，所述区域是运动场并且对象包括参加在该运动场上执行的运动事件(例如，球类比赛)的比赛者。因此，所述对象还可包括至少一个球。从而，比赛者和球可以在比赛中被跟踪，结果，能够产生各种类型的统计和系统数量数据编辑(statistics andsystematic quantitative data compilation)。例如，后面的参数可以对于每个比赛者来确定场地覆盖量、总的跑动距离、最高跑动时间、平均跑动时间、控球时间、相对于比赛场和/或相对于其他比赛者的空间分布。
根据本发明的该方面的另一个优选实施例，数据处理单元适于实时地产生至少一个数据信号，该数据信号描述与该数个对象有关的至少一种类型的统计和/或系统数量信息。该至少一个数据信号是基于在当前时间点之前的时间间隔期间确定的对象的位置的。因此，例如，球类比赛中的个体比赛者的成绩的当前统计可以以现场播放的方式，即在比赛进行期间，呈现给TV观众。
根据本发明的另一个方面，该目的通过开始所描述的方法来实现，其中至少一部分数据是通过所述区域的图像的立体对来记录的。这些图像的图像平面基本上是平行的，使得第一图像平面寄存所述区域的一部分，其与由第二图像平面所寄存的所述区域的一部分基本上重叠。此外，第一和第二图像平面彼此分开基本距离。
通过参照所提出的设备的上述讨论，该方法的有利之处以及其优选实施例是显而易见的。
根据本发明的另一个方面，该目的通过可直接加载到数字计算机的内部存储器的计算机程序来实现，包括当所述程序在计算机上运行时用于控制上面描述的方法的软件。
根据本发明的另一个方面，该目的通过计算机可读介质来实现，该介质具有在其上记录的程序，其中，该程序使计算机执行上面描述的方法。
根据后面的描述，该发明进一步的优点、有利特征和应用将是显而易见的。


现在，参照附图，通过作为示例公开的优选实施例对本发明进行更严密地解释。
图1示出了根据本发明的一个实施例的数个图像寄存装置对于区域可以如何放置的第一示例，图2示出了根据本发明的一个实施例的数个图像寄存装置对于区域可以如何放置的第二示例，图3示意性说明了根据本发明的一个实施例的物理点的图像如何被投射到摄像机的立体对的图像平面上，图4a-b通过示例说明了根据本发明的一个实施例的由摄像机的立体对记录的第一和第二图像，图5说明了根据本发明的一个实施例的如何基于图4a和4b的第一和第二图像来产生立体图像，图6说明了根据本发明的一个实施例的如何基于图5的立体图像来产生密度图像，图7示出了根据本发明的一个实施例的设备的框图，以及图8示出了根据本发明的总方法的流程图。
具体实施例方式
图1示出了足球场形式的区域100，根据本发明的一个实施例在其周围布置了数个图像寄存装置(最好包括视频摄像机)。具体地，在该情况下使用了八个摄像机，它们分别以四个立体对101、102、103、104来组织。第一立体对101包括第一摄像机101a和第二摄像机101b，并且靠近区域100的第一角落来放置。假设区域100具有标准足球场的大小(即，长约90-120m，而宽约45-90m)，每个摄像机的立体对101、102、103、104最好距该区域约30m且在地面上约25m被放置。此外，根据本发明，特定立体对的摄像机，譬如101a和101b，彼此分开特定距离。该分开的距离通常被称为基本距离，并且最好约为10m。
第一和第二摄像机101a和101b基本上平行而且以一定角度朝向区域100，使得它们寄存区域100的基本重叠的部分。如从图1中所看到的，第一立体对中的第一摄像机101a具有大约覆盖半个区域100的第一视野V11，而第一立体对中的第二摄像机101b具有大约覆盖几乎相同半个区域100的第二视野V12。然而，对于区域100中每个对象pi，pj和B的特定角度来讲，由第二摄像机101b寄存的图像与由第一摄像机101a记录的图像稍有不同。相应地，如在图1中示意性说明的，第二、第三和第四图像寄存装置102、103和104的立体对中的个体摄像机分别具有视野V21、V22；V31、V32和V41、V42。在此处所示的配置中，如果摄像机是传统的TV摄像机，则可以实现期望的视野V11、V12、V21、V22、V31、V32V41和V42重叠。
图像寄存装置101、102、103和104分别重复和同时地记录发生在区域100中的事件的图像数据D1、D2、D3和D4。因此，数据D1、D2、D3和D4构成这些事件的多个同时表示。数据D1、D2、D3和D4被发送到数据处理单元110，其适于重复地确定对象pi，pj和B中每一个的相应位置。例如，第一组对象pi包括主队的比赛者，第二组对象pj包括客队的比赛者，而第三对象B可以是球。根据本发明，在任何情况下每个对象pi，pj和B都能基于数据D1、D2、D3和D4被自动地跟踪。
为了放宽来自图像寄存装置101、102、103和104的输出数据D1、D2、D3和D4(即，基本上是数据量)的图像分辨率的要求，例如，在比赛开始前，最好对每个对象pi，pj和B手动分配唯一标识。这意味着不需要系统能够辨别比赛者的服装(或外表)的号码(或其他特征)。相反，如果系统能保持连续跟踪每个对象就足够了。理论上，大约每个对象一个像素的图像分辨率足以完成这样的跟踪。但是，在实践中，由于鲁棒性的原因，常常希望较高的分辨率。当然，标识的分配还可能需要在比赛过程中相关于暂停以及当一个或多个比赛者被一个或多个其他比赛者替换时不时被更新，例如，在所谓的累计(pile ups)后。
图2示出了根据本发明的一个实施例的如何将多个图像寄存装置101、102、103和104对于区域100来放置的另外一个示例。这里，第一和第二图像寄存装置(典型地包括视频摄像机)101和102被分别靠近区域100的第一角落来放置，使得摄像机的两个立体对的视野V11、V12和V21、V22以扇状方式重叠。因为这里的每个摄像机必须覆盖比前述的第一示例稍大的部分区域100，所以最好为摄像机安装稍微广角一些的镜头。然而，为了确保充足的区域覆盖并且获得与第一示例中相同的跟踪可靠性，第三和第四图像寄存装置分别靠近区域100的、与第一角落相对的角落来放置。这两个立体对的视野V31、V32和V41、V42也以扇状方式重叠，如图2所示。最好，每组摄像机101、102和103、104中的图像寄存装置分别以交插的立体对安排(如图2中所示)，以使第一对中的摄像机中的一个被放置在第二对中的摄像机中的一个之间。此外，每组中的不同的立体对具有稍微不同的朝向区域100的角度(使得获得扇状视野的模式)。
图3示意性说明了根据本发明的一个实施例的物理点p的图像如何被投射到摄像机的立体对的图像平面310和320。这是一个规范的摄像机配置的示例，其中两个摄像机具有相同的焦距，具有彼此平行的图像平面和光轴，以及图像平面相对于彼此移位了基本距离dB。基本距离dB相对短，使得摄像机和被记录的对象间的角度相当小，因此第一图像平面310寄存区域100的一部分，该区域100的一部分与由第二图像平面320寄存的区域100的一部分基本上重叠。这意味着位于两个摄像机都可以看见的地方的区域100中的物理点p分别被投射到第一和第二图像平面310和320中的不同图像点p’1和p’2。如果假设点p在世界坐标系XW，YW，ZW相对于原点OW具有确定的物理坐标，它可以被投射到具有涉及第一二维坐标系Xf1，Yf1表示的坐标的第一图像平面310中的第一图像点p’1上。类似地，点p被投射到具有涉及第二二维坐标系Xf2，Yf2表示的坐标的第二图像平面320中的第二图像点p’2上。接着，第一图像平面310在坐标系Xc1，Yc1，Zc1中具有第一焦点Oc1。对应地，第二图像平面320在坐标系Xc2，Yc2，Zc2中具有第二焦点Oc2。在所说明的规范配置中，基本距离dB表示只沿着这些坐标系的相应的一个坐标轴Yc1和Yc2的移位。
图4a示出了可由图像的立体对的第一图像平面寄存的第一图像l1的示例，诸如上面描述的图3中的310。第一图像l1包括在诸如足球场或类似场地的表面S上被相互相对靠近放置的五个不同的个体p1、p2、p3、p4和p5。可以注意到第五个体p5在这里几乎完全被第四个体p4遮蔽。
图4b示出了第二图像l2的示例，为了说明的目的，其表示由图像的立体对的第二图像平面寄存的图像的稍作变换的图像，诸如图3中的320。在第二图像l2中示出的相对于在图像平面320中记录的实际图像数据的变换是线性的，并且执行该变换使得所有估计来表示表面S的图像点被投射到两个图像l1和l2中的相同坐标Xf1，Yf1和Xf2，Yf2(即Xf1＝Xf1和Yf1＝Yf1)。但是，因为图像l1和l2是从稍微不同的角度拍摄的，所以由于该变换用来估计表示表面上的对象的图像点在第二图像l2中至少会相对于第一图像l1横向平移。换而言之，个体p1、p2、p3、p4和p5看上去在图像l1和l2中不同地“倾斜”，但是他们的脚被放置在相同的点。假设个体所位于的运动场被选择作变换平面，这就是正确的。但是，根据本发明，还可以例如垂直地穿过每个个体选择其他变换平面。
如在第二图像l2中能够见到的那样，第二图像l2与第一图像l1在同一个时间点被记录，与在第一图像l1中相比，第五个体p5较少地被第四个体p4遮蔽。这证明良好跟踪的可能性。假设摄像机的立体对对于彼此和区域100合适地被安排，这种分离通常出现，即，在第一图像l1中的一个或多个遮挡在第二图像l2中被解决，并且反之亦然。
最好，根据本发明的一个实施例，参照图4b描述的变换实际上是联系立体图像lS的产生来执行的，如下面参照图5b将进行的描述。
立体图像lS是基于由第一摄像机记录的第一图像的数据，例如l1，和由第二摄像机记录记录的第二图像的数据，例如l2，来生成的。该第一和第二图像l1和l2在特定时间点被记录。
立体图像lS表示描述不是部分静止表面S的且在区域100中的位置随时间变化的对象(即，运动对象)的图像元素的估计e1、e2、e3和e4。具体地，立体图像lS的生成可涉及变换第一和第二图像l1和l2中的一个以匹配第一和第二图像l1和l2中的另一个的表示，使得在立体图像lS中，作为基于在第一图像l1中被估计来表示表面S的特定片断(segment)的图像点的每个图像点被投射到与第二图像l2中被估计来表示特定片断的图像点相同的图像点上。作为该变换的进一步结果，在第一和第二图像l1和l2中被估计来表示表面S上的对象的图像点相对彼此至少横向平移。这里，平移的程度取决于相对于表面S的对象的高度。因此，具有基本上纵向延伸的垂直方向的对象(诸如竖直站立的足球比赛者)在立体图像lS中大致表示为倒锥形形状。
为了呈现，能够精确地估计表示表面S的图像点，根据本发明的优选实施例来产生背景模型。区域100的初始的背景模型是基于来自图像寄存装置101、102、103和104的数据D1、D2、D3和D4，其是在区域100中对象pi，pj和B不存在时记录的。因此，表示表面S的图像点的第一估计是基于初始的背景模型的。其后，基于前面的背景模型并结合对象pi，pj和B的被辨别的位置来重复地确定更新的背景模型。接着，基于更新的背景模型来确定表示表面S的图像点的更新估计。
图6说明了根据本发明的一个实施的如何基于图5的立体图像lS产生密度图A。该密度图A表示对于区域100中对象p1、p2、p3、p4和p5在候选位置上的相应概率函数P(p1)、P(p2)、P(p3)、P(p4)和P(p5)。接着，概率函数P(p1)、P(p2)、P(p3)、P(p4)和P(p5)由立体图像lS的高程估计e1、e2、e3、e4和e5推导出。根据本发明的一个优选实施例，对于区域A中每个对象p1、p2、p3、p4和p5基于概率函数P(p1)、P(p2)、P(p3)、P(p4)和P(p5)来辨别位置。
当然，在一般情况，从特定摄像机的立体对中仅可以看到一部分总数量的对象。因此，由两个或多个图像寄存装置得到的信息必须在数据处理单元110(见图1)中被聚集以建立位于区域100中的所有对象的位置。
图7示出了根据本发明的一个实施例的设备的方框图，其适于跟踪特定区域中数个对象中的每一个所做出的运动。所说明的设备包括图像寄存装置101a和101b以及数据处理单元110，该图像寄存装置包括立体对摄像机101a和101b。为了清楚地表示，图7仅示出了单个图像数据处理链。然而，根据本发明，数据处理单元110最好适于处理来自多个立体图像对的图像数据，例如如图1和图2中所表示的。
图像寄存装置中的第一摄像机101a重复地记录与发生在所述区域内的事件表示有关的数据D1’，而图像寄存装置中的第二摄像机101b也与之同时地记录与这些事件有关的数据D1”，但是角度稍微不同(其由到第一摄像机101a的基本距离和到被寄存的任何对象的距离给出)。在任何情况，第一和第二摄像机101a和101b基本上平行并且朝向所述区域，使得第一摄像机101a的第一图像平面寄存与由第二摄像机101b的第二图像平面寄存的一部分区域基本重叠的一部分区域。
数据处理单元110接收分别来自第一和第二摄像机101a和101b的数据D1’和D1”。具体地，根据本发明的优选实施例，数据处理单元110中的场景初始化模块730接收在区域中对象不存在时记录的数据D1’和D1”。基于该数据D1’和D1”，场景初始化模块730产生区域的初始化背景模型M’B，其或者直接或者通过第一信息提取模块740被发送到存储装置745。
在所述设备的稳定状态运行中，来自摄像机101a和101b的数据D1’和D1”还被发送到数据处理单元110中的立体模块710。该立体模块710基于数据D1’和D1”生成立体图像lS。如前面提到的，该立体图像lS表示在区域的静止表面S上的时变高程估计(estimates of time varyingelevation)。
立体模块710通过以下的过程来生成立体图像lS，该过程涉及变换第一和第二图像中的一个以与第一和第二图像中的另一个的表示相匹配，使得在立体图像lS中，作为基于在第一图像中被估计来表示表面S的特定片断的图像点的每个图像点被投射到与在第二图像中被估计来表示特定片断的的图像点相同的图像点上。此外，由于该变换，在第一和第二图像中的被估计来表示表面S上的对象的图像点相对彼此至少横向平移，其中平移的程度取决于相对于表面S的对象的高度。
在所述设备的稳定状态运行中，第一信息提取模块740基于存储在存储装置745中的先前的背景模型重复地确定表示表面S的图像点的估计。因此，第一更新的背景模型M”B是基于初始的背景模型M’B。最好，第一信息提取模块740基于先前的背景模型M’B(存储在存储模块745中)和运动对象的辨别的位置Pi，j(x，y)来重复地确定更新的背景模型M”B。模块740还基于更新的背景模型M”B来重复地确定表示表面S的图像点的更新估计。
数据处理单元110中的密度模块720基于立体图像lS生成密度图A。如前面参照图5所描述的，密度图A表示对于所述区域中的运动对象在候选位置上的概率函数。数据处理单元110中的第二信息提取模块750基于这些概率函数来辨别运动对象的位置pi，j(x，y)。
最好，数据处理单元110还适于随时间累计运动对象的所辨别的位置pi，j(x，y)。即，由此单元110能生成各种数据信号，其描述与运动对象有关的不同类型的统计和/或系统数量信息。进一步优选，数据处理单元110具有使得这些数据信号可以被实时地产生的这样的处理能力。每个数据信号都是基于运动对象的位置的，其在当前时间点之前的时间间隔期间已经被确定。由此，例如，对球类比赛中个体比赛者的成绩的当前(和连续更新的)统计可以以现场播放的方式，即在比赛进行中，呈现给TV观众。
为了总结，根据本发明的跟踪特定区域中的数个对象的运动的总方法现在将参照图8进行描述。
第一步骤810寄存与发生在所述区域中的事件的多个同时表示相关的立体图像数据。最好，根据不止一个定位来寄存该数据，例如图1和2中分别所说明的两个或四个。第二步骤820基于所寄存的立体图像数据来确定每个对象的相应位置。该过程然后循环回到步骤810来寄存更新的立体图像数据。
为了获得对体育事件的可靠跟踪，并且因此获得高质量的数据，立体图像数据应该相对频繁地被更新，比方说每秒大约25-30次。
上面参照图8所描述的处理步骤可以通过编程计算机设备来控制。此外，尽管上面参照附图所描述的本发明的实施例包括计算机设备和在计算机设备中执行的处理，因此，本发明还扩展到用于实现本发明的计算机程序，尤其是载体上或载体中的计算机程序。该程序可以是源代码、目标代码、诸如部分编译形式的源代码和目标代码的中间代码或者适于在实施本发明的过程中使用的任何形式。载体可以是任何能够加载该程序的实体或设备。例如，该载体可包括存储介质，诸如闪存、例如CD(致密盘)或半导体ROM的ROM(只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)或者例如软盘或硬盘的磁记录介质。此外，该载体可以是可传输的载体，诸如可以通过电缆或光缆或无线电或其他设备传送的电或光信号。当程序是体现为可通过线缆或其他装置或设备可传送的信号时，载体可以由这样的线缆或装置或设备构成。或者，载体可以是程序被嵌入其中的集成电路，该集成电路适于相关处理或在用在相关执行中。
在本说明书中使用时的术语“包括(comprises/comprising)”用于指明所述特征、整数、步骤或组件的存在。但是，该术语并不排除其一个或几个另外的特征、整数、步骤或组件的存在或添加。
本发明不限于附图中所描述的实施例，其可以在权利要求的范围内自由改变。
权利要求
1.一种用于跟踪由特定区域(100)中数个对象(pi，pj，B)中的每一个所做出的运动的设备，该设备包括数个图像寄存装置(101，102，103，104)，其适于重复地记录与发生在所述区域(100)中的事件的多个同时表示有关的数据(D1，D2，D3，D4)；以及数据处理单元(110)，其适于接收由所述图像寄存装置(101，102，103，104)记录的所述数据(D1，D2，D3，D4)以及基于该数据重复地确定每个对象(pi，pj，B)的相应位置(pi，j(x，y))，其特征在于所述图像寄存装置(101，102，103，104)中的至少一个包括摄像机的立体对，其中第一摄像机(101a)与第二摄像机(101b)分开基本距离(dB)，而第一和第二摄像机基本上平行并且朝向所述区域(100)，使得第一摄像机(101a)的第一图像平面(310)寄存所述区域(100)的一部分，其与第二摄像机(101b)的第二图像平面(320)所寄存的所述区域(100)的一部分基本上重叠。
2.根据权利要求1所述的设备，其特征在于所述数据处理单元(110)包括立体模块(710)，其适于基于由第一摄像机(101a)记录的第一图像(I1)的数据(D1’)和由第二摄像机(101b)记录的第二图像(I2)的数据(D1”)来生成立体图像(IS)，并且所述第一和第二图像(I1，I2)在特定时间点被记录。
3.根据权利要求2所述的设备，其特征在于所述立体图像(IS)表示在所述区域(100)的静止表面(S)上的时变高程的估计(e1，e2，e3，e4)。
4.根据权利要求3所述的设备，其特征在于所述数据处理单元(110)包括场景初始化模块(730)，其适于基于所述图像寄存装置(101，102，103，104)在对象(pi，pj，B)不存在于所述区域(100)中时记录的数据(D1，D2，D3，D4)来产生所述区域(100)的初始背景模型(M’B)。
5.根据权利要求4所述的设备，其特征在于所述立体模块(710)适于通过涉及变换所述第一和第二图像(I1，I2)中的一个来与所述第一和第二图像(I1，I2)中的另一个的表示相匹配的过程而生成所述立体图像(IS)，使得在所述立体图像(IS)中作为基于在所述第一图像(I1)中被估计来表示所述表面(S)的特定片断的图像点的每个图像点被投射到与被估计来表示所述特定片断的所述第二图像(I2)中的图像点相同的图像点上，以及在被估计来表示所述表面(S)上的对象的所述第一和第二图像(I1，I2)中的图像点相对彼此至少被横向平移，该平移的程度取决于所述对象相对于所述表面(S)的高度。
6.根据权利要求5所述的设备，其特征在于所述数据处理单元(110)包括第一信息提取模块(740)，其适于基于所述初始背景模型(M’B)来确定表示所述表面(S)的图像点的估计。
7.根据前面的权利要求中任意一个所述的设备，其特征在于所述数据处理单元(110)包括密度模块(720)，其适于基于所述立体图像(IS)来生成密度图(A)，该密度图(A)表示对于所述区域(100)中所述对象(pi，pj)在候选位置(x，y)上的相应概率函数(P(p1)，P(p2)，P(p3)，P(p4)，P(p5))。
8.根据权利要求7所述的设备，其特征在于所述数据处理单元(110)包括第二信息提取模块(750)，其适于基于所述概率函数(P(p1)，P(p2)，P(p3)，P(p4)，P(p5))来辨别所述对象(pi，pj)的位置(pi，j(x，y))。
9.根据权利要求8所述的设备，其特征在于所述第一信息提取模块(740)适于重复地基于先前的背景模型(M’B)和所述对象(pi，pj，B)的所述辨别的位置(pi，j(x，y))来确定更新的背景模型(M”B)，以及基于所述更新的背景模型(M”B)来确定表示所述表面(S)的图像点的更新估计。
10.根据前面的权利要求中任意一个所述的设备，其特征在于所述区域(100)是运动场，并且所述对象(pi，pj，B)包括参加在该运动场中进行的运动比赛项目的比赛者。
11.根据权利要求10所述的设备，其特征在于所述运动比赛项目是涉及使用至少一个球(B)的球类比赛，并且所述对象(pi，pj，B)进一步包括所述至少一个球(B)。
12.根据前面的权利要求中任意一个所述的设备，其特征在于所述数据处理单元(110)适于实时地产生至少一个数据信号，该数据信号描述与所述数个对象(pi，pj，B)有关的至少一种类型的统计和/或系统的数量信息，并且所述至少一个数据信号是基于在当前时间点之前的时间间隔期间所确定的所述数个对象(pi，pj，B)的位置(pi，j(x，y))的。
13.一种用于跟踪由特定区域(100)中的数个对象(pi，pj，B)中的每一个做出的运动的方法，该方法包括重复地寄存与在所述区域(100)中产生的事件的多个同时表示有关的数据(D1，D2，D3，D4)，以及基于所寄存的数据(D1，D2，D3，D4)重复地确定对象(pi，pj，B)中的每一个的相应位置(pi，j(x，y))，其特征在于通过所述区域(100)的图像的立体对来寄存所述数据(D1，D2，D3，D4)的至少一部分，其图像平面(310，320)基本平行，使得第一图像平面(310)寄存与第二图像平面(320)寄存的部分所述区域(100)基本上重叠的部分所述区域(100)，而且所述第一和第二图像平面(310，320)彼此分开基本距离(dB)。
14.根据权利要求13所述的方法，其特征在于基于由第一摄像机(101a)记录的第一图像(I1)中的数据(D1’)和由第二摄像机(101b)记录的第二图像(I2)中的数据(D1”)来生成立体图像(IS)，并且所述第一和第二图像(I1，I2)是在特定时间点上被记录。
15.根据权利要求14所述的方法，其特征在于所述立体图像(IS)表示在所述区域(100)的静止表面(S)上的时变高程的估计(e1，e2，e3，e4)。
16.根据权利要求15所述的方法，其特征在于基于所述图像寄存装置(101，102，103，104)在对象(pi，pj，B)不存在于所述区域(100)中时记录的数据(D1，D2，D3，D4)来产生所述区域(100)的初始背景模型(M’B)。
17.根据权利要求16所述的方法，其特征在于所述立体图像(IS)的产生涉及变换所述第一和第二图像(I1，I2)中的一个来与所述第一和第二图像(I1，I2)中的另一个的表示相匹配，使得在所述立体图像(IS)中作为基于在第一图像(I1)中被估计来表示所述表面(S)的特定片断的图像点的每一个图像点被投射到与被估计来表示所述特定片断的第二图像(I2)中图像点相同的图像点上，以及被估计来表示所述表面(S)上的对象的第一和第二图像(I1，I2)中的图像点相对彼此至少横向平移，该平移的程度取决于所述对象相对于所述表面(S)的高度。
18.根据权利要求17所述的方法，其特征在于基于所述初始背景模型(M’B)来确定表示所述表面(S)的图像点的估计。
19.根据前面的权利要求13-18中任意一个所述的方法，其特征在于基于所述立体图像(IS)来生成密度图(A)，该密度图表示对于所述区域(100)中的所述对象(pi，pj)在候选位置(x，y)上的相应概率函数(P(p1)，P(p2)，P(p3)，P(p4)，P(p5))。
20.根据权利要求19所述的方法，其特征在于基于所述概率函数(P(p1)，P(p2)，P(p3)，P(p4)，P(p5))来辨别所述对象(pi，pj)的位置(pi，j(x，y))。
21.根据权利要求20所述的方法，其特征在于包括重复地基于先前的背景模型(M’B)和所述对象(pi，pj，B)的所述辨别的位置(pi，j(x，y))来确定更新的背景模型(M”B)，以及基于所述更新的背景模型(M”B)来确定表示所述表面(S)的图像点的更新估计。
22.根据前面的权利要求13-21中任意一个所述的方法，其特征在于所述区域(100)是运动场，并且所述对象(pi，pj，B)包括参加在该运动场上进行的运动比赛项目的比赛者。
23.根据权利要求22所述的方法，其特征在于所述运动比赛项目是涉及使用至少一个球(B)的球类比赛，以及所述对象(pi，pj，B)包括所述至少一个球(B)。
24.根据前面的权利要求13-23中任意一个所述的方法，其特征在于实时地产生描述与所述数个对象(pi，pj，B)有关的至少一种类型的统计和/或系统数量信息的至少一个数据信号，并且所述至少一个数据信号是基于在当前时间点之前的时间间隔期间所确定的所述数个对象(pi，pj，B)的位置(pi，j(x，y))的。
25.一种可直接加载到数字计算机的内部存储器中的计算机程序，包括当所述程序在计算机上运行时用于完成权利要求13-24中任意一个的步骤的软件。
26.一种计算机可读介质(560)，具有其上记录的程序，其中该程序使计算机完成权利要求13-24中任意一个的步骤。
全文摘要
本发明涉及特定区域中数个对象的基于图像的运动跟踪。数个图像寄存装置重复地记录与发生在该区域内的事件的多个同时表示有关的数据。具体地，至少一个摄像机的立体对(101a，101b)重复地记录立体图像数据(D1’和D1”)，基于该数据，数据处理单元(110)重复地确定每个对象的相应位置。根据本发明，立体对中第一摄像机(101a)和第二摄像机(101b)以基本距离分开。此外，摄像机(101a，101b)基本上平行且朝向该区域，使得第一摄像机(101a)的第一图像平面寄存所述区域的一部分，其与由第二摄像机(101b)的第二图像平面寄存的该区域的一部分基本上重叠。
文档编号G06T7/00GK101040528SQ200580033569
公开日2007年9月19日 申请日期2005年10月31日 优先权日2004年11月12日
发明者福尔克·伊萨克松, 约翰·博格 申请人:Saab公司