专利名称：：对象动作捕捉系统和方法
技术领域：
：本发明涉及捕净"十象的动作的系统和方法。
背景技术：
：在i牛多领;或，i^^^:动领域、保健领域、电影和动画领ii^f口^l领域，捕捉运动对象的动作扮演了至关重要的角色。一旦动作被捕彬ij，能够确定不同的动作挣性，诸如实时位置、狄、力口狄、距离、经过的时间、旋净^E4率等等。该对象可以是人、动物、植物或<封可无生命的设备。该动作可以是对象作为整沐的动作或对象的部分的动作或这些动作的组合,其中对象的不同部分可以同时^/f亍不同的动作。相当多的技术J^艮已经实现以捕捉与运动相关的动作，例如男子运动员和女子运动员H喊动选手)的动作、运动或比赛对象的动作，如A^求、棒球、高尔夫樹奉等等。在第一种类型的已知系统中，使用一个或多个摄<斜几以捕捉移动对象的图像。在预定位置为对象提^""个或多个光学标记，一个或多个摄#4几实时地记录标记的位置。该记录进而又被用于图像的处理以实时地重建对象的动作。一个例子是捕捉高尔夫王料奉的移动，例如在US-A-4163941中公开的。另一个例子是捕冲碌(一个或多个)才聂#^几前移动的人的移动，其中标记已经与不同身体部々bNJ附着或相连，诸如头、身体、臂和腿。通it^斤记录的不同标记的坐标移动，数据处理装置可以提取数據以提供移动的棒性，或提供对城相关对象的渲染图像，才對以原始的移动。在第二种类型的已知系统中，动作传感器附着或连接M象，或^X其中。动作传感器可以提4^表示不同方向(诸如三个W目垂直的方向X、Y和Z)力口速度的信号，提供表示不同方向(诸如三个互相垂直的方向X、Y和Z)磁场的信号的磁力计，和计时信号。^i]这种动作传感器的例子还是捕捉高尔夫3料奉的移动，例如在W0-A-2006/010934中公开的。动作传感器可以进一步包含X、Y和Z方向上的陀螺4义，其测量动作传感器围绕X、Y和Z轴的旋转iiy变。在上述^fM—个或多个光学标记以捕才树象动作的第一类型的系统中，当光学标"ie^多动出试图记录光学标记动作的摄^^的^y为时，或者仍然在摄^^几的视场内但是隐藏(在视线外)在另一个光学标记、对象的^分或其它对象的后面时，则出现了问题。在这种情况中，摄^斜几不能够^it光学标记，相应的动作捕捉也变得不能完成或至少不可靠。对于这个问题，可能的解决方案是^JU多个摄4斜几，然而，这将不能完全解决问题，其非常昂贵并且增加了动作捕捉系统的复杂度。在上述^^J动作传感器以4辭W于象动作的第二类型的系统中，当经过持久的时期动作传感器的位置由于缺少参考或校准位置而不育yfol青确确定时，则出现了问题。即使动作传感器的初始位置被校准，在动作传感器实时移动期间，位置和方向将很快产生较大误差，从而动作传感器的动作数据变得不可靠。发明目标需要提[种动作捕捉系统和方法，其能够精确和可靠地测量动作特性，像位置、方向、、随时的力口i4^,^t^f多动出摄^^4^i戋时也同样。发明扭谈在本发明的一个实施例中，提供了一种4辭W于象的移动的系统，该系统包括^M斜殳备，其^S己置为连接^t象。该iM斜殳备包括至少一个光学标ie^口至少一个动作传感器，该动作传感器提供表示3P宗设备位置和方向的动作数据。该系统进一步包括至少一个才射斜几以记录光学标记的动作，由》b^供表示^P宗设^f立置的^M数据，还包^#接数据处理器，其被配置用于结^i也处理浮彭贞数据和动作凄封居以随时随i也(inspaceovertime)确定jE^f宗i殳备的4立置和方向。在本发明实施例中的系统允许基于从视频数据确定的位置校正从动作数据确定的位置，因此随时提供更精确的对象(的"P分)的位置估计。即使当一彭贞数据暂时不可得，对象(的一部分)的位置仍然可以被估计。进一步地，在本发明实施例中的系统允许基于从动作数据确定的位置^iU^彭贞数据确定的位置。在本发明另一个实施例中，^^供了一种捕才^t象的移动的方法，包括至少一个光学标记的^P宗设备和提供表示^P宗设备f立置和方向的动作数据的至少一个动作传感器。在该方法中，^P宗设备连接至对象，光学标记的动作由摄#^几记录，由》b^供表示3P宗设备位置的视频数据；动作凄t据牙—J^贞数据一皮结^^地处理以随时随^/角定3^斜殳备的^[立置和方向。通过参考随后的详细描述并结合附图考虑，权利要求和优势将更加容易被领会并同样变得更好理解。在附图中相同的参考符号指示相同的部分。附图简述图1示意性图解了本发明系统的实施例。实施例详述图1示出了指示捕松寸象IOO的动作的系统的组件的图。在图1的例子中，对象100表示一个人。然而，对象100还可以是动物、植物或设备。对象可以作为*移动，诸如#^亍平移和/或旋转移动，和/或者对象可以具有相对于彼jH^多动的不同部分。随后的描述将集中于人的移动，但应当清楚的是所描述的系统不限于捕M的动作。如图1中所示，对象100具有可相对于彼此移动的不同部分，诸如头、身体、臂和腿。如示意'ii^y旨明的，通过示例，对象ioo的头和身体每个^^皮提供有一个^it"i殳备110,而^^^f和li^皮^^4^有两个3P斜殳备110。i^ifi殳备no包才辆作传感器。动作传感器可以包括至少一个加d4^计，其提供表示3P宗设备加i^的力口itA信号，或包括多个加ii^计(例如三个加i^！计)，其在a目垂直的方向上测量加ii^并提供表示^^加il^计的力口i^的加ii^f言号。动作传感器进一步可以包括至少一个磁力计，其测量在预定方向上的i4J^U兹场并提供表示^J宗设备方向的方向信号，或包括多个磁力计(例如三个磁力计)，其在互相垂直的方向上测量:l4J^兹场并提供表示^if宗设备方向的方向信号。动作传感器进一步可以包括至少一个陀螺仪，其提供表示3p宗设备围绕预定轴的^克^i^复的i走4M言号，或包括多个陀螺仪(例如三个陀螺仪)，其在X^目垂直的方向上测量旋转ii^并提供表示5口宗设备围绕在各自垂直的方向的轴旋转的逸复的旋转信号。^^设备110进一步包括提供计时信号的计时器。实际上，^P宗设备110的动作传感器不需^^A^个(正交方向的)力口it^计和三个(正交方向的)磁力计生成信号以通过所述信号在三个维度中确定^P斜殳备IIO的位置和方向。^^本领域技术人员/z^口的假设，^i宗设备110的位置和方向还可以通过来自三个加ii^计和两个磁力计的信号，或通过来自两个加ii^计和三个磁力计的信号，或通过来自两个加i^l计和两个磁力计的信号，或通过来自两个加i^^计和一个^兹力计的信号，或通过来自三个陀螺仪的信号，或通过来自加速度计、磁力计和陀螺仪的其它组合的信号而确定。^P宗设备110被配置为提供携带动作数据的动作信号,所述动作数据表示跟踪设备110的标识(在下文中动作标识)、位置和方向，该动作信号包括由一个或多个加ii;l计、一个或多个磁力计和/或一个或多个陀螺4义在计时器确定的特定时间输出的信号。动作数据可以无线通信方式^1射，而有线通信也是可能的。由接收器300接收动作数据,并输出至数据处理器310并由它处理以确定跟踪i殳备110的位置和方向。^P宗设备110携带光学标记，诸如反射涂层或预定的颜色区以对于摄"f斜几200,201具有较好的可视性。摄^4几可以^S己置以^^则可见i^口/或红外线光。才聂#^几200，20U^则iP宗设备110的光学标记的移动，射給至用于处理由才聂#^几200，201输出的^^贞数据的一J^页处理系统210。在^!^贞处理系统210中，每个^i宗设备110具有分酉踏它的标识(在下文中^M标识)，该标识与由跟踪设备110生成的动作信号中包含的动作标i"目同或相对应。因此，通过;^则视频数据中的光学标记，^LM处理系统210实时i4^供^P宗设备110的位置。通过将由视频处理系统210输出的和在特定时间获取的特定^J宗设^(通过它的^L^贞标识而识别)的一J^页数"^M接到由数据处理器310输出的并斜目同时间获取的同一3P斜殳备(通过动作标识而识别)的动作数据，才聂像4几200，201和碎J^贞处理系统210被用于动作传感器110的位置坐标的精确初始化和更新。该链接在链4絲t据处理器400中被^f亍，该链^lt据处理器400为了特定目的而将位置数据和方向数据提供^-~个或多个进一步的处理设备。位置坐标的初始化包括将^M宗设备110的动作传感器的瞬时位置坐标首先设置为同时乂W目同动作传感器的光学标记的浮彭贞数据中确定的位置坐标。然后跟踪设备110的动作传感器的新位置坐标将相对于首先设置的位置坐标从动作数据中计算得到，由于由^if宗设备110的动作传感器的一个或多个加it^计、磁力计和/或陀螺^ii行的计算和测量的不精确，经过一段时间该新位置坐标将含有误差。位置坐标的更新包括将^if宗设备110的动作传感器的瞬时位置坐标进一步重新设置为同时乂M目同动作传感器的光学标记的浮彭贞数据中确定的位置坐标。因此，在计算^P斜殳备110的动作传感器的新位置坐标中出现的误差在更新中被校正，并且由此##在#^平。位置坐标的更新可以特定的时间间隔来进行，如果在那个时间光学标^#于摄<斜几200,201中的至少一个是可见的的话。如^更新时间光学标记是不可见的，则只有动作数据被用于确定^f宗设备110的位置和方向，即使特定标记的一彭贞数据是不可得的，由此保持持续4辭"于象100的动作，并且使得能够实时地重建对象(的"卩分)IOO的位置和方向。在通过动作数据实时重建^it设备110的位置和方向中，使用以下算法(a)确定由一个或多个相应的力口il/l计所测量的一个或多个加ii^的方向和幅度；和/或(b)确定由一个或多个相应的磁力计所测量的一个或多个方向；和/或(c)确定由一个或多个相应的陀螺^/斤测量的一个或多个旋4純变；(d)如果陀螺4义凄t据可用，则使用陀螺仪数据根据从前的方向估计计算跟踪i殳备的新的方向估计；(e)如果没有陀螺仪数据可用，则^^l力口it^计数据和/或磁力计数据根据从前的方向估计计算^P宗设备的新的方向估计；(f)如果可用，则/Ai口ii^i十数据减去重力；(g)可i^i也，佳JU对象100的枳^成计算冲J^莫型，并且如果可用，则/Ai;口速度计数據中减去离心力。作为扭行上述步骤的结果，可以获得^J宗设备的平移加逸变，考虑了可能的坐才亍4匡架4封匕为不同的坐标4匡架。在步骤(d)中，结f个或多个加it^计和/或一个或多个磁力计的测量数据，可以在新的方向估计上应用软^it^馈环^各以^M尝陀螺仪的漂移。在步骤(d)或(e)后，位置信息是可得到的，如^^EP宗^:^^之间的关系已知，则该位置信息負^够被极好地利用。例如，如彩P宗设备附着于人身体的一部分，例如上臂，并且已知臂是向上指的，臂的长度也是已知的，则臂上手的位置能够相对精确M^皮计算出来。对于相对高的频率，即对象(的"^分)的位置相对快速地改变，从动作传感器获得的位置信息是相对可靠的。另一方面，由于在视频摄#4几中使用相对低的帧速率，对于相对低的频率，从浮彭贞摄^^^得的位置信息是相对可靠的。链接数據处理器400可以这样运行,以使得根据位置改变的速度在位置和方向的计算中做出相应的区别。一见频处理系统210、数据处理器310和链接数据处理器400每个^f皮适当地编程，包t个或多个包才封十算才/W旨令的计算才財踏以^U亍所要求的任务。冲艮据本发明，即使连接^^象的光学标记暂时不可见，来自被提供了光学标记的^J宗设备的动作传感器的动作数据使得能够持续地测量^P宗设备的位置和方向。本发明的应用包^^/作和步态分析，其结果一M于康复研究和治疗。在游戏和电影工业中可以^5见进一步的应用。&动员成绩监^I^口建议中可以发现其它的应用。在医学机器人中可以认识到更进一步的应用。根据需要，本发明的详细实施方式在此处公开；然而，应当理解所公开的实施方式^又仅是本发明的示例，其能够以多种形式M实现。因此，此处公开的具体结构和功能细节不应^^释为限制，而仅仅作为权利要求的勤出，和作为用于教导;^领域技术人员以几乎《封可适当的详细结构来多样地^J)本发明的^A性勤出。jJ^卜，此处使用的术语和短语并不意图限制，而是为了提供本发明可理解的描述。如此处4吏用的，术语"一，，或"一个"3皮定义为一个或多于一个。如此处使用的，术语多个被定义为两个或多于两个。如此处^JU,术语另一个被定义为至少第二个或多个。如此处使用的，术语包4斜口/或具有^^义为包含(即开放式语言)。如此处4賴的，术i斜^^议义为连接，虽然不是必须直才妻:Mk^口不是必须;N彭也。如此处使用的，术i斜辨、软件应用^&^义为设计用于在计算机系统上l^f亍的指令序歹'J。牙錄、计算才財踏或软件应用可以包^^^1^、函数、过程、对象方法(objectmethod)、对象实现(objectimplementation)、可树亍应用(executableapplication)、小应用考誘(applet)、小伺月良牙誘(servlet)、源代码、对象代码、共享库/动态加*和/或其它设计用于在计算机系统上#^亍的指^/^列。权利要求1.一种捕捉对象的移动的系统，该系统包含跟踪设备，被配置为连接至对象，该跟踪设备包含至少一个光学标记；和至少一个动作传感器，其提供表示跟踪设备的位置和方向的动作数据；至少一个摄像机，记录光学标记的动作，由此提供表示跟踪设备的位置的视频数据；和链接数据处理器，被配置用于结合地处理视频数据和动作数据以随时随地确定跟踪设备的位置和方向。2.根据权利要求l的系统，其中，链4M丈据处理器^S己置为基于从^LM数据中确定的位置^i^人动作数据中确定的位置。3.根据权利要求l的系统，其中，链4絲丈据处理器被配置为基于从动作数据中确定的位置4^i^人^^贞数据中确定的位置。4.根据权利要求l-3中任意一个的系统，其中，光学标记由iP宗设备上的絲涂层构成。5.才艮据权利要求1-4中任意一个的系统，其中，^J宗设备进一步包^i十时器。6.冲艮据权利要求1-5中任意一个的系统，其中，动作传感器包含至少一个7.根据权利要求1-6中任意一个的系统，其中，动作传感器包含至少一个磁力计。8.根据权利要求1-7中任意一个的系统，其中，动作传感器包含至少一个陀螺仪。9.才艮据权利要求l-8中任意一个的系统，进一步包含无线通信4耖各以将动作信号从动作传感ll^输至数据处理器。10.—种捕^^f象的移动的方法，该方法包括提供鹏设备，其包含至少一个光学标记；和至少一个动作传感器，提供表示^P宗设备的位置和方向的动作数据；将鹏设备连接封象；通过摄^4几记录光学标记的动作以由》b^供表示^P宗设备的位置的视频数据；和结^t也处理动作^bfe^^J贞凄^居以随时随34^定i^if斜殳备的〗立置和方向。11.根据权利要求10的方法，其中，结^t也处理动作数据禾—彭贞数据包含基于从视频数梧中确定的位置校j^人动作数據中确定的位置。12.根据权利要求10的方法，其中，结^l也处理动作数据禾—彭贞数据包含基于从动作数据中确定的位置4^^人*^贞数据中确定的位置。全文摘要在一种捕捉对象的移动的系统和方法中，使用具有光学标记和动作传感器的跟踪设备，该动作传感器提供表示跟踪设备的位置和方向的动作数据。跟踪设备被连接至对象，通过摄像机记录光学标记的动作以由此提供表示跟踪设备的位置的视频数据。动作数据和视频数据被结合地处理以随时随地确定跟踪设备的位置和方向。文档编号A63B69/36GK101689304SQ200880024268公开日2010年3月31日申请日期2008年7月9日优先权日2007年7月10日发明者V·M·G·范阿克特,W·F·帕斯维尔申请人:皇家飞利浦电子股份有限公司