专利名称：：基于时空搜索数据处理的光学运动捕捉数据处理方法
技术领域：
：本发明涉及光学人体运动捕捉散乱数据处理，特别是对于单由运动数据的形状匹配处理或单由时间轴上的数据跟踪处理所造成的失配和误差累积问题的技术和方法。
背景技术：
：随着虚拟产业的飞速发展，运动捕捉己R趋成熟，已经成为目前广泛使用的能够真实地再现人体运动细节的方法。该方法在电影制作、虚拟现实、运动医学、机器人控制、游戏制作等方面有着广泛的应用前景。人体运动捕捉可以分为电磁式运动捕捉、机电式运动捕捉和光学运动捕捉。光学运动捕获是较为精确的一种，在人体关节点涂抹一种特殊的反光材料作为标记点，利用多个摄像机从不同角度拍摄，然后利用软件分析图像上标记点的图像坐标，利用计算机视觉原理进行三维重建，得出标记点的运动数据。光学运动捕捉系统的关键技术主要有三方面摄像机标定、标记点跟踪和三维重建技术。利用光学运动捕捉的数据有以下三个特点1采集到的信息仅有Marker点的三维坐标信息，数据以散乱无序的形式存在；2由于标记点被道具、四肢、躯干或者其他标记点遮挡，存在缺失点数据；3由于摄像延迟会出现噪声点。因此数据后续处理运算复杂度较大，如何剔除噪声点弥补缺失点对运动数据进行有序标定并满足实时性要求是光学运动散乱数据处理的核心内容。本发明提出一种基于时空搜索数据处理和基于刚体的补点方法，有效地解决了单由运动数据的形状匹配处理或单由时间轴上的数据跟踪处理所造成的失配和误差累积问题。本方法有效地利用了散乱数据各点、各帧之间的关联信息，单帧数据处理耗时满足运动捕捉的实时性要求，并且在处理过程中无需手工干预自动完成。
发明内容本发明的目的在于提出了一种用于被动式光学人体运动捕捉数据方法，该方法通过利用运动数据的前后帧之间在时间轴上成平滑线性约束关系和各帧数据在空间位置上遵循一定的拓扑约束关系。有效地对三维运动数据进行了预测和跟踪，并对噪声数据进行去噪处理，对缺失运动数据提出基于刚体的补点算法，进行合理的补缺。以此來提高运动数据处理的效率和精度。该方法在处理过程中无需人工干预，并能满足实时性要求。本发明的技术方案是基于时空搜索数据处理的光学运动捕捉数据处理方法，包括如下歩骤1)建立人体几何模型和确立人体标记点摆放方式，导入人体模型和参数；2)建立人体生理结构分块模型。导入人体生理结构分块模型参数；3)建立具有人体运动学约束的树形人体结构骨架模型；4)利用当前帧的前几帧一匹配刚体结合二次Lagrange插值函数和人体运动学原理，预测当前刚体大致空间位置；5)建立一种改进的刚体匹配模型。处理在运动过程中，当肌肉和皮肤发生比较大的变化和捕获数据滞后而导致的刚性结构被破坏问题，改进的刚体匹配模型能够合理地还原数据到模版结构，达到数据的精确跟踪匹配，调用改进刚体匹配方法进行刚体匹配；6)建立基于刚体的补点算法模型。在以上歩骤的约束下进行运动数据的跟踪匹配处理，检査是否成功匹配，对未成功匹配的数据调用基于刚体的补点算法进行补点处理；7)对每帧跟踪匹配后的运动数据进行结构校验，得到最终的标定数据；8)将成功标定的运动数据按照读入的格式写入数据文件。所述的歩骤4)中利用二次Lagrange插值多项式原理进行范围预测方法为处理方法自顶向下，首先查询根节点，然后由根节点预测子节点范围，在此范围内进行形状匹配查询该子节点，类推直到所有节点遍历完结束。所述的歩骤5)中还原不同模块数据点的刚体结构的方法是手部由空间四边形ABCD构成，但在运动过程中，由于手指的弯曲会导致空间四边形ABCD发生形变，表现在几何上就是由三角形ABC和三角形CBD之间二面角的变化，匹配手部的方法是把手部、肩部和脚部看成一个固定的刚体四边形。具体包括以下技术环节-l.数据采集本专利所述方法针对被动式光学运动捕捉系统，数据采集设备为大连东锐软件有限公司自主研发的DVMC-8820运动捕捉系统，数据采集现场环绕布置32台摄像机，采集频率为60帧/秒。表演者为专业舞蹈演员，演员身体关键部位和关节处放置Marker点，在摄像机可见范围内作出一系列具有代表性的表演动作。该人体模型为16刚体:头部、上躯干、下躯干、骨盆、左上臂、左前臂、左手、左大腿、左小腿、左脚、右上臂、右前臂、右手、右大腿、右小腿、右脚，由三十二个标记点描绘，基本上表达了人体的运动变化，其Marker点标记方式如图1。2.建立具有人体运动学约束的树形人体结构骨架模型人体运动系统由骨、骨连接和骨骼肌通过运动关节组成，运动中各骨骼的长度和形状是不变的，身体各部分通过关节联系在一起在神经系统的调节和其他系统的配合下相互驱动形成运动。由人体运动力学原理可知在运动中各关节点的自山度是不同的并且子节点受动于父节点，由此我们在进行跟踪时可以利用人体运动学原理进行约束跟踪。形结构体骨架模型如图3所示。结合本釆集的数据特征，规定腰关节点坐标为标记点19、20、21、22四点平均点，胸关节坐标点为标记点5、6、7、8四点的平均点，左、右膝关节点坐标分别为标记点28、23的坐标，颈肩关节点坐标为标记点5、9、8、14四点的平均点，左、右踝关节点坐标分别为标记点29、30、31、32，24、25、26、27的坐标平均点，左、右肘关节点坐标分别为标记点15、16、17、18，10、11、12、13的坐标平均点，头关节点坐标为标记点l、2、3、4四点的平均点。根节点为腰关节点p,根节点具有平动和转动，其他局部节点绕其父节点转动。'3.利用二次Lagrange插值多项式原理进行范围预测处理方法自顶向下，旨先查询根节点，然后山根节点预测子节点范围，在此范围内进行形状匹配査询该子节点，类推直到所有节点遍历完结束。例如当预测胸关节的坐标范围时，利用已求得的腰关节位置，在腰关节的局部坐标系下，根据胸关节相对于腰关节的相对局部坐标求出胸关节的全局坐标:预测当前帧数据位置时，要用到前三帧巳匹配的数据信息。提出利用二次Lagrangt'插值多项式的方法预测每一刚体的大致位置，从而缩小搜索空间，有利于随后的刚体匹配。令Pi(Ai,T')，i=0，l，2,3.Ai代表三维点(Xi,y',Zi)，L代表点A,所在的时间帧。利用前三帧已处理数据Pi、p2、w运用二次Lagrange插值多项式预测出当前点的坐标。Lagrange插值多项式的基函数为U(X)=(X-X!)(X-X》/(Xo-Xi)(x-x2)lw(X)=(X-Xn)(X-X》/(X厂Xo)(Xi-X》U(X)=(X_X0)(X-)0/(XfX0)(x厂x》二次Lagrange插值多项式为L(x)=T。*L。(x)+T,*L,(x)十T2*L2(x)4.改进的刚体匹配人体骨骼结构为相对刚性铰链结构，标记点是帖在个关节点上的，理想状态下标记点的三维信息也应该满足刚体结构，我们可以运用刚体相对位置的拓扑结构如直线、三角形、四边形和四面体来进行刚体匹配。但在运动过程中，当肌肉和皮肤发生比较大的变化和捕获数据滞后时会破坏数据点的刚体结构。因此如何还原数据点的刚体结构是刚体匹配的重点难点问题。根据一般人体刚性结构和实际需求把人体拆分为以下几部分，如图4所示。山图分析，人体刚体结构一般有两种几何图形三角形和四边形。显然四边形要比三角行包含的信息多，而在空间中任意三点都能构成一个三角形，当人体运动出现一些较复杂的动作时，如蹲、抱头、触摸等Marker点会相互交织，这样以來仅用三角形信息进行匹配很容易出现误配现象，一旦误配会导致其它的形状难以匹配和动作的变形，基于这个问题本专利提出合并骨架的思想，把人体骨架分为几部分，使这些骨架尽可能满足四边形形状或能合理地转化成四边形形状，然后进行分模块近似刚体匹配。根据人体结构和标识点的帖位，把人体分为头部、肩部、胸部、腰部、手部、大腿部和脚部七大模块。由图4分析，头部、腰部和胸部已经很近似刚体四边形，在实验中对这两部分的数据跟踪也十分容易实现，主要的问题是其它四个模块，由于这四个模块是运动特征的主要表现者，在运动过程中会出现局部变形，因此我们对这四模块进行特殊话处理。4.1手部手可有空间四边形ABCD构成，但在运动过程中，山于手指的弯曲会导致^问四边形ABCI)发生形变，表现在几何上就是由三角形ABC和三角形CBD之间二面角的变化，而线段AB、AC、CD、BD的L《度不会发生大的变化。如图5，匹配手部的方法是把手部看成一个固定的刚体四边形，从图5看很显然丰部不是刚性的，假如我们以CB为轴，让D点绕轴旋转直到使D点在有ABC三点确定的面上且在三角形ABC外部。那么图5中的2、3经过旋转后会变为图5中的1一样的形状。进行手部模块匹配时的约束条件是求出模版手(图4中1)情况下，线段AB、AC、CB、CD、BD、AD的长度，在散乱的运动数据中找到这样的四个点A,、B,、C,、D,,求点D,通过上面的方法旋转得到的点Dn，使得A,B产AB、A,C,=AC、dB尸CB、CA二CD、B,D^BD、A,Du=AD。根据具体情况可设置一定的误差范围进行约束协调。4.2肩部对于肩部的情况可以用同样的方法，见图6，图6.l表示两手臂伸直且垂直于胸部状态，6.2表示两手臂都下垂状态，6.3表示两手臂都高举状态，6.4表示有一手臂高举状态。4.3脚部对于脚部的情况亦可用此方法，但考虑到脚部的结构还是相对稳定的，很少出现和其他部位交叉的现象，对其影响最大的是两只脚之间的相互交叉现象。当标号24和29的位置相近时，有可能把29跟踪为24，造成了误配，基于这种考虑我们做一个简化的处理，如图7:6在面BCD上求点A的射影点A,,那么有A,BCD组成的四边形可近似地看为刚体进行形状匹配，实验结果显示此方法效率高匹配效果好。4.4大腿部在腰部得到匹配后，大腿部和其组成一个刚体三角形结构，进行二角形匹配。5.基于刚体的补点算法在进行形状匹配时，如果刚体中有缺失点，会导致此刚体得不到匹配，有可能连带其他未缺失数据也得不到匹配，从而降低匹配率并影响下一帧此刚体的匹配。本专利提出的基于刚体的补点算法要求刚体中不能缺点太多，例如腰部的四个点，只有在缺-点的情况下才能得到匹配补点。以腰部刚体为例，具体方法如下歩骤l:腰部在缺少一个点的时候，仍然是一个刚体结构，是一个三角形结构，设P,、p2、p3、P4分别对应腰部的四个点标号19，20，21，22。那么在有三个点的情况下会产生四种三角形情况P,P必，P必P"P2P必，plP^。我们首先在散乱数据中找到满足这四个中的一个，如果未找到说明缺点多于一个，算法结束。如果找到，例如找到的是p,p必三点，转到歩骤二进行P4的补点。歩骤2:用已经选好的模版数据，组成腰部刚体的四个点分别是Xl，&，X:,，&分别对应腰部的四个点标号19，20，21，22。在歩骤一中找到的三点是p,p必，把点&平移到点A的矩阵是A,，则经过A,的旋转后&，x2，X:1，x,变为xu，x21，x31，x其中^与pr重合；把点X2,平移至(J点P2的矩阵是A2，贝慢过Az的旋转后变为X2"X'32，X/12，其中Xb与P2重合；设把点X32平移到点p3的矩阵是A:i，则经过A3的旋转后x32，^变为x33，X，其中x.i:1与P3重合。步骤3:经过三歩平移旋转后当前帧刚体和模版帧刚体重合，显然点^就是我们所要求的点p.,,从而精确无误地补上所缺点。对于其它部位刚体补点方法雷同不再详述。6.基于时空搜索数据处理的运动数据预测与跟踪算法在进行刚性匹配或是进行基于人体运动学原理的标记点跟踪时，会出现以下问题由于没有其它约束条件的约束，在进行匹配时为了取得匹配成功会加大误差系数，而且误差系数一旦设定对于自动匹配的程序来说将不再改变，从而导致可能会有多个匹配结果由于遮挡等原因，会出现缺点现象，如何合理的补点成为问题。基于模块特征统计算法，会在提高精度和利用已匹配的统计结果分段拟合出曲线方程，利用曲线方程进行缺点插值将很合理。模块分段归纳统讣算法另一个优势在于，归纳结果是按照分模块进行，我们在进行运动数据预测与跟踪时可以根据模块在时间轴上的变化幅度设定匹配优先度，幅度小者先匹配原则。当然每帧匹配后要进行结构校验。详细步骤歩骤1:手动处理前三帧数据，作为模版数据。歩骤2:数据预处理，针对噪声数据如幻点(由于摄像机的延迟导致的一个关节点记录多于一个数据的情况)，利用幻点之间距离近的特点进行去噪处理。歩骤3:建立人体树状模型数据结构树节点类，递归初始化树形结构。歩骤4:利用当前帧的前几帧一匹配刚体结合二次Lagrange插值函数和人体运动学原理，预测当前刚体大致空间位置。歩骤5:在歩骤4中预测的范围内，结合4节提到的一种改进刚体匹配方法进行刚体匹配，并根据运动学原理进行结构效验。如匹配成功，把匹配的节点数据从散乱数据中删除，以不影响其它刚体的匹配。如匹配不成功转向步骤6.歩骤6:对未匹配的刚体，认为缺点所导致，调用基于刚体的补点算法进行补点操作，完成匹配。本发明与现有技术相比具有以下优点1、本发明提出的时空搜索数据处理算法，更加合理有效地利用了三维数据点之间的信息。有效地解决了单由刚体匹配所导致的误配现象和单由前后帧之间的关系进行跟踪所导致的误差累积现象。2、提出的基于刚体的补点算法不仅精确地弥补缺失点，而且大大地提高了匹配效率，使得数据自动处理，无需人工调整，满足实时性要求。图1本发明算法流程图。图2标记点摆放方法。图3树形人体骨架结构。图4人体拆分结构图。图5手部状态图。图6肩部状态图。图7脚部状态图。图8系统实现结果，上图是散乱数据下图对应处理数据。具体实施方式下面通过具体的实施方式对本发明的方法做进一歩说明。在一个实施例中，本发明的基于模块分段线性模型的人体运动光学捕捉数据处理是在一台CPU主频为2.8GHz，内存为1G的计算机上实现，该计算机采用WindowsXP操作系统。实例选取一组体操运动进行验证，运动人体标记点的贴点方式如图2所示，标记点个数为32，采样频率60fps。具体实施歩骤为步骤l:采集原始数据。原始数据存储格式如下<table>tableseeoriginaldocumentpage9</column></row><table>其中FRAMEn表示为第n帧数据MKm表示第m个特征标记点，随后的二个数分别表示其x，y，z坐标，单位cm。歩骤2:载入运动数据。歩骤3:数据载入后，建立树形人体骨架结构模型，完成运动数据世界坐标和局部坐标的转化。歩骤4:建立人体分块模型。拓扑结构上相近和在生理结构上相关的原则，把人体骨架拆分为七大模块。并导入模板参数。歩骤5:数据预处理。针对噪声数据如幻点(由于摄像机的延迟导致的一个关节点记录多于一个数据的情况)，利用幻点之间距离近的特点进行去噪处理。歩骤6:利用当甜帧的前几帧一匹配刚体结合二次Lagrange插值函数和人体运动学原理，预测当前刚体大致空间位置。歩骤7:调用改进刚体匹配方法进行刚体匹配。歩骤8:在歩骤6-7的约束下进行运动数据的跟踪匹配处理，检査是否成功匹配，对未成功匹配的数据调用基于刚体的补点算法进行补点处理。歩骤9:进行结构校验，检查左右肢休是否颠倒，人体整体结构是否合理等。歩骤10:通过步骤6-9，循环处理所有帧数据。步骤ll:处理后的运动数据输出，以文件形式输出，数据格式为FRAME1MK1-70.92348991.03391063.557194MK2-92.35507452.46938488.6305617MK3-89.3190698-34.495746847.3119536MK4-80.64942066.52913311.8305233MK5-73.263437818.942426687.9340281MK6-84.90558882.99731946.607917MK7-85.07220768.7370353138.5120934FRAME2其中FRAMEn表示为第n帧数据，具体帧数和原始数据一样。MKm表示第m个特征标记点，随后的三个数分别表示其x，y，z坐标，单位irai。在本专利中数据处理后m的最大值固定为32，与原始数据对比对应值不变，变化的是原始数据中每帧数据可能不为32个。且标记点顺序与模板中标记点顺序一致。本专利选取一些有代表性的运动来验证所提方法的有效性，把运动按动作幅度和在运动过程中肢体之间的遮挡情况进行分类，并统计不同运动的单帧耗时情况。处理结果显示准确处理率根据动作复杂度不同分布在70%-100%之间。对于一般交叉较少且运动幅度不大的常规数据，例如慢走、慢跑、踢腿等运动成功匹配率能达到90%以上；对于有部分交叉(标记点受到遮挡)或者运动幅度变化较快的运动，例如跳远运动、上楼梯运动、跳绳运动等成功匹10配率能达到85%左右；对于运动中肢体遮挡较多特别是连续遮挡时或者运动幅度变化尖锐时，例如投掷运动和俯卧撑运动成功匹配率保持在70%以上。由于运动数据处理的应用需要，数据处理效率要满足实时性要求，该算法经过优化后自动递归处理，无需手动调整参数高效合理充分地运用数据信息，数据处理算法效率高，经测试，对于以每秒60帧采集的散乱数据，单帧数据处理过程耗时t<l/60s，每帧处理耗时相近，处理效率能够满足实时性要求。具体数据匹配率及单帧耗时如表一所示。图8为系统进行数据处理效果的界面截图，分别显示了散乱数据和对应的处理结果。表一各组运动数据实验结果<table>tableseeoriginaldocumentpage11</column></row><table>权利要求1、基于时空搜索数据处理的光学运动捕捉数据处理方法，其特征在于，包括如下步骤1)建立人体几何模型和确立人体标记点摆放方式，导入人体模型和参数；2)建立人体生理结构分块模型。导入人体生理结构分块模型参数；3)建立具有人体运动学约束的树形人体结构骨架模型；4)利用当前帧的前几帧一匹配刚体结合二次Lagrange插值函数和人体运动学原理，预测当前刚体大致空间位置；5)建立一种改进的刚体匹配模型。处理在运动过程中，当肌肉和皮肤发生比较大的变化和捕获数据滞后而导致的刚性结构被破坏问题，改进的刚体匹配模型能够合理地还原数据到模版结构，达到数据的精确跟踪匹配，调用改进刚体匹配方法进行刚体匹配；6)建立基于刚体的补点算法模型。在以上步骤的约束下进行运动数据的跟踪匹配处理，检查是否成功匹配，对未成功匹配的数据调用基于刚体的补点算法进行补点处理；7)对每帧跟踪匹配后的运动数据进行结构校验，得到最终的标定数据；8)将成功标定的运动数据按照读入的格式写入数据文件。2、根据权利要求书l所述的基于时空搜索数据处理的光学运动捕捉数据处理方法，其特征在于，所述的步骤4)中利用二次Lagrange插值多项式原理进行范围预测方法为处理方法自顶向下，首先査询根节点，然后由根节点预测子节点范围，在此范围内进行形状匹配查询该子节点，类推直到所有节点遍历完结束。3、根据权利要求书l所述的基于时空搜索数据处理的光学运动捕捉数据处理方法，其特征在于，所述的步骤5)中还原不同模块数据点的刚体结构的方法是手部由空间四边形ABCD构成，但在运动过程屮，由于手指的弯曲会导致空间四边形ABCD发生形变，表现在几何上就是由三角形ABC和三角形CBD之l'aj二面角的变化，匹配手部的方法是把手部、肩部和脚部看成一个固定的刚体四边形。全文摘要本发明公开了基于时空搜索数据处理的光学运动捕捉数据处理方法。该方法基于光学人体运动捕捉散乱数据的时空信息，提出了时空搜索数据处理算法。由于光学运动数据采集频率高，运动数据的前后帧之间在时间轴上成平滑线性关系，人体骨架关系的约束使得各帧数据在空间位置上遵循一定的拓扑关系。时空搜索数据处理算法合理地利用了运动数据时间轴上的线性关系和空间位置上的拓扑关系作为约束条件，有效地对三维运动数据进行了预测和跟踪，并对噪声数据进行去噪处理，对缺失运动数据提出基于刚体的补点算法，进行合理的补缺。本发明的有益效果是，在处理过程中无需人工干预，并能满足实时性要求。提高了匹配效率。文档编号G06T17/00GK101533527SQ20091001122公开日2009年9月16日申请日期2009年4月18日优先权日2009年4月18日发明者升吴,强张,魏小鹏申请人:大连大学