专利名称：步态参数测量系统及其数据处理装置和方法
技术领域：
本发明涉及步态分析装置，特别涉及根据双路视频测量步态参数的步态参数测量系统，以及其数据处理装置和数据处理方法。
背景技术：
全膝关节置换(TKR)是近代逐渐发展起来的一种治疗膝关节疾病的新技术，是用人工关节部件替代损坏的关节，消除膝关节疼痛，恢复膝关节功能的一种治疗方法。研究者能通过多种方法对其疗效进行评价，如KSS(美国膝关节协会评分)、HSS(美国特种外科医院膝关节评分)。但是这些评价方法主要是通过对患者的主客观感觉、疼痛状况及临床辅检结果进行评价，缺乏定量的指标。步态分析是生物力学的特殊分支，是对人体行走时的肢体和关节活动进行运动学观察和动力学分析，提供一系列时间、几何、力学等参数值和曲线。而利用步态分析系统，通过收集步态数据来分析步态指标，可以对患者的术后疗效进行定量分析。步态分析将全膝关节置换康复治疗中沿用已久的定性分析和直观描述转换为客观、精确的定量评定。步态的定量分析是对步态分析的基础参数(步速、步频、步长)、时相与周期、站立相力矩及下肢关节角度等多种步态指标进行定量分析，指导步态训练。主要包括运动学、动力学、动态肌电图、时间/空间参数分析。基于运动学分析，英国Oxford Metrics的VIC0N，瑞典的SEICOM公司的SELSP0T，英国Charnwood Dynamic的CODA Motion,美国Motion Analysis公司相关产品都是较为成熟的步态分析系统。它们基本上都是由红外摄像系统和专用数据处理机以及计算机组成。将红外标记点贴在人体的待测部位上，通过摄像机接收由它发出并被红外标记点反射回来的红外线信号，再由专用的数据处理机生成人体的运动位置坐标，最后将人体运动位置信息输入计算机，计算相关的步态参数。由于这些成熟的系统使用红外摄像及专用数据处理机，成本很高，而且操作和维护比较复杂。
发明内容
以上成熟的步态分析系统是将摄像机采集到的全部视频序列存储到某个位置，采集结束后利用计算机进行计算分析，这样就会占据很大的存储空间，而且要采用昂贵的专用数据处理机。鉴于此，本发明要解决的技术问题是提供一种数据处理方法，该数据处理方法能够在数字信号处理器(DSP)运行，对视频采集装置输出的视频实时处理获得被测者的步态参数，从而使步态参数测量系统不必设置大容量的存储器来存储视频序列，以及不必设置昂贵的专用的数据处理机。本发明数据处理方法，用于对两个视频采集装置输出的两路视频实时处理，获得被测者的步态参数，所述视频是从腿部设有标记点的被测者正面捕捉的步行场景序列，该数据处理方法包括获取标记点在与两个视频采集装置对应的两个图像坐标系中的初始位置；从所述两个视频采集装置输出的视频同步获取图像；结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置；根据双目成像原理，用标记点在同步获取的两个图像中的位置计算标记点的三维坐标；以及用标记点的三维坐标计算步态参数。优选地，所述获取标记点在与两个视频采集装置对应的两个图像坐标系中的初始位置还包括对两个图像坐标系中的标记点进行匹配。优选地，所述结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置包括根据上两帧图像中标记点的位置变化计算该标记点的运动矢量；根据标记点在上一帧图像中的位置及其运动矢量计算该标记点在当前图像中的估计位置；以及，在所述估计位置周围进行块匹配搜索获取标记点在当前图像中的实际位置。
本发明还提供一种数据处理装置，用于对两个视频采集装置输出的两路视频实时处理，获得被测者的步态参数，所述视频是从腿部设有标记点的被测者正面捕捉的步行场景序列，该数据处理装置包括第一至第五五个模块，第一模块用于获取标记点在与两个视频采集装置对应的两个图像坐标系中的初始位置；第二模块用于从所述两个视频采集装置输出的视频同步获取图像；第三模块用于结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置；第四模块用于根据双目成像原理，用标记点在同步获取的两个图像中的位置计算标记点的三维坐标；第五模块用于根据标记点的三维坐标计算步态参数。优选地，所述第一模块还包括对两个图像坐标系中的标记点进行匹配，以便于计
算三维坐标。优选地，所述第三模块包括第一至第三三个子模块，第一子模块用于根据上两帧图像中标记点的位置变化计算该标记点的运动矢量；第二子模块用于根据标记点在上一帧图像中的位置及其运动矢量计算该标记点在当前图像中的估计位置；第三子模块用于在所述估计位置周围进行块匹配搜索获取标记点在当前图像中的实际位置。优选地，所述步态参数包括标记点处的速度和角度，所述数据处理装置是基于DSP的数据处理装置。本发明还提供一种步态参数测量系统，它包括上述任意一项的数据处理装置、标记点以及两个视频采集装置；标记点设置于被测者的腿部；两个视频采集装置分别与所述数据处理装置连接，用于从被测者正面的两个不同位置分别捕捉被测者的步行场景并实时传送给所述数据处理装置，以实时计算被测者的步态参数。优选地，该步态参数测量系统还包括加速度传感器和/或参数输出装置，加速度传感器设置于待测者的膝关节处，并与所述数据处理装置连接，用于获取行走时膝关节的转动加速度；参数输出装置与所述数据处理装置连接。优选地，所述标记点为红外标记点，所述视频采集装置设置有滤光片以滤掉除红外光以外的有色光，所述加速度传感器为三轴加速度传感器。本发明数据处理方法结合运动估计和块匹配搜索快速获取标记点在两路视频的各帧图像中的位置，根据双目成像原理计算标记点的三维坐标，进而计算步态参数，其计算方法简单，计算用时短，因而能够实时地完成视频处理，而不必先将全部视频存储下来再处理，并且能够在DSP上实现而不必采用昂贵的专用数据处理机。本发明数据处理装置和系统基于上述数据处理方法实现，因此能够有效降低成本和实现步态参数测量系统的便携化。
图I为一个实施例步态参数测量系统的原理框 图2为一个实施例中数据处理方法的流程图。
具体实施例方式下面结合附图和实施例对本发明做进一步说明。图I示出了一个实施例步态参数测量系统的构成。如图I所示，本步态参数测量系统包括数据处理装置I、第一摄像机2和第二摄像机3 (即，两个视频采集装置)、标记点4、加速度传感器5和参数输出装置6。第一摄像机2和第二摄像机3分别与数据处理装置I连接，用于从被测者正面的两个不同位置分别捕捉被测者的步行场景并实时传送给数据处理装置1，以实时计算被测者的步态参数(如速度、加速度等)。加速度传感器5与数据处理 装置I连接，用于将感应到的加速度数据传送给数据处理装置I。参数输出装置6与数据处理装置I连接，用于将数据处理装置I处理后得到的待测者的步态参数输出，参数输出装置6可以是打印机、显示屏和数据传输接口中的至少一种，其中的数据传输接口可以采用各种常用的数据传输接口，如USB接口，或者也可以是光碟驱动器等。 在用本步态参数测量系统首次进行步态测量前，首先要搭设环境，对第一摄像机2和第二摄像机3进行定标，以及将标记点4和加速度传感器5设置在被测者的腿部。搭设环境是布置一条人行通道(长度可以为2至3米)，将第一摄像机2和第二摄像机3设置在人行通道尽头，迎面对着被测者，并且第一摄像机2和第二摄像机3以特定的距离、角度设置，使得被测者沿着人行通道行走时，行走场景位于第一摄像机2和第二摄像机3的视角范围，两个摄像机之间的距离是为了能够利用双目成像原理计算标记点的三维坐标。摄像机定标是为了求解摄像机几何模型参数，这些参数决定了空间点的三维几何位置与其在图像中对应的相互关系。可以采用直接线性变换(DLT)原理对两个摄像机进行定标，具体通过设置6个已知空间未知的控制点，每个控制点根据DLT原理得到两个11元方程，6个控制点可以得到12个11元方程，利用最小二乘法求解方程组，得到包含摄像机的11个参数的矩阵。可以采用粘附方式将标记点4设置在被测者的腿部。标记点4的数量可以灵活设置，但至少要有一个。例如，可以只在一条腿设置，也可以在两条腿均设置，可以只在膝关节处设置一个标记点，也可以在膝关节处、踝关节处、靠近腰处各设置一个标记点。在一个优选实施例中，在每条腿的膝关节处、踝关节处、靠近腰处各设置一个标记点，并且还在膝关节和踝关节之间(即小腿处)设置一个标记点，以及还在腰和膝关节之间(即大腿处)设置一个标记点，共十个标记点，左右两条腿的同部位的标记点呈对称分布。数据处理装置I用于对第一摄像机2和第二摄像机3输出的两路视频实时处理，获得被测者的步态参数。图2示出了一个实施例中数据处理方法的流程图，数据处理装置I采用该数据处理方法。下面结合图2进行说明。在步骤SlOO中，开始该处理流程。在步骤SlOl中，获取标记点在与第一摄像机2和第二摄像机3 (S卩，两个视频采集装置)对应的两个图像坐标系中的初始位置。该步骤也可以叫做初始化步骤，目的是为了提取静态的标记点位置，为后面的步骤(如，实时运动跟踪)提供初始条件。可以利用第一摄像机2和第二摄像机3拍摄被测者即将行走时的静态图像，设置数据处理装置I只捕捉并存储这一帧静态图像，对这帧静态图像进行分析处理，提取图像中的标记点位置信息，将该位置信息作为标记点在图像坐标系中的初始位置信息。在一些实施例中，标记点采用红外标记点，并且在视频采集装置的镜头前加装了滤光片，滤光片能够滤掉除红外光以外的有色光，这样在视频采集装置采集到的图像中除了红外标记点的区域，其余区域亮度接近0，突出了红外标记点，有利于红外标记点的提取。例如，可以首先经过简单预处理定位出标记点的大致区域，再利用标记点的形状与大小信息准确地定位出标记点的中心位置信息，以此中心位置作为该图像中该标志点的位置。在一些实施例中，设置有多个标记点，在获取各标记点在与第一摄像机2和第二摄像机3对应的两个图像坐标系中的初始位置后，还进行标记点的匹配，也就是将同一标 记点在两个图像坐标系中的位置对应起来。标记点匹配的目的是为了在后续步骤中利用双目成像的原理重建出标记点的三维位置信息。由于标记点的布置是按一定规律布置的，而且即使是在步行途中，标记点的相对位置也相对不变化，这样针对两个摄像机采集到的两个图像，只要对得到的标记点的坐标行、列排序，就能得到各个标记点的相对位置，两个图像中相对应的两个位置的标记点就是匹配的标记点。可以理解地，在只有一个标记点时，则不需要进行标记点匹配。在步骤S102中，从第一摄像机2和第二摄像机3输出的视频同步获取图像。在步骤S103中，结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置。该步骤也可以叫做实时运动跟踪。在得到了匹配的标记点位置后，就可以在此基础上进行实时运动跟踪。因为是实时跟踪，相邻帧的运动速度可以看作一致，这样就可以利用已知的位置信息来估计下一帧的位置。在一些实施例中，通过以下方法确定标记点在同步获取的两个图像中的位置，实现实时运动跟踪对于每个标记点而言，首先根据它在上两帧图像(这里用第n-2帧和第η-i帧表示)中的位置变化计算出该标记点的运动矢量，再将该标记点在上一帧图像(即第η-i帧)中的位置加上该运动矢量作为该标记点在当前图像(即第η帧)中的估计位置，然后在该估计位置周围进行块匹配搜索获取标记点在当前图像中的实际位置。在一些实施例中，采用块匹配算法来搜索图像中对应的位置。块匹配算法的基本思想为将图像序列的每一帧划分为若干个相同的子块，为了在第k+Ι帧中找出第k帧第j个子块的最佳匹配块，我们在第k+1帧中某一给定区域内(搜索窗口)，根据一定的匹配准则进行搜索，比如可以采用目前较常用的平均绝对误差准则(MAD)进行搜索，进而得到对应的匹配块，第j个子块与其匹配块之间的相对位移即为该块的匹配运动向量。块匹配方法根据搜索原理的不同分为不同的算法，优选采用三步搜索法(TSS)。三步搜索法具体包括 第一步，搜索步长等于或略大于最大搜索范围的一半，在周围距离步长的8个点处进行块匹配计算并比较；第二步，将步长减半，中心点移到上一步的最佳匹配点，重新在周围距离步长的8个点处进行块匹配计算并比较；第三步，在中心及周围8个点处找出最佳匹配点，若步长为1，搜索结束，否则重复第二步。
由于通过本方法能够实时地对第一摄像机2和第二摄像机3输出的视频进行处理，获得各标记点在图像中的位置，因此只需要存储每帧图像中每个标记点的位置，而不需要将整个视频帧全部保存下来，大大地节省了存储空间。在步骤S104中，根据双目成像原理，用标记点在同步获取的两个图像中的位置计算标记点的三维坐标。该步骤也可以叫做标记点的三维坐标重建。按照双目成像的原理，只要一个点在两个摄像机分别成像，计算出该点在两个图像中的位置，就可以得到该点的空间信息。对于每个摄像机，物点、像点、投影中心是位于同一直线上，那么对于每个点而言，都可以得到一直线方程式。两个摄像机就可以得到两条直线，显然，两条直线的交点就是物点。通过得到的直线方程式，运用最小二乘法求解，可以得到物点的空间坐标(即三维坐标)。在步骤S105中,用标记点的三维坐标计算步态参数。这里的步态参数可以是标记点处的速度、角度等。例如，对于某个标记点，利用相 邻两个处理周期得到的两个空间坐标，可以计算出该标记点的运动距离和运动方向，再结合周期还可以得到该标记点处的运动速度。对于在膝关节、大腿部和小腿部都设置标记点时，利用三个标记点的三维坐标，即可计算出膝关节处的角度。此外，通过设置在待测者的关节处的加速度传感器5，可以获得待测者行走时该关节点的转动加速度。在一些实施例中，采用三轴加速度传感器，例如，可以采用FreescaleSemiconductor公司的MMA7260三轴加速度传感器,可以粘附于膝关节处,测量人体行走时膝关节处的三个轴向加速度。可以理解地，在一些实施例中，可以不设置加速度传感器。进一步还可以利用曲线形式表示待测者行走时各步态参数的变化。可以通过显示屏实时显示步态参数及其变化曲线，或者通过打印机打印出来,也可以存储于存储介质中，或通过数据传输接口将它们传输到其它设备(如硬盘、电脑等)保存或进一步处理。在步骤S106中，判断是否停止处理。如果“是”，则执行步骤S107，本次处理流程结束。如果“否”，则转到步骤S102，从第一摄像机2和第二摄像机3输出的视频同步获取新的图像，继续执行后序步骤。根据本发明，数据处理装置用于对两个视频采集装置输出的两路视频实时处理，获得被测者的步态参数，其中的视频是从腿部设有标记点的被测者正面捕捉的步行场景序列。在一些实施例中，数据处理装置包括第一至第五五个模块，第一模块用于获取标记点在与两个视频采集装置对应的两个图像坐标系中的初始位置；第二模块用于从所述两个视频采集装置输出的视频同步获取图像；第三模块用于结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置；第四模块用于根据双目成像原理，用标记点在同步获取的两个图像中的位置计算标记点的三维坐标；第五模块用于根据标记点的三维坐标计算步态参数。在另外一些实施例中，第一模块还包括对两个图像坐标系中的标记点进行匹配，以便于计算三维坐标。在另外一些实施例中，第三模块包括第一至第三三个子模块，第一子模块用于根据上两帧图像中标记点的位置变化计算该标记点的运动矢量；第二子模块用于根据标记点在上一帧图像中的位置及其运动矢量计算该标记点在当前图像中的估计位置；第三子模块用于在所述估计位置周围进行块匹配搜索获取标记点在当前图像中的实际位置。本领域技术人员可以理解，在模块的具体实现上，尤其是通过软件实现各个模块功能时，可以存在多种可选方案。例如，可以将第一模块中获取标记点在两个图像坐标系中的初始位置作为一个单独的模块，将第一模块中的标记点匹配作为另一个单独的模块，也可以将某两个或多个模块合并为一个模块。在一些实施例中，步态参数包括标记点处的速度和角度。由于本发明采用的数据处理算法简单，计算用时 短，能够在DSP实现数据处理装置，例如，可以采用与合众达公司的SEED-VPM642开发板功能类似的DSP，SEED-VPM642是专为数字媒体应用的高性能32位定点处理器，可实时地实现多路数字视频运算，具有高速数据传输接口，SEED-VPM642可同时实现3路视频的输入，I路视频输出。在用DSP实现时，能够实现整个步态参数测量系统的便携化和降低系统成本。本发明一些实施例通过两个摄像机采集贴有标记点的人体行走时的视频序列，同时结合设置于关节点处的三轴加速度传感器的数据，利用DSP处理视频序列和传感器数据，对人体步行实时地进行三维重建，并实时地计算出人体步行时步态参数，是一种独立于计算机的步态参数测量系统，能够运用到全膝关节置换术后的疗效评估，更好地指导全膝关节置换术后的康复。具体地，可以将做完TKR手术的人选做被测者，让其在搭设好的环境中行走，实时得到其步态参数。并选同年龄段的正常人做对比，来对比治疗的效果。每隔一段时间，可再对此患者进行步态参数测量，以此来评估康复的效果，以更好地指导康复。 以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
1.一种数据处理方法，用于对两个视频采集装置输出的两路视频实时处理，获得被测者的步态参数，所述视频是从腿部设有标记点的被测者正面捕捉的步行场景序列，其特征在于包括 获取标记点在与两个视频采集装置对应的两个图像坐标系中的初始位置； 从所述两个视频采集装置输出的视频同步获取图像； 结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置； 根据双目成像原理，用标记点在同步获取的两个图像中的位置计算标记点的三维坐标；以及 用标记点的三维坐标计算步态参数。
2.根据权利要求I所述的数据处理方法，其特征在于所述获取标记点在与两个视频采v集装置对应的两个图像坐标系中的初始位置还包括对两个图像坐标系中的标记点进行匹配。
3.根据权利要求I所述的数据处理方法，其特征在于，所述结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置包括 根据上两帧图像中标记点的位置变化计算该标记点的运动矢量； 根据标记点在上一帧图像中的位置及其运动矢量计算该标记点在当前图像中的估计位置；以及 在所述估计位置周围进行块匹配搜索获取标记点在当前图像中的实际位置。
4.一种数据处理装置，用于对两个视频采集装置输出的两路视频实时处理，获得被测者的步态参数，所述视频是从腿部设有标记点的被测者正面捕捉的步行场景序列，其特征在于包括 第一模块，用于获取标记点在与两个视频采集装置对应的两个图像坐标系中的初始位置； 第二模块，用于从所述两个视频采集装置输出的视频同步获取图像； 第三模块，用于结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置； 第四模块，用于根据双目成像原理，用标记点在同步获取的两个图像中的位置计算标记点的三维坐标；以及 第五模块，用于根据标记点的三维坐标计算步态参数。
5.根据权利要求4所述的数据处理装置，其特征在于所述第一模块还包括对两个图像坐标系中的标记点进行匹配，以便于计算三维坐标。
6.根据权利要求4所述的数据处理装置，其特征在于，所述第三模块包括 第一子模块，用于根据上两帧图像中标记点的位置变化计算该标记点的运动矢量； 第二子模块，用于根据标记点在上一帧图像中的位置及其运动矢量计算该标记点在当前图像中的估计位置；以及 第三子模块，用于在所述估计位置周围进行块匹配搜索获取标记点在当前图像中的实际位置。
7.根据权利要求4-6任意一项所述的数据处理装置，其特征在于所述步态参数包括标记点处的速度和角度，所述数据处理装置是基于DSP的数据处理装置。
8.一种步态参数测量系统，其特征在于包括 权利要求4-7任意一项的数据处理装置； 标记点，设置于被测者的腿部；以及 两个视频采集装置，分别与所述数据处理装置连接，用于从被测者正面的两个不同位置分别捕捉被测者的步行场景并实时传送给所述数据处理装置，以实时计算被测者的步态参数。
9.根据权利要求8所述的步态参数测量系统，其特征在于，还包括 加速度传感器，设置于待测者的膝关节处，并与所述数据处理装置连接，用于获取行走时膝关节的转动加速度；和/或 参数输出装置，与所述数据处理装置连接。
10.根据权利要求9所述的步态参数测量系统，其特征在于所述标记点为红外标记点，所述视频采集装置设置有滤光片以滤掉除红外光以外的有色光，所述加速度传感器为三轴加速度传感器。
全文摘要
一种步态参数测量系统及其数据处理装置和方法，该方法包括获取标记点在与两个视频采集装置对应的两个图像坐标系中的初始位置；从所述两个视频采集装置输出的视频同步获取图像；结合运动估计和块匹配搜索分别确定标记点在同步获取的两个图像中的位置；根据双目成像原理，用标记点在同步获取的两个图像中的位置计算标记点的三维坐标；以及用标记点的三维坐标计算步态参数。该装置包括与上述步骤对应的五个模块。该系统包括该数据处理装置、标记点以及两个视频采集装置，标记点设置于被测者的腿部，两个视频采集装置分别与该数据处理装置连接，用于从被测者正面的两个不同位置分别捕捉被测者的步行场景。本系统和装置成本低，且能够实现便携化。
文档编号G01C11/36GK102679964SQ201210191660
公开日2012年9月19日 申请日期2012年6月12日 优先权日2012年6月12日
发明者吴剑, 徐娟娟 申请人:清华大学深圳研究生院