专利名称：一种人体运动轨迹检测方法
技术领域：
本发明涉及一种利用图像处理方法识别与跟踪粘贴在人体主要部位的彩色标志点，获取人体运动轨迹的检测方法，属于生物医学工程中的步态分析技术领域。
背景技术：
步行是人们日常生活中最为普通的一种行为过程，人体运动轨迹的检测装置是记录分析人体行走规律的专用设备。目前临床应用的人体运动轨迹的主要有两种第一种是利用电子测角器通过检测关节角度的变化来得到人体运动规律，第二种是通过摄取人体运动的图像，捕捉粘贴在关节上的标志点来获取人体运动规律的人体运动轨迹检测仪。第一种方法需要在关节的两侧安装角度传感器，对正常步行有干扰，而且检测到的是关节角度变化，不能直接得到关节点的空间坐标。目前应用最为广泛的是第二种方法，在这种方法中最常见的是红外光点步态分析系统，它利用对红外线敏感的反光材料作标志点粘贴在待测部位，工作时镜头周围特殊装置发出的红外线使人体上的无源标志点成为非常明显的亮点。红外光点步态分析系统使用专用设备，价格昂贵。目前国内外许多研究机构利用普通摄像设备代替专用设备，开发低成本人体运动轨迹检测仪。
目前，利用普通摄像机的人体运动轨迹检测仪都采用黑白标志点，即使采用彩色摄像机摄取运动图像，在进行标志点自动辨识前也先将彩色图像转化成黑白的灰度图像。无论是红外光点步态分析系统，还是利用普通摄像机采用黑白标志点的人体步态分析系统，由于标志点只有一种颜色，当标志点之间间距过小时不能准确分辨出标志点的空间位置，当受试者肢体做一些复杂的交叉运动时不能正确自动跟踪出标志点，即不能在后一幅图像上准确找到与前一幅图像对应的标志点。这大大降低了标志点自动识别与跟踪的成功率，影响了使用效果。
发明内容
为了解决现有技术中标志点自动识别与跟踪的成功率低的问题，本发明提出了一种人体运动轨迹检测方法，该方法包括如下步骤1)将标志点粘贴在被检测人待检测部位表面，在间距小或者有交叉运动的部位粘贴不同颜色标志点，并且所述标志点的颜色与待检测部位表面的颜色不相同；
2)用彩色摄像机摄取被检测人在步道上行走过程的图像，并通过彩色图像采集卡实时将采集信息送入计算机；3)存储在计算机中的程序进行标志点的识别与跟踪，此步骤又包括如下几个子步骤3.1)截取有人体运动图像的图像序列作为有效图像序列；3.2)在有效图像序列的第一幅图像上，标定出各标志点的位置；3.3)以各标志点标定位置为中心，根据各标志点的形状和大小截取用来进行各标志点识别的有效计算区域；3.4)标志点识别，即根据所粘贴标志点形状、大小和颜色，利用彩色图像处理方法，计算有效计算区域中标志点的中心坐标；3.5)标志点跟踪，即根据前一幅图像中各标志点的中心坐标来截取后一幅图像中各标志点识别的有效计算区域，然后利用3.4)中所述方法进行标志点识别，计算出后一幅图像中各标志点的中心坐标，直到得到所有图像中各标志点的中心坐标；4)存储在计算机中的程序进行数据分析，即根据标志点粘贴位置与关节位置的几何关系、图像采集频率和第3)步中得到的各标志点的中心坐标，通过计算得到在行走过程中人体运动棍图、各关节的线位移和角位移、各关节的线速度和角速度、各关节的线加速度和角加速度，进而对步态进行深入的运动分析。
本发明所述标志点识别的有效计算区域是以标志点标定位置为中心或者前一幅图像中标志点的中心坐标为中心，以标志点两倍直径为边长截取的正方形区域。
在所述标志点跟踪过程中，如果在截取的有效计算区域内没有识别到标志点，则增大有效计算区域，直至找到标志点位置；如果在截取的有效计算区域内识别到两个或者两个以上标志点，则与有效计算区域中心距离最近的标志点为有效标志点。
本发明第3.4)步中所述的标志点识别方法是由存储在计算机中的程序按照如下步骤实现的首先，将标志点识别的有效计算区域内的RGB格式彩色图像转换成HSV格式彩色图像；然后，计算有效计算区域内任意一点的颜色与基准颜色之间的颜色距离；其中，所述基准颜色为对于第一幅图像，取标定标志点周围九个像素点颜色的平均值作为基准颜色；对于非第一幅图像，则以前一幅图像该标志点颜色的平均值作为基准颜色；最后，将颜色距离在竖直和水平方向上进行投影，根据标志点具有对称性的特点来计算标志点中心坐标。
需要特别指出的是本发明提出的人体运动轨迹检测方法，不仅适合于只用一台摄像机二维平面空间对人体运动进行二维步态运动轨迹检测，而且也适于同时利用多台摄像机在三维立体空间对人体运动进行三维步态运动轨迹检测。利用双目视觉原理将两台及两台以上摄像机得到的二维平面空间标志点中心坐标重构成三维立体空间标志点坐标，是成熟的技术，在通用的图像处理教科书都有类似的算例。
本发明提出的人体运动轨迹检测方法，利用彩色图像处理方法识别与跟踪粘贴在人体待测位置的彩色标志点，来获取人体运动轨迹。这种方法最大的优点是，通过在相邻部位和有运动交叉的部位粘贴不同颜色的标志点，由于不同颜色标志点在标志点识别时的具体参数不同，所以尽管不同颜色的标志点距离很短或者运动时有交叉，也不会发生识别错误。也就是说解决了现有技术只用一种颜色标志点，当标志点之间间距过小时不能准确分辨出标志点的空间位置，以及当受试者肢体做一些复杂的交叉运动时不能正确自动跟踪出标志点的问题。本发明提出的人体运动轨迹检测方法只用普通摄像机就可以实施，硬件简单、成本低廉。
图1是本发明所述人体运动轨迹检测方法的示意图。
图2是本发明所述人体运动轨迹检测方法的标志点识别与跟踪流程图。
具体实施例方式
下面结合附图来说明本发明的一个具体实施过程。
本发明提出的人体运动轨迹检测方法包括如下步骤1)粘贴标志点在被检测人1待检测部位表面粘贴标志点2，如图1所示。为了解决间距很小或者有交叉运动部位因标志点颜色相同，致使标志点自动识别与跟踪成功率较低的问题，采用在这些敏感部位粘贴不同颜色的标志点。在相邻标志点间距小或者被检测人肢体有交叉运动的部位粘贴不同颜色，而且标志点的颜色与粘贴表面背景颜色也不相同。例如被检测人踝关节和足跟部位的两个标志点间距小，可以在踝关节和足跟部位粘贴不同颜色标志点；肘关节与髋关节标志点在行走过程中有交叉，可以在肘关节与髋关节部位粘贴不同颜色的标志点。标志点的颜色与粘贴表面背景颜色不相同是指如果被检测人穿蓝色短裤，则标志点的颜色不能用蓝色，可以用如黄色等其他颜色标志点。
2)采集信息用彩色摄像机3摄取被检测人在步道上行走过程的图像，并通过彩色图像采集卡实时将采集信息送入计算机4；3)进行标志点的识别与跟踪，这个步骤又分成几个子步骤，见图2
3.1)截取有效图像序列截取有人体运动图像的图像序列作为有效图像序列，去除没有被测试者图像的图像序列，只保留有被测试者图像的图像序列作为有效图像序列，进行分析；3.2)标定第一幅图像各标志点的位置在有效图像序列的第一幅图像上，标定出各标志点的位置，这项工作是由实验操作者借助于鼠标、键盘等设备完成的；3.3)截取各标志点识别的有效计算区域以各标志点标定位置为中心，根据各标志点形状和大小截取进行各标志点识别的有效计算区域，例如不同直径和边长的圆形和多边形等。标志点的形状可以取各种中心对称的形状，如圆形、球形、以及多边形和多面体等。标志点的大小根据检测项目和粘贴位置的不同可以有不同尺寸，例如只研究被测试者踝关节局部的运动轨迹，就可以粘贴尺寸较小的标志点，这样不仅可以同时在同样的面积内粘贴更多的标志点，可以研究细节的运动，而且也可以提高检测的精度；在本实例中所述标志点识别的有效计算区域是以标志点标定位置为中心或者前-幅图像中标志点的中心坐标为中心，以标志点两倍直径为边长截取的正方形区域。
3.4)标志点识别标志点识别是根据所粘贴标志点形状、大小和颜色，利用彩色图像处理方法，计算有效计算区域中标志点的中心坐标；其过程如下①将标志点识别的有效计算区域内的RGB格式彩色图像转换成HSV格式彩色图像。
设，(r，g，b)是有效计算区域内任意一点RGB彩色图像格式的中RGB三基色值，(h，s，v)是有效计算区域内任意一点HSV彩色图像格式的中HSV三基色值。Imax＝max(r，g，b)，Imin＝min(r，g，b)，则根据RGB和HSV彩色图像格式的定义，具体转换过程如下 v＝Imax
②计算有效计算区域内任意一点的颜色C1＝(h1，s1，v1)与基准颜色C2＝(h2，s2，v2)之间的颜色距离d(C1，C2)。对于第一幅图像，基准颜色C2被自动设置成光标标注标志点周围九个像素点颜色的平均值；对于非第一幅图像基准颜色C2则自动设置成前一幅图像该标志点颜色的平均值，其算法如下d(C1，C2)＝[(v1-v2)2+(s1.cosh1-s2.cosh2)2+(s1.sinh1-s2.sinh2)2]1/2③计算标志点中心坐标。计算方法是将步骤上述计算得到的颜色距离在竖直和水平方向上进行投影，根据标志点具有对称性的特点来计算标志点中心坐标。其计算过程是先将有效计算区域内每一点的颜色距离在竖直和水平方向分别进行投影，得到投影序列f(i)。然后对每一高度j，计算其邻域(邻域宽度W为标志点的直径最小值)范围内对称点的乘积之和，即T(j)=f(j)×f(j)+f(j+1)×f(j-1)+...+f(j+W2)×f(j-W2)]]>T(j)取最大值的高度j就是标志点中心的高度，相应在竖直和水平方向上计算得到的j就是该标志点中心对应在竖直和水平方向上的坐标。
3.5)标志点跟踪，对于第二幅图像，以第一幅标志点图像的中心坐标为中心，以标志点两倍直径为边长截取正方形作为标志点识别的有效计算区域。然后利用上述方法进行标志点识别，计算出第二幅标志点图像的中心坐标。重复这个过程，直到得到所有图像中标志点的中心坐标。如果在截取有效计算区域内没有识别到标志点，则增大有效计算区域，直至找到标志点位置。如果在截取有效计算区域内识别到两个或者两个以上标志点，则认为与有效计算区域中心距离最近的标志点为有效标志点。
4)存储在计算机中的程序进行数据分析与结果输出。
利用现有技术，根据标志点粘贴位置与关节位置的几何关系、图像采集频率和第3)步中得到的各标志点的中心坐标，通过计算得到在行走过程中人体运动棍图、各关节的线位移和角位移、各关节的线速度和角速度、各关节的线加速度和角加速度，进而对步态进行深入的运动分析。
权利要求
1.一种人体运动轨迹检测方法，其特征在于，该方法包括如下步骤1)将标志点粘贴在被检测人待检测部位表面，在间距小或者有交叉运动的部位粘贴不同颜色标志点，并且所述标志点的颜色与待检测部位表面的颜色不相同；2)用彩色摄像机摄取被检测人在步道上行走过程的图像，并通过彩色图像采集卡实时将采集信息送入计算机；3)存储在计算机中的程序进行标志点的识别与跟踪，此步骤又包括如下几个子步骤3.1)截取有人体运动图像的图像序列作为有效图像序列；3.2)在有效图像序列的第一幅图像上，标定出各标志点的位置；3.3)以各标志点标定位置为中心，根据各标志点的形状和大小截取用来进行各标志点识别的有效计算区域；3.4)标志点识别，即根据所粘贴标志点形状、大小和颜色，利用彩色图像处理方法，计算有效计算区域中标志点的中心坐标；3.5)标志点跟踪，即根据前一幅图像中各标志点的中心坐标来截取后一幅图像中各标志点识别的有效计算区域，然后利用3.4)中所述方法进行标志点识别，计算出后一幅图像中各标志点的中心坐标，直到得到所有图像中各标志点的中心坐标；4)存储在计算机中的程序进行数据分析，即根据标志点粘贴位置与关节位置的几何关系、图像采集频率和第3)步中得到的各标志点的中心坐标，通过计算得到在行走过程中人体运动棍图、各关节的线位移和角位移、各关节的线速度和角速度、各关节的线加速度和角加速度，进而对步态进行深入的运动分析。
2.根据权利要求1所述的人体运动轨迹检测方法，其特征在于所述标志点识别的有效计算区域是以标志点标定位置为中心或者前一幅图像中标志点的中心坐标为中心，以标志点两倍直径为边长截取的正方形区域。
3.根据权利要求1所述的人体运动轨迹检测方法，其特征在于在所述标志点跟踪过程中，如果在截取的有效计算区域内没有识别到标志点，则增大有效计算区域，直至找到标志点位置；如果在截取的有效计算区域内识别到两个或者两个以上标志点，则与有效计算区域中心距离最近的标志点为有效标志点。
4.根据权利要求1所述的人体运动轨迹检测方法，其特征在于，第3.4)步中所述的标志点识别方法是由存储在计算机中的程序按照如下步骤实现的首先，将标志点识别的有效计算区域内的RGB格式彩色图像转换成HSV格式彩色图像；然后，计算有效计算区域内任意一点的颜色与基准颜色之间的颜色距离；其中，所述基准颜色为对于第一幅图像，取标定标志点周围九个像素点颜色的平均值作为基准颜色；对于非第一幅图像，则以前一幅图像该标志点颜色的平均值作为基准颜色；最后，将颜色距离在竖直和水平方向上进行投影，根据标志点具有对称性的特点来计算标志点中心坐标。
全文摘要
一种人体运动轨迹检测方法，属于生物医学工程中的步态分析技术领域。为了解决现有技术中标志点自动识别与跟踪的成功率低的问题，本发明提出了一种人体运动轨迹检测方法，包括如下步骤将标志点粘贴在被检测人待检测部位表面，在间距小或者有交叉运动的部位粘贴不同颜色标志点，并且所述标志点的颜色与待检测部位表面的颜色不相同；用彩色摄像机摄取被检测人在步道上行走过程的图像，并通过彩色图像采集卡实时将采集信息送入计算机；存储在计算机中的程序进行标志点的识别与跟踪，以及数据分析。本发明提出的人体运动轨迹检测方法标志点自动识别与跟踪的成功率高，硬件简单，成本低廉。
文档编号A61B5/11GK1582851SQ20041000917
公开日2005年2月23日 申请日期2004年6月3日 优先权日2004年6月3日
发明者王人成, 金德闻, 张济川, 王茂斌 申请人:清华大学