专利名称：一种人手运动图像三维实时检测方法
技术领域：
本发明涉及一种人手运动图像三维实时检测方法，属于生物医学工程领域。
人手有20个自由度，是人体中运动最灵活的器官，其运动需要肌肉群、骨骼及精细控制程度比下肢等其他运动要复杂得多，人手是人日常生活和工作中与外界环境接触时最重要的操作器官，帕金森氏综合症、脑卒中、脑外伤等许多疾病对手的运动功能都有一定影响，因此在临床康复中常常把人手运动功能的训练作为某些疾病患者康复的重要手段。可见检测分析人手的运动特征，可以帮助临床医生进行疾病或康复进程评定，为临床提供准确科学的诊断和评价手段。
人手运动检测方法主要有三大类一类是利用X光、CT、MRI等设备得到人手骨骼及各断层图象，这类方法检测成本较高，且一般只能检测手静止时的情况；第二类是利用测角仪检测关节角度的变化，如在虚拟现实中被广泛采用的数据手套，这类方法由于角度传感器的两端安置在骨节上，不仅与皮肤表面产生滑动引入误差，而且也影响人手的自然运动，即利用这类方法得到的数据误差较大；第三类方法是利用摄像系统，通过摄取人手运动过程，然后进行分析处理，这类方法的精度较高，是进行人手运动研究及相关疾病诊断的重要工具。
本发明的目的是提出一种人手运动图象三维实时检测方法，为目前临床普遍采用由医生目测进行人手运动功能诊断与评定提供一种科学手段。
本发明提出的一种人手运动图象三维实时检测方法，其特征在于包括以下步骤(1)在被测者待测手的关节上粘贴标志点，使被测者的手按要求动作；(2)从不同角度摄取人手运动过程图像，并将图象实时采集到计算机；(3)对图象用中值滤波法进行滤波，将滤波后的图象映射为模糊矩阵，对模糊矩阵作非线性变换，进行模糊增强，然后对增强后的图象作逆映射，得到模糊增强的图象；(4)对上述图像进行扫描，根据图象灰度搜索出所有连通域；查找封闭连通域并获取封闭连通域的外轮廓最大尺寸；对封闭连通域外轮廓尺寸进行筛选得到与原粘贴标志点尺寸范围一致的标志点；(5)对已经查找到标志点后的第1和第2幅运动过程图象，从起始标志点逐步外推查找动作后与原始标志点相对应的标志点，对第3幅以后的所有图象，在前两幅确定的标志点的一阶外推位置查找后续动作后与原始标志点相对应的标志点；(6)根据上述查找的标志点的形状计算标志点的二维中心坐标；(7)根据从不同角度摄取人手运动平面图像得到的同一个标志点的上述二维坐标，采用直接线性变换(缩写为DLT，Direct Linear Transformation)方法解出标志点三维空间坐标。
(8)按解剖顺序连接关节或末端上标志点的三维空间坐标即可得到人手运动棍图；按采样次序连接不同图象中同一标志点的三维空间坐标就得到关节的位移运动曲线；根据运动棍图中的每3个点决定的两条直线，可以计算出两条直线所夹的角度，即关节弯曲的角度。根据位移和角位移，利用微分方法即可得到其运动的速度和角速度、加速度和角加速度的变化规律。
利用本发明提出的方法可以实时地检测记录人手作不同动作时空间运动轨迹，并对其进行各种统计，以研究人手运动规律及控制机理，或在医学临床上定量评定人手运动功能及其康复程度。
图1人手对捏运动三维空间棍图，图中量钢均为毫米。
图2食指第2关节的角位移(标量)曲线。
图3食指第2关节角速度变化曲线图4食指第2关节角加速度变化曲线下面结合附图，详细介绍本发明的内容(1)实施例的标志点选用黑球，粘贴位置为拇指和食指尖，拇指和食指的各关节，并使被测者作拇指和食指对捏动作；(2)从不同角度摄取人手运动过程图像，并将图像实时采集到计算机；(3)对图像用中值滤波法进行滤波，将滤波后的图象映射为模糊矩阵，对模糊矩阵作非线性变换，进行模糊增强，然后对增强后的图象作逆映射，得到模糊增强的图象；其具体增强过程如下将一幅L个灰度级M×N的图象表示为X=[lmn]，m=1、2、…M，n=1、2、…N(其中lmn为图象像素(m，n)的灰度级)，对应的模糊矩阵为 n=1、2、…N(其中μmn为lmn相对于某特定灰度级的隶属度)。取隶属度函数为 取 的模糊增强函数为 其中 为模糊增强的次数，μc为模糊增强的阈值，其对应的图象灰度值为lc。记模糊增强后矩阵对应的图象为X′=[lmn′]，m=1、2、…M，n=1、2、…N
其中lmn′为模糊增强后像素(m，n)的灰度级，则 其中 由(1)、(2)两式即可完成图象的模糊增强。在算法的具体实现中，为减少计算量，事先将式(2)做成表格Table1、Table2如下Tablel[i]=(int)(i×i/lc+0．5) i=0、1、2、…lcTable2[i]=(int)(L-1-(L-1-i)2/(L-1-lc)+0．5) i=lc+1、lc+2、…L-11)查找标志点逐点对图像进行扫描并与阈值作比较，若有满足阈值条件的连续点，则记录其参数行(行号)、列(起始点列号)和长(连续点数目)，这样的连续点就是“条”，并按下面3个模板构造连通域。
模板1若某“条”不与任何已有域相连，则认为该“条”属于新域，并建立一个新域存入该“条”参数(行、列、长)。
模板2若某“条”只与一个已有域相连，则认为该“条”属于与其相连的域，并将该“条”加入其相连域。
模板3若某“条”与多个已有域相连，则认为这些域为一个新域，将它们合并成一个域，其中各“条”按行、列顺序重组并将该“条”加入新域同时释放各原有域。
将扫描到的每一个“条”与上述3个模板进行比较，找到相符模板并按模板操作，即可实现任意形状连通域的自动检测。由于整个过程中始终保持域内各“条”按行、列顺序排列，因此作模板查找时，只需要与各域最后一行的“条”作比较，计算量很小。在算法的具体实现中，为进一步减少计算量和节省内存，对“条”的定义加了更严格的限制，只有那些长度超过最低限度的连续点才被认为是“条”。这样的限定可以避免图像出现“麻点”时，识别出过多的没意义的连通域。只要连通域外廓尺寸与已知标志点外廓大小匹配，即认为该连通域是标志点。
2)跟踪标志点对第1和2幅图象，在起始标志点附近查找标志点；对第3幅图以后的图象，在前两幅图中标志点的一阶外推位置附近查找标志点，找出不同图象中的同一个标志点，即进行标志点跟踪。
3)根据标志点的形状计算标志点的几何中心坐标；4)三维重构根据从不同角度摄取人手运动平面图像得到的同一个标志点的二维坐标，采用直接线性变换(缩写为DLT，Direct Linear Transformation)方法解算出标志点三维空间坐标。其原理为假设物方坐标(X，Y，Z)与像坐标(η，ζ)间映射关系为含若干待定系数的函数，根据一组已知的(X，Y，Z，η，ζ)即可求解出映射函数中各待定参数，从而得到(X，Y，Z)与(η，ζ)的映射关系，该步骤即为标定。采用多部相机，分别标定得到各自的物像映射函数，根据物方点(X，Y，Z)在各相机的像坐标(η，ζ)及已标定出的物像映射函数即可联立解出物方坐标(X，Y，Z)，即实现三维重构。
(1)按解剖顺序连接粘贴在关节或末端上标志点的三维空间坐标即可得到人手运动棍图，如依次连接食指尖、食指各关节上，以及拇指尖、拇指各关节上标志点的三维空间坐标，即得到图1的运动三维棍图；按采样次序连接食指尖标志点的三维空间坐标即可得到关节的空间位移运动曲线(见图1)；根据运动棍图中的每3个点决定的两条直线，可以计算出两条直线所夹的角度，如根据食指第1、2和3关节上标志点的坐标，可以计算出第2关节的角度，按采样的时间次序等间隔连接第2关节的角度，即得到图2第2关节角位移(标量)变化曲线。根据位移和角位移，利用微分方法即可得到其运动的速度和角速度、加速度和角加速度的变化规律，例如对图2第2关节角位移(标量)变化曲线作微分得到图3角速度变化曲线，对图2第2关节角速度变化曲线作微分得到图4角加速度变化曲线。
(2)对上述计算结果和曲线进行统计处理，即可得到人手在作不同典型动作时，不同指节的运动规律。通过对得到的不同计算结果和曲线进行各种各样的组合分析，可以定量地评定人手运动功能。
实施例中被测者为一健康男性，图1-图4为利用本发明提出的人手运动图像三维实时检测方法得到的结果。
权利要求
1.一种人手运动图象三维实时检测方法，其特征在于，该方法包括以下步骤(1)在被测者待测手的关节上粘贴标志点，使被测者的手按要求动作；(2)从不同角度摄取人手运动过程图像，并将图象实时采集到计算机；(3)对图象用中值滤波法进行滤波，将滤波后的图象映射为模糊矩阵，对模糊矩阵作非线性变换，进行模糊增强，然后对增强后的图象作逆映射，得到模糊增强的图象；(4)对上述图像进行扫描，根据图象灰度搜索出所有连通域；查找封闭连通域并获取封闭连通域的外轮廓最大尺寸；对封闭连通域外轮廓尺寸进行筛选得到与原粘贴标志点尺寸范围一致的标志点；(5)对已经查找到标志点后的第1和第2幅运动过程图象，从起始标志点逐步外推查找动作后与原始标志点相对应的标志点，对第3幅以后的所有图象，在前两幅确定的标志点的一阶外推位置查找后续动作后与原始标志点相对应的标志点；(6)根据上述查找的标志点的形状计算标志点的二维中心坐标；(7)根据从不同角度摄取人手运动平面图像得到的同一个标志点的上述二维坐标，采用直接线性变换方法解出标志点三维空间坐标。(8)按解剖顺序连接关节或末端上标志点的三维空间坐标即可得到人手运动棍图；按采样次序连接不同图象中同一标志点的三维空间坐标就得到关节的位移运动曲线；根据运动棍图中的每3个点决定的两条直线，可以计算出两条直线所夹的角度，即关节弯曲的角度。
全文摘要
本发明涉及一种人手运动图象三维实时检测方法,首先在被测者待测手的关节上粘贴标志点,使被测者的手按要求动作,从不同角度摄取人手运动过程图像,并将图象实时采集到计算机,对图象进行滤波,映射,非线性变换,模糊增强,对图像进行扫描,查找标志点,计算标志点的二维中心坐标,再进行三维重构,即可得到人手运动图象。本方法可以实时地检测记录人手作不同动作时空间运动轨迹,以研究人手运动规律及控制机理,或用于医学临床。
文档编号A61B5/11GK1285504SQ0012955
公开日2001年2月28日 申请日期2000年10月9日 优先权日2000年10月9日
发明者黄昌华, 王人成, 廖克, 吴世波, 董华, 杨年峰 申请人:清华大学