一种基于双目视觉测量的步态数据处理方法
【专利摘要】本发明公布了一种基于双目视觉测量的步态数据处理方法与曲线生成方法。该方法包括：从两路摄像机输出数据中同步获取同一时刻的两幅步态图像；对采集到的图像进行处理，包括去噪、二值化和形态学处理；根据标志点布局的几何关系，确定同一时刻两幅图像中标志点的匹配关系，通过双目测量原理计算出标志点的三维坐标；结合标志点的几何关系以及前后两组数据判断标志点的三维坐标数据是否有效,并由计算出的标志点三维坐标在线计算步态参数；根据步态参数在一个步态周期内的变化规律实时分割出步态周期；采用统计方法实现步态曲线的在线生成，并利用实时步态数据对步态曲线进行调整，形成最终符合测试者特征的步态曲线。
【专利说明】一种基于双目视觉测量的步态数据处理方法
【技术领域】
[0001] 本发明涉及计算机视觉和信号分析【技术领域】，具体涉及基于双目视觉测量的人体 步态参数数据处理与曲线生成。
【背景技术】
[0002] 目前，随着社会步入老龄化阶段，脑卒中等脑血管疾病发病率不断上升，这类患者 往往伴随着不同程度的肢体运动障碍。而脊椎损伤和脑外伤也会导致运动机能障碍，比脑 卒中患者更为严重。康复医学中，通常采用减重步行训练来帮助这类患者提高下肢架肌肉 力量，恢复下肢行走功能。传统的步行康复训练由人工实施，理疗师体力消耗大，且训练具 有一定的随意性，难以保证训练得到的步态符合正常人步态的生理特征。采用外骨骼式下 肢康复训练机器人进行康复训练可以减轻治疗师的劳动强度，保证了训练效果。为了保证 外骨骼式下肢康复训练机器人对患者有良好的训练效果，使患者训练后的步态接近正常人 的生理步态，需要获得正常人行走过程中的步态特征。
[0003] 步态分析是康复医学中对患者评价的一种有效手段，包括对肢体和关节的运动学 和动力学分析。通过步态数据测试，可以精确地对步态进行定量分析，如对步速，步长，步态 周期，关节角等。步态数据对下肢康复训练可以提供更为科学的指导，对步态训练机器人合 理规划训练过程，完善步态发生与运动控制有着重要的意义。同时步态分析也为康复效果 评估提供了新的手段。
[0004]目前，测试人体步态特征参数的方法大体可以分为以下几种：基于角度传感器的 关节转角测量，基于超声三点定位法的关节运动轨迹测量以及基于光学运动捕捉法的人体 步态获取。基于角度传感器的测量通过在被测者关节处安装角度传感器，从而可以测出测 试者的转动角度。但该方法对安装精度要求较高，在传感器主轴与关节转轴不同轴时测量 误差较大，因而不够实用。基于超声三点定位法的测量方法具有直观的优点。但受限于只 能测试一个点的位置，实用性较差。光学运动捕捉方法具有检测对象运动范围大、采样率 高以及非接触等优点。比如，上海大学王企远博士在人体髋关节、膝关节、踝关节、脚跟以 及脚尖五个部位分别固定标志点，并基于加拿大NDI公司的OptotrakCertus主动式光学 运动捕捉系统进行步态数据采集。目前光学运动捕捉主要采用专用的专用的视觉系统，如 OptotrakCertus,VIC0N等，大多基于专用的红外发射装置和摄像机，设备复杂，维护成本 较高，移动不便。此外，这些系统在采集时通常将数据存储器起来在采集后再进行处理，不 便于实时观察数据的变化，不能直观反映数据的特点，需要后续处理才能的到当时的步态 曲线。
【发明内容】
[0005] 现有的专用光学采集系统用于步态采集，系统操作复杂，难以实现步态数据的在 线实时处理，不能直观的显示步态数据的变化规律。本发明提供一种针对双目视觉测量的 步态数据处理与曲线生成方法，该方法能实现对数据的在线实时处理，分割与拟合，同步显 示出步态参数的变化过程，具有系统简单，实用性强的特点。
[0006] 本发明提出一种基于双目视觉测量的步态数据处理方法，用于实时处理从两路摄 像机采集的测试者在跑步带上运动时下肢侧面图像，从而得到测试者在步行过程中的步态 参数，测试者下肢侧面布置有多个标志点以显示肢体的位置，包括以下步骤：
[0007] 步骤S1:测试者下肢两个外侧面对称设置标志点，标志点个数为3个以上；
[0008] 步骤S2 :利用两路摄像机分别采集测试者下肢两个外侧面的步态图像，通过图像 读取装置从两路摄像机采集的图像中同步获取同一时刻采集到的两幅步态图像；
[0009] 步骤S3:对两幅步态图像进行二值化处理，得到相应的二值图像；
[0010] 步骤S4 :对得到的二值图像进行数学形态学的开运算，去除噪声点；
[0011] 步骤S5:对去除噪声点后的二值图像进行连通域分析，消除非标志点的前景目 标，得到前景仅包含标志点的二值图像；
[0012] 步骤S6 :对两幅仅包含标志点的二值图像中的标志点进行识别和匹配，通过双目 立体视觉原理计算出每个标志点的三维坐标；
[0013] 步骤S7:重复步骤S2到步骤S7获得多个时刻的标志点三维坐标数据，构建位置 轨迹曲线、角度曲线；依据步态周期对轨迹曲线进行分割，计算得到单步态周期的步态参 数。
[0014] 优选的，包括步态参数曲线在线生成的步骤：
[0015] 步骤S71:选取一组用于构建步态参数曲线的步态周期，对所选取的每一个步态 周期中的步态参数进行函数拟合，获得相应的单步态周期步态曲线；
[0016] 步骤S72:采用统计方法挑选单步态周期步态函数拟合曲线组成步态曲线库；
[0017] 步骤S73:在步态曲线库中挑选相似性较高的步态曲线进行曲线平均，形成基准 步态曲线；
[0018] 步骤S74:对新的步态周期中的步态参数进行函数拟合，获得相应的单步态周期 步态曲线，并利用该曲线对基准步态曲线在线调整，以获得最优步态曲线。
[0019] 优选的，步骤S72中的挑选方法为计算所有曲线的互相关系数，并设定阈值A，选 取互相关系数大于阈值A的曲线；再对选取的曲线计算拟合方差，并设定阈值B，选取拟合 方差小于阈值B的曲线构成步态曲线库。
[0020] 优选的，步态曲线库中的曲线采用高斯加权方法进行平均处理。
[0021] 优选的，步骤S74对于新的步态曲线，通过计算得到的曲线互相关系数和拟合方 差判断曲线是否能加入步态曲线库，对可加入步态曲线库的曲线采用高斯加权方法对基准 曲线进行调整。
[0022] 优选的，步骤S3还包括二值图像的滤波处理。
[0023] 优选的，步骤S6中标志点识别和匹配包括以下步骤：
[0024] 步骤S31:获取标志点在测试者下肢的区域中心作为标志点在图像坐标系中的原 始坐标，对原始坐标进行聚类，并依据标志点在测试者下肢的几何约束关系对聚类结果进 行约束，将分为同一类的原始坐标进行平均作为该标志点在图像坐标系中的坐标；
[0025] 步骤S32:依据标志点在图像坐标系中的坐标及标志点的几何约束关系，对两幅 二值图像中的标志点进行识别，并对两幅二值图像中相同位置的标志点进行匹配。
[0026] 优选的，步骤S7在计算步态参数前，根据标志点的几何约束关系对数据的有效性 进行判断，如步骤S5中得到的有效连通区域个数小于标志点的个数或不符合标志点的几 何约束关系，则判断该次数据无效，用相邻帧采集数据的插值的结果代替无效的三维点坐 标；对无效的数据用相邻帧采集数据的插值结果代替。
[0027] 优选的，步骤S7中步态参数的计算方法为：进行分割的方法为：根据标志点的运 动轨迹分割出步态周期；使用梯度下降法对得到多时刻标志点三维坐标数据按照态周期进 行实时分割，并将分割出的所有周期归一化到同一个尺度上对标志点三维坐标数据进行平 均，得到单步态周期的步态参数。
[0028] 优选的，测试者下肢两个外侧面标志点的设置应覆盖髋关节、膝关节、踝关节。
[0029] 本发明提出的一种基于双目视觉测量的步态数据处理方法，通过两路摄行头捕捉 安装有标志点的人体下肢侧面图像，采用形态学运算和连通域分析准确的获得了标志点在 运动图像中的位置，同时结合标志点在测试者下肢的几何约束关系对多余的和匹配错误的 标志点进行修改。依据双目视觉原理计算出标志点的三维坐标，进而计算出所需的步态参 数。这种方法较其他方法更加简单直接，便于对数据进行后续处理，可以在嵌入式处理器中 运行不需要复杂的硬件。本方法不仅保证了数据的处理的实时性，保证了测量精度，同时也 增强了数据的可靠性和可信度。其次，本发明中的步态曲线在线生成方法，对不同周期的步 态参数进行归一化叠加实时拟合出参数的变化曲线，可以实时得到最优的步态曲线。这种 方法方便对步态实时评价和分析，同时利用高斯分布，估计了最接近人体生理学步态的最 优曲线，为后续的分析提供了较好的数据支持，方便对数据进行分析。
【专利附图】
【附图说明】
[0030] 图1:基于双目视觉测量的步态数据处理方法流程图。
[0031] 图2 :步态数据曲线自动生成方法流程图。
[0032] 图3 :步态数据处理系统实施方案模块图。
【具体实施方式】
[0033] 下面结合附图和实施例对本发明做进一步说明。应当指出的是，所描述的实施例 仅旨在便于本发明的理解，而对其不起任何限定作用。
[0034]本发明以人体的生理学步态参数的处理和分析为背景，研究了基于双目视觉测量 的步态数据处理和曲线生成问题。涉及到图像中标志点的提取与匹配、图像处理、点的有效 性判断、步态周期的分割、步态曲线的拟合与生成。
[0035] 如图1所示，本实施例的流程包括以下步骤：
[0036] 步骤S1 :测试者下肢两个外侧面对称设置标志点。
[0037] 为了获取人体下肢各关节的位置，一般采取在人体表面粘贴标志点的方法。可以 采用与人体和背景颜色差别较大的颜色标志点；也可以采用发射或反射红外光的红外标志 点，通过在摄像头上加装红外的滤光片消除背景的影响。标志点采用束带或粘贴的方式固 定于人体表面。对于在跑步带上进行的测试，标志点一般固定在人体下肢的侧面，便于在跑 步带垂直方向设置图像采集设备进行采集。
[0038] 标志点的数量一般不少于三个，根据数据处理的精度要求和处理设备的性能可以 灵活设置不同数量的标志点。根据标志点数量的不同，标志点可以布置在关节处或沿肢体 轴线的其他位置，应覆盖髋关节、膝关节、踝关节。
[0039] 本实施例采用红外标志点，该类标志点可以将可见光背景滤除，方便了标志点在 图像中的提取。
[0040] 步骤S2 :利用两路摄像机分别采集测试者下肢两个外侧面的步态图像，通过图像 读取装置从两路摄像机采集的图像中同步获取同一时刻采集到的两幅步态图像。
[0041] 步骤S3 :对两幅步态图像进行二值化处理，得到相应的二值图像。
[0042] 对步骤S2中获取的两幅图像进行处理，将标志点从背景中提取出来，以获得标志 点在图像坐标系中的坐标。考虑到环境光照的变化和其他因素的影响，根据图像的整体灰 度范围，使用阈值自适应的方法对图像进行二值化处理，将标志点和背景区分开来，从而在 图像中将标志点提取出来，作为对标志点图像的预处理。
[0043] 为了实现对环境的适应性，通过以下步骤获得自适应的阈值。
[0044] 步骤（1):一个初始化阈值T，可以自己设置或者根据随机方法生成；
[0045] 步骤（2):根据阈值图每个像素数据P(n，m)分为对象像素数据G1与背景像素数 据G2, (n为行，m为列）；
[0046] 步骤（3) :G1的平均值是ml,G2的平均值是m2,计算新的阈值T' = (ml+m2)/2;
[0047] 步骤（4):回到步骤（2)，用新的阈值继续分像素数据为对象与背景像素数据，继 续步骤（2)?步骤（4)，直到计算出来的新阈值等于上一次阈值。
[0048] 如果采用颜色块标志点，可通过颜色匹配中的色差法，设定一定的颜色阈值对图 像进行二值化处理，该方法可以作为本实施例的等同替换。
[0049] 步骤S4:对得到的二值图像进行数学形态学的开运算，去除噪声点。
[0050] 对得到的二值图像做数学形态学的开运算，去除图像中的噪声和干扰。具体为：在 对图像进行二值化处理后，会出现以下干扰：（1)图像中一些与标志点特性相似的环境背 景不能在二值化过程中滤除；（2)图像中的一些随机噪声也会在二值化之后在图像中形成 亮点；（3)单独的标志点在前述步骤的图像中也可能被分裂为两个或多个亮点，从而导致 标志点的匹配错误。为了去除这些干扰，本发明采用了数学形态学的开运算的方法。在开 运算中，通过腐蚀方法去除小的对象，通过膨胀方法还原所保留对象的形状。还原的精度取 决于形状和结构矩阵之间的相似性。在本实施例中，采用阶数为5的结构矩阵。通过采用 连续膨胀对开运算后的图像进行重构，消除图像前景边缘突起并填充空洞，能够准确地恢 复腐蚀之后的标志点的形状。
[0051] 步骤S5:对去除噪声点后的二值图像进行连通域分析，消除非标志点的前景目 标，得到前景仅包含标志点的二值图像。
[0052] 对图像进行连通域分析，消除非标志点的前景目标，得到前景仅包含标志点的图 像。具体为：搜索图像中所有连通前景区域并分别标号，作为基准连通域。根据实施例中标 志点的大小和形状，确认基准区域是否为标志点的图像，对大小和形状不符合条件的基准 连通区域作为非标志点区域予以排除，得到所有标志点在图像中对应的连通区域，完成了 图像中标志点的提取。分别计算这些区域的中心，得到各个标志点在图像坐标系中的坐标 值。
[0053] 在一些实施例中，标志点的形状为圆形。为了提高计算标志点坐标的精度，可以对 提取到的连通区域分别进行圆形拟合后再求取中心位置坐标。
[0054] 步骤S6:对两幅仅包含标志点的二值图像中的标志点进行识别和匹配，通过双目 立体视觉原理计算出每个标志点的三维坐标。
[0055] 对标志点进行识别与匹配。具体为：通过标志点在图像坐标系中的坐标和标志点 在测试者下肢的几何约束关系，对两幅图像中的标志点进行识别和标号，获得两幅图像中 标志点的对应关系。通过双目视觉测量的原理，得到标志点三维空间的坐标。
[0056] 在匹配前，先对标志点的坐标数据进行有效性判断。如果在步骤S5中得到的有效 连通区域个数小于标志点的个数或不符合几何约束条件，则判断该次数据无效。对无效的 三维点坐标，采用相邻帧采集数据的插值结果代替。
[0057] 为了消除标志点在图像中由于运动产生拖影造成的标志点匹配错误，对步骤S5 中得到的坐标点进行聚类，并根据几何关系对聚类结果进行约束，对分为同一类的坐标点 认为是一个标志点，对这些坐标点的坐标进行平均作为该标志点的坐标。
[0058] 步骤S7:重复步骤S2到步骤S7获得多个时刻的标志点三维坐标数据，构建位置 轨迹曲线、角度曲线；依据步态周期对轨迹曲线进行分割，计算得到单步态周期的步态参 数。
[0059] 本实施例还包括步态参数曲线在线生成的步骤，如图2所示，采用统计方法实现 步态曲线的在线生成，并利用实时步态数据对步态曲线进行调整，形成最终符合测试者特 征的步态曲线。包括以下步骤：
[0060] 步骤S71 :选取一组用于构建步态参数曲线的步态周期，对所选取的每一个步态 周期中的步态参数进行函数拟合，获得相应的单步态周期步态曲线。
[0061] 根据标志点的运动轨迹变化规律实时分割出步态周期。为了方便处理，将不同周 期的参数序列归一化到相同长度的步态周期，得到单个周期的生理学步态参数曲线。对单 个周期步态参数序列进行函数拟合，以便于存储和分析。
[0062] 在跑步带上进行步态测试时，测试者躯干相对于地面没有位移，在一个步态周期 中，测试者下肢会在跑步带仿效达到前后极限位置。选择合适的标志点，以标志点在跑步带 方向坐标值达到局部极大值或极小值作为分割步态周期的的标准，可以达到较好的分割效 果。
[0063]本实施例采用梯度下降法搜索标志点在沿跑步带方向坐标的极值，以这些极值 点作为步态周期分割点。在梯度下降法中求函数的极大值时，沿梯度方向搜索，可以最快的 达到极大值点。梯度下降法的迭代公式是：
【权利要求】
1. 一种基于双目视觉测量的步态数据处理方法，其特征在于，包括以下步骤： 步骤S1 :测试者下肢两个外侧面对称设置标志点，标志点个数为3个以上； 步骤S2 :利用两路摄像机分别采集测试者下肢两个外侧面的步态图像，通过图像读取 装置从两路摄像机采集的图像中同步获取同一时刻采集到的两幅步态图像； 步骤S3 :对两幅步态图像进行二值化处理，得到相应的二值图像； 步骤S4 :对得到的二值图像进行数学形态学的开运算，去除噪声点； 步骤S5:对去除噪声点后的二值图像进行连通域分析，消除非标志点的前景目标，得 到前景仅包含标志点的二值图像； 步骤S6 :对两幅仅包含标志点的二值图像中的标志点进行识别和匹配，通过双目立体 视觉原理计算出每个标志点的三维坐标； 步骤S7 :重复步骤S2到步骤S7获得多个时刻的标志点三维坐标数据，构建位置轨迹 曲线、角度曲线；依据步态周期对轨迹曲线进行分割，计算得到单步态周期的步态参数。
2. 如权利要求1所述的方法，其特征在于，包括步态参数曲线在线生成的步骤： 步骤S71 :选取一组用于构建步态参数曲线的步态周期，对所选取的每一个步态周期 中的步态参数进行函数拟合，获得相应的单步态周期步态曲线； 步骤S72 :采用统计方法挑选单步态周期步态函数拟合曲线组成步态曲线库； 步骤S73 :在步态曲线库中挑选相似性较高的步态曲线进行曲线平均，形成基准步态 曲线； 步骤S74:对新的步态周期中的步态参数进行函数拟合，获得相应的单步态周期步态 曲线，并利用该曲线对基准步态曲线在线调整，以获得最优步态曲线。
3. 如权利要求2所述的方法，其特征在于，步骤S72中的挑选方法为计算所有曲线的互 相关系数，并设定阈值A，选取互相关系数大于阈值A的曲线；再对选取的曲线计算拟合方 差，并设定阈值B，选取拟合方差小于阈值B的曲线构成步态曲线库。
4. 如权利要求3所述的方法，其特征在于，步态曲线库中的曲线采用高斯加权方法进 行平均处理。
5. 如权利要求4所述的方法，其特征在于，步骤S74对于新的步态曲线，通过计算得到 的曲线互相关系数和拟合方差判断曲线是否能加入步态曲线库，对可加入步态曲线库的曲 线采用高斯加权方法对基准曲线进行调整。
6. 如权利要求1-5中任一项所述的方法，其特征在于，步骤S3还包括二值图像的滤波 处理。
7. 如权利要求6所述的方法，其特征在于，步骤S6中标志点识别和匹配包括以下步 骤： 步骤S31 :获取标志点在测试者下肢的区域中心作为标志点在图像坐标系中的原始坐 标，对原始坐标进行聚类，并依据标志点在测试者下肢的几何约束关系对聚类结果进行约 束，将分为同一类的原始坐标进行平均作为该标志点在图像坐标系中的坐标； 步骤S32 :依据标志点在图像坐标系中的坐标及标志点的几何约束关系，对两幅二值 图像中的标志点进行识别，并对两幅二值图像中相同位置的标志点进行匹配。
8. 如权利要求7所述的方法，其特征在于，步骤S7在计算步态参数前，根据标志点的几 何约束关系对数据的有效性进行判断，如步骤S5中得到的有效连通区域个数小于标志点 的个数或不符合标志点的几何约束关系，则判断该次数据无效，用相邻帧采集数据的插值 的结果代替无效的三维点坐标；对无效的数据用相邻帧采集数据的插值结果代替。
9. 如权利要求8所述的方法，其特征在于，步骤S7中步态参数的计算方法为：进行分 割的方法为：根据标志点的运动轨迹分割出步态周期；使用梯度下降法对得到多时刻标志 点三维坐标数据按照态周期进行实时分割，并将分割出的所有周期归一化到同一个尺度上 对标志点三维坐标数据进行平均，得到单步态周期的步态参数。
10. 如权利要求9所述的方法，其特征在于，测试者下肢两个外侧面标志点的设置应覆 盖髋关节、膝关节、踝关节。
【文档编号】G06T5/00GK104408718SQ201410682712
【公开日】2015年3月11日 申请日期:2014年11月24日 优先权日:2014年11月24日
【发明者】鲁涛, 原魁, 曹学为, 王晓楠 申请人:中国科学院自动化研究所