基于混合现实的手功能训练系统及数据处理方法与流程

本公开属于智能控制领域，涉及一种基于混合现实的手功能训练系统及数据处理方法。

背景技术：

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

手功能是人类肢体最为精细、灵活和复杂的运动功能，在日常生活中发挥着极其重要的作用。其中，伸手抓握和操控物体是手功能中最重要的组成部分。但在多种中枢性或外周性神经肌肉病变中，手功能极易受损，甚至无法完成抓握、操控等最常见的日常活动，严重影响患者的生活自理能力。在缺血性和出血性脑卒中患者中，这一问题尤为突出，约有80％脑卒中幸存者患有长期性的手功能障碍，严重影响了其日常生活能力。脑卒中后患者亟需得到足够的、有效的手功能康复训练。但据发明人了解，目前针对脑卒中患者手功能康复进行的高强度重复训练多针对个别肌肉进行的肌力恢复训练、关节活动度训练等，运动形式简单、运动场景单一，在以任务目标为导向的功能性提升方面达成度低，且患者在单调重复的训练过程中容易疲劳，容易失去主动康复的兴趣。因此，需要设计开发新的手部功能康复系统，实现更符合日常行为活动且趣味性强的康复训练。

近年来的研究表明，基于虚拟现实(virtualreality，vr)的康复技术可以形成具有实际生活场景的手功能训练环境，对改善手部的运动范围、力量和运动速度，以及在完成抓握操控等实际场景中的手功能积极的作用。但是，vr技术的缺陷是，当手部在虚拟环境中完成造作时，由于缺乏实际物体的真实触碰感，使用者往往无法获得有效的接触感知反馈，因此训练时的临场感低，训练后患者人无法将这种训练能力有效迁移到实际的物理实体的操控中。同时，在vr环境中进行训练，无法获得手指接触物体时的力、力矩等多种动力学信息，无法对手指力量控制能力进行准确记录和精准评估。

技术实现要素：

本公开为了解决上述问题，提出了一种基于混合现实的手功能训练系统及数据处理方法，本公开突破了传统vr技术缺乏接触反馈的局限，可极大地提高训练过程中的临场感和趣味性，同时可以在记录手部运动学参数的基础上，准确地记录现实空间中手部接触物体时的手指力/力矩等动力学信号，为精准评估、训练手功能提供了准确可靠的信号。

根据一些实施例，本公开采用如下技术方案：

基于混合现实的手功能训练系统，包括测试装置、位姿采集装置和虚拟现实平台，其中：

所述测试装置包括至少一抓握部件和多个传感器，所述抓握部件包括一中空的壳体，所述壳体具有至少两个弧形区域和凹部，第一弧形区域设置有至少一力/力矩传感器，第二弧形区域设置有至少四个并排设置的力/力矩传感器；所述凹部与所述弧形区域不在同一平面上；所述力/力矩传感器用于接收对应手指的抓握信息，并上传至所述虚拟现实平台；

所述位姿采集装置，包括若干拍摄现实场景图像和物理实体位置、姿态图像的图像采集设备，所述物理实体包括手/手臂和待抓握物体；

所述虚拟现实平台，包括处理器和虚拟现实设备，所述处理器接收所述现实场景图像，形成具有形状匹配性的虚拟物体，并将物理实体的准确位置和姿态数据映射到虚拟空间的虚拟物体上，反馈至虚拟现实设备上，使虚实物体间形成位置和姿态的实时准确匹配；根据所述抓握信息得到各手指的抓握参数。

通过虚拟现实设备中反映的虚拟环境中的手/手臂抓握住虚拟物体，与之对应的现实空间中的真实手/手臂也同时触碰到物理实体，因此使用者可以获得真实的接触感知反馈，训练的临场感得到极大提升。同时，现实空间中的被抓握物体内部还设置有力/力矩传感器用于获取任务过程中的动力学数据，处理器根据相机获取的物体运动的运动学数据和力/力矩传感器获得的手指动力学数据来精准训练或/和评估受试者的手功能。

作为一种可能的实施方式，所述第一弧形区域和第二弧形区域相对或近似相对设置，与手的五指抓握所述抓握部件式各手指所在区域相吻合。

作为一种可能的实施方式，所述力/力矩传感器设置于第一弧形区域或第二弧形区域的内侧，且其受力面与所述弧形区域相匹配。使得使用者在能够抓握住所述抓握部件时，对应的力/力矩传感器就可以采集到各手指的抓握信息。

作为一种可能的实施方式，所述力/力矩传感器为六维传感器，能够采集受力大小和受力方向。

作为一种可能的实施方式，所述凹部呈漏斗状；

所述壳体内具有一定的容纳空间，以放置重物产生偏转力矩。

作为一种可能的实施方式，所述处理器对图像采集设备采集的图像进行rgb图像的语义分割，对于每一幅分割后图像，如果某一像素点对于所有目标的概率描述都小于设定值，则这一像素点被删除；使用k-最近邻异常检测算法，去除掉距离密集点集合超过设定范围的孤立的点，利用主成分分析计算每个分割目标的最大连续点集，并移除任意与该点集不相交的异常点，通过icp算法估计物体的姿态，设物体预扫描的点云和实际得到的点云，将得到的物体相对于相机的坐标经过透射变换变为相对于虚拟现实设备的虚拟世界坐标；下达手功能训练任务，接收执行任务过程中采集的动力学数据和物体运动学数据，提取特征参数，进行多元回归分析，得到任务完成的评估指数。

所述图像采集设备包括若干深度相机。

基于上述系统的数据处理方法，包括以下步骤：

对采集的图像进行语义分割，去除图像噪音；

将处理后的图像映射至虚拟空间内；

下达手功能训练任务，接收执行任务过程中采集的动力学数据和物体运动学数据，提取特征参数，进行多元回归分析，得到任务完成的评估指数。

所述去除图像噪音的具体过程包括：对于每一幅分割后图像，如果某一像素点对于所有目标的概率描述都小于设定值，则这一像素点被删除；使用k-最近邻异常检测算法，去除掉距离密集点集合超过设定范围的孤立的点，利用主成分分析计算每个分割目标的最大连续点集，并移除任意与该点集不相交的异常点。

将处理后的图像映射至虚拟空间内的具体过程包括：通过icp算法估计物体的姿态，设物体预扫描的点云和实际得到的点云，将得到的物体相对于相机的坐标经过透射变换变为相对于虚拟现实设备的虚拟世界坐标。

作为可能的实施方式，所述动力学数据包括抓握位置平均偏移量、压力变化和压力迁移；

所述运动学参数包括任务执行时间、移动路径长度和平均速度。

作为可能的实施方式，提取各个参数的特征，进行标准化，形成多维向量，利用多维向量进行多元回归得到的目标函数，利用萤火虫种群进行优化求解，得到手功能的功能评估指数。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的数据处理方法。

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的数据处理方法。

与现有技术相比，本公开的有益效果为：

本公开利用深度相机将现实空间中被抓握的物理实体映射在虚拟空间中，形成具有形状匹配性的虚拟物体，同时，深度相机可以实时地获得现实空间物理实体的准确位置和姿态数据，并将其映射到虚拟空间的虚拟物体上，使虚实物体间形成位置和姿态的实时准确匹配。

本公开利用深度相机对使用者的手部进行映射，使真实的手/手臂在虚拟空间中产生虚拟影像。使用者可以通过沉浸式头盔观察虚拟手/手臂与虚拟物体的相对位置关系，当在虚拟环境中的虚拟手臂抓握住虚拟物体时，与之对应的现实空间中的真实手臂也同时触碰到物理实体，因此使用者可以获得真实的接触感知反馈，训练的临场感得到极大提升。

本公开利用测试装置，实现现实空间中的被抓握物体内部通过有力/力矩传感器获取任务过程中的动力学数据，结合相机获取的物体运动的运动学数据和力传感器获得的手指动力学数据来精准评估受试者的手功能。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1是抓握测试装置外部构造示意图；

图2是抓握装置内部构造示意图；

图3是虚拟现实场景示意图；

图4是测试和训练的基本流程示意图；

其中，1为内壁倾斜的杯口，2为装置内部圆柱壁，3为底部中空底座，4为拇指侧半圆弧状外壳，5-8分别为食指、中指、无名指与小指半圆弧状外壳；a-e为六维力/力矩传感器，9为装置四指侧的半圆弧状外壳，10为装置拇指侧的半圆弧状外壳。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

一种基于混合现实的手功能训练/评估系统，包括抓握测试装置、深度相机和虚拟现实平台。其中，抓握测试装置用于采集任务执行时使用者的抓握信息，其中的各个力/力矩传感器用于获取任务过程中的各手指的动力学数据。

深度相机将现实空间中被抓握的物理实体的图像、以及现实空间物理实体的准确位置和姿态数据进行实时采集，并上传至虚拟现实平台。

当然，深度相机的设置位置较为灵活，可以根据具体的现实场景空间区域情况灵活配置。

虚拟现实平台将采集到的物理实体的图像映射在虚拟空间中，形成具有形状匹配性的虚拟物体，同时，将现实空间物理实体的准确位置和姿态数据映射到虚拟空间的虚拟物体上，使虚实物体间形成位置和姿态的实时准确匹配。同时，对使用者的手部/手臂部的图像也进行映射，使真实的手臂在虚拟空间中产生虚拟影像。使用者可以通过沉浸式头盔等虚拟现实设备(或交互设备等)观察虚拟手臂与虚拟物体的相对位置关系。

当在虚拟环境中的虚拟手臂抓握住虚拟物体时，与之对应的现实空间中的真实手臂也同时触碰到物理实体，因此使用者可以获得真实的接触感知反馈，训练的临场感得到极大提升。

根据相机获取的物体运动的运动学数据和力传感器获得的手指动力学数据来精准评估受试者的手功能。

首先，抓握测试装置的设计要点包括能够同时测试全手五指指尖的力、力矩和压力中心点实时信号。为模拟抓握水杯与喝水等功能性操作过程，该仪器机构外型设计成圆柱状杯体样式，杯口为漏斗样倾斜设计，便于流体倾倒。装置内设5个六维力/力矩传感器，其中拇指处传感器与其余四指呈相对位置，间距符合人手自然状态抓握位置。

抓握测试装置外部构造如图1所示。其中，1为内壁倾斜的杯口，2为装置内部圆柱壁，4为拇指侧半圆弧状外壳，5-8分别为食指、中指、无名指与小指半圆弧状外壳，3为底部中空底座。抓握装置内部详细构造如图2所示。其中，1为内壁倾斜的杯口，2为装置内部圆柱壁，3为底座，a为拇指一侧的六维力/力矩传感器，b-e为四指侧六维力/力矩传感器，9为装置四指侧的半圆弧状外壳，连接传感器用于手指抓握，10为装置拇指侧的半圆弧状外壳。

五个六维力/力矩传感器(拇指侧的六维力/力矩传感器a与四指侧的六维力/力矩传感器b-e)相对放置，固定在抓握测试装置内部圆柱壁2上。传感器外侧分别与拇指侧半圆弧状外壳10和四指侧四个半圆弧状外壳9紧密相连。装置中部中空，可以盛装流体，杯口1为漏斗样设计，便于模拟倾倒流体过程。底座3内部中空，可放置重物产生偏转力矩。

建立以训练任务为导向的虚拟现实场景。本实施例根据日常生活中常用的手部工作，诸如抓握柱状物体、伸展手臂到指定位置和倾倒水杯等操作，使用计算机辅助设计软件设计相应的虚拟3d物体以及场景的构建。

虚拟物体的设计使用3dmax软件设计，包括生活中常见的水杯、旋钮、手柄和夹子等物体，每个物体内部留出放置精准力/力矩传感器的空间，能够准确测出受试者完成任务时的力和力矩。虚拟场景的搭建使用unity3d软件，场景根据不同任务设置，在尽量贴近真实情况的同时保证训练的趣味性。根据日常生活的需要，系统设置了不同的任务，每个任务都保证锻炼至少一种受试者的手部功能指标，例如抓水杯向另一个空水杯倒水等。

在本实施例中，基于完全卷积神经网络(fullyconventionalneuralnetwork，fcn)的图像语义分割算法，使用机器学习方法去除噪声点后得到目标物体图像。图像经过迭代最近点(iterativeclosestpoint，icp)算法估计出目标物体的位置和姿态数据。

具体的，现实世界的抓握物体的位姿估计使用rgb-d相机拍摄的场景图像进行。首先使用基于vgg架构的fcn-8s进行rgb图像的语义分割，对于每一幅fcn返回的图像，如果某一像素点对于所有目标的概率描述都小于概率均值减去3倍标准差，则这一像素点被删除。之后为了去除噪声，使用k-最近邻异常检测算法，去除掉距离密集点集合比较远的孤立的点，再使用主成分分析计算每个分割目标的最大连续点集，并移除任意与该点集不相交的异常点。最后通过icp算法估计物体的姿态，设物体预扫描的点云和实际得到的点云分别为：

p＝{p1,p2,p3,...,p4}

q＝{q1,q2,q3,...,q4}(1)

从的p坐标系经过旋转和平移后得到q的坐标系，旋转和平移用r和t来表示：

qi＝rpi+t(2)

考虑到误差和噪声的影响，估计矩阵r和t的问题可以转化为最小化下面的代价函数：

这个函数可以通过奇异值分解算法化简并估计出最优参数。

下一步需要将得到的物体相对于相机的坐标经过透射变换变为相对于受试者的虚拟世界坐标。采用透视变换算法将现实世界物体坐标经过透视变换变为虚拟物体的坐标。

具体的，设二维空间坐标和对应的三维空间坐标为：

两个坐标之间的变换关系是：

其中a为相机内参数矩阵，s是缩放因子，[rt]为外参数矩阵，也就是世界坐标系相对于相机坐标系的旋转和平移，其中内参数矩阵为：

其中f为相机焦距，u、v指相机光圈中心。考虑到现实世界中的噪声影响，估计外参数矩阵可以通过最大化如下最大似然函数来获得：

得到外参数矩阵即可使用估计出的现实世界坐标与之相乘，相当于做相应的旋转平移操作，便可以得到虚拟世界的坐标。

根据受试者在任务过程中的运动学和动力学数据来评估受试者手部功能的状态。本实施例中采用萤火虫算法寻找特征集合中最优的特征子集，并对寻找到的特征子集进行多元线性回归分析来获得有效的手部功能评估结果。

具体的，对于任务期间得到的两个主要数据：力/力矩传感器获得的动力学数据xk和相机获得的物体运动学数据xd，分别表示为：

xk＝[fx,fy,fz,tx,ty,tz]

xd＝[ax,ay,az,θx,θy,θz](8)

其中f、t分别表示力和力矩，a、θ分别表示位置和姿态夹角。对两种信号分别提取特征，特征情况如下：

通用参数：

这部分参数对以上两个数据的一共12个通道的信号同时进行提取，故每个参数为12维。

平均值：平均值反应信号在整个过程中的集中趋势。

其中n为信号长度，xi为第i个值。

标准差：标准差反映信号的离散程度。

中值频率：中值频率反映信号功率谱的集中趋势。

其中f代表信号的频谱，psd(f)代表求信号的功率谱。

过零率：过零率反映信号符号变化的频繁程度。

其中g在括号内为真时为1，否则为0。

自相关：自相关反映信号中的重复模式。

其中l代表延迟，x(n)代表长度为n的信号，代表对x取共轭。

动力学参数：

这部分参数一共三个，其中前两个为2维，第三个为1维，所以一共为5维。

压力中心：压力中心反映抓捏的位置平均偏移量。

其中copi代表第i个cop信号，ccop为提取的参数。

压力变化：压力变化反映压力中心变化的速度。

其中代表求取偏微分。

压力迁移：压力迁移反映整个过程中压力中心的变化范围。

其中a、b分别代表压力中心变化范围的95％置信估计的椭圆的长轴和短轴。

运动学参数：

这部分参数一共三个，每个都为一维，一共三维。

到达时间：到达时间刻画使用者从完成反应命令至手到达目标的时间。

rt＝tend-tbegin(17)

其中tbegin表示手开始运动的时间，tend表示手到达目的地的时间。

路径长度：路径长度反映使用者执行任务过程中手部的总的运动长度。

其中path(x)表示手的运动轨迹，表示从原点o到终点end的曲线积分。

平均速度：平均速度反映执行任务过程中手部运动的快慢。

任务表现：

这部分参数包括两个参数，每个参数为一维，一共为2维。

任务分数：任务分数主要参考使用者完成任务的程度，完美地完成任务可以得到最高分。

完成时间：完成时间指从任务开始到系统判定任务完成的时间，包括下达指令之前的时间等。

将提取的70个特征分别标准化后顺序排列为70维向量：

e＝[e1,e2,e3,...,e70](20)

由于特征维数比较高，且有些特征对于评估没有帮助，因此使用萤火虫算法进行特征选择。设某受试者使用日常生活活动量表测试得到的手功能归一化评分为y，使用特征选择后的多重线性回归得到的归一化评分为y，则优化的目标为最大化如下目标函数：

θi表示第i个特征是否选中，后面一项表示数量的惩罚项，0.9和0.1分别为精度损失和特征数量的占目标函数的权重。然后初始化萤火虫种群：

f＝{f1,f2,f3,...,fn}(22)

其中每个fi都被随机初始化为0到1的数字。初始化最大迭代次数为300，最大吸引度β0为1，随机权重α为0.2。每次迭代对于每个萤火虫的位置更新为：

迭代直到达到最大迭代次数或者目标函数收敛。此时得到特征空间的最优子空间。对于选中的m个特征，进行多重线性回归分析，得到手功能的功能评估指数：

其中e′i表示选择后的特征子集中的第i个特征，αi表示对应特征的权重。

综上，利用虚拟现实技术搭建与任务结合的沉浸式虚拟现实环境，结合抓握装置，可以记录在任务期间的运动学和动力学数据，从而得出真实可信的手功能评估指标分数。由于该系统能够有效地将现实空间中的物理实体操作与虚拟空间中的虚拟任务操作相结合，突破了传统vr技术缺乏接触反馈的局限，可极大地提高训练过程中的临场感和趣味性，同时可以在记录手部运动学参数的基础上，准确地记录现实空间中手部接触物体时的手指力/力矩等动力学信号，为精准评估手功能提供了准确可靠的信号。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。