一种基于移动交互和增强现实的虚拟针灸方法及系统与流程

本发明涉及一种虚拟针灸技术，具体涉及一种基于移动交互和增强现实的虚拟针灸方法及系统。

背景技术：

针灸是一种治疗疾病或通过刺激相关穴位来维持人体健康的药物治疗。针灸只能在真正的病人或人造人体模型上进行。而人造人体模型提供有限的视角，它提供的力反馈不够真实。因此开发出一种提供丰富的信息，使能够识别不同的穴位的系统，意义十分重大。

目前有不少虚拟针灸的系统，但仍然有很多问题有待解决或值得进一步的研究。其一是接触式的方法。通过使用操纵杆远程操纵虚拟针进行针灸，或者使用触摸屏远程操纵。但由于视觉受限并且交互，操纵可能不正确。其二，非接触式的方法。通过将物理标记放在身体部位上以跟踪人手并远程控制来实现针灸。但是，如果标记被遮挡，这些方法将可能失败。因此有一种解决方案是采用kinect来追踪操作人员的手，用区间卡尔曼滤波器和粒子滤波器来控制机器人操纵器。但是人们自然会在现实生活中使用最好的姿势，所以它并不完美。

技术实现要素：

为解决上述问题，本发明提供一种基于移动交互和增强现实的虚拟针灸方法及系统。本发明通过使用ar穿戴设备来实现现实世界和虚拟界面的连接。在这种情况下，打破用户运动的限制。此外，可以在不考虑映射关系的情况下关注现实世界中发生的事情。这种方法还提供了一种更自然的人机交互方式。操作员可以在更准确和自由的任何方向上查看模拟人体，更准确地操作进行针灸。

本发明是通过如下技术方案来实现的。

一种基于移动交互和增强现实的虚拟针灸方法，其包括以下步骤：

s1、扩增现实，投射实验人体模型到实验环境中；

s2、通过使用反向传播算法来构建intelligentfuzzypetrinet(智能模糊petri网，简称：ifpn)模型，以实现诊断子系统；

s3、通过使用leapmotion体感控制器获得手坐标；

s4、通过坐标系系统及其转换，实现虚拟与现实场景的结合；

s5、手的位置和方向的预估和捕捉；

s6、碰撞检测和视觉反馈。

进一步地，步骤s1中的扩增现实通过佩戴ar设备，将虚拟人体模型投影到真实环境中；操作者通过佩戴ar眼镜将模拟人体投影到真实世界中，使用虚拟针灸来进行针灸。

进一步地，在步骤s2中，通过计算机把针灸的数字描述与数字化的解剖图谱相结合，对模拟人体定位3d穴位；智能模糊petri网广泛用于推理、评估等领域；所述智能模糊petri网有一个输出位置和一个输入位置；ifpn模型是将直觉模糊集理论与petri网(featurepyramidnetworks)理论相结合形成的；首先疾病的症状使用反向传播算法对一组数据进行训练学习，训练后得到ifpn模型中输入位置对输出位置的权重；将dynamiccertaintyfactor(动态确定性因素)引入ifpn模型,将ifpn模型转换为后向树；在后向树中，获得症状对疾病的重要性因子，来识别疾病。

进一步地，步骤s3，通过leapmotion体感控制器和摄影机可以检测到手掌，手指的存在。leapmotion控制器可以自行计算手势和动作。leapmotion控制器使用右侧笛卡尔坐标系。以所述控制器中的中心为原点。x轴平行于设备一侧的长边，z轴与设备的另一侧平行，形成与leapmotion的面重叠的平面，y轴垂直于所述平面，方向向上。以所述控制器的框架被定义为xlylz1坐标。所述控制器的视觉范围是倒锥形，一旦检测到手掌和手指，一个不可见的定义为xhyhzh的坐标系统(其原点位于手掌中心)将被构建以数字化手的位置和方向。又在xhyhzh坐标系统中的原点定义的手部运动需要被转化为xlylz1中手的相对位置和方向的数据。当这些数据到达服务器时，服务器将尝试解释它的含义转化为全局坐标系。

进一步地，通过设置一个相似性转换，并将它转化为一个偏差公式，获得转换参数矢量的最小二乘解，得到两个坐标系之间的关系，实现虚拟与现实的转换。互联网也需要计算该动作在现实世界中如何进行。互联网从谷歌hololens眼镜得到手的高度，方向和位置的数据，计算出现实世界中的手心的位置。在与leapmotion控制器中的数据结合，得到现实世界中的坐标。为了传输真实世界的图像以在谷歌hololens眼镜渲染的虚拟场景上显示，需要校准真实世界坐标和ar眼镜坐标。使用单幅图像的交互式场景结构建模算法在现实场景中注册模拟人体，得到虚拟对象和现实场景之间的关系，为了使用户能够与虚拟对象交互，leapmotion和hololens之间的关系需要进一步配置。因为leapmotion可以捕捉每个人手的每个关节点。此外，为了建立hololens和leapmotion的坐标，需要至少三个非共线性的共同点。首先使用微软hololens全息眼镜观察校准框，计算hololens坐标系中上表面的四个角点(x1，x2，x3，x4)的位置。然后用用户的拇指指尖触摸四个角点，可以通过leapmotion控制器计算leapmotion坐标系中的位置(x1'，x2'，x3'，x4')，得到(x1，x2，x3，x4)与(x1'，x2'，x3'，x4')的关系。

进一步地，步骤s5使用kalmanfilter(卡尔曼滤波器)进行手心的位置估算，用kalmanfilter算法重写区间卡尔曼滤波器实现去噪；pf(粒子滤波)是使用相应的归一化权重中的有限数量的随机状态样本来估计真实后验的次优分辨率；在时间t_k后密度近似值为其中δ()为单位脉冲函数，n是样本数，是第i个粒子的归一化权重，是第i个粒子，然而在这种情况下，pf的准确性不高，因为k太高；为了改进这种情况，对于两个位置迭代之间的时间差，位置差的总和用于获得粒子的权重，而不是tk时的立即位置差，然后，在可能性计算中使用与第i个粒子的估计值和计算值的累积位置差，当累积误差最小时，位置正确的可能性最高；最后，基于可能性计算的值，能够获得标准化的权重。

进一步地，步骤s6中，针灸插入过程可看为质点-弹簧模型，因此一个质点与弹簧的碰撞可以看为针灸过程的良好近似。当针扎入皮肤时，受到的内力包括弹簧力即周围质点对其拉力和虚拟弹簧力即在控制点附加的原始长度为0的虚拟弹簧形变后产生的力。弹簧弹力f可通过与该质点周围m邻域集合的弹簧确定。由于针灸治疗过程中需要通过针灸针的旋转达到治疗的目的，针灸针在沿着一个方向旋转的过程中，皮肤切线方向上受到一个摩擦力，其大小与皮肤生理参数以及施加在针上的旋转外力相关。知道这些力的大小后，利用虚拟针的颜色的实时变化，使操作者了解自己操作的准确度，调整自己的插入速度与旋转速度，提高操作的准确性。

实现权利要求1所述的一种基于移动交互和增强现实的虚拟针灸方法的系统，其包括ar设备、leapmotion体感控制器和计算机；所述ar设备包括微软hololens全息眼镜；所述戴ar设备，用于将实验人体模型投影到真实世界中，操作者通过佩戴ar眼镜使用虚拟针进行针灸；leapmotion体感控制器用于检测手掌、手指的存在、手势位置和手势动作；所述微软hololens全息眼镜用于观察校准框，计算hololens坐标系中上表面的四个角点(x1，x2，x3，x4)的位置；所述计算机用于通过使用反向传播算法来构建intelligentfuzzypetrinet(智能模糊petri网，简称：ifpn)模型，以实现诊断子系统

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明使用了增强现实的方法，实现了现实世界与虚拟界面的连接，操作人员可以拥有良好的沉浸感。

2、本发明中的诊断子系统可以反馈丰富的信息和提示给操作人员，操作人员不需要有先验知识，通过使用练习便可以实现针灸操作

3、本发明提供了一种更自然的人机交互方式，操作员可以更自然和准确的在任何方向上观察虚拟人体，采取更准确的操作。

附图说明

图1为虚拟针灸系统流程图。

图2为用于诊断的ifpn模型。

图3为生成的后向树。

图4a、图4b为手部到世界坐标系示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图并通过举例，对本发明的技术方案进行详细说明，需指出的是，以下若有未特别详细说明的过程或符号，均是本领域技术人员可参照现有技术上理解或实现的。

本实例的虚拟针灸方法采用的系统包括ar眼镜，leapmotion体感控制器、计算机；该方法的流程如图1所示，通过步骤实现：

s1、通过佩戴ar眼镜实现的。首先将虚拟人体模型投影到真实环境中，操作者可以通过佩戴ar眼镜使用虚拟针灸来进行针灸，将实验人体模型投影到真实世界中。

s2、该步骤在计算机上实现的。智能模糊petri网(featurepyramidnetworks)广泛用于推理、评估等领域。它有一个输出位置和一个输入位置。ifpn模型是将直觉模糊集理论与petri网理论相结合形成的。首先疾病的症状使用反向传播算法对一组数据进行训练学习，训练后得到ifpn模型，如图2所示。在模型中，输入位置对输出位置的权重。将dcf引入ifpn模型,将ifpn转换为后向树，如图3所示。在后向树中，获得症状对疾病的重要性因子，来识别疾病。

在下面的案例中，ifpn用于识别三种常见疾病，即痉挛，痢疾和腹泻。图2为一个ifpn模型，图3是ifpn转换生成的后向树。通过使用反向传播算法学习，获得描述输入位置对输出位置决定性的重要性的权重，用符号w1,w2,...,w21表示。

通过总结案例研究的学习重量。每个权重指示输入位置对ifpn元素中的输出位置的重要性因子。例如，w1＝0.617237意味着相对于其他输入位置p2(频繁腹泻)，p6(舌红苔黄)，p8(脉搏快速)和p9(脉搏微弱)，位置p1(腹痛)对于输出位置p16(痢疾)的重要性因子是0.617237，而w15＝0.09821意味着p10(面部苍白)相对于其他输入位置p1(腹痛)，p3(粪便干燥)，p7(舌白苔白)，p9(弱脉搏)到输出位置p14(虚寒便秘)的重要性因子为0.09821

s3、leapmotion控制器可以检测手指手心，接收到数据后，可以自行计算手势位置和动作，知道手是如何移动。再将手部数据转换为全局坐标系，如图4a、图4b所示的(imu为是测量物体三轴姿态角(或角速率)以及加速度的装置)，为手部到世界坐标系示意图。

s4、通过设置一个相似性转换，并将它转化为一个偏差公式，获得转换参数矢量的最小二乘解，得到两个坐标系之间的关系，实现转换。互联网也需要计算该动作在现实世界中如何进行。互联网从微软hololens眼镜得到手的高度，方向和位置的数据，计算出现实世界中的手心的位置。在与leapmotion中的数据结合，得到现实世界中的坐标。为了传输真实世界的图像以在微软hololens眼镜渲染的虚拟场景上显示，需要校准真实世界坐标和ar眼镜坐标。我们需要在现实场景中注册模拟人体，得到虚拟对象和现实场景之间的关系，为了使用户能够与虚拟对象交互，leapmotion和微软hololens眼镜之间的关系需要进一步配置。因为leapmotion可以捕捉每个人手的每个关节点。此外，为了建立微软hololens眼镜和leapmotion的坐标，需要至少三个非共线性的共同点。首先使用微软hololens全息眼镜观察校准框，计算微软hololens眼镜坐标系中上表面的四个角点(x1，x2，x3，x4)的位置。然后用用户的拇指指尖触摸四个角点，可以通过leapmotion计算leapmotion坐标系中的位置(x1'，x2'，x3'，x4')，得到(x1，x2，x3，x4)与(x1'，x2'，x3'，x4')的关系。

s5、使用ikf进行位置估算，用kalmanfilter算法重写区间卡尔曼滤波器实现去噪。使用改进的ipf进行定向估算，对于时间段，位置差的总和用于获得权重。

s6、针灸插入过程可看为质点-弹簧模型，因此一个质点与弹簧的碰撞可以看为针灸过程的良好近似。当针扎入皮肤时，受到的内力包括弹簧力即周围质点对其拉力和虚拟弹簧力即在控制点附加的原始长度为0的虚拟弹簧形变后产生的力。弹簧弹力f可通过与该质点周围m邻域集合的弹簧确定。由于针灸治疗过程中需要通过针灸针的旋转达到治疗的目的，针灸针在沿着一个方向旋转的过程中，皮肤切线方向上受到一个摩擦力，其大小与皮肤生理参数以及施加在针上的旋转外力相关。知道这些力的大小后，利用虚拟针的颜色的实时变化，使操作者了解自己操作的准确度，调整自己的插入速度与旋转速度，提高操作的准确性。

综上所述，本发明已如说明书及图示内容，以上仅是本发明的具体步骤，对本发明的保护范围不构成任何限制。