一种基于混合现实技术的针灸方法与流程

本发明涉及增强现实技术和混合现实技术，具体涉及一种基于混合现实技术的针灸方法，利用增强现实技术和混合现实技术使得使用者进行虚拟针灸训练，从而实现对针灸手法的练习。

背景技术

随着计算机和仿真技术的发展，虚拟现实技术在医学领域得到广泛应用。混合现实(mixedreality,mr)是虚拟现实技术的一个分支，它可以增强或补充人眼所看到的东西并与现实进行互动，将计算机所生成的虚拟物体、场景或系统所提示的信息叠加到现实生活中真实的场景之中，从而增强我们看到的现实世界，并与之交互。这种技术应用在现代医学等领域可以为使用者和操作者提供与其他人所看的现实环境而有所关联的且存储与我们的计算机之中的信息。

近些年来，由于计算机图形学和计算机视觉技术的发展，新兴科技领域的许许多多形形色色的技术都可以运用到“混合现实”(mr)的技术。当前医学教育培训针灸手法的方式均离不开传统的导师陪练方式，不能确定训练的穴位是否准确，没有能够引导学生主动进行针灸学习训练的设备仪器。经络理论，是我国传统医学理论的重要组成部分，其中人体穴位的分布式该理论的基础，以往的穴位分布图往往仅仅是简单的画图认穴，缺乏人们所更加需求的立体感，很难表现其空间位置的特性，根据传统的乳胶或者石膏穴位模型比较固定，往往缺乏动态的变化性，很难根据需要显示穴位的相关信息，随着计算机技术的发展，应用多媒体技术能将一些中医理论运用于教学或是实习，但是穴位的分部信息仍然只是单纯的停留在原有的平面图纸基础之上，缺乏一种动态特性和人与图纸之间的交互，这使得其很难应用于临床。

现在计算机技术的发展，使得根据现有的图形学、虚拟现实技术和传统的中医理论建立起一种虚拟的人体穴位数据模型成为可能，将传统的中医理论和该穴位模型建立关联，这样就能弥补得了原有各种平面穴位分布图的缺点，为用户提供一种交互的、动态的、直观的模型，那么必将为中医的临床、教学提供一种更加直观的、更加利于大家进行全面观察和综合性分析的有力工具。这就可以为实现基础mr技术的虚拟针灸系统提供了一个良好的操作环境。本产品基于混合现实的中医针灸是增强现实技术的延伸技术，搭配物联网的嵌入式技术，从而制作出一套具备有针灸方向、力度等的针灸教育学习系统。将增强现实技术和混合现实技术应用到针灸学习训练的过程中，可以引导针灸训练者在训练的过程中自主的进行针灸学习和实践。

技术实现要素：

本发明的目的是为了克服现有技术中的不足，提供一种基于混合现实技术的针灸方法，混合现实是一种将在摄像机中拍摄画面叠加相应的图像、3d模型等的应用，其目的就是把虚拟物体叠加到所拍摄的画面上来进行互动，从而达到超越现实的感官体验。本方法使用混合现实技术来代替来增强穴位的位置，通过使用真实胸像材料代替原有的真人针灸训练。可实现用户借助增强现实(ar)眼镜设备就可以通过混合现实的效果进行虚拟针灸训练，从而达到优化针灸手法，熟记人体穴位，将中华传统文化发扬光大的目的。

本发明的目的是通过以下技术方案实现的：

一种基于混合现实技术的针灸方法，包括以下步骤：

(1)使用3d扫描仪对实体胸像进行扫面建模，并在unity软件上手动调整完善虚拟胸像模型；

(2)为了达到与现实进行交互的目的，在虚拟胸像模型上嵌入标记，标记可通过虚拟球体或立方体代替；

(3)使用增强现实眼镜通过嵌入的标记对实体胸像模型进行胸像识别；使用unity软件通过辨认之前埋设好的标记表示胸像模型位置，并在增强现实眼镜中显示出来；

(4)基于物联网技术实现实时的针追踪系统模块，通过物联网技术将针在实体胸像模型的插入和拔出与虚拟胸像模型进行结合，使用户能够对胸像进行练习，从而达到训练针灸和熟记穴位的功效。

与现有技术相比，本发明的技术方案所带来的有益效果是：

(1)实现了将混合现实技术应用到虚拟针灸训练上，解决当前没有增强现实技术和混合现实技术应用在针灸学习训练中的问题。

(2)模型精确度高，且纹理清晰：本发明中针灸的胸像模型可由artec_spider手持扫描仪，通过手持全方位扫描模型的各个面得到，纹理贴图自动生成，模型真实，还原度高，完全可以达到实物的原貌，不失真且操作教程简单便捷，即使是非专业的人也可以很快掌握，便于一切医学公司或单位开展。自动生成贴图与纹理则是对于原始建模的重大改善，由于复杂模型的多样性，往往在制作中贴图和纹理的过程中会使得想要的模型与实际建成的模型有所偏差。而用3dmax、maya等软件建模或者三维扫描仪则很难做到，往往会导致实验进程的不顺利。本发明不存在这样的问题，且可以解决没有导师陪练无法确认针灸准确性的问题。

(3)本发明将针灸的结果结合混合现实技术展现给用户更多穴位的目标信息。这样，不仅有利于用户获得精确的穴位定位，还可以将穴位的基本信息定位增强现实眼镜中，更加便于用户快速认识学习穴位。

(4)模型切实，效果逼真，锻炼富有成效，得益于混合现实技术的使用和增强现实(ar)眼镜立体性的优点，本方法可以对于仿真度很高的模型进行实际的操作，解决成本过高的问题，并且针灸的效果可以通过unity进行设置，从而便于使用者进行针灸练习，提高针灸训练的安全性。

附图说明

图1为arduinouno板电路图；

具体实施方式

下面结合附图对本发明作进一步的描述。

1.胸像取材

取自中国领先的模拟医学教育公司tellyesscientific制作的针灸训练模拟胸像，该胸像取自模拟的成年男性头部和胸部的结构，包括几个重要的身体部位：颅骨、颧骨、下颌和一些外部特征。该模拟胸像由逼真的模拟皮肤包裹，并可以通过紫外线辐射器的照明来找到20个常见的穴位。

2.虚拟胸像建模

为了实现对混合现实的中医针灸胸像模型上实现行之有效针灸操作，通常需要在hololens中呈现与实际胸像同等尺寸大小的模型，即将模型进行拖拽并导入unity的这一过程。传统的建模软件如：maya、3dmax等，若想建出一模一样的模型难度极大，因此我们采用了在市面上许多3d体验馆扫描物体的首选产品，即artecspider手持式结构的扫描仪，不但便于操作，而且效果显著。使用3d扫描仪artecspider对实体胸像进行扫描建模后，将得到的模型(obj)以及纹理贴图导入到vuforia创建的数据库中作为我们将要扫描的对象，得到所需模型并在unity软件上手动调整完善虚拟胸像。

3.标记安排

为了达到交互的目的，在虚拟胸像上嵌入标记。将胸像模型固定在unity中的视野的水平线位置，并固定配置好的ar眼镜，之后分别在胸像模型的穴位处建立cube(立方体模型)，即可将其作为穴位脚本的载体，我们将cube模型设置为enabled(隐身)状态，这就使得我们在hololens看不到穴位的标记，但是却可以针刺穴位并且触发脚本机制。

4.胸像识别

在微软hololens独立开发ar中国针灸系统。根据实体胸像触发识别，触发后虚拟胸像可以根据用户需要隐藏在实体胸像中。用户实际上在研究虚拟胸像中的标记，但他们在临床试验中唯一可以看到的对象是实体的胸像。

5.针追踪系统模块制作

基于arduinouno板(arduinogenuino，简称：uno板，使用一系列能够感知温度、压力、湿度等的传感器来根据得到的数据感测周围环境，并且通过控制小灯泡、led等其他元器件来对周围环境做出影响。)实现实时的针追踪系统模块，使用arduino的蓝牙模块和多路复用器(输入电压7-12v；输入电压6-20v)来进行针追踪嵌入式系统设计。电路图如图1所示。

一般情况下穴位处于低电势的短路条件下，多路复用器(型号：h74ls151p)在本发明中作为解码器运行。arduinouno板的主板部分的接口嵌入胸像并且连接pc端，并访问com3端口，并连接至8根导线与蓝牙部分，当导线上带有针灸针的一端于8根导线中的一根端口相连接，高低电平状态将会发生变化，例如：当刺至第二根导线时，将会产生8位字符串01000000，这段字符串将会由蓝牙传递至服务器端，作为讯号从而引起客户机方面的反应。在实验时，使用者握住有线针，将针插入穴位，来指示穴位。当针头插入雕像上的穴位时，针追踪系统模块通过蓝牙通信将解码比特流发送给hololens。arduino板接收多路复用器发送的相应的电位信息并且经过比特流的判断之后，识别相应的穴位。

6.unity程序导入

将unity程序导入hololensar眼镜中，首先需要将unity项目进行导出windows通用应用平台uwp(universalwindowsplatform)的文件，从而生成visualstudio中可以运行的.sln文件，在借助该平台将其导入到与电脑相连接的hololens中，一般是按照debug\x86的模式，导入成功后我们即可在hololens中看到可运行的unity程序图标。在将程序导入hololens之后，运行程序，即可开始系统训练。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。