一种针灸定穴辅助教学系统的制作方法

本发明涉及一种3D虚拟场景中针灸定穴系统，具体涉及一种采用虚拟现实技术进行针灸定穴并用于辅助教学的系统。

背景技术：

据调查，截止2015年年底，全国大约有1200所医学院校，且招生人数逐年递增。针灸学、经络腧穴学是以中医理论为指导，研究经络、腧穴及刺灸方法，探讨运用针灸防治疾病规律的一门学科，是中医学的重要组成部分。基于此门课的独特性，需要大量地操作练习，但由于动手实际操作机会有限、实体针灸模型损耗大且定位不明确、操作感不强等不足，学习者很难准确掌握该学科。

人机交互技术是目前用户界面技术中发展迅速的领域之一，现已获得大量研究成果，包括侧重于多媒体技术的触摸式显示屏、可折叠电子书显示屏、3D显示器和视网膜成像显示器等等。虚拟现实作为一门新兴人机交互技术，具有更广阔的应用前景。目前关于虚拟现实的研究较多，但用于医疗医学领域的产品相对较少，将虚拟现实技术与中医针灸相结合的技术鲜有报道，现有技术中大多集中于实体模型或图像合成数字模型进行定穴指导。然而，此种技术在定位准确性、对学习者的指导精度上存在不足，也无法直观呈现针灸的治疗原理和效果，使学习者后期应用困难。

技术实现要素：

针对现有技术中针灸教学手段的不足，本发明提出一种基于虚拟现实的针灸定穴辅助教学系统，通过虚拟现实技术建立全三维的虚拟环境，使用户与人体模型进行交互操作，用户不仅可准确确定需要扎针的穴位，还可直接观看针灸的治疗原理和效果。

该系统包括：

头戴式显示设备，佩戴于用户头部，使用户通过所述头戴式显示设备中的显示器观看虚拟环境以及虚拟人体模型；

主机系统，连接头戴式显示设备，与所述头戴式显示设备进行数据交互；

追踪系统，用于捕捉用户的运动，并将信息返回给所述头戴式显示设备；

手部控制器，包括左手控制器和右手控制器，所述手部控制器为手持设备，制作成手部带小臂的手套形态，其内置传感器，用于追踪用户手部在虚拟场景中移动的轨迹和手部姿态，以及手部指关节运动形态；

一个或多个银针传感器，其内置定位系统，前端为纤细结构，后端为数据传输终端的手持式传感设备，用于捕捉在虚拟场景中的银针位置、位移状态以及对穴位实施的落针位置，并配合手部控制器模拟扎针效果；

人体穴位模型，所述人体穴位模型为现实场景中实体模型，与虚拟场景中的虚拟人体模型一致对应，其内置定位传感器，用于确定人体模型所处的坐标位置和方向以及各个穴位的位置，并和银针传感器配合确定扎针穴位；

辅助可视系统，用于将用户在虚拟场景中人机交互产生的可视化动画视频的播放，并通过追踪系统反馈回头戴式显示设备的屏幕实时展示。

优选地，所述追踪系统包括内置传感器、陀螺仪和磁力计，所述传感器与头戴式显示设备分离，采用内部摄像头或LED灯。

优选地，所述手部控制器可制作成手部带小臂的手套形态。

优选地，所述银针传感器可提供触觉反馈，根据扎针穴位的准确性，使用户感觉到震动，提供扎针效果的力度回馈，当银针传感器扎入人体时，得到一个“得气”的震动感，所述“得气”指的是中医在针灸治疗中，银针达到正确穴位时候从患者身上得到的一种力度回馈。

优选地，所述银针传感器还具有施针按钮与取针按钮，通过银针传感器对人体穴位模型进行施针的过程中，银针传感器接触到人体穴位模型上的某一穴位后，按下银针传感器上的施针按钮，将在虚拟场景中的虚拟人体模型上留下银针标记；按下取针按钮将拔出人体身上银针，同时取消银针标记；施针和取针的动作，均是通过银针传感器和人体穴位模型传感器匹配完成的；其中，在按下施针和取针按钮时，施针和取针的状态的银针为缓慢进入和取出的，通过精确的三维空间中的坐标和/或扎针深度比对，到达预设位置和/或深度的时候得到银针传感器的震动“得气”效果。

优选地，用户将所述银针传感器扎入穴位后，所述人体穴位模型的定位传感器与所述银针传感器进行坐标比对，若坐标配对成功，虚拟人体模型将向用户动态呈现由于扎针对人体经络或器官所带来的效果或影响。

优选地，所述虚拟人体模型的构建包括以下步骤：

1)获取人体医学图像；

2)采用体绘制技术，建立人体数字模型的解剖学数据库；

3)根据人体的个体差异和不足，调整人体数字模型的偏差，获得准确的人体数字模型；

4)通过手工绘制步骤3)获得的人体数字模型，建立准确的人体结构模型；

5)确定人体所有穴位对应位置，并再次通过美术手绘，绘制出人体所有的准确穴位位置，获得最终的虚拟人体模型。

其中，步骤2)建立数字模型为根据男女体型差异分别构建。

优选地，所述人体穴位模型立于展示台或有其他物体衬托，不同结构部位具有不同的密度和/或强度，用户可根据每个部位的结构密度和/或强度，感觉各个部位的质地，获得真实的人体皮肤触感。

根据上述技术方案，本发明有益的技术效果在于：

可使用户在学习针灸时获得更加精细准确的交互体验。用户可通过银针传感器直接模拟针灸过程，体验真实的扎针过程和治疗效果，逼真度高，解决了目前的医学生动手实际操作机会有限、实体针灸模型损耗大且定位不明确，操作感不强的技术问题。

不同于现有虚拟现实系统单一的视觉立体或触觉立体，或触觉效果的简单模拟，而是针对不同的组织进行不同的扎针力度反馈，使用户同时感受到不同组织的触感、结构性质、形态和柔韧度等等。

虚拟人体模型和实际人体模型相结合，在虚拟场景中用户将看到拥有和正常人同等体形体格的3D人体数据，如身高、胸围、上下半身比例等，同时对某一组穴位进行操作时，以动画的形式在虚拟场景中的人体结构上呈现出内部经络反映，如加快了肠胃的蠕动等效果等等，提高教学质量。

人体穴位模型可以360度旋转观看，同时用户可通过手部控制器激活模型，通过左手控制器或右手控制器任意两根手指并列滑动模型，旋转模型至任意角度，方便全方位的展示人体模型和腧穴的作用。

在进入针灸操作时，通过银针传感器在人体穴位模型上刺入腧穴，虚拟场景中的人体穴位模型皮肤屏幕化，即人体穴位模型皮肤变成一块屏幕，并在屏幕上以动画形式播放腧穴的近治作用，若本腧穴有远治作用、特殊作用均表现出来，逼真而全面的展现了组合针灸的效果。

附图说明

图1为本发明系统结构示意图。

图2为左手控制器和右手控制器的示意图。

图3为银针示意图。

图4为用户操作示意图。

图5为银针传感器作用效果示意图。

图6为人体穴位模型示意图。

图7为用户使用本发明系统的准备工作流程图。

图8为针灸操作流程图。

图9为本发明实施过程的总体流程图。

具体实施方式

以下，将参照附图来详细说明本发明的实施例。

图1为本发明系统结构示意图，包括主机系统、头戴式显示设备HMD、追踪系统、手部控制器(包括左手控制器和右手控制器)、一个或多个银针传感器、人体穴位模型、辅助可视系统。其中，主机系统可为智能手机、PC机或视频游戏机，用于为头戴式显示设备提供功能保证。头戴式显示设备根据自身智能化和自动化程度利用主机系统，其佩戴于用户头部，使用户通过所述头戴式显示设备中的显示器观看虚拟环境以及虚拟人体模型。追踪系统包括内置传感器、陀螺仪和磁力计，可被整合到头戴式显示设备中，或作为头戴式显示设备的外设，用于捕捉用户的运动，并将信息返回给所述头戴式显示设备，从而创建一种沉浸式VR体验。为了提高追踪系统的准确性，可将追踪系统中传感器与头戴式显示设备分离，并采用内部摄像头或LED灯。手部控制器为手持设备，用于追踪用户的动作或手势；银针传感器用于捕捉在虚拟场景中的银针位置、位移状态以及对穴位实施的落针位置，并配合手部控制器器模拟扎针效果。人体穴位模型为实体模型，用于确定人体模型所处的坐标位置和方向以及各个穴位的位置，并和银针传感器配合确定扎针穴位。辅助可视系统，用于将用户在虚拟场景中人机交互产生的可视化动画视频的播放，并通过追踪系统反馈回头戴式显示设备的屏幕实时展示。

图2为左手控制器和右手控制器的示意图，通常是一款手持设备，内置传感器，允许用户追踪自己的动作或手势。二者均可制作成手部带小臂的手套形态，通过手部的传感器来确定手部在虚拟场景中移动的轨迹和手部姿态，如手部指关节运动形态。例如，当用户在抓取物体时，就可以把控制器移动到对应位置使用抓取的姿势，例如，现实场景中抓取银针或摸穴的动作都将在虚拟场景中呈现。

图3为银针传感器示意图，银针传感器是一款单独的定制设备，其内置定位系统，前端为纤细结构，后端为数据传输终端的手持式传感设备，用于捕捉在虚拟场景中的银针位置、位移状态以及对穴位实施的落针位置，并配合手部控制器器模拟扎针效果。此外，银针传感器还可提供触觉体验，根据扎针效果的准确性，使用户感觉到震动，提供扎针效果的力度回馈。例如，如果银针传感器扎入人体，可以得到一个“得气”的震动感。所谓“得气”指的是中医在针灸治疗中，银针达到正确穴位时候从患者身上得到的一种力度回馈，该力度回馈可能是肌肉的收缩带来的微妙的感觉。银针传感器包括：力反馈振动器，位于后端的手持式传感设备中，用于在银针传感器接受到“得气”指令时使用振动功能反馈给用户“得气”信息；定位系统，包括定位用传感器，和力反馈振动器同样位于后端的手持式传感设备中，用于判断银针传感器当前时间在场景中处于的三维坐标位置；模拟银针针头，构成前端的纤细结构，用于在扎入人体模型时产生真实的带有质感的力度反馈信息。如图4、5所示.用户佩戴手套设备，手持银针传感器，可自由选择扎入穴位，也可通过虚拟人体模型提示确认人体可扎的穴位。用户将银针传感器扎入穴位后，人体穴位模型的定位传感器与银针传感器进行坐标和/或扎针深度比对，若匹配成功，虚拟人体模型将向用户动态呈现由于扎针对人体经络或器官所带来的效果或影响。例如，通过在虚拟场景中的人体上展示出施针后加快了肠胃蠕动的动画效果。

人体穴位模型为实体模型，内置定位传感器，用于确定人体模型所处的坐标位置和方向以及各个穴位的位置，并和银针传感器配合确定扎针穴位。该人体穴位模型立于展示台或有其他物体衬托，可为粗糙的简模，但要求实体模型质感优质，不同结构部位具有不同的密度和/或强度，用户可根据每个部位的结构密度和/或强度，感觉各个部位的质地，获得真实的人体皮肤触感。具有优质质感的实体人体穴位模型与银针传感器的力反馈配合，能够给用户提供双重力反馈感受，不同于单一的振动式力反馈方式或者单一的实体模型操作方式，能投针对不同的组织进行不同的扎针力度反馈，使用户同时感受到不同组织的触感、结构性质、形态和柔韧度等，并且能够获得针灸治疗中“得气”感等关键的辅助信息，极高的拟真程度使学员能够感受到真实的针灸过程的特点，给教学效果带来极大的提升。此外，现实场景中的该人体穴位模型和虚拟场景中的虚拟人体模型一致对应。在现实场景中接触到了模型，在虚拟场景中也就接触到了虚拟的人体结构。如图6所示，现实场景中用户看到的人体模型为左边的实体模型，而佩戴头戴式显示设备后，看到的是右边的虚拟人体模型，并且增加了更多关于人体脉络器官等信息，指导用户学习针灸技术。

通过银针传感器对人体穴位模型进行施针的过程中，银针传感器接触到人体穴位模型上的某一穴位后，按下银针传感器上的施针按钮，将在虚拟场景中的虚拟人体模型上留下银针标记。同理，按下取针按钮将拔出人体身上“银针”，同时取消银针标记。施针和取针的动作，均是通过银针传感器和人体穴位模型传感器匹配完成的。在按下施针和取针按钮时，施针和取针的状态的银针为缓慢进入和取出的，通过精确的三维空间中的坐标和/或扎针深度比对，到达预设位置和/或深度的时候得到银针传感器的震动“得气”效果。同时，主机系统里存储了多份针灸施针的案例，根据用户施针的穴位，系统自动将该穴位与案例资料进行匹配，匹配成功后调取穴位施针效果对应的动画呈现在虚拟人体模型上。

上述虚拟人体模型在虚拟场景中生成，其构建方法包括以下步骤：

1)获取人体医学图像；

2)采用体绘制技术，建立人体数字模型的解剖学数据库；

3)根据人体的个体差异和不足，调整人体数字模型的偏差，获得准确的人体数字模型；

4)通过手工绘制步骤3)获得的人体数字模型，建立准确的人体结构模型；

5)确定人体所有穴位对应位置，并再次通过美术手绘，绘制出人体所有的准确穴位位置，获得最终的虚拟人体模型。

其中，步骤2)建立数字模型为根据男女体型差异分别构建。

绘制的虚拟人体模型相比完全通过扫描得到的人体结构，更具有研究和教学性。扫描后直接重建就用于系统的三维模型具有个体化差异，这样的人体结构模型只能代表个体，无法以点盖面。而手绘的虚拟人体模型通过人体数据库、数据扫描、三维重建、专家指导等多方面资源整合后得到，是医学中最贴近理想化和医学标准的数字人体穴位模型。

辅助可视系统用于将用户在虚拟场景中人机交互产生的可视化动画视频的播放，并通过追踪系统反馈回头戴式显示设备的屏幕实时展示。为了在虚拟场景中更具有教学性和场景代入感，在场景中的数字人体模型上增加动态动画效果，当对某一组穴位进行操作时，可以动画的形式在虚拟场景中的人体结构上呈现出内部经络反映，如加快肠胃的蠕动等效果。

图7为用户使用本发明系统的准备工作流程图。参与用户做好准备后，即可穿戴本发明的设备，包括头戴式显示设备、手部控制器、银针传感器等，即可进入虚拟实验室。可根据实验室实际场景大小放置1组实体人体穴位模型，可为部分人体或粗糙的简模。实验室内构建的虚拟场景要求具有类似生命科技馆的现代感，同时使用饱和的自然光。不可使用有色光线，以免影响场景中人体模型的材质映射。虚拟场景中还可放置虚拟的“标本陈列柜”等，可自行设计，使场景尽可能的饱满。用户开启穿戴设备后，检测头戴式显示设备、控制器的当前状态，若启动无误，则检测成功，头戴式显示设备显示当前视角画面，同时确定银针传感器和手部控制器的位置，并显示在屏幕上。若检测失败，提示用户调整穿戴设备或重新穿戴。

用户穿戴完成并成功显示相关画面后，可按照图8的流程图进行针灸操作。用户硬件设备穿戴完成后，通过头戴式显示设备可看到与实体人体穴位模型一致对应的虚拟人体模型显示于3D虚拟场景中，并且可以360度旋转观看。用户通过手部控制器激活模型，通过左手控制器或右手控制器任意两根手指并列滑动模型，旋转模型至任意角度。用户使用银针传感器激活模型部位而进入针灸操作：手部控制器检测手部动作，若检测到银针传感器在人体穴位模型上刺入腧穴，则使虚拟场景中的人体穴位模型皮肤屏幕化，即人体穴位模型皮肤变成一块屏幕，并在屏幕上以动画形式播放腧穴的近治作用，若该腧穴有远治作用、特殊作用均表现出来，反之则不表现。手部控制器同时检测是否有手部动作发生，若有动作，则关闭动画视频，直线手部动作对应的操作；若无动作，则直到动画播放结束，人体穴位模型皮肤去屏幕化恢复初始状态，等待再次点击某一腧穴，重复反馈动作。对于未达到针灸组合效果的刺穴动作，则不进行动画播放。

图9对于本发明的实施流程进行总体概述。如图9所示，当用户移动双手时，手部控制器监测到用户双手的移动方向、移动速度以及各种手势动作，银针传感器获取银针的空间三维坐标，人体穴位模型中的定位传感器指示人体模型所处的空间三维坐标、方向以及各个穴位的三维坐标位置。当银针触碰到人体穴位模型中的定位传感器时，对二者的碰撞进行检测，进而判断银针是否扎准，深度是否到位。其判断是根据银针传感器与人体穴位传感器信息的比对进行的，比对的信息包括穴位坐标信息和/或穴位深度信息。根据判断匹配的结果，控制器将回馈一定的力度，使用户对针灸的深度有更为直观的判断。此时，银针悬停与虚拟人体的穴位之中，主机系统将调取存储的案例进行比对，并显示穴位状态，当案例对比成功后，播放对应动画；若取出人体中的银针则释放对应信息。