一种基于虚拟现实的人体解剖交互系统的制作方法

本发明为一种基于虚拟现实技术的人机交互系统，尤其涉及到在虚拟场景中完整展示从内到外的3D人体解剖数字模型，并且能够进行交互的人体解剖交互系统。

背景技术：

人机交互技术是目前用户界面技术中发展迅速的领域之一，现已获得大量研究成果，包括侧重于多媒体技术的触摸式显示屏、可折叠电子书显示屏、3D显示器和视网膜成像显示器等等。虚拟现实作为一门新兴人机交互技术，具有更广阔的应用前景。虚拟现实(Virtual Reality，简称VR)技术是80年代随着计算机图形仿真技术的深入研究而发展起来的一个新的研究领域，人们利用它在计算机系统上创建和体验虚拟世界。虚拟世界是全体虚拟环境(Virtual Environment简称VE)或给定仿真对象的全体，而虚拟环境由计算机产生，通过视、听、触觉等作用于用户使之产生身临其境感觉的交互式视觉仿真系统。通常虚拟现实系统由智能眼镜、控制单元、人体动作捕捉单元等组成，但在互动性和视觉呈现上效果不佳。

现有的虚拟现实技术在医学领域中的应用，主要是利用X射线计算机断层成像(CT)、核磁共振(MRI)等医学影像技术，对人体活体或尸体进行全方位的扫描，从而获取人体组织器官信息，再通过三维重建直接建立扫描的人体模型，应用虚拟现实技术和设备将虚拟模型呈现在场景之中，使用户在场景中看到一个三维还原的扫描人体结构。但这样的人体结构在不同个体之间或活体与尸体之间都存在个体差异性，例如扫描的活体对象偏胖或偏瘦，组织器官存在病变，又如尸体在扫描时，存在和活体时的差异，加之经过了物理和化学处理，松懈程度会增大，从而产生更大的形变。因此直接通过三维扫描重建出来的人体结构对真正意义上的模型应用效果有限，无法以点盖面地作为标准人体结构。

此外，虽然目前关于视觉合成的研究较多，但用于医疗医学领域的产品相对较少，大多数的瓶颈都卡在人体模型的精细程度，以及力触觉模拟技术上的不足。人体模型的精细度在虚拟显示环境中具有突出的优越性，它使得虚拟现实环境变得真实，更具有代入感，极大的增强了可视化呈现效果。另外，力反馈也是虚拟现实中不可缺少的一部分，它是使用户可接收周围环境输入，同时可对周围环境输出的感知通道。但目前大多虚拟现实系统均只有单一的视觉立体或触觉立体，无法实现视觉与触觉的同步匹配，代入感不强。如果能实现二者的同步渲染与配合，同时结合医学、医疗领域相关的标准化数据资源，无疑将大大增强用户与虚拟模型和环境的交互，并使感受到与虚拟对象交互产生的接触和力，形成对虚拟模型的完整认知，如同操作真实物体一样，使人机交互体验更真实、准确。

再者，用户在虚拟环境中可随意快速地移动，移动过程中如画面追踪不到位可能会产生拖影或掉帧的现象，使用户产生眩晕感甚至造成人体不适。

技术实现要素：

基于上述问题，本发明的目的在于提供一种基于虚拟现实的人体解剖交互系统，通过VR建立全三维的虚拟环境，使用户与人体模型进行交互操作。该系统包括：

头戴式显示设备，佩戴于用户头部，使用户通过所述头戴式显示设备中的显示器观看虚拟环境以及三维人体数字模型；

主机系统，用于为所述头戴式显示设备提供功能保证，所述头戴式显示设备根据自身智能化和自动化程度利用主机系统；

追踪系统，用于捕捉用户的运动，并将信息返回给所述头戴式显示设备，从而创建一种沉浸式VR体验；

控制器，所述控制器为手持设备，用于追踪用户的动作或手势；

辅助可视系统，包括：可视化公告板和动态可视效果发生器；

所述系统还包括：通过主机系统实时判断传感器所处的位置和虚拟场景中的某个人体结构位置，如有接触或碰撞，则根据接触或碰撞对象的性质进行不同的力度回馈。

优选地，所述追踪系统包括内置传感器、陀螺仪和磁力计，所述传感器与HMD设备分离，采用内部摄像头或LED灯。

优选地，所述控制器还具备触觉触发模块，提供触觉体验，使用户感觉到震动。

优选地，所述控制器包括：

左手柄，通过所述左手柄的控制台对所述系统进行控制；

右手柄，通过所述右手柄的功能按钮对所述系统进行控制。

优选地，所述左手柄包括：

VR接收器、陀螺仪装置和一块实体板，实体板与VR接收器形成一体式结构握于左手，通过陀螺仪装置进行水平和翻转判断，当左手柄处于水平状态时呼出虚拟场景中的控制台，左手柄脱离水平状态时关闭控制台。

进一步的，所述右手柄的功能按钮包括：扳机、单按钮、左方向按钮、右方向按钮。

优选地，所述扳机包括：

扳机：扳机包括功能激活按钮，可对左手柄的控制台进行操作，

其中，所述操作包括，对6组人体模型的任一模型接触后进行抓取工作，进一步的：

按下扳机确定处于抓住状态，处于抓住状态下的模型可随手柄的旋转进行旋转；

松开扳机取消抓取，模型停留在当前坐标点上。

优选地，所述单按钮具有对手柄所接触的模型进行单个还原功能。

优选地，所述左右按钮具有对处于光标圈的模型组进行左右旋转功能，组内所有模型沿场景Y坐标开始旋转。

优选地，左右手柄的特性包括：当在虚拟场景中移动坐标时，实时检测碰撞属性。

优选地，所述可视化公告板在任何模型处于抓取状态时，在被抓取的模型世界坐标的左上角出现透明式描述界面，界面中显示当前被抓取模型的中文、英文名称，以及其他模型相关描述。

优选地，所述动态可视效果发生器在所有模型立于场景中原始坐标点时，针对动态模型渲染动态效果。

优选地，所述三维人体数字模型的构建包括以下步骤：

1)获取人体医学图像；

2)采用体绘制技术，建立人体数字模型的解剖学数据库；

3)通过医学专家指导，根据人体的个体差异和不足，调整人体数字模型的偏差，获得准确的人体数字模型；

4)通过手工绘制步骤3)获得的人体数字模型，建立准确的人体结构模型。

优选地，步骤2)建立数字模型为根据男女体型差异分别构建。

优选地，上述人体数字模型的构建采用次世代3D数字建模方法。

所述系统还包括：为了降低VR环境中用户的眩晕感，采用以下任一调整方式或其组合：

在用户视野范围内加入静态参照物；适当减少用户的视野范围或避免视野的经常转换；增加显示画面的刷新帧率；提示用户在VR环境中匀速活动。

根据上述各方式，本发明可使用户获得更加精细准确的交互体验。在虚拟场景中用户将看到拥有和正常人同等体形体格的3D人体数据，如身高、胸围、上下半身比例等；同时可通过控制器直接对对虚拟场景中任意的人体结构进行拆解拆分，而无需再借助额外的外部器械。并且，不同于现有虚拟现实系统单一的视觉立体或触觉立体，或触觉效果的简单模拟，本发明针对不同的组织进行不同的力度反馈，使用户同时感受到不同组织的触感、结构性质、形态和柔韧度等等。

更进一步地，本发明的模型资源打破传统三维重建技术，通过两次人体结构绘制，对原始医学数据进行转化，运用次世代3D数字建模技术及PBR工作流程制作获得准确、标准化的人体模型结构。

此外，本发明从用户切身体验出发，考虑到用户使用的持久性，采用了有效的调整措施，防止和降低用户的眩晕感。

附图说明

图1为本发明系统结构示意图。

图2为右手柄的示意图。

图3为数字人体模型示意图。

图4和图5为本发明系统中的力反馈描述示意图。

图6为人体眩晕感产生原因示意图。

具体实施方式

以下，将参照附图来详细说明本发明的实施例。

图1为本发明系统结构示意图。

其中，主机系统包括智能手机、PC或视频游戏机。本医学解剖交互系统追踪系统可创建一种沉浸式的VR体验，例如，如果用户戴上HMD设备仰望天空，HMD屏幕也会向同样的方向运动，以便让用户看到目标。追踪系统可被整合到HMD设备中，或作为HMD设备的外设。为了提高追踪系统的准确性，可将追踪系统中传感器与HMD设备分离，并采用内部摄像头或LED灯。

控制器包括左右手柄，其中左手柄包括：VR接收器和一块实体板，实体板的尺寸是37cm*25cm。实体板要求轻便，重力较轻。

实体板与左手VR接收器形成一体式结构握于左手，通过手柄的陀螺仪装置进行水平和翻转判断，当手柄处于水平状态时呼出虚拟场景中的控制台，手柄脱离水平状态时关闭控制台。虚拟场景中显示的控制台为平板状操作台，控制台上至少包括6个模型图标，分别是：骨骼模型、肌肉模型、内脏模型、血液模型、神经模型、淋巴模型，用户可以通过右手柄与控制台显示的图标进行交互，例如对控制台显示的图标进行选择、切换。此外，内脏模型可平移复制出一个心脏模型，神经模型旁放置单个眼球模型和全套脑部模型。同时，通过左手柄激活控制台和关闭控制台时具有动态效果。

左手柄的控制台还包括模型按钮，模型按钮具有：激活、未激活、悬停三种状态，在激活按钮的同时，调出对应的模型结构，反之，激活模型结构则关闭。每个模型按钮下拥有一个标识按钮(共6个)，标识按钮代表选中此模型组。标识按钮跟随用户点击，进行判断出现在哪个模型组下。通过激活标识按钮所显示的标识圈只能以一个单一的形式存在。同时程序为每个模型组套上一个box，利用右手手柄，在按下方向键的同时利用手柄释放出的射线检测到选中的哪组模型并进行旋转，起到标识圈的功能。

同时，模型按钮还包括1个全局的“整体复原”按钮，可对处于标识圈下的模型组进行整体还原。模型按钮还可以通过射线检测模型组，拨动其他功能键复位整体模型组。

图2为右手柄的示意图。

右手柄的功能激活控制包括：扳机、单按钮、左方向按钮、右方向按钮。

其中，扳机包括一功能激活按钮，可对左手柄的控制台进行操作。操作包括：对6组人体模型的任一模型接触后进行抓取工作，当按下扳机并确定处于抓住状态，处于抓住状态下的模型可随手柄的旋转进行旋转，松开扳机取消抓取，模型停留在当前坐标点上。

单按钮，具有对手柄所接触的模型进行单个还原功能。

左右按钮具有对处于光标圈的模型组进行左右旋转功能，组内所有模型沿场景Y坐标开始旋转。

手柄采取真实手的形态，或者手套形态。在抓取动作和点击按钮动作中，右手柄的形态会在待机、抓取动作、指选动作中进行切换。

左右手柄的特性包括：当在虚拟场景中移动坐标时，实时检测碰撞属性。

当接触或碰撞到人体组织结构将读取对应模型信息，根据模型信息判断，并给出对应模型类别对应的力回馈拉扯力的对应信息。力回馈传递给手部接收器，用户根据接触或碰撞对象的性质得到不同的力回馈信息，达到真实世界的质感和力度阻挡感觉。通过合理的、不同的力反馈技术的结合，实现对人体不同结构进行分析后回馈给用户不同的力度抵触体验。传感器所处的位置和虚拟场景中的某个人体结构位置通过计算机进行实时判断，如有碰撞，则根据碰撞对象的性质进行不同的力度回馈。如碰撞骨骼的阻碍力度和脂肪的阻碍力度不同，或接触血液的粘稠感也不同。

辅助可视系统，辅助可视系统包括：可视化公告板和动态可视效果发生器。

可视化公告板在任何模型处于抓取状态时，在被抓取的模型世界坐标的左上角出现透明式描述界面，界面中显示当前被抓取模型的中文、英文名称，以及其他模型相关描述。

动态可视效果发生器在所有模型立于场景中原始坐标点时，针对动态模型渲染动态效果。人体中有很多处于运动状态的器官，比如跳动状态的心脏，呼吸状态中的肺叶，血管里有流动中的血液，肠蠕动及胃蠕动等。为增加场景中的互动感，当某个模型脱离原始坐标点时，脱离坐标点的模型停止动态效果。

图3为3D数字人体模型中示意图，3D数字人体模型通过以下步骤进行构建：

1)获取放射科医疗图像，如尸体标本资源库和丰富的人体CT\MRI扫描数据等；

2)利用3D成像系统，采用基于光线投射算法的体绘制技术，建立3D数字人体模型的解剖学数据库，以完整全面、权威、精细的解剖学数据输出男女两套三维数字模型；

3)通过医学专家指导，根据人体的个体差异和不足，调整人体数字模型的偏差，获得准确的人体数字模型；

4)经过一定数量美术人员的手工绘制步骤3)获得的模型，建立出男女各一套标准的人体结构。

上述人体数字模型采用次世代3D数字建模技术，平均每个模型的创建面数在6000(Mesh)上，纹理贴图使用的是4096(px)x 4096(px)的最高精度制作标准，以保证每个模型充分还原人体各系统精密细节，并且可以360度角度任意观察。

通过双重绘制的3D数字人体解剖结构相比于仅通过扫描得到的人体结构，更具有研究和教学性。扫描后直接重建并应用于系统的三维模型具有个体化差异，这样的人体结构模型只能代表一个个体，无法以点盖面。而手绘的人体数字模型是通过人体数据库、数据扫描、三维重建、专家指导等多方面资源整合后得到，是医学中最贴近理想化和医学标准的数字人体结构模型。

另外，在虚拟场景中，数字人体结构模型可以使用户更加精细准确的进行交互体验，在虚拟场景中用户将看到拥有和正常人同等体形体格的3D人体数据，如身高、胸围、上下半身比例等。同时可通过控制器直接对对虚拟场景中任意的人体结构进行拆解拆分，不用再借助额外的外部器械。

更进一步地，本发明的模型资源打破传统三维重建技术，通过CG制作技术，运用于医学教育领域。通过对原始医学数据转化，运用次世代3D数字建模技术及PBR工作流程(基于物理过程的渲染)制作准确性、标准化的人体模型结构。

运用原始医学数据生成初级模型，通过建模软件运用次世代3D数字建模技术绘制高精度人体模型结构，可对人体结构进行高精度还原而不受面数控制。在转化过程中参考多方面专业医学资料，多维度把控模型准确性和标准化，建立出完美标准型的人体结构。

运用PBR工作流程，基于物理过程的渲染，模拟真实光照，制作4096(px)x 4096(px)的高精度贴图。绘制出的器官结构更加接近真实人体，同时避免了常规尸体标本难以保存、结构不清晰、与活体差异大等弊端。

次世代3D模型的原理是通过高模和低模匹配产生多张细节贴图，所述贴图中记录了高模中所含的细节信息，并将高模烘焙的法线贴图回贴到低模上，以减少面的浪费，同时低模页在引擎里可以及时显示高模的视觉效果，从而让模型表现更加真实，达到电影级精度，实现高细节、强质感表现的效果。

上述模型可应用于教学展示与解剖训练，可根据教学大纲要求的内容，制作多个断面模型，学生可以通过透明或隐藏操作，观察模型内部解剖结构和形态特点，对重点、难点学习部位进行模拟真实解剖的操作，帮助学生理解和掌握知识点，同时也提升了老师的教学质量。

图4和图5为本发明系统中的力反馈描述示意图。

如图4和图5所示，通过合理的、不同的力反馈技术的结合，实现对人体不同结构进行分析后回馈给用户不同的力度抵触体验。传感器所处的位置和虚拟场景中的某个人体结构位置通过计算机进行实时判断，如有碰撞，则根据碰撞对象的性质进行不同的力度回馈。如碰撞骨骼的阻碍力度和脂肪的阻碍力度不同，或接触血液的粘稠感也不同。

其中，图4示出了获取力反馈的流程图。

用户通过移动双手触碰到人体模型，在触碰时，激活抓取功能，右手柄处于抓取状态，当用户再一次移动双手时，便可根据用户的动作进一步显示抓取模型的运动轨迹，获取人体中的对应模型的信息或显示抓取模型的状态。

其中，在用户双手触碰到人体模型时，进行碰撞检测，并将检测信息发回给主机系统，以进一步计算回馈力度，并将回馈的力度返回给触觉触发模块，触觉触发模块提供触觉体验，使用户感觉到震动。

在用户激活抓取功能并处于抓取状态时，针对动态的器官，如心脏、血管等，通过双手坐标以及速度，计算人体组织结构对应的力反馈信息，并将模型的力信息返回给触觉触发模块，进一步提供触觉体验。

图5进一步示出了力反馈信号在所述系统中的输入输出关系。

虚拟场景模型显示对象接收手部运动产生的运动轨迹坐标并进行手部动态姿势识别。力反馈信号通过力回馈信号处理之后提取对应力回馈阻力信息并发送给虚拟场景模型显示对象。同时头部显示信号通过头部显示信号处理流程获取用户的移动指令，也将其发送给虚拟场景模型显示对象。虚拟场景模型显示对象进一步计算对手部所在位置的力回馈信息，并将其返回给触觉触发模块，进一步提供触觉体验。

VR影片里，在空间里有剧烈变化的影像容易引起使用者的眩晕感。同时，这些变化总会吸引使用者的注意力。参考图6，用户的视野中第一区域是最合适用户观察的，第二区域属于视野余光区域，用户会因为黄色区域产生的变化而被吸引，从而改变视觉观察位置。第三区域是视觉可忽略的部分，只在有画面产生剧烈反映或大脑潜意识判断是危险信息时才会使人有所反映。而此时，边缘处的图像会被忽略，若缩小视野，对于用户体验影响并不大。所以在场景画面搭建和处理过程中可避免大幅度的画面变化和潜意识的危险信号源，使大脑认为自己始终在一个安全且安静的环境中。这样的环境避免用户会大幅度或快速移动画面，从而降低用户产生晕眩效果的情况。因此，可通过适当减少用户视野(FOV)、适当减少用户的视野范围或避免视野的经常转换等，减少用户的眩晕感，增强用户体验。

另外，VR设备帧间延迟跟不上人的运动，当人已经做到了相应的动作画面还没有刷新出来，会有微小的延迟感，即感官与帧率不同步会产生眩晕感。如果增加设备对画面的刷新帧率，如达到较高的水平(60Hz等)，那么用户在移动头部以及虚拟环境画面自身移动时，画面的延迟会大幅降低，以至于用户几乎不会发现，有效减少眩晕感。本发明利用特殊的处理方式降低模型的面数的同时保证了模型的精度，从而增加虚拟场景中的刷新频率。

还可以在用户视野范围内增加自己的身体、一个无菌室头盔或静态参照物帧(如平视显示器)作为参照物，可有效减少眩晕感，在某些情况下还能增加沉浸感。