一种头戴式AR显示术前模拟方法与流程

本发明涉及一种医疗设备技术领域，特别涉及一种头戴式ar显示术前模拟方法。

背景技术

目前，增强现实(augmentedreality，ar)技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,听觉信息,味觉信息,触觉信息等)通过计算机科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到类似现实或者超越现实的感官体验。利用ar技术，能够将真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

目前，ar技术已经应用于医疗手术的模拟，利用ar技术进行医疗手术的模拟具有无损伤性、可重复性和可指定性等优点。

但是，在将ar技术应用到医疗手术领域时，用户通过ar设备呈现的手术场景中同时包含真实物体与虚拟物体，虚拟物体往往是直接叠加在真实物体之上，从而发生器械和手臂出现在虚拟人体下方等不自然的效果，而虚拟物体和真实物体之间存在的遮挡关系将直接影响用户能够看到的场景。例如，在ar显示的医疗手术场景中，用户使用真实的手术刀对虚拟病人进行手术时，当找到合适的切入点之后，若当前视角下虚拟病人的某个组织(比如皮肤等软组织)挡住了手术刀，那么当用户使用手术刀不断深入虚拟病人体内的过程中，以及用户真正操刀对虚拟病人的病变组织进行切除时，用户很难直观地观察出手术刀的当前位置、进入虚拟病人体内的深度以及真实的手术刀在虚拟病人体内的走向，降低了手术成功的效率，还有改进的空间。

技术实现要素：

针对现有技术存在的不足，本发明的目的在于提供一种头戴式ar显示术前模拟方法，提高了术前模拟的真实性，间接提高了之后用户在进行实际操作时的操作的精确性。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种头戴式ar显示术前模拟方法，所述方法包括：

s1.通过增强现实ar设备显示医疗手术场景；

s2.获取医疗手术场景中的虚拟物体与真实物体之间的相对位置关系；

s3.在虚拟物体与真实物体之间的相对位置关系满足指定条件时，对所述虚拟物体中的指定部分的透明度进行调节，使所述指定部位的透明度为除完全不透明以外的透明度；

s4.显示所述真实物体与透明度调节后得到的虚拟物体。

采用上述方案，通过步骤s1可以快速有效的显示医疗手术场景，而步骤s2的设置可以方便有效提取虚拟物体与真实物体之间的相对位置关系，而步骤s3的设置可以根据步骤s2中提取出来的虚拟物体与真实物体之间的位置关系，从而调节透明度情况，步骤s4即为虚拟物体根据真实物体与虚拟物体之间的位置关系进行相应的变化。

作为优选，s1还包括：

s1.1.生成虚拟物体；

s1.2.根据用户的操作信息调节虚拟物体的位置，从而形成医疗手术场景。

采用上述方案，通过s1.1的设置有利于虚拟物体的产生，步骤s1.2的设置可以根据用户的操作信息调节虚拟物体的位置，从而形成医疗手术场景。

作为优选，s1.1还包括：

s1.11:获取用户的操作信息；

s1.12:根据所述操作信息，确定所述医疗手术场景中待显示的虚拟物体；

s1.13:获取所述虚拟物体的建模数据；

s1.14:根据所述建模数据，生成所述虚拟物体。

采用上述方案，通过步骤s1.11的设置可以获取用户的操作信息，步骤s1.12的设置有利于确定待显示的虚拟物体，最后结合s1.13的建模数据，最后在步骤s1.14的时候生成虚拟物体。

作为优选，在步骤s3和步骤s4之间还设置有步骤s3a，步骤s3a具体包括：

s3a.1:根据所述虚拟物体与所述真实物体之间的相对位置关系，模拟所述虚拟物体与所述真实物体之间的受力状态；

s3a.2:根据所述虚拟物体与所述真实物体之间的受力状态，获取反馈力的大小；

s3a.3:根据所述反馈力的大小，显示所述虚拟物体在受到所述反馈力的过程中的形态变化。

采用上述方案，通过s3a.1的设置可以获取虚拟物体与真实物体之间的受力状况，而s3a.2的设置根据s3a.1中的受力状况，获取对应的反馈力，使用户在进行手术的时候能有受力，间接提高了手术模拟的真实性。

作为优选，步骤s3中所提到的指定条件时为当所述虚拟物体与所述真实物体之间的相对位置关系为交叉关系时。

采用上述方案，当且仅当所述虚拟物体与所述真实物体之间的相对位置关系为交叉关系时，才会进行透明度调节。

作为优选，在步骤s4之后还设置有步骤s5，步骤s5具体包括：

s5.1:拍摄用户在医疗手术场景下的手术过程；

s5.2：提取用户在对应医疗手术场景下通过真实物体操作在虚拟物体上的操作路径，并与预设的标准操作路径进行比对；

s5.3：将用户的实际操作路径与预设的标准操作路径比对不上的路径提取出来，并于显示界面显示以供用户选择查看。

采用上述方案，通过s5.1的设置可以有效拍摄医疗手术可以有效拍摄医疗手术场景下的手术过程，而步骤s5.2的设置可以分析出用户在虚拟物体上的操作路径，是否和预设的标准操作路径相同，并且在步骤s5.3的设置可以将不符合要求的路径提供给用户查看选择。

作为优选，步骤s5.2具体包括：

s5.21：将操作路径分解为若干个分解路径；

s5.22：将若干个分解路径和预设的标准分解路径进行一一比对。

采用上述方案，通过步骤s5.21将操作路径分解为若干个路径，而且通过步骤s5.22的设置可以将分解路径和标准的分解路径进行比对，从而更加细化的将出错的分解路径展示给用户。

作为优选，步骤s5.3具体包括：

s5.31：记录和预设的标准分解路径比对不上的分解路径并存储入历史犯错次数数据库中；

s5.32：基于历史犯错次数数据库的犯错次数对此次涉及到的比对不上的分解路径由上至下排序并于显示界面显示以供用户选择查看。

采用上述方案，通过步骤s5.31的设置形成路径出错的数据库，而步骤s5.32可以根据路径出错的情况针对分解路径进一步进行排序，从而方便用户确定其中哪些分解路径容易犯错。

作为优选，步骤s5.32还包括：

s5.321：判断涉及比对不上的分解路径的历史犯错次数是否相同；

s5.322：对分解路径在手术中的重要性进行分级，按照重要程度依次为非常重要、比较重要、重要这3个等级，对历史犯错次数相同的操作路径再基于重要性的分级进行由上至下排序。

采用上述方案，通过s5.321可以在判断涉及比对不上的分解路径相同的时候，按照s5.322对路径在手术中的重要性程度重新分级，并进行重新排序，以保证排序的合理性。

综上所述，本发明具有以下有益效果：结合步骤s1、步骤s2、步骤s3、以及步骤s4的设置有利于生成医疗手术场景，方便用户根据个人情况在具有虚拟物体与真实物体的环境中模拟手术。

附图说明

图1为一种头戴式ar显示术前模拟方法的系统框图一；

图2为一种头戴式ar显示术前模拟方法的系统框图二；

图3为一种头戴式ar显示术前模拟方法的系统框图三；

图4为一种头戴式ar显示术前模拟方法的系统框图四；

图5为一种头戴式ar显示术前模拟方法的系统框图五；

图6为一种头戴式ar显示术前模拟方法的系统框图六；

图7为一种头戴式ar显示术前模拟方法的系统框图七。

具体实施方式

以下结合附图1-7对本发明作进一步详细说明。

参照图1，一种头戴式ar显示术前模拟方法，所述方法包括：s1.通过增强现实ar设备显示医疗手术场景；s2.获取医疗手术场景中的虚拟物体与真实物体之间的相对位置关系；s3.在虚拟物体与真实物体之间的相对位置关系满足指定条件时，对所述虚拟物体中的指定部分的透明度进行调节，使所述指定部位的透明度为除完全不透明以外的透明度；s4.显示所述真实物体与透明度调节后得到的虚拟物体。

本发明实施例中，增强显示ar设备可以包括但不限于：单目式ar头戴设备或者双目式ar头戴设备。

如图2所示，其中，由于s1中需要显示医疗手术场景，鉴于医疗手术场景中可以同时包含虚拟物体与真实物体，因此s1包括生成虚拟物体的步骤s1.1以及在步骤s1.1之后进行的步骤s1.2，在步骤s1.2中根据用户的操作信息调节虚拟物体的位置，能够形成医疗手术场景，另外需要注意的是获取到的用户的操作信息可以是用户在ar设备上的操作信息，或者也可以是用户在ar设备存在通信的终端上的操作信息，本发明对此不做限制。

如图3所示，其中生成虚拟物体的步骤s1.1,为获取虚拟的物体，还包括s1.11:获取用户的操作信息；s1.12:根据所述操作信息，确定所述医疗手术场景中待显示的虚拟物体；s1.13:获取所述虚拟物体的建模数据；s1.14:根据所述建模数据，生成所述虚拟物体。

其中s1.13所提到的建模数据，可以直接在预先存储有虚拟物体的建模数据的数据库中获取，或者，也可以通过获取用户输入的虚拟物体的建模数据方式获取，在此不作限定。

虚拟物体的建模数据可以包括但不限于：结构型数据与功能型数据。其中，结构型数据可以表示一个医疗设备外部可见的物理构造和内部的物理构造，具体的，结构性数据可以包括但不限于：物理结构、位置关系、材料数据和尺寸数据。其中，功能型数据可以表示医疗设备在功能方面的信息，具体的，功能型数据可以包括但不限于：可承载数据量、逻辑电路、电压、电流和输出功率。

本发明实施例中，根据上述获取到的虚拟物体的建模数据生成虚拟物体时，可以利用利用自身存储的建模程序，生成该虚拟物体的虚拟模型，进而，能够在ar设备的显示设备上显示该虚拟物体的虚拟模型，也就是说，能够在真实环境中以三维立体的方式显示该虚拟物体；与此同时，ar设备还可以同时显示该医疗手术场景中的真实物体。

基于ar设备可以对医疗手术场景进行显示，本发明实施例中，还可以获取医疗手术场景中真实物体与虚拟物体之间的相对位置关系。

在一个具体的实现过程中，可以通过头戴设备的摄像头对真实环境进行扫描，并以摄像头为坐标原点建立三维坐标系，如此，可以得到真实环境中各真实物体相对于该摄像头的三维坐标，基于此，当虚拟物体在真实环境中呈现时，可以通过虚拟物体的成像参数得到该虚拟物体相对于摄像头的三维坐标，由于真实物体与虚拟物体都处在同一个坐标系下，可以通过真实物体的三维坐标与虚拟物体的三维坐标，获得真实物体与虚拟物体之间的的相对位置关系。

医疗手术场景中真实物体与虚拟物体之间的相对位置关系可以包括但不限于：交叉关系和非交叉关系。其中，当真实物体与虚拟物体之间为交叉关系时，虚拟物体可能会对真实物体产生遮挡；而当真实物体与虚拟物体之间为非交叉关系时，虚拟物体不会对真实物体产生遮挡。

在一个实际的应用场景中，可以将指定部位的透明度设置为除完全透明和完全不透明以外的透明度，此时，指定部位介于完全透明与完全不透明之间，呈现一种半透明的显示效果。

具体的，假设透明度在0与1之间，当透明度为0时，指定部位的透明度为完全透明；当透明度为1时，指定部位的透明度为完全不透明。通常情况下，通过ar设备显示的虚拟物体的透明度一般为1，也就是显示为完全不透明状态；本发明实施例中，当确定虚拟物体与真实物体之间的相对位置关系满足指定条件后，对虚拟物体中的指定部位的透明度进行调节，调节后的虚拟物体中的指定部位的透明度的范围为：[0,1)。在一个优选的实现过程中，指定部位的透明度的范围为：(0,1)。

举例说明，若在一个具体的医疗手术模拟过程中，虚拟物体为病人，真实物体为手术刀。那么，当前通过ar设备显示的虚拟病人的透明度为1，随着用户握持的真实手术刀的位置发生变化，本发明实施例会获取真实手术刀与虚拟病人之间的相互位置关系，从而，当真实手术刀深入到虚拟病人体内的时候，虚拟病人的虚拟皮肉组织会对真实手术刀产生遮挡，也就是说，此时，真实手术刀与虚拟病人之间存在交叉关系，那么，确定交叉部位为虚拟病人的部分皮肉组织，这部分皮肉组织也就是指定部位，从而，通过ar设备显示的虚拟病人中，该部分皮肉组织的透明度被调节为透明度范围为(0,1)的半透明显示的状态，这样，用户可以清楚的、直观的观察出真实手术刀的当前位置、进入虚拟病人体内的深度以及真实的手术刀在虚拟病人体内的走向。

如图4所示，另外为方便用户根据自己的操作过程中的犯错等综合情况进行调整，在步骤s4之后还设置有步骤s5，步骤s5具体包括：s5.1:拍摄用户在医疗手术场景下的手术过程；s5.2：提取用户在对应医疗手术场景下通过真实物体操作在虚拟物体上的操作路径，并与预设的标准操作路径进行比对；s5.3：将用户的实际操作路径与预设的标准操作路径比对不上的路径提取出来，并于显示界面显示以供用户选择查看。

其中，s5.1所提到的用于拍摄用户在医疗手术场景下手术过程的采用了头戴设备的摄像头，通过摄像头对整体手术过程进行记录。

如图5所示，为进一步分析出操作路径中的一些不规范动作，步骤s5.2具体包括：s5.21：将操作路径分解为若干个分解路径；s5.22：将若干个分解路径和预设的标准分解路径进行一一比对。

如图6所示，为便于用户根据个人的实际犯错情况实际了解自己在实际操作在哪些操作路径中容易犯错，步骤s5.3具体包括：s5.31：记录和预设的标准分解路径比对不上的分解路径并存储入历史犯错次数数据库中；s5.32：基于历史犯错次数数据库的犯错次数对此次涉及到的比对不上的分解路径由上至下排序并于显示界面显示以供用户选择查看。

如图7所示，进一步的，为便于在分解路径所犯次数相同的时候如何进一步进行排序，以更好的引起用户的注意，步骤s5.32还包括：s5.321：判断涉及比对不上的分解路径的历史犯错次数是否相同；s5.322：对分解路径在手术中的重要性进行分级，按照重要程度依次为非常重要、比较重要、重要这3个等级，对历史犯错次数相同的操作路径再基于重要性的分级进行由上至下排序。

具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。