基于混合现实的远程急救指导方法、装置、介质和系统与流程

本技术涉及远程急救，特别是涉及一种基于混合现实的远程急救指导方法、装置、介质和系统。

背景技术：

1、开车出行是当代人们最常用的交通方式，而在路上会出现事故车祸或者车内人员突发急症的紧急情况，当病患发生创伤流血不止、心脏骤停、急性脑梗、气道梗阻等症状时，需要及时进行救治，进行有效的心肺复苏、人工呼吸、包扎止血、固定和预防窒息等治疗措施。

2、然而同行人员一般不具备丰富的急救经验和专业的急救知识，通常是拨打急救电话进行求助，但电话沟通很难将现场急救情况描述清楚，使得远程医护人员难以快速制定出准确有效的抢救方案；并且同行人员在气氛紧张的情况下，也很难快速领会医护人员的指导内容，甚至采取错误的急救方式，反而会弄巧成拙错过急救的黄金时间。

技术实现思路

1、本技术提供一种基于混合现实的远程急救指导方法、装置、介质和系统，以解决远程医护人员通过电话沟通的方式难以快速了解现场急救情况，以及车内施救人员无法直观快速地领会医护人员的指导内容的问题。

2、为了解决上述问题，本技术采用了以下的技术方案：

3、第一方面，本技术实施例提供了一种基于混合现实的远程急救指导方法，所述方法包括：

4、构建车辆座舱的可视化现实场景；所述可视化现实场景包括反映现场急救情况的座舱模型、患者模型和施救人员模型；

5、将所述可视化现实场景传输至远程医护中心，以使医护人员通过进入所述可视化现实场景；

6、响应于所述远程医护中心返回的所述医护人员通过所述远程虚拟现实设备触发的动作指令，生成医护人员模型，将所述医护人员模型实时叠加到所述可视化现实场景，以生成三维指导动画；

7、将所述三维指导动画进行显示。

8、在本技术一实施例中，构建车辆座舱的可视化现实场景，包括：

9、获取多个摄像头采集的车辆座舱的图像数据；

10、基于所述图像数据，生成所述座舱模型、所述患者模型和所述施救人员模型；

11、对所述座舱模型、所述患者模型和所述施救人员模型进行融合处理，以构建所述可视化现实场景。

12、在本技术一实施例中，基于所述图像数据，生成所述座舱模型，包括：

13、获取所述车辆在无人状态下预先构建的座舱模型；

14、基于所述图像数据，对所述车辆座舱内的舱内物品进行识别定位；

15、在所述舱内物品是所述座舱模型中的预设物品的情况下，基于所述舱内物品的识别定位结果，在所述座舱模型中对所述预设物品的空间位置进行调整；

16、在所述舱内物品不是所述座舱模型中的预设物品的情况下，基于所述舱内物品的识别定位结果，在所述座舱模型中生成所述舱内物品对应的三维物品模型。

17、在本技术一实施例中，基于所述图像数据，生成所述患者模型，包括：

18、基于所述图像数据，实时获取所述患者的体征数据和骨骼关键点位置；

19、基于所述患者的骨骼关键点位置，动态生成所述患者模型；并将所述体征数据动态显示在所述患者模型的预设位置。

20、在本技术一实施例中，基于所述图像数据，生成所述施救人员模型，包括：

21、基于所述图像数据，实时获取所述施救人员的骨骼关键点位置和手部关键点位置；

22、基于所述施救人员的骨骼关键点位置和手部关键点位置，动态生成所述施救人员模型。

23、在本技术一实施例中，响应于所述远程医护中心返回的所述医护人员通过所述远程虚拟现实设备触发的动作指令，生成医护人员模型，将所述医护人员模型实时叠加到所述可视化现实场景，以生成三维指导动画，包括：

24、响应于所述远程医护中心返回的所述医护人员通过所述远程虚拟现实设备触发的动作指令，控制所述医护人员模型对所述患者模型执行所述动作指令对应的施救动作；

25、基于所述施救动作，生成虚拟急救指导动画；

26、将所述虚拟急救指导动画实时叠加在所述可视化现实场景，以生成所述三维指导动画。

27、在本技术一实施例中，响应于所述远程医护中心返回的所述医护人员通过所述远程虚拟现实设备触发的动作指令，控制所述医护人员模型对所述患者模型执行所述动作指令对应的施救动作，包括：

28、响应于所述医护人员针对所述可视化现实场景中的舱内物品模型的第一动作指令，控制所述医护人员模型将所述舱内物品模型移动至所述患者模型的目标部位；和/或，

29、响应于所述医护人员针对预设急救物品模型的添加指令，生成目标急救物品模型，并响应于针对所述目标急救物品模型第二动作指令，控制所述医护人员模型将所述目标急救物品模型移动至所述患者模型的目标部位；和/或，

30、响应于所述医护人员针对所述患者模型的目标部位的第三动作指令，控制所述医护人员模型对所述目标部位执行与所述第三动作指令对应的动作。

31、第二方面，基于相同发明构思，本技术实施例提供了一种基于混合现实的远程急救指导方法，所述方法运用于远程医护中心，所述方法包括：

32、获取车辆构建的车辆座舱的可视化现实场景，所述可视化现实场景包括反映现场急救情况的座舱模型、患者模型和施救人员模型；

33、将所述可视化现实场景传输至远程虚拟现实设备，以使医护人员通过所述远程虚拟现实设备进入所述可视化现实场景；

34、获取所述医护人员通过所述远程虚拟现实设备触发的动作指令，并将所述动作指令返回至所述车辆，以使所述车辆响应于所述动作指令，生成医护人员模型，将所述医护人员模型实时叠加到所述可视化现实场景，以生成三维指导动画，并将所述三维指导动画进行显示。

35、第三方面，基于相同发明构思，本技术实施例提供了一种基于混合现实的远程急救指导装置，所述装置运用于车辆，所述装置包括：

36、场景构建模块，用于构建车辆座舱的可视化现实场景；所述可视化现实场景包括反映现场急救情况的座舱模型、患者模型和施救人员模型；

37、场景传输模块，用于将所述可视化现实场景传输至远程医护中心，以使医护人员通过进入所述可视化现实场景；

38、模型叠加模块，用于响应于所述远程医护中心返回的所述医护人员通过所述远程虚拟现实设备触发的动作指令，生成医护人员模型，将所述医护人员模型实时叠加到所述可视化现实场景，以生成三维指导动画；

39、动画显示模块，用于将所述三维指导动画进行显示。

40、在本技术一实施例中，所述场景构建模块包括：

41、图像数据获取子模块，用于获取多个摄像头采集的车辆座舱的图像数据；

42、模型生成子模块，用于基于所述图像数据，生成所述座舱模型、所述患者模型和所述施救人员模型；

43、模型融合子模块，用于对所述座舱模型、所述患者模型和所述施救人员模型进行融合处理，以构建所述可视化现实场景。

44、在本技术一实施例中，所述模型生成子模块包括：

45、座舱模型获取单元，用于获取所述车辆在无人状态下预先构建的座舱模型；

46、识别定位单元，用于基于所述图像数据，对所述车辆座舱内的舱内物品进行识别定位；

47、物品调整单元，用于在所述舱内物品是所述座舱模型中的预设物品的情况下，基于所述舱内物品的识别定位结果，在所述座舱模型中对所述预设物品的空间位置进行调整；

48、物品生成单元，用于在所述舱内物品不是所述座舱模型中的预设物品的情况下，基于所述舱内物品的识别定位结果，在所述座舱模型中生成所述舱内物品对应的三维物品模型。

49、在本技术一实施例中，所述模型生成子模块还包括：

50、患者数据获取单元，用于基于所述图像数据，实时获取所述患者的体征数据和骨骼关键点位置；

51、患者模型生成单元，用于基于所述患者的骨骼关键点位置，动态生成所述患者模型；并将所述体征数据动态显示在所述患者模型的预设位置。

52、在本技术一实施例中，所述模型生成子模块还包括：

53、施救人员数据获取单元，用于基于所述图像数据，实时获取所述施救人员的骨骼关键点位置和手部关键点位置；

54、施救人员模型生成单元，用于基于所述施救人员的骨骼关键点位置和手部关键点位置，动态生成所述施救人员模型。

55、在本技术一实施例中，所述模型叠加模块包括：

56、医护人员模型控制子模块，用于响应于所述远程医护中心返回的所述医护人员通过所述远程虚拟现实设备触发的动作指令，控制所述医护人员模型对所述患者模型执行所述动作指令对应的施救动作；

57、动画生成子模块，用于基于所述施救动作，生成虚拟急救指导动画；

58、动画叠加子模块，用于将所述虚拟急救指导动画实时叠加在所述可视化现实场景，以生成所述三维指导动画。

59、在本技术一实施例中，所述医护人员模型控制子模块包括：

60、第一动作控制单元，用于响应于所述医护人员针对所述可视化现实场景中的舱内物品模型的第一动作指令，控制所述医护人员模型将所述舱内物品模型移动至所述患者模型的目标部位；

61、第二动作控制单元，响应于所述医护人员针对预设急救物品模型的添加指令，生成目标急救物品模型，并响应于针对所述目标急救物品模型第二动作指令，控制所述医护人员模型将所述目标急救物品模型移动至所述患者模型的目标部位；

62、第三动作控制单元，用于响应于所述医护人员针对所述患者模型的目标部位的第三动作指令，控制所述医护人员模型对所述目标部位执行与所述第三动作指令对应的动作。

63、第四方面，基于相同发明构思，本技术实施例提供了一种基于混合现实的远程急救指导装置，所述装置运用于远程医护中心，所述装置包括：

64、场景获取模块，用于获取车辆构建的车辆座舱的可视化现实场景，所述可视化现实场景包括反映现场急救情况的座舱模型、患者模型和施救人员模型；

65、场景转发模块，将所述可视化现实场景传输至远程虚拟现实设备，以使医护人员通过所述远程虚拟现实设备进入所述可视化现实场景；

66、动作指令获取模块，用于获取所述医护人员通过所述远程虚拟现实设备触发的动作指令，并将所述动作指令返回至所述车辆，以使所述车辆响应于所述动作指令，生成医护人员模型，将所述医护人员模型实时叠加到所述可视化现实场景，以生成三维指导动画，并将所述三维指导动画进行显示。

67、第五方面，基于相同发明构思，本技术实施例提供了一种存储介质，所述存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现本技术第一方面提出的基于混合现实的远程急救指导方法，或本技术第二方面提出的基于混合现实的远程急救指导方法。

68、第六方面，基于相同发明构思，本技术实施例提供了一种基于混合现实的远程急救指导系统，所述系统包括车辆和远程医护中心；所述车辆和所述远程医护中心通信连接；所述远程医护中心设置有远程虚拟现实设备；其中，

69、所述车辆，用于用于构建车辆座舱的可视化现实场景，并将所述可视化现实场景传输至所述远程医护中心；所述可视化现实场景包括反映现场急救情况的座舱模型、患者模型和施救人员模型；

70、所述远程医护中心，用于将所述可视化现实场景传输至所述远程虚拟现实设备，以使医护人员通过所述远程虚拟现实设备进入所述可视化现实场景；还用于获取所述医护人员通过所述远程虚拟现实设备触发的动作指令，并将所述动作指令返回至所述车辆；

71、所述车辆，还用于响应于所述远程医护中心返回的所述医护人员通过所述远程虚拟现实设备触发的动作指令，生成医护人员模型，将所述医护人员模型实时叠加到所述可视化现实场景，以生成三维指导动画，并将所述三维指导动画进行显示。

72、与现有技术相比，本技术包括以下优点：

73、本技术实施例提供的一种基于混合现实的远程急救指导方法，通过将构建车辆座舱的可视化现实场景传输至远程医护中心，使得医护人员能够通过远程虚拟现实设备进入可视化现实场景，让医护人员能够全面直观的了解到现场的急救情况，进而基于远程虚拟现实设备，控制医护人员模型在可视化现实场景中演示急救动作；通过将演示内容实时叠加到可视化现实场景中，能够生成用于在车辆内显示的三维指导动画，使得现场施救人员能够基于该三维指导动画，为患者提供正确及时的救治，为患者赢取宝贵的治疗时间，大幅提高急症患者的生存几率。