基于虚拟智能医疗平台的质控方法及装置与流程

本公开涉及计算机技术领域，尤其涉及一种基于虚拟智能医疗平台的质控方法及装置。

背景技术：

在实际应用中，质量控制在生产生活的多个场景中均起到关键作用。以医疗领域的放疗为例，放疗是通过提高对肿瘤照射剂量来提高局部肿瘤控制率。放疗流程包括放射治疗决策、放疗定位、靶区勾画、治疗方案设计、治疗室摆位、治疗实施等步骤。其中，治疗摆位是精确实施治疗方案的关键步骤，如果摆位出现偏差将造成部分肿瘤剂量偏低，导致肿瘤控制率下降，同时造成肿瘤周围的正常组织受损伤的概率增加。

目前临床放疗摆位均是医疗人员凭借操作经验完成的，没有规范化操作流程，存在人为操作误差，无法保证放疗摆位的质量。

技术实现要素：

有鉴于此，本公开提出了一种基于虚拟智能医疗平台的质控方法及装置，能够避免人为操作误差。

根据本公开的一方面，提供了一种基于虚拟智能医疗平台的质控方法，包括：

基于客户端所获取的目标对象的图像信息，从所述图像信息中确定所述目标对象的第一标记信息以及第二标记信息，所述第一标记信息为在所述目标对象的体表预先标记的信息，所述第二标记信息为投影于所述目标对象的体表的标记信息；

在所述第一标记信息与所述第二标记信息之间的重合度小于或等于预设阈值时，向所述客户端发送提示信息，以使所述客户端显示所述提示信息。

在一种可能的实现方式中，所述提示信息包括警告信息、指示信息以及所述目标对象的身份信息中的至少一个，

所述警告信息用于警告用户所述第一标记信息偏离所述第二标记信息；

所述指示信息包括预设目标位置信息，用于指示用户将所述目标对象移动至预设目标位置；

所述目标对象的身份信息包括所述目标对象的姓名、性别及标识中的至少一个。

在一种可能的实现方式中，在确定所述第一标记信息与所述第二标记信息的重合度之前，所述方法还包括：

从所述图像信息中确定出所述目标对象的人脸图像；

通过人脸识别算法和卷积神经网络对所述人脸图像进行人脸识别，得到所述目标对象的人脸信息；

将所述目标对象的人脸信息与预存的多个人脸信息进行匹配；

在存在匹配的人脸信息时，确定所述目标对象的身份。

在一种可能的实现方式中，所述方法还包括：

在不存在匹配的人脸信息时，向所述客户端发送对象不匹配信息，以使所述客户端显示所述对象不匹配信息。

在一种可能的实现方式中，所述方法还包括：

根据即时定位与地图构建slam技术获取所述客户端的空间位置信息；

在所述客户端的空间位置处于预设目标空间范围时，向所述客户端发送录像开启信息，以使所述客户端录制所述客户端当前所在环境的环境信息；

在所述客户端的空间位置不在所述预设目标空间范围时，向所述客户端发送录像关闭信息，以使所述客户端停止录制所述客户端当前所在环境的环境信息。

在一种可能的实现方式中，所述客户端包括以下至少一种：虚拟现实设备、增强现实设备以及混合现实设备。

根据本公开的另一方面，提供了一种基于虚拟智能医疗平台的质控装置，包括：

客户端，用于获取目标对象的图像信息，并将所述图像信息发送至服务器端；

服务器端，用于从所述图像信息中确定所述目标对象的第一标记信息以及第二标记信息，所述第一标记信息为在所述目标对象的体表预先标记的信息，所述第二标记信息为投影于所述目标对象的体表的标记信息；

在所述第一标记信息与所述第二标记信息之间的重合度小于或等于预设阈值时，向所述客户端发送提示信息，以使所述客户端显示所述提示信息。

在一种可能的实现方式中，所述提示信息包括警告信息、指示信息以及所述目标对象的身份信息中的至少一个，

所述警告信息用于警告用户所述第一标记信息偏离所述第二标记信息；

所述指示信息包括预设目标位置信息，用于指示用户将所述目标对象移动至预设目标位置；

所述目标对象的身份信息包括所述目标对象的姓名、性别及标识中的至少一个。

在一种可能的实现方式中，所述服务器端还用于：

从所述图像信息中确定出所述目标对象的人脸图像；

通过人脸识别算法和卷积神经网络对所述人脸图像进行人脸识别，得到所述目标对象的人脸信息；

将所述目标对象的人脸信息与预存的多个人脸信息进行匹配；

在存在匹配的人脸信息时，确定所述目标对象的身份。

在一种可能的实现方式中，所述服务器端还用于：

根据即时定位与地图构建slam技术获取所述客户端的空间位置信息；

在所述客户端的空间位置处于预设目标空间范围时，向所述客户端发送录像开启信息，以使所述客户端录制所述客户端当前所在环境的环境信息；

在所述客户端的空间位置不在所述预设目标空间范围时，向所述客户端发送录像关闭信息，以使所述客户端停止录制所述客户端当前所在环境的环境信息。

根据本公开的实施例，基于客户端所获取的目标对象的图像信息，从所述图像信息中确定所述目标对象的第一标记信息以及第二标记信息，所述第一标记信息为在所述目标对象的体表预先标记的信息，所述第二标记信息为投影于所述目标对象的体表的标记信息；在所述第一标记信息与所述第二标记信息之间的重合度小于或等于预设阈值时，向所述客户端发送提示信息，能够避免人为操作误差。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开实施例的基于虚拟智能医疗平台的质控方法的流程示意图。

图2示出根据本公开实施例的基于虚拟智能医疗平台的质控方法的应用示例图。

图3示出根据本公开实施例的基于虚拟智能医疗平台的质控系统的框图。

图4示出根据本公开实施例的基于虚拟智能医疗平台的质控装置的结构示意图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开实施例的基于虚拟智能医疗平台的质控方法的流程示意图。如图1所示，所述方法包括：

步骤s101，基于客户端所获取的目标对象的图像信息，从所述图像信息中确定所述目标对象的第一标记信息以及第二标记信息；

步骤s102，在所述第一标记信息与所述第二标记信息之间的重合度小于或等于预设阈值时，向所述客户端发送提示信息，以使所述客户端显示所述提示信息。

根据本公开的实施例，基于客户端所获取的目标对象的图像信息，从所述图像信息中确定所述目标对象的第一标记信息以及第二标记信息，所述第一标记信息为在所述目标对象的体表预先标记的信息，所述第二标记信息为投影于所述目标对象的体表的标记信息；在所述第一标记信息与所述第二标记信息之间的重合度小于或等于预设阈值时，向所述客户端发送提示信息，能够避免人为操作误差。

本公开实施例的目标对象可例如为人员。本公开实施例的图像信息可以包括第一标记信息和第二标记信息，第一标记信息为在目标对象的体表预先标记的信息，第二标记信息为投影于目标对象的体表的标记信息。其中，第一标记信息和第二标记信息均可以为十字线，本公开实施例对第一标记信息和第二标记信息的类型不作限定。

本公开实施例的提示信息可以包括警告信息、指示信息以及目标对象的身份信息中的至少一个。其中，警告信息用于警告用户第一标记信息偏离第二标记信息；指示信息包括预设目标位置信息，用于指示用户将目标对象移动至预设目标位置；目标对象的身份信息包括所述目标对象的姓名、性别及标识中的至少一个。

通过上述方式，可以及时提醒用户，避免因为人为操作误差导致的问题。

本公开实施例的客户端可以包括以下至少一种：虚拟现实设备、增强现实设备以及混合现实设备。

以客户端为混合现实设备为例进行说明，混合现实设备可以带有摄像头，通过摄像头获取目标对象的图像信息以及混合现实设备当前所在环境的环境信息。混合现实设备能够与服务器端建立连接，并将所获取的目标对象的图像信息以及混合现实设备当前所在环境的环境信息发送至服务器端，以便服务器端对图像信息以及环境信息进行后续处理。此外，混合现实设备还可以接收服务器端发送的信息，例如提示信息，混合现实设备能够将虚拟影像界面叠加到真实场景中。以提示信息包括目标对象的身份信息为例，服务器端可以根据目标对象的身份信息生成json文件，并将json文件发送至混合现实设备，混合现实设备可以对json文件进行解析得到目标对象的身份信息，并将目标对象的身份信息显示在混合现实设备的界面中。

通过上述方式，可以实现无纸化办公，解放了用户的双手，并且可以清晰显示用户所需了解的信息，提高了用户体验。

在一种可能的实现方式中，在步骤s102之前，本公开实施例的方法还可以包括：

从所述图像信息中确定出所述目标对象的人脸图像；

通过人脸识别算法和卷积神经网络对所述人脸图像进行人脸识别，得到所述目标对象的人脸信息；

将所述目标对象的人脸信息与预存的多个人脸信息进行匹配；

在存在匹配的人脸信息时，确定所述目标对象的身份。

以医疗领域为例，现有技术的方案是在目标对象进入治疗室之前，通过扫描枪扫描目标对象腕带的二维码或者条形码获取目标对象的身份信息，医疗人员核对目标对象的身份信息后，目标对象进入治疗室进行治疗。现有技术通过二维码或者条形码的方式确定目标对象的身份信息，信息来源单一、且存在目标对象拿错二维码或者条形码的风险。

本公开实施例的方法从客户端所获取的图像信息中确定目标对象的人脸图像，通过人脸识别算法和卷积神经网络对人脸图像进行人脸识别，得到目标对象的人脸信息。其中，人脸识别算法可以包括adaboost算法，本公开实施例对人脸识别算法的类型不作限定。

将目标对象的人脸信息与预存的多个人脸信息进行匹配，若存在匹配的人脸信息时，确定目标对象的身份；若不存在匹配的人脸信息，向客户端发送对象不匹配信息，以便用户重新核对目标对象的身份。在一种可能的实现方式中，通过人脸识别确定目标对象的身份可以包括确定目标对象对应的固定装置的参数信息，以便与后期通过二维码扫描装置所获取的目标对象的固定装置信息进行匹配。

通过上述方式，可以唯一性地确定目标对象的身份，避免因为目标对象拿错二维码或者条形码导致目标对象错误的风险。

在一种可能的实现方式中，步骤s102中，在第一标记信息与第二标记信息之间的重合度小于或等于预设阈值时，向客户端发送提示信息，以使客户端显示提示信息。

示例性地，以医疗领域的放疗为例，放疗可以包括定位和治疗两个阶段。在定位阶段，医疗人员可以通过例如ct检查确定目标对象体内病变组织的位置，确定目标对象体内病变组织的位置后，为了后期治疗阶段能够准确定位病变组织的位置，可以在目标对象的体表标记相应的信息(例如十字线)，即第一标记信息。以病变组织的位置为胸腔为例，医疗人员可以在胸腔位置处以及上身两侧标记十字线。在治疗阶段，可以通过放疗射线照射病变组织，因此确定病变组织的位置尤为重要，医疗人员可以在目标对象的体表投影标记信息(例如十字线)，即第二标记信息，放疗射线可以按照第二标记信息的位置照射病变组织。

若第一标记信息与第二标记信息之间的重合度大于预设阈值，说明放疗射线能够准确地照射病变组织；若第一标记信息与第二标记信息之间的重合度小于或等于预设阈值，说明放疗射线照射时偏离了病变组织，将对目标对象的健康组织造成损害，服务器端可以向客户端发送提示信息，以使客户端显示提示信息。其中，提示信息可以包括指示信息，指示信息包括预设目标位置信息，用于指示用户将目标对象移动至预设目标位置。

示例性地，若投影在目标对象体表的第二标记信息的空间坐标为(10cm,10cm,10cm)，而第一标记信息与第二标记信息之间的重合度小于或等于预设阈值，则可以将第二标记信息的空间坐标发送至客户端，用户可以将目标对象移动至第二标记信息的空间坐标所在的位置。

通过上述方式，能够在目标对象不在预设目标位置时，及时提醒用户，避免人为操作误差，以确保目标对象处于预设目标位置，保证治疗效果。

在一种可能的实现方式中，本公开实施例的方法还可以包括：

根据即时定位与地图构建slam技术获取所述客户端的空间位置信息；

在所述客户端的空间位置处于预设目标空间范围时，向所述客户端发送录像开启信息，以使所述客户端录制所述客户端当前所在环境的环境信息；

在所述客户端的空间位置不在所述预设目标空间范围时，向所述客户端发送录像关闭信息，以使所述客户端停止录制所述客户端当前所在环境的环境信息。

slam(simultaneouslocalizationandmapping，即时定位与地图构建)技术，是指将待测试对象放在未知环境中，从未知位置开始移动对环境进行增量式地图构建，同时利用创建的地图进行自主定位和导航。其中，待测试对象可以包括机器人，也可以包括混合现实设备。

在一种可能的实现方式中，服务器端可以通过slam技术获取客户端的空间位置信息。以医疗领域为例，服务器端中可以预存目标医疗室各个点的空间位置信息，形成预设目标空间范围，示例性地，预设目标空间范围可以是x(5,50)，y(10,60)，z(1,45)。若客户端的空间位置处于预设目标空间范围内，例如(10,20,30)，可以认定医疗人员佩戴客户端位于医疗室内，则可以向客户端发送录像开启信息，客户端开启录像功能，录制客户端当前所在环境的环境信息；若客户端的空间位置不在预设目标空间范围，可以认定医疗人员离开医疗室，则可以向客户端发送录像关闭信息，客户端关闭录像功能，停止录制客户端当前所在环境的环境信息。

通过上述方式，能够记录医疗流程的全过程，为医疗人员分析治疗效果提供重要参考资料，并且能够对医疗流程的各个节点进行质量监控，有助于形成行业规范。

图2示出根据本公开实施例的基于虚拟智能医疗平台的质控方法的应用示例图。

需要说明的是，本公开实施例的虚拟智能医疗平台是以虚拟现实、增强现实、混合现实等全息技术为基础，结合人工智能与大数据分析等方法构建的医疗平台，用于辅助和指导有创、微创、无创等临床诊断和治疗过程，可以应用于外科、内科、放疗科、介入科等领域。

以医疗领域为例，医疗人员在对目标对象进行诊断时，双手往往需要检查目标对象身体或者操作相关设备，如果医疗人员需要通过纸质材料核对目标对象的身份信息或者记录相关操作流程，将降低医疗人员工作效率。本公开实施例的方法中，医疗人员可以佩戴混合现实设备，通过混合现实设备观察所需了解的信息，解放了医疗人员的双手，提高了医疗人员的工作效率。

本公开实施例中，医疗人员可以通过混合现实设备的摄像头对目标对象进行人脸识别，验证目标对象的身份信息，若目标对象的身份信息验证通过，则可以进入下一步操作，若身份信息验证不通过，则可以通过服务器端向混合现实设备发送提示信息，提示医疗人员重新核对目标对象身份。

以放疗为例，在治疗过程中，需要对目标对象进行固定，每个目标对象均有定制的固定装置，每个目标对象的固定装置的参数可能均不相同，保证目标对象的固定装置的参数准确十分关键。例如，可以通过二维码扫描装置扫描目标对象腕带的二维码，判断二维码所对应的固定装置信息与预存的目标对象的固定装置信息是否匹配，若匹配，则获取目标对象对应固定装置的参数，医疗人员根据固定装置的参数对目标对象进行固定，若不匹配，则重新核对目标对象的身份。其中，固定装置的参数可以包括头枕、热塑体膜以及真空气垫等装置的型号，本公开实施例对固定装置的参数不作限制。

在医疗人员开始医疗流程时，可以向混合现实设备发送录像开启信息，以使混合现实设备录制医疗流程。通过这种方式能够记录医疗流程的全过程，为医疗人员分析治疗效果提供重要参考资料，并且能够对医疗流程的各个节点进行质量监控。

为了解放医疗人员的双手，实现无纸化办公，服务器端可以将目标对象的身份信息以及摆位信息发送至客户端。其中，目标对象的身份信息可以包括目标对象的姓名、性别以及标识，标识可以是目标对象对应的医疗编号；摆位信息可以包括目标对象在治疗床中所处的位置、十字线刻度位置、头部方向等信息，本公开实施例对目标对象的身份信息以及摆位信息不作限定。医疗人员根据目标对象的身份信息核对目标对象的身份，根据摆位信息对目标对象进行摆位。

医疗人员使用固定装置固定目标对象后，可以将目标对象移动至治疗床，通过混合现实设备获取目标对象的第一标记信息和第二标记信息，服务器端确定第一标记信息和第二标记信息的重合度，在重合度小于或等于预设阈值时，向混合现实设备发送提示信息，提示医疗人员第一标记信息偏离第二标记信息，以使医疗人员重新摆位，直至第一标记信息和第二标记信息的重合度大于预设阈值。

摆位流程结束后，服务器端向混合现实设备发送录像关闭信息，以使混合现实设备结束录制医疗流程。此外，混合现实设备可以将录制信息上传至服务器端。

本公开实施例的方法能够运行在基于虚拟智能医疗平台的质控系统中。图3示出根据本公开实施例的基于虚拟智能医疗平台的质控系统的框图。如图3所示，基于虚拟智能医疗平台的质控系统主要包括数据通信平台31、存储计算平台32以及感知计算平台33。

其中，数据通信平台31可以通过dicom(digitalimagingandcommunicationsinmedicine，医学数字成像和通信)网络协议与客户端进行通信连接，并且可以对dicom文件进行解析；存储计算平台32可以提供数据存取服务、三维重建服务、终端服务以及终端状态同步服务，其中，数据存取服务可以支持存取目标对象身份信息、dicom数据以及预设目标位置信息，终端服务可以支持终端数据的上传和下载以及终端数据的实时计算；感知计算平台33可以支持全息显示和流程质控，其中，全息显示可以包括全息显示目标对象的身份信息以及预设目标位置信息，流程质控可以包括人脸识别、二维码扫描、标记信息重合度检测以及流程记录。

图4示出根据本公开实施例的基于虚拟智能医疗平台的质控装置的结构示意图。如图4所示，所述装置包括：

客户端41，用于获取目标对象的图像信息，并将所述图像信息发送至服务器端42；

服务器端42，用于从所述图像信息中确定所述目标对象的第一标记信息以及第二标记信息，所述第一标记信息为在所述目标对象的体表预先标记的信息，所述第二标记信息为投影于所述目标对象的体表的标记信息；

在所述第一标记信息与所述第二标记信息之间的重合度小于或等于预设阈值时，向所述客户端41发送提示信息，以使所述客户端41显示所述提示信息。

在一种可能的实现方式中，所述提示信息包括警告信息、指示信息以及所述目标对象的身份信息中的至少一个，

所述警告信息用于警告用户所述第一标记信息偏离所述第二标记信息；

所述指示信息包括预设目标位置信息，用于指示用户将所述目标对象移动至预设目标位置；

所述目标对象的身份信息包括所述目标对象的姓名、性别及标识中的至少一个。

在一种可能的实现方式中，所述服务器端42还用于：

从所述图像信息中确定出所述目标对象的人脸图像；

通过人脸识别算法和卷积神经网络对所述人脸图像进行人脸识别，得到所述目标对象的人脸信息；

将所述目标对象的人脸信息与预存的多个人脸信息进行匹配；

在存在匹配的人脸信息时，确定所述目标对象的身份。

在一种可能的实现方式中，所述服务器端42还用于：

根据即时定位与地图构建slam技术获取所述客户端41的空间位置信息；

在所述客户端41的空间位置处于预设目标空间范围时，向所述客户端41发送录像开启信息，以使所述客户端41录制所述客户端41当前所在环境的环境信息；

在所述客户端41的空间位置不在所述预设目标空间范围时，向所述客户端41发送录像关闭信息，以使所述客户端41停止录制所述客户端41当前所在环境的环境信息。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。