基于动作捕捉的心脏超声标准切面自动指引方法及系统

本发明属于超声图像处理，涉及一种基于动作捕捉的心脏超声标准切面自动指引方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、超声心动图由于其无创性、无放射性、便携性和实时动态性现已成为最常用的心脏检查成像方式。但是，心脏超声切面的获取与分析与医生的主观操作关联较大，且需要处于静息态的患者以及合适的超声检测装备共同完成，因而不可避免的存在检测误差。这对于心脏疾病和心脏功能的诊断带来了巨大的挑战，也对超声医生提出了更高的技术要求。

3、心脏的解剖结构存在较大的复杂性，虽然存在细致的心脏超声质量评估指南，但是对于经验不足的超声医生而言，获取全部的标准心脏超声切面仍是一项艰巨的任务。除此之外，基层高水平超声科医生严重短缺、城乡医疗水平分布不均衡和患者个体差异较大等客观问题，对于标准超声心动图的获取造成了严重阻碍，这大大增加了患者误诊率及病情延误的风险。因而，心脏超声标准切面的获取对于心脏疾病的诊疗具有重大的意义。

4、除此之外，高水平超声医生的培养与经验积累是一项长期且投入巨大的过程，单纯依靠专业医生进行切面采集会耗费大量的人力物力及时间成本。

技术实现思路

1、本发明为了解决上述问题，提出了一种基于动作捕捉的心脏超声标准切面自动指引方法及系统，本发明使用动作捕捉系统进行超声医生手部探头实时位置获取，将迁移学习和深度度量学习相结合，实现跨领域、任务和分布的知识复用，实现心脏超声标准切面的自动获取于探头行动指引。

2、根据一些实施例，本发明采用如下技术方案：

3、一种基于动作捕捉的心脏超声标准切面自动指引方法，包括以下步骤：

4、进行受试者的图像捕捉，通过获取的图像信息判断出人体姿态，并对超声探头进行动作捕捉，确定超声探头的运动轨迹和姿态；

5、获取受试者在目标体位，超声探头的实时超声影像信息；

6、根据超声探头的运动轨迹，进行轨迹换算，根据实时超声影像信息进行知识学习与特征提取，基于提取结果和换算结果，确定当前检测切面和标准切面的差距，并对超声探头的移动角度和移动距离进行预测；

7、根据预测结果，对超声探头进行路径指引。

8、作为可选择的实施方式，对受试者的图像进行采集，获取受试者的当前体位；

9、对超声探头上的标识物进行捕捉，根据捕捉结果，通过三维刚体变换准则获取超声探头的实时位置；

10、根据世界坐标系、超声探头坐标系及受试者位置坐标系的换算，得到超声探头实时位置及角度的信息。

11、作为可选择的实施方式，若受试者的当前体位不适合进行心脏切面采集，则指引受试者改变姿态，转为目标体位。

12、作为可选择的实施方式，标准切面特征提取和确认过程包括：

13、提取所获心脏超声影像与心脏超声质量评估公开数据集的共有深层特征；

14、将共有深层特征输入到编码器和解码器进行训练，编码后的数据经过类别预测后得到相应的标准参考图像，并利用标准结构特征对解码器进行训练，并输出质量预测结果；

15、标准视图的先验知识通过参数共享的transformer解码器对编码特征进行训练，得到最终的超声视图位移量。

16、作为可选择的实施方式，根据实时超声影像信息进行知识学习与特征提取的具体过程包括对获取的图像数据分割成图像块序列，并进行位置划分嵌入，在完整保留空间信息的同时依据像素分布距离获得不同组织结构的空间相关性；

17、再将排列好的影像数据输入由基于多头注意力机制的transformer块组成的特征提取器中，提取到深层结构特征；

18、根据提取到的深层结构特征，对超声手法的位移量进行预测。

19、作为进一步的，根据提取到的深层结构特征，对超声手法的位移量进行预测的具体过程包括将实时心脏超声检查切面与相应的心脏超声标准切面进行度量，计算出二者特征差异；

20、将多输入映射为单一输出，并通过反向传播对网络进行训练；

21、对权重进行归一化，将权重和相应的键值及逆行加权求和得到最终的六自由度位移预测量，计算出实时切面与标准切面之间的距离信息。

22、一种基于动作捕捉的心脏超声标准切面自动指引系统，包括：

23、动作捕捉单元，用于获取受试者的图像，通过图像信息判断出人体姿态，并获取超声探头的图像，确定超声探头的运动轨迹和姿态；

24、数据采集模块，用于获取受试者在目标体位，超声探头的实时超声影像信息；

25、深度迁移度量模块，用于根据超声探头的运动轨迹，进行轨迹换算，根据实时超声影像信息进行知识学习与特征提取，基于提取结果和换算结果，确定当前检测切面和标准切面的差距，并对超声探头的移动角度和移动距离进行预测；

26、结果反馈模块，用于根据预测结果，对超声探头进行路径指引。

27、作为可选择的实施方式，所述动作捕捉单元包括动作捕捉装置、摄像设备和处理模块，其中，所述动作捕捉装置对超声探头延长杆的轨迹进行实时记录，摄像设备设置在数据采集模块前，用于获取受试者的图像信息，所述处理系统，用于根据动作捕捉装置、摄像设备获取的信息，确定超声探头的运动轨迹、实时位置和人体体位。

28、作为进一步的，所述超声探头连接有一延长杆，所述延长杆上设置有反光条，所述处理系统用于对反光条的反光信号进行捕捉，根据捕捉结果，通过三维刚体变换准则获取超声探头的实时位置；

29、根据世界坐标系、超声探头坐标系及受试者位置坐标系的换算，得到超声探头实时位置及角度的信息。

30、作为可选择的实施方式，还包括语音模块，用于在受试者的当前体位不适合进行心脏切面采集时，播报语音，指引受试者改变姿态，转为目标体位。

31、作为可选择的实施方式，所述深度迁移度量模块，包括：

32、分割模块，用于对获取的图像数据分割成图像块序列，并进行位置划分嵌入，在完整保留空间信息的同时依据像素分布距离获得不同组织结构的空间相关性；

33、特征提取模块，用于将排列好的影像数据输入由基于多头注意力机制的transformer块组成的特征提取器中，提取到深层结构特征；

34、预测模块，用于根据提取到的深层结构特征，对超声手法的位移量进行预测。

35、作为进一步的，所述预测模块，包括：

36、差异计算模块，用于将实时心脏超声检查切面与相应的心脏超声标准切面进行度量，计算出二者特征差异；

37、训练模块，用于将多输入映射为单一输出，并通过反向传播对网络进行训练；

38、距离计算模块，用于对权重进行归一化，将权重和相应的键值及逆行加权求和得到最终的六自由度位移预测量，计算出实时切面与标准切面之间的距离信息。

39、与现有技术相比，本发明的有益效果为：

40、本发明的外置摄像机结合动作捕捉装置不会影响受试者和超声探头的工作，不会对超声设备进行大量的设备结构改造，投入使用成本低，操作简单。

41、本发明能够保证受试者尽快转入最佳体位，并根据当前超声探头获取的检测切面和标准切面的差距，确定超声探头应该进行的轨迹运动和角度移动，指引超声探头的移动，以采集到标准切面或尽可能提高检测切面的准确度和精确度。

42、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。