基于数字孪生的穿刺器械检测方法、系统及存储介质

本发明涉及器械检测，具体涉及基于数字孪生的穿刺器械检测方法、系统及存储介质。

背景技术：

1、静脉穿刺，是临床中常用的一种治疗手段。然而，繁重的穿刺任务给医护人员带来了极大的负担；同时，穿刺失败给患者带来的风险也逐渐被大众所重视。而静脉穿刺采血/注射机器人的发明可以很好的解决这一切。随着智慧医疗的快速发展，市场对于静脉穿刺采血/注射机器人日益增加。而对于静脉采血机器人的自动化而言，穿刺针位置的识别是其中很重要的一步。

2、现有技术通常仅依赖于医学图像识别来实现穿刺针的检测，因此检测结果仅取决于图像数据这单一数据，而且图像数据的质量也影响检测结果，检测途径单一导致穿刺针检测结果鲁棒性差，最终导致穿刺针的检测精度不可控。

技术实现思路

1、本发明的目的在于提供一种基于数字孪生的穿刺器械检测方法、系统及存储介质，以解决现有技术中检测结果仅取决于图像数据这单一数据，而且图像数据的质量也影响检测结果，检测途径单一导致穿刺针检测结果鲁棒性差，最终导致穿刺针的检测精度不可控的技术问题。

2、为解决上述技术问题，本发明具体提供下述技术方案：

3、在本发明的第一方面，本发明提供了一种基于数字孪生的穿刺器械检测方法，包括以下步骤：

4、获取穿刺前的ct图像和穿刺针图像，分别构建出用于穿刺针穿刺移动的穿刺实景3d模型和穿刺针实体3d模型；

5、利用数字孪生技术，通过所述穿刺实景3d模型和穿刺针实体3d模型，创建出用于解算出穿刺针数字预测坐标的穿刺针孪生平台；

6、通过用于图像识别的神经网络，基于获取穿刺中的超声图像，创建出用于解算出穿刺针实景预测坐标的穿刺针识别模型；

7、利用boosting分类器，对穿刺针孪生平台和穿刺针识别模型的解算结果进行数字空间和实景空间的校正，得到穿刺针真实坐标。

8、作为本发明的一种优选方案，利用cad 3d建模软件通过穿刺前的ct图像和穿刺针图像分别构建出穿刺实景3d模型和穿刺针实体3d模型。

9、作为本发明的一种优选方案，所述穿刺针孪生平台的创建方法，包括：

10、通过unity加载穿刺实景3d模型和穿刺针实体3d模型投影至数字平台上，得到穿刺针孪生平台；

11、其中，穿刺针实体3d模型与穿刺针实体间通过云服务器构建有数据传输通道，以实现穿刺针实体3d模型和穿刺针实体的实时数据传输。

12、作为本发明的一种优选方案，所述穿刺实景3d模型和穿刺针实体3d模型投影方法为utm投影方法。

13、作为本发明的一种优选方案，所述穿刺针数字预测坐标的解算方法包括：

14、将穿刺针实体的移动信息实时传输至穿刺针实体3d模型中，使得穿刺针实体3d模型在穿刺实景3d模型中依据移动信息进行相应移动；

15、穿刺针孪生平台实时记录穿刺针实体3d模型在穿刺实景3d模型中的位置信息，作为所述穿刺针数字预测坐标。

16、作为本发明的一种优选方案，所述穿刺针识别模型的创建方法包括：

17、随机选取多个超声图像作为样本图像；

18、在样本图像中标记出表征穿刺针实体的位置信息作为实景预测坐标；

19、将样本图像作为yolo v5神经网络的输入项，将所述实景预测坐标作为yolo v5神经网络的输出项，利用yolo v5神经网络对yolo v5神经网络的输入项和yolo v5神经网络的输出项进行映射学习，得到所述穿刺针识别模型；

20、所述穿刺针识别模型为：

21、dreal=yolo v5(g)；

22、式中，dreal为穿刺针实景预测坐标，g为超声图像，yolo v5为yolo v5神经网络。

23、作为本发明的一种优选方案，利用boosting分类器，对穿刺针孪生平台和穿刺针识别模型的解算结果进行数字空间和实景空间的校正，包括：

24、将穿刺针孪生平台解算出的穿刺针数字预测坐标与穿刺针识别模型解算出的穿刺针实景预测坐标，分别作为boosting分类器的输入项；

25、将穿刺针真实坐标作为boosting分类器的输出项；

26、以穿刺针孪生平台解算的准确率和穿刺针识别模型解算的准确率，构建出用于解算结果在数字空间和实景空间进行校正的校正目标函数；

27、以所述校正目标函数作为boosting分类器的损失函数，对boosting分类器进行训练，得到输出穿刺针真实坐标的校正模型；

28、所述校正模型为：

29、d=boosting(dreal, ddigital)；

30、式中，d为穿刺针真实坐标，dreal穿刺针实景坐标，ddigital为穿刺针数字坐标，boosting为boosting分类器。

31、作为本发明的一种优选方案，所述校正目标函数为：

32、m=(1-sigmoid)*(fr-fd)2-sigmoid*(fr2+fd2)；

33、式中，m为校正目标值，fr为穿刺针孪生平台解算的准确率，fd为穿刺针孪生平台解算的准确率，sigmoid为sigmoid函数。

34、在本发明的第二方面，本发明提供了一种基于数字孪生的穿刺器械检测系统，应用于所述的一种基于数字孪生的穿刺器械检测方法，穿刺器械检测系统包括：

35、数字模型构建单元，用于获取穿刺前的ct图像和穿刺针图像，分别构建出用于穿刺针穿刺移动的穿刺实景3d模型和穿刺针实体3d模型；

36、数字空间解算单元，用于利用数字孪生技术，通过所述穿刺实景3d模型和穿刺针实体3d模型，创建出用于解算出穿刺针数字预测坐标的穿刺针孪生平台；

37、实景空间解算单元，用于通过用于图像识别的神经网络，基于获取穿刺中的超声图像，创建出用于解算出穿刺针实景预测坐标的穿刺针识别模型；

38、解算校正单元，用于利用boosting分类器，对穿刺针孪生平台和穿刺针识别模型的解算结果进行数字空间和实景空间的校正，得到穿刺针真实坐标。

39、在本发明的第三方面，本发明提供了一种计算机存储介质，所述计算机存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现所述穿刺器械检测方法。

40、本发明与现有技术相比较具有如下有益效果：

41、本发明在实景空间和数字空间分别解算穿刺针位置信息，实现多空间多数据化识别穿刺针，提升了穿刺针识别的鲁棒性，而且实景空间和数字空间间解算结果的相互限定校正，保障了穿刺针识别的精准度。

技术特征：

1.一种基于数字孪生的穿刺器械检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于数字孪生的穿刺器械检测方法，其特征在于：利用cad 3d建模软件通过穿刺前的ct图像和穿刺针图像分别构建出穿刺实景3d模型和穿刺针实体3d模型。

3.根据权利要求2所述的一种基于数字孪生的穿刺器械检测方法，其特征在于：所述穿刺针孪生平台的创建方法，包括：

4.根据权利要求3所述的一种基于数字孪生的穿刺器械检测方法，其特征在于：所述穿刺实景3d模型和穿刺针实体3d模型投影方法为utm投影方法。

5.根据权利要求4所述的一种基于数字孪生的穿刺器械检测方法，其特征在于：所述穿刺针数字预测坐标的解算方法包括：

6.根据权利要求5所述的一种基于数字孪生的穿刺器械检测方法，其特征在于：所述穿刺针识别模型的创建方法包括：

7.根据权利要求6所述的一种基于数字孪生的穿刺器械检测方法，其特征在于：利用boosting分类器，对穿刺针孪生平台和穿刺针识别模型的解算结果进行数字空间和实景空间的校正，包括：

8.根据权利要求7所述的一种基于数字孪生的穿刺器械检测方法，其特征在于：所述校正目标函数为：

9.一种基于数字孪生的穿刺器械检测系统，其特征在于，应用于权利要求1-8任一项所述的一种基于数字孪生的穿刺器械检测方法，穿刺器械检测系统包括：

10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求 1-8 任一项所述的方法。

技术总结
本发明涉及器械检测技术领域，具体涉及基于数字孪生的穿刺器械检测方法、系统及存储介质，包括以下步骤：利用数字孪生技术，通过所述穿刺实景3D模型和穿刺针实体3D模型，创建出用于解算出穿刺针数字预测坐标的穿刺针孪生平台；通过用于图像识别的神经网络，基于获取穿刺中的超声图像，创建出用于解算出穿刺针实景预测坐标的穿刺针识别模型；利用boosting分类器，对穿刺针孪生平台和穿刺针识别模型的解算结果进行数字空间和实景空间的校正。本发明在实景空间和数字空间分别解算穿刺针位置信息，实现多空间多数据化识别穿刺针，提升了穿刺针识别的鲁棒性，而且实景空间和数字空间间解算结果的相互限定校正，保障了穿刺针识别的精准度。

技术研发人员：章小平,缪道嘉,史健,梁华庚,吕庆洋,吴淞名,石恒煜
受保护的技术使用者：华中科技大学同济医学院附属协和医院
技术研发日：
技术公布日：2024/5/10