一种基于深度学习算法的腹腔镜手术人工智能云辅助系统的制作方法

1.本发明涉及人工智能技术领域，尤其涉及一种基于深度学习算法的腹腔镜手术人工智能云辅助系统。
2.

背景技术：

3.微创外科手术经历了30年的发展，在技术层面已进入高位平台期。曾经作为新兴技术的腹腔镜手术，正在逐渐成为新的“传统手术”。现如今，外科正逐步迈入多学科、多技术结合的新局面，高质量的大型临床研究正不断推出，新的科技和技术理念也在不断的升级迭代。在此背景下，微创外科的重心越来越以实际问题为导向，致力于向数字外科、高科技手术等方面发展。
4.依托ai医疗辅助系统，可以在一定程度上改善城乡医疗资源不均衡的问题。
5.

技术实现要素：

6.本发明的目的在于将传统腹腔镜设备升级为附带人工智能云辅助系统的数字化腹腔镜设备，提供了一种基于深度学习算法的腹腔镜手术人工智能云辅助系统，解决了现有腹腔镜手术过度依赖外科医生个人判断，并且设备孤立运行，未搭载云计算、物联网等前沿技术的不足。
7.本发明的目的通过以下技术方案来实现，一种基于深度学习算法的腹腔镜手术人工智能云辅助系统，所述辅助方法包括:步骤一、准备数据，从采集的大量腹腔镜手术视频中，甄选出具有代表性的影像作为训练数据，截取图片并向图片添加标签；步骤二、对标签数据进行训练，得到用于实时检测手术关键元素的深度学习算法模型；步骤三、分析模型检测效果，对于漏检测与误检测部分，再次添加标签数据，并反复加强训练；步骤四、将模型检测精度提升至理想范围，在模型的指引下进行手术，并将数据实时存入云服务器，分析云数据实现系统的优化迭代。
8.所述具有代表性的影像包括：非已损坏视频、非手术流程异常视频、非患者器官先天性异位视频。
9.所述标签包括：各器官区域标签、推荐入刀区域标签、危险警示区域标签。
10.所述添加标签步骤包括：a1、将具有代表性的影像分为病灶切割前、病灶切割中、病灶切割后三个阶段；a2、每阶段选取5000个手术视频，每个视频截取10张图片；
a3、为三个阶段的各50000张图片，分别添加各器官区域标签、推荐入刀区域标签、以及危险警示区域标签。
11.所述训练步骤包括：设置好文件路径；数据预处理；安装yolor算法依赖项；为yolor算法准备预训练的权重；开发出一个过拟合的模型；观察验证集损失从而找到模型最佳训练回合数；重新打乱数据并用最佳回合数训练出最优模型。
12.所述手术关键元素包括：各器官实时位置、推荐入刀位置、危险情形预测与警示。
13.所述深度学习算法模型包括：图像分类模型、图像分割模型、目标检测模型、关键点检测模型。
14.所述云数据包括：手术视频影像、系统实时检测出的各器官位置、系统实时做出的推荐入刀位置、系统做出的危险情形预测与警示、手术发生事故后系统是否已提前做出警示的布尔值组合。
15.所述数据预处理步骤包括：灰度化、几何变换、以及图像增强。
16.所述布尔值组合包括：b1、手术未发生事故，并且系统未作出危险预警；b2、手术未发生事故，并且系统已做出危险预警；b3、手术发生事故，并且系统未作出危险预警；b4、手术发生事故，并且系统已做出危险预警。
17.本技术具有以下有益效果:1. 本发明通过大量临床手术数据，以及在专家指导下完成的各器官区域标签、推荐入刀区域标签、危险警示区域标签，训练出具有实时检测手术关键元素的深度学习算法模型，辅助医生在手术中进行更准确的判断，并且在危险发生之前便做出预测与警示，降低腹腔镜手术事故的发生。
18.2. 本发明将手术数据、系统实时检测数据、系统实时推荐数据、系统危险警示数据、事故发生前系统是否已提前预警，上传至云服务器，通过对漏检测情形与误检测情形的不断分析，持续优化系统辅助效果。
19.3. 在本发明的辅助下进行腹腔镜手术，可以实时获得专家级的推荐入刀指引与危险前置警示。
20.4. 本发明可以用于医疗教育，帮助年轻外科医生在职业初期，就能获得专家级医师的指导，并养成良好的手术操作习惯。
21.5. 本发明可实现与创新医疗器械的嵌入式结合，凭借不断积累的云数据，推动新型数字医疗手术器械的发展。
22.附图说明
23.图1为本发明的整体流程示意图。
24.图2为数据标注流程示意图。
25.图3为模型训练流程示意图。
26.图4为yolor算法模型结构示意图。
27.图5为yolor算法与其它目标检测算法的对比。
28.图6为系统的云功能示意图。
29.具体实施方式
30.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的保护范围，而是仅仅表示本技术的选 定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。下面结合附图对本发明做进一步的描述。
31.如图1所示，本发明涉及一种基于深度学习算法的腹腔镜手术人工智能云辅助系统，其具体数据准备与数据标注方式，如图2所示:采集超过5000例腹腔镜手术视频，剔除其中已损坏的视频、手术流程因人为因素导致异常的视频、患者器官先天性异位视频。然后将所有剩余视频按手术阶段分为前期、中期、后期三种类型。紧接着，在所有手术前期视频中随机选取5000个样本，在所有手术中期视频中也随机选取5000个样本，同样的，在所有手术后期视频中也随机选取5000个样本。接下来，在每个样本中截取10张图片，从而获得每阶段50000张，共计150000张图片。最后，在专家医师的指导下，为这些图片分别添加各器官区域标签、推荐入刀区域标签、以及危险警示区域标签。
32.如图3所示，其具体训练方式为:设置好文件路径；对数据依次进行灰度化、几何变换、以及图像增强；安装yolor算法依赖项；为yolor算法准备预训练的权重；开发出一个过拟合的模型；观察验证集损失从而找到模型最佳训练回合数；重新打乱数据并用最佳回合数训练出最优模型。
33.如图4所示，yolor算法创新性的提出了显性知识与隐性知识的概念，通过拓展目标函数中误差项的不同构成，模型可学习到更深层次的数据细节，从而获得更好的预测表现。
34.上式为传统网络训练的目标函数，其中是观察值， 是神经网络的参数集， 表示神经网络的操作， 是误差项， 是给定任务的目标。训练的过程，便是尽可能最小化 ，使得
ꢀꢀ
无限接近于 。然而，由于传统目标函数的误差项
ꢀꢀ
未做任何细分，模型便被限制于单次只能完成一类目标检测。例如，自动驾驶应用中，算法能够做到对于人与车辆的实时目标检测，但无法同时做到对男人或女人、国产或进口车辆的检测。这是因为这类信息往往超出表像范畴，人类可以做到对于此类信息的轻松识别，是凭借人类的潜意识，又称之为隐性知识。
35.通过潜意识学习到的经验，被编码并存储在人类大脑中。使用这些丰富的经验作为一个庞大的数据库，人类可以有效地处理数据，即使它们是事先不可见的，又或是相互之间差别非常细微的。
36.上式为yolor中的创新目标函数。通过分别将显性知识和隐性知识对误差进行建模，生成更丰富的组合性误差项 。然后通过最小化它来指导多用途网络的训练过程。其中 和 分别是观察值 与潜意识代码 的误差建模， 是一个特定于任务的操作，用于从显性知识和隐性知识中组合或选择信息。
37.如图5所示，当实现同样的目标检测精度时，yolor相较于yolov4，速度提升高达88%。
38.通过训练数据与yolor算法，将模型检测精度提升至理想范围后，部署模型并在模型指引下进行手术。
39.如图6所示，手术过程中所有数据上传云端，包括手术视频影像、系统实时检测出的各器官位置、系统实时做出的推荐入刀位置、系统做出的危险情形预测与警示、手术发生事故后系统是否已提前做出警示的布尔值组合。
40.紧接着，系统自动将云数据按以下四种情况分类：手术未发生事故，并且系统未作出危险预警；手术未发生事故，并且系统已作出危险预警；手术发生事故，并且系统未作出危险预警；手术发生事故，并且系统已作出危险预警。
41.之后，依据不同布尔值组合，对系统进行针对性的优化升级：对于未发生事故且系统未作出危险预警的数据，直接转化为数据资产储存，用于再之后的科研与教学。
42.对于未发生事故但系统已提前作出危险预警的数据，分析预警准确性，并依据预警准确性做出不同的处理。若预警准确，那么直接将数据转化为数据资产储存，若预警为误报，找出误报原因并优化升级系统，通过不断的迭代，持续降低误报率。
43.对于发生事故但系统未提前作出危险预警的数据，复盘手术过程，找出未预警原因并优化升级系统，通过不断的迭代，持续降低漏报率。
44.对于发生事故且系统已提前作出危险预警的数据，直接转化为数据资产储存，用于再之后的科研与教学。
45.本发明系统中的各个模块都是用于实现本发明方法中对应的方法步骤的内容，其具体也包括本发明方法对应的操作步骤。
46.以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。