一种线阵超声内镜下识别腹腔内结构系统及其方法与流程

本发明属于智慧医学技术领域，涉及一种线阵超声内镜下识别腹腔内结构及操作手法的系统。

背景技术：

超声内镜检查（endoscopicultrasonography，eus）是将微型超声探头安装于内镜顶端，经口插入内镜后在胃、十二指肠内完成腹腔内脏器的实时超声扫查。这属于介入性超声诊断技术。此项技术目前被认为是诊断胰腺病变的“近乎完美”的方法，是一项有前途的内镜技术。eus包括线阵超声内镜、环扫超声内镜及小探头超声内镜。线阵超声内镜既可用于诊断疾病，亦可用于活组织穿刺取病理辅助诊断以及注射药物进行治疗。

线阵超声内镜能够紧贴胃壁及十二指肠壁，观察管壁层次及其周围的肝脏系统（包括肝脏、肝固有动脉、肝静脉、门静脉、肝管）、胆道系统（胆囊底、体、颈、胆囊管、胆总管）、胰腺系统（胰头、胰颈、胰体、胰尾、主胰管、副胰管）、腹腔血管系统（脾动脉、脾静脉、肠系膜上动脉、肠系膜上静脉、腹主动脉、腹腔干、肾动脉、肾静脉、下腔静脉）、十二指肠乳头、脾脏、肾脏、肾上腺。这对于发现ct或mri这些影像学检查手段无法发现的胰腺、胆总管的微小肿瘤有不可替代的作用，诊断准确率高。应用eus进行超级微创治疗某些胰腺病变可避免传统外科手术。

目前超声内镜检查和治疗技术未能在全国各级医院内广泛开展的原因有以下几点：

1、腹腔内脏器结构复杂、操作手法不统一，导致医生在进行超声内镜检查时辨认所属结构犹豫不决以及多次无效重复操作，这会浪费大量时间，增加患者的痛苦；

2、因超声内镜为医师操作时实时解读图片、诊断疾病，无法将图片全部获取后存储供上级医师再次审核，故对操作医师的要求高，但高级医师数量少，无法全程进行操作诊断。

技术实现要素：

本发明所解决的问题是提供了一种超声内镜下识别腹腔内结构系统及其方法，有利于提高内镜医师的诊断准确性。

一种线阵超声内镜下识别腹腔内结构系统，包括操作端、数据分析端和可视化端；

操作端：内镜医师按照既定的操作手法使用线阵超声内镜设备获取超声图像，并将图像和操作手法实时上传到所述数据分析端；

数据分析端：包括用于接收操作端实时上传的超声图像和操作手法的数据库；还包括基于深度学习的卷积神经网络，所述卷积神经网络用于判断内镜医师的操作手法是否有偏差、分析数据库中的超声图像部位结构是否正确；还包括影像处理模块，所述影像处理模块用于将合格的超声图像组合转化成3d模型图像，并上传到所述可视化端；

可视化端：包括用于显示标准图、用于提示错误操作和显示所述3d模型图像的显示屏。

上述技术方案中，更进一步的是，所述卷积神经网络包括训练好的第一神经网络和第二神经网络，所述第一神经网络用于判定内镜医师的操作手法是否有偏差，所述第二神经网络用于识别、判定图像对应的部位的结构。

上述技术方案中，更进一步的是，所述标准图附有人工标注信息，所述标准图包括肝脏系统、胆道系统、胰腺系统、腹腔血管系统、十二指肠乳头、脾脏、肾脏、肾上腺的标准图。与标准图进行比对提高了分析的准确性。

上述技术方案中，更进一步的是，所述数据库包括手法库和结构库，其中所述手法库中的每一个手法与所述结构库中的超声图像一一对应。

一种如所述系统的方法，包括以下几个步骤：

s1：内镜医师按照既定的操作手法，分别在胃内、十二指肠球部及降段按顺序扫查，获取超声图像，在图像中标注影像信息并记录操作手法一一对应的上传到所述数据库中；

s2：将数据库中的图像及其对应的操作手法输入到所述第一神经网络中分析图像的质量及其对应的操作手法是否合格；若不合格则输出到可视化端对内镜医师做出提示；若合格则输入到所述第二神经网络中分析图像中的所属结构；

s3：在提示下修改操作手法重复s2中的步骤；

s4：合格图像转化为3d模型图像。不断增加样本量，不断进行校正，提高准确率。

与现有技术相比，本发明的有益效果是：本发明利用深度学习模型及基于卷积神经网络的深度强化学习模型对于采集的线阵超声内镜图像进行操作提示、判断图片治疗、识别腹腔内部位的所属结构，在操作屏幕上实时提示，加快了操作速度，减少了患者痛苦，增加了诊断的准确性；同时，后期合成3d图像及图像、操作提示信息供上级医师审稿，降低了操作医师的技术要求，有利于全国各级医院广泛开展；一个数据分析端可对应多个操作端及可视化端，减少了成本。

附图说明

图1为本发明所述系统的系统框图。

图2为本发明所述系统的机器学习训练图。

图3为本发明所述系统中的标准图1。

图4为本发明所述系统中的标准图2。

图5为本发明所述系统中的标准图3。

图6为本发明所述系统中的标准图4。

图7为本发明所述系统中的标准图5。

图8为本发明所述系统中的标准图6。

图9为本发明所述系统中的标准图7。

图10为本发明所述系统中的标准图8。

图11为本发明所述系统中的标准图9。

图12为本发明所述系统中的标准图10。

图13为本发明所述系统中的标准图11。

图14为本发明所述系统中的标准图12。

图15为本发明所述系统中的标准图13。

图16为本发明所述系统中的标准图14。

图17为本发明所述系统中的标准图15。

图18为本发明所述系统中的标准图16。

图19为本发明所述系统中的标准图17。

图20为本发明所述系统中的标准图18。

图21为本发明所述系统中的标准图19。

图22为本发明所述系统中的标准图20。

图23为本发明所述系统中的标准图21。

图24为本发明所述系统中的标准图22。

图25为本发明所述系统中的标准图23。

图26为本发明所述系统中的标准图24。

图27为本发明所述系统中的标准图25。

图28为本发明所述系统中的标准图26。

图29为本发明所述系统中的标准图27。

图30为本发明所述系统中的标准图28。

图31为本发明所述系统中的标准图29。

图32为本发明所述系统中的标准图30。

具体实施方式

以下实施例结合附图对本发明进一步描述。

操作端是指线阵超声内镜设备，首次，医生按照既定的操作手法依次获取肝脏系统（包括肝脏、肝固有动脉、肝静脉、门静脉、肝管）、胆道系统（胆囊底、体、颈、胆囊管、胆总管）、胰腺系统（胰头、胰颈、胰体、胰尾、主胰管、副胰管）、腹腔血管系统（脾动脉、脾静脉、肠系膜上动脉、肠系膜上静脉、腹主动脉、腹腔干、肾动脉、肾静脉、下腔静脉）、十二指肠乳头、脾脏、肾脏、肾上腺的标准图及其操作手法，如图2—32；分别输入到训练好的第一神经网络和第二神经网络中，作为标准图对比；

内镜医师的能力不同，即使按照既定的操作手法，得到的图像会有偏差；在实施过程中，内镜医师依次在胃内、十二指肠球部及降段按顺序扫查，获取超声图像并人工记录下每个超声图像的操作手法，一一对应的将图像和操作手法上传到数据库中。

本实施例至少包括一个操作端，每个操作端有独立的图像或信息输出、输入模块，通过探头输入，再由串口输出到数据分析端，但共用一个数据分析端。既定操作手法及获得标准图像（yamaok,irisawaa,inoueh,etal.standardimagingtechniquesofendoscopicultrasound-guidedfine-needleaspirationusingacurvedlineararrayechoendoscope[j].digendosc,2007,19(s1):s180-s205.）如下：

第一，在胃内扫查，标准图（1）患者左侧卧位，插镜至胃贲门处，此时内镜通过横隔后可见肝左叶及肝左静脉。标准图（2）右旋镜身可看见腹主动脉，继续进镜时可见腹腔干和肠系膜上动脉；注意腹腔干和sma可以不同时出现。标准图（3）稍进镜和右旋镜身可动态观察胰体和胰尾；注脾动脉靠近探头而脾静脉位于较远处。标准图（4，5，6）以脾静脉为标记物显示脾脏，右旋镜身并稍后退镜身可看见胰尾、左肾及肾上腺。观察到左肾（标准图4），观察到肾上腺（标准图5），进一步旋转可观察胰腺直至脾门（标准图6）。标准图（7，8，9）在明确脾门后，进镜并一点一点左旋镜身可观察胰尾至胰体，注此时为胰尾至胰体应连续观察。标准图（10）以脾静脉为标记物，左旋并进镜见肠系膜上静脉、脾静脉和门脉的汇合处，在该位置可看见部分胰头。标准图（11）在门脉汇合处左旋镜身，可见胰头和胰体结合处、主胰管和胆管。标准图（12，13）当沿脾静脉寻找其与门脉汇合处有困难时：在胃体显示肠系膜上动脉后，左旋镜身可见肠系膜上静脉，其走行与肠系膜上动脉平行（标准图12）；操控内镜使在长轴方向观察肠系膜上静脉，随后逐步退镜可看见其与门脉主干的汇合处（标准图13）。标准图（14）显示门脉主干后，退镜追踪门脉直至肝脏，可以观察肝门部。标准图（15）进一步向前推镜，可在胃窦部看见胆囊。标准图（16，17，18）从肝门部的位置退镜，可显示左右肝管，左旋镜身有时可将右肝管移向底部，右旋有时可看见左肝管，并可见门静脉及其左右支。

第二，十二指肠球部扫查，标准图（19）插镜至十二指肠球部，左旋镜身可看见胆囊，胆囊颈部位于图像左侧，胆囊底部位于右侧。标准图（20）右旋镜身可看见3个管状结构，门脉、胆管和肝总动脉。标准图（21）稍进镜并左旋镜身，可看见门脉、胆管和右肝动脉。标准图（22）右旋镜身，追踪胆管至乳头，可看见乳头附近的胆管和主胰管。标准图（23）继续显示门脉直至门脉、脾静脉和肠系膜上静脉的汇合处，同时可在十二指肠侧看见胰头和胰体。标准图（24）左旋镜身可看见胰头和胰体。

第三，十二指肠降部扫查，将内镜插入十二指肠下降部并将其拉直。标准图（25）右旋镜身可见主动脉和下腔静脉。标准图（26）退镜可见主动脉呈线性与图像平行，胰头位于腹主动脉与探头之间。标准图（27）观察胰腺实质时进一步退镜，可显示探头附近的低回声及高回声区域，腹侧胰腺(低回声)和背侧胰腺(高回声)有明显的分界线。标准图（28）稍稍右旋和左旋镜身可在低回声区域内看见两个管状结构，胆管靠近探头，主胰管位于较远处；注：要仔细观察乳头，需在十二指肠内注入去泡水。标准图（29）稍稍右旋和左旋镜身，可进一步显示肠系膜上静脉和肠系膜上动脉。标准图（30）在十二指肠降部有时可看见右肾。

数据分析端，包括有数据库，数据库中包括有手法库和结构库，手法库中存有内镜医师在做内镜的操作手法；结构库中存有内镜医师在做内镜时获取的内镜图像；每个内镜图像和每个操作手法一一对应；

具体的，操作手法包括有内镜探头的移动方向和旋转角度变化；

还包括基于深度学习的卷积神经网络，卷积神经网络包括有已经训练好的第一神经网络和第二神经网络，第一神经网络用来判定超声图像的质量是否清晰，无大量气体掩盖图像；若图像合格，则输入到第二神经网络中，第二神经网络是用来识别图像中的部位结构，例如，识别图像的出现的是肝脏系统或十二指肠乳头；

数据分析端，还包括有强化学习模型，强化学习模型对应相应操作下标准图谱中所属结构的信息，在电脑服务器中预先配置探头移动及角度变化的控制指令，建立控制指令与人体腹腔内结构的对应指令；边操作边可在屏幕上获得所需静态图像内腹腔脏器结构的文字信息，实时指导操作者修正操作。若系统判断有操作手法偏差，可于屏幕上显示错误提示。动态图像可储存转化为静态图片后，最终合成的3d模型图反馈至电脑图片存储设备中；以便上级医生读片修正诊断；

如图2所示，为包括用于判断超声内镜图像是否合格的图片库训练模型和判断所属结构的部位信息的部位库训练模型。模型可选用vgg-16或resnet-50或densenet，采用python语言开发，封装成restfulapi(rest风格的网络接口)后被其他模块调用。第一神经网络和第二神经网络是基于卷积神经网络模型的训练的，过程要构建一个马尔科夫决策过程，卷积神经网络模型用于图像识别领域为常规技术手段，在此不再复述；

深度学习模型需要一个样本数据库，样本数据库，请见图2。包括标准图片库、所属结构判断库以及手法记录库。在样本库中，每一个手法对应每一个标准图，并在标准图内标注腹腔内结构的图示。腹腔内脏器包含的结构名称包括：肝脏系统（包括肝脏、肝固有动脉、肝静脉、门静脉、肝管）、胆道系统（胆囊底、体、颈、胆囊管、胆总管）、胰腺系统（胰头、胰颈、胰体、胰尾、主胰管、副胰管）、腹腔血管系统（脾动脉、脾静脉、肠系膜上动脉、肠系膜上静脉、腹主动脉、腹腔干、肾动脉、肾静脉、下腔静脉）、十二指肠乳头、脾脏、肾脏、肾上腺。合格图像需满足影像质量合格，包括图像显示清晰、无大量气体掩盖图像，且为腹腔内所属结构的标准图。不合格图像可于可视化端显示提醒操作者。合格图像进一步输入电脑进行深度学习；并通过不断增加样本量来校正以提高验证准确率，进而输入到卷积神经模型进行深度学习。

可视化端：包括实时操作屏幕显示脏器文本信息及错误操作提示；最终电脑显示3d模型图以及操作指导方案。首先获得的合格超声图像经过数据分析端的深度学习后，判断图像是否清晰完整，是否能够提供有价值的标准图内所属结构信息，若分析操作过程中发现错误，于操作屏幕上显示相应的错误提示及操作指导，以反馈于操作端修正，直至获得合格超声图像，并于操作屏幕上所属结构的部位的文字提示。其次，待所有合格图像收集后进一步输入数据分析端，进行下一步深度学习，并合成3d模型图。绘制腹腔内机构3d模型图单元，首先，获取一段连续的超声内镜图像，均匀采样后经过深度学习模型挑选出最有判别力的图像，即标准图像；其次，后将所有图像送入一个图卷积神经网络中，充分判断所属层次结构。再次，组合图像构成3d模型。

本发明的方法所采用的技术方案是：包括以下步骤：

步骤一：内镜医师操作按照既定操作手法操作线阵超声内镜，分别在胃内、十二指肠球部及降段按顺序扫查，获得标准超声内镜结构影像，实时上传至电脑数据分析端；

步骤二：数据分析端的数据库中存储采集影像，输入到第一神经网络进行分析，内容包括超声图像质量、结构是否对应操作手法，若不合格，分析操作错误原因。若分析内容合格则输入至第二神经网络，进一步判断结构，输入到强化学习模型中，对识别结果进行最终决策，用于输出；另外，合格的影像将实时存储进行影像处理用于后期合成3d模型并输出；

步骤三：操作屏幕实时输出信息，包括操作错误提示和影像内所属腹腔内结构的名称。内镜医师接受实时反馈后及时修正操作，重新进行影像采集直至获得合格影像后，再次通过第一神经网络、第二神经网络、强化学习模型；

步骤四：3d电脑输出信息，内镜医师将于存储影像的电脑上获得腹腔内结构的3d模型图以及操作指导方案。

本发明的实现将提高医师的诊断准确性，缩短检查时间以减少患者的痛苦，为未来的教学、学术交流以及大数据分析提供了信息化基础。这一项目的实现将推动超声检查术在全国各级医院的广泛应用，是广大患者获益。

可以理解的是，本说明书中未详细阐述的部分均属于现有技术。

本发明不限于上述实施例，对于本领域的普通技术人员来说，可以根据本发明的技术构思作出其他相应的改变或替换，这些均落入本发明的保护范围内。