一种具有器官辅助识别和双目摄像头的支气管镜系统及使用、识别方法与流程

1.本发明涉及医疗辅助设备技术领域，特指一种具有器官辅助识别和双目摄像头的支气管镜系统及使用、识别方法。


背景技术：

2.树形结构是描述人体肺部气管的的一种重要数学模型，而生成树形结构的核心部分是三维骨架的提取。骨架是描述图像的几何形态的一种非常重要的拓扑结构。骨架化是图像分析和形状描述的一种重要变化。骨架算法的研究已经进行了三十多年，最初采取人工指定的算法进行三维物体的骨架提取。人工指定的算法就是在一张纸的ct切片中指定各层切片的中心点，然后将这些中心点连接成线，近几十年来关于骨架化的算法研究突飞猛进。从医学图像中准确地提取目标物体是图像分析与三维重建的基础，是计算机辅助诊断的前提，对提高医学诊断率具有重要的研究意义与应用价值。
3.由于支气管分支繁杂，支气管的分类庞杂，医生每次使用支气管镜都无法准确界定左支气管与右支气管的分类，尤其对于带有病灶的支气管，医生即便在首次进入患者支气管后花费大量时间确定病灶，其鉴于体内检测的缺陷，无法准确定位以便于后续确认以及治疗。因此二次进入治疗或其他介入操作时，由于分支过于庞杂，需要再次花费大量时间定位病灶。


技术实现要素：

4.本发明的目的是提供一种具有器官辅助识别和双目摄像头的支气管镜系统及使用、识别方法，通过摄像头组件采集内部图像，解决病灶定位复杂、费时的问题。
5.本发明的目的是这样实现的：一种具有器官辅助识别和双目摄像头的支气管镜系统，包括
6.显示模块，用于显示采集到的支气管图像，并实时标定支气管在图像中的位置；
7.支气管镜，支气管镜内分别成型有通道一和通道二，通道一内设置有用于采集支气管图像的摄像头组件，通道二内设置有用于提供有效路径进行病灶穿刺和给药的钳道管；
8.处理器，与支气管镜通信连接，其基于已训练好的量化的神经网络模型对支气管图像进行矩形框标记，获取对应矩形框的位置信息与尺寸信息，对已经标定好的两路图像进行比对计算，获取像素比例尺和实际空间距离，输出带有标记数据的支气管图像至显示模块供操作者参考，带有标记的支气管图像是指将支气管图像中的左支气管与右支气管进行分类标记；
9.所述量化的神经网络模型通过如下方法获得：
10.1)摄像头采集大量的受试者的支气管图像，在支气管图像上用矩形框标记左支气管与右支气管，获取对应矩形框的位置信息与尺寸信息；
11.2)对图像样本进行预处理获得训练集；
12.3)利用训练集在深度学习环境下训练得到量化的神经网络模型。
13.优选地，所述支气管包括左支气管和右支气管，左支气管和右支气管是按照人体平躺状态下，从头的方向观察，支气管的直系为左支气管，旁支为右支气管。
14.优选地，所述摄像头组件包括两个摄像头、主控编解码芯片和通信控制芯片，摄像头可调节设置在通道一内。
15.优选地，所述支气管镜内还成型有用于容纳摄像头的通道三。
16.优选地，所述钳道管内设置有卡扣结构一，所述摄像头组件设有与卡扣结构一配合使用的卡扣结构二。
17.一种支气管镜使用方法，该方法包括如下步骤：
18.步骤s1，打开摄像头组件和显示模块，摄像头组件进行成像并通过显示模块显示；
19.步骤s2，观察显示模块，调整摄像头组件的位置至通过显示模块可以观察到支气管；
20.步骤s3，出现支气管时，显示模块会实时标定支气管在图像中的位置，并且显示摄像头到目标的相对距离、支气管大小和所标定支气管的标签(左支气管和右支气管)；
21.步骤s4，当摄像头组件到达最佳工作距离的时候，即显示组件上的相对距离在10-0.30mm时，该位置的测量精度较高，保持该位置进行观察和记录图像数据。
22.一种支气管的识别方法，该方法包括如下步骤：
23.步骤s1，支气管镜的摄像头采集大量的受试者的支气管图像，在支气管图像上用矩形框标记左支气管与右支气管，获取对应矩形框的位置信息与尺寸信息；
24.步骤s2，对图像样本进行预处理获得训练集；
25.步骤s3，利用训练集在深度学习环境下训练得到量化的神经网络模型；
26.步骤s4，支气管镜的摄像头采集受试者支气管图像，其基于已训练好的量化的神经网络模型对支气管图像进行矩形框标记，获取对应的矩形框的位置信息与尺寸信息，输出带有标记的支气管图像至显示屏供操作者参考，带有标记的支气管图像是指将支气管图像中的左支气管与右支气管进行分类标记。
27.本发明相比现有技术突出且有益的技术效果是：
28.1、本发明设计对于初学者而言，能很好的辅助学习使用，能在复杂的人体环境中，快速捕捉细节。
29.2、本发明设计通过双目摄像头进行自动采集，便于后期进行病变分析。
30.3、本发明通过双目摄像头能够对人体器官进行定位和病灶体积估算，有利于医生对病人进行诊断。
附图说明
31.图1为本发明的结构示意图。
32.图2为支气管镜的结构示意图一。
33.图3为支气管镜的结构示意图二。
34.图4为本发明的程序工作流程示意图。
35.图5为本发明的系统结构框图。
36.图6为本发明的计算分析示意图。
37.附图标记：1-显示模块；2-支气管镜；3-处理器；4-摄像头组件；5-通道一；6-通道二；7-通道三。
具体实施方式
38.下面结合附图对本发明的具体实施方式作进一步详细说明。
39.一种具有器官辅助识别和双目摄像头的支气管镜系统，按照人体平躺状态下，从头的方向观察，所述支气管包括左支气管与右支气管，从上一级右支气管处可以观察到下一级支气管，在该下一级支气管中，相对于上一级的右支气管的直系为左支气管，旁支为右支气管；通常，作为旁支的右支气管可能存在多个,在完成支气管识别后，为了准确测量尺寸距离，这里使用了双目摄像头，在工作范围内精度可以达到0.1毫米。
40.安装双目摄像头模组势必会使用更大的空间，而支气管镜为了能适应工作环境，头端一般不会超过4毫米，其中包括了一个摄像头模组和一个钳道管，所以本发明对钳道管结构进行改进，使其在原本正常作业的情况下，可以让另一个摄像头进入并固定形成双目系统。
41.本发明主要包括：
42.显示模块1，用于显示采集到的支气管图像，并实时标定支气管在图像中的位置；
43.支气管镜2，支气管镜2内分别成型有通道一5和通道二6，通道一5内设置有用于采集支气管图像的摄像头组件4，通道二6内设置有用于提供有效路径进行病灶穿刺和给药的钳道管，钳道管在现有设计中，是用于提供有效路径进行病灶穿刺和给药，然而在本设计中，钳道管内侧有卡扣结构，钳道管内径2mm，卡扣限位内径1.6mm，当同样带有卡扣结构的可调摄像头模块到达头端位置时，进行轻微旋转即可使两者相扣。
44.在这种情况下，摄像头模块因为卡扣的摩擦力和限位，不会轻易旋转和向前移动，为了保证可调摄像头模块的位置稳定，可以在钳道管入口象鼻管位置也进行卡扣或者夹紧，以保证固定摄像头和可调摄像头的光学中心与中心距离稳定，此时摄像头位置固定，从而以便于观测和测量，而在另一个通道二6中可以进行病灶穿刺和给药；
45.进一步的，可调摄像头不使用卡扣或者不带有卡扣的情况下，可调摄像头可以穿越钳道管头端，单独进行移动，这样可以在固定摄像头观测视角图像下，从其他角度观测，可以进行比对分析，获取更多信息，以便于医生后续的操作。
46.其次，在适当增大头端大小，在原本两个管口的基础上，在支气管镜2内增加一个通道三7，这样的目的是为了让双目摄像头观测到外部摄像头和相对目标的位置关系，在不确定原本两个摄像头的精度是否可靠时，也可以利用第三个摄像头进行校准，或者工作状态不支持整体头端旋转的情况下，通过第三个摄像头增加观测视角。
47.结合以上所述，在头端最大尺寸固定的情况下，最大可增加至三个通道。在这种情况下，可以分为三种方案实现。1.单摄像头固定、单钳道可变，在钳道卡扣固定后形成双目摄像头系统，一般情况作为普通钳道使用。2.单摄像头固定、双钳道可变。双钳道在实际使用中一般只有单个作业，另一个钳道由卡扣固定形成双目摄像头系统。在特殊环境下，双钳道都实现作业。3.双摄像头固定、单钳道可变。双目摄像头观测到外部摄像头和相对目标的位置关系。
48.处理终端，即pc端，根据使用场景可以分为两种，一种是在手持段采集到图像后，利用wifi把图像实时传输到pc端，这种场合适用于医生在实际临床过程中更加高效的采集目标样本，分析病人的各种状态；第二种使用场景是在手持端接入能快速图像运算的嵌入式设备，这种情况适用于初步诊断和初学者掌握设备。
49.处理器3，与支气管镜2通信连接，其基于已训练好的量化的神经网络模型，即yolov4-tiny，对支气管图像进行矩形框标记，获取对应矩形框的位置信息与尺寸信息，对已经标定好的两路图像进行比对计算，获取像素比例尺和实际空间距离，输出带有标记数据的支气管图像至显示模块1供操作者参考，带有标记的支气管图像是指将支气管图像中的左支气管与右支气管进行分类标记；
50.所述量化的神经网络模型通过如下方法获得：
51.1：摄像头采集大量的受试者的支气管图像，在支气管图像上用矩形框标记左支气管与右支气管，获取对应矩形框的位置信息与尺寸信息；
52.2：对图像样本进行预处理获得训练集；
53.3：利用训练集在深度学习环境下训练得到量化的神经网络模型。
54.所述摄像头组件4包括两个摄像头、主控编解码芯片和通信控制芯片，摄像头可调节设置在通道一5内，主控编解码芯片和通信控制芯片为现有技术，因此在本文中不再具体赘述其具体结构和工作原理。
55.一种支气管镜使用方法，该方法包括如下步骤：
56.步骤s1，打开摄像头组件4和显示模块1，摄像头组件4进行成像并通过显示模块1显示；
57.步骤s2，观察显示模块1，调整摄像头组件4的位置至通过显示模块1可以观察到支气管；
58.步骤s3，出现支气管时，显示模块1会实时标定支气管在图像中的位置，并且显示摄像头到目标的相对距离、支气管的大小和所标定支气管的标签；
59.步骤s4，当摄像头组件4到达最佳工作距离的时候，即显示组件上的相对距离在10-0.30mm时，该位置的测量精度较高，保持该位置进行观察和记录图像数据。
60.一种支气管的识别方法，该方法包括如下步骤：
61.步骤s1，支气管镜2的摄像头采集大量的受试者的支气管图像，在支气管图像上用矩形框标记左支气管与右支气管，获取对应矩形框的位置信息与尺寸信息；
62.步骤s2，对图像样本进行预处理获得训练集；
63.步骤s3，利用训练集在深度学习环境下训练得到量化的神经网络模型；
64.步骤s4，支气管镜2的摄像头采集受试者支气管图像，其基于已训练好的量化的神经网络模型对支气管图像进行矩形框标记，获取对应的矩形框的位置信息与尺寸信息，输出带有标记的支气管图像至显示屏供操作者参考，带有标记的支气管图像是指将支气管图像中的左支气管与右支气管进行分类标记。
65.步骤s5，支气管镜系统完成左右支气管的识别后，即完成双目测距的图像标定后，进一步测量每一级支气管的入口直径大小，系统根据支气管口大小和系统行进的空间顺序划分出若干分级，然后在示意图中绘制支气管树状图，即本发明得到特定受试者的二维支气管树状图，通过保存为下次进入该受试者支气管时候，指引路径并且定位病灶，以便于操
作人员参考，形成可视化的效果，避免二次进入时候对路径缺乏判断以及对病灶的重复定位，极大的提高了医生的工作效率，显著降低医疗事故。
66.接下来进一步介绍本发明中测量距离的具体步骤：
67.将双目摄像头检测到的目标取中心点坐标，计算左右视图坐标的x坐标差值。根据相似三角形理论推导双目测距公式为
[0068][0069]
其中，
[0070]
1.(x1-x2)实际上就是视差，单位是实际物理量mm，用d来表示这个视差，并将单位换成像素，多出来的常数放到分子中；
[0071]
2.分母中的ft是一个常数，用k来表示，这里面还可以包括像素单位到mm单位的比例系数。
[0072]
整理一下可以得到：
[0073][0074]
同时加上测量误差得到：
[0075][0076]
将采样结果代入公式获取参数。
[0077]
接下来进一步介绍本发明中测量尺寸的具体步骤：
[0078]
尺寸测量需要距离参数，通过双目摄像头获取距离参数后即可计算像素域到空间域的比例系数，从而实现物体实际尺寸。
[0079][0080]
其中f为焦距，单位为像素，k为sensor感光元件间距(ov6946为1.75um)，dis为物体至镜头距离，x为图像中物体像素长度，l为物体实际长度。
[0081]
转换后可得比例系数
[0082][0083]
但是由于畸变的存在，图像与实际尺寸并不是完全的线性关系，畸变校正可以提高尺寸测量的整体精度，畸变校正为现有技术，因此在本文中不再具体赘述其原理，但同时实际比例系数与理论计算存在一定冲突，因此比例系数需要根据实际的测量结果进行反向标定。
[0084]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。