一种3D视图辅助检测方法、系统、装置及存储介质与流程

一种3d视图辅助检测方法、系统、装置及存储介质
技术领域
1.本发明涉及医疗辅助检测技术领域，具体涉及一种3d视图辅助检测方法、系统、装置及存储介质。


背景技术：

2.内窥镜可以经人体的天然孔道或者是经手术微创创口进入患者体内，为医生提供清晰、稳定的高质量画面来完成手术。3d内窥镜是一种新型的立体成像内窥镜，能够直观反映观察区域的景深特征，利于诊断。
3.在3d内窥镜辅助诊断中，临床医生通过内窥镜观察患者体内情况判断诊断结果。但是人工分析存在以下显而易见的缺陷：(1)不够精确，医生仅能凭借经验去辨别，由于缺乏量化的标准，容易造成误诊；(2)不可避免地会出现人眼视力产生的误差及视力疲劳；(3)海量的图像信息容易产生漏诊。
4.传统计算机辅助诊断技术(computer aided diagnosis，cad)通过医学图像处理技术结合计算机分析计算来辅助发现病灶，虽然能解决人工分析的部分问题，但还是需人工提取特征，这样实时性差且容易发生漏诊。


技术实现要素：

5.本发明主要解决的技术问题是现有的医学图像处理技术中采用人工进行特征提取来辅助发现病灶时实时性差。
6.一种3d视图辅助检测方法,包括：
7.实时获取待检测区域的左视图像和右视图像；
8.对所述左视图像和右视图像进行病变检测分别得到第一病变标注框和第二病变标注框；
9.将所述左视图像和右视图像进行特征融合后进行2d
‑
3d转换得到待检测区域的3d视图；
10.根据所述第一病变标注框和第二病变标注框，在所述3d视图中对病变的位置进行3d标注得到3d病变标注视图；
11.实时显示所述3d病变标注视图。
12.在一种实施例中，所述根据所述第一病变标注框和第二病变标注框在所述3d视图中对病变的位置进行3d标注得到3d病变标注视图包括：
13.对所述第一病变标注框和第二病变标注框进行关联度计算，若所述关联度达到预设区间，则将所述第一病变标注框和第二病变标注框关联得到3d标注框；
14.在所述3d视图中标注所述3d标注框得到所述3d病变标注视图，该3d标注框所在的区域为病变区域。
15.在一种实施例中，所述对所述左视图像和右视图像进行病变检测分别得到第一病变标注框和第二病变标注框包括：
16.将所述左视图像和右视图像分别输入到预先训练好的第一病变检测模型和第二病变检测模型中，分别得到所述第一病变标注框和第二病变标注框；该第一病变标注框和第二病变标注框分别表示左视图像和右视图像中的病变区域。
17.在一种实施例中，所述第一病变检测模型和第二病变检测模型均通过以下方法训练所得：
18.获取正常图像数据集和病变图像数据集作为训练样本集；
19.对所述训练样本集中的图像进行缩放、旋转、翻转和改变亮度以扩展该训练样本集；
20.将扩展后的训练样本集输入到初始yolo网络模型中对其进行多次训练得到所述第一病变检测模型和第二病变检测模型。
21.一种3d视图辅助检测系统,包括：
22.图像获取模块，用于实时获取待检测区域的左视图像和右视图像；
23.病变检测模块，用于对所述左视图像和右视图像进行病变检测分别得到第一病变标注框和第二病变标注框；
24.视图转换模块，用于将所述左视图像和右视图像进行特征融合后进行2d
‑
3d转换得到待检测区域的3d视图；
25.3d标注单元，用于根据所述第一病变标注框和第二病变标注框，在所述3d视图中对病变的位置进行3d标注得到3d病变标注视图；
26.实时显示模块，用于实时显示所述3d病变标注视图。
27.在一种实施例中，所述3d标注单元包括关联模块和标注模块：
28.所述关联模块用于对所述第一病变标注框和第二病变标注框进行关联度计算，若所述关联度达到预设区间，则将所述第一病变标注框和第二病变标注框关联得到3d标注框；
29.所述标注模块用于在所述3d视图中标注所述3d标注框得到所述3d病变标注视图，该3d标注框所在的区域为病变区域。
30.在一种实施例中，所述病变检测模块中设有预先训练好的第一病变检测模型和第二病变检测模型；
31.所述对所述左视图像和右视图像进行病变检测分别得到第一病变标注框和第二病变标注框包括：
32.将所述左视图像和右视图像分别输入到预先训练好的第一病变检测模型和第二病变检测模型中，分别得到所述第一病变标注框和第二病变标注框；该第一病变标注框和第二病变标注框分别表示左视图像和右视图像中的病变区域。
33.在一种实施例中，还包括：
34.样本集获取模块，用于获取正常图像数据集和病变图像数据集作为训练样本集；
35.预处理模块，用于对所述训练样本集中的图像进行缩放、旋转、翻转和改变亮度以扩展该训练样本集；
36.训练模块，用于采用扩展后的训练样本集训练两个初始yolo网络模型中得到所述第一病变检测模型和第二病变检测模型。
37.一种辅助检测装置，包括：
38.3d内窥镜，用于实时获取待检测区域的左视图像和右视图像；
39.处理器，用于对所述左视图像和右视图像进行病变检测分别得到第一病变标注框和第二病变标注框；将所述左视图像和右视图像进行特征融合后进行2d
‑
3d转换得到待检测区域的3d视图；根据所述第一病变标注框和第二病变标注框，在所述3d视图中对病变的位置进行3d标注得到3d病变标注视图；
40.显示器，用于实时显示所述3d病变标注视图。
41.一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如上所述的方法。
42.依据上述实施例的3d视图辅助检测方法、系统及装置，其中方法包括：实时获取待检测区域的左视图像和右视图像；对左视图像和右视图像进行病变检测分别得到第一病变标注框和第二病变标注框；将左视图像和右视图像进行特征融合后进行2d
‑
3d转换得到待检测区域的3d视图，整个图像处理过程速度快，实时性好；根据第一病变标注框和第二病变标注框，在3d视图中对病变的位置进行3d标注得到3d病变标注视图，实时显示3d病变标注视图。医生佩戴专门的3d眼镜即可实时清楚的观察到检测区域的病变情况，并且采用3d视图实时显示使得观察效果更好。
附图说明
43.图1为本申请实施例的辅助检测方法流程图；
44.图2为本申请实施例的病变检测模型训练方法流程图；
45.图3为本申请实施例的辅助检测方法框架图；
46.图4为本申请实施例的病变检测模型结构示意图；
47.图5为本申请实施例的标注框位置示意图；
48.图6为本申请实施例的双目视图构建3d视图原理图；
49.图7为本申请实施例的根据第一病变标注框和第二病变标注框构建3d标注框原理示意图；
50.图8为本申请实施例的辅助检测系统结构框图；
51.图9为本申请实施例的辅助检测装置结构框图。
具体实施方式
52.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
53.另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一
个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
54.本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。
55.本申请中通过3d内窥镜的两个平行的双目镜头分别待检测区域的左视图像和右视图像，通过分别对左视图像和右视图像进行病变检测得到第一病变标注框和第二病变标注框；第一病变标注框和第二病变标注框分别用于表示左视图像和右视图像中的病变区域，然后将第一病变标注框和第二病变标注框相关联得到最终的标注框，这样分别对左视图像和右视图像进行病变检测的方式，降低了计算量，提高了检测效率，使得检测结果的实时性更好。只要检测到左视图像和右视图像中有一个存在病变，则将左视图像和右视图像进行特征融合后进行2d
‑
3d转换得到待检测区域的3d视图，同时将第一病变标注框和第二病变标注框相关联后得到在3d视图中对应的3d标注框，在3d视图中标注该3d标注框得到3d病变标注视图，3d标注框所在的位置即表示病变区域，然后将3d病变标注视图进行3d显示，医生或者专家佩戴专门的3d眼镜即可实时且清楚的观察到检测区域的立体图，这样显示的病变信息更加清晰，方便医生查看，对医生进行诊断或者手术都起到一定的辅助作用。
56.另外，经过发明人验证，若直接在3d图像上检测病变区域，然后再对病变区域进行3d标注，计算量非常大，很难做到实时处理，而本发明提出的先在二维图像上进行病变检测得到病变区域后，再进行2d
‑
3d转换得到待检测区域的3d视图，然后在3d视图上标注出病变区域，这样计算量将大大减少，病变检测速度更快，可以做到3d视图的实时显示，对医生的辅助诊断效果更好。
57.进一步的，本申请中采用训练好神经网络模型来对左视图像和右视图像进行病变检测，以获取第一病变标注框和第二病变标注框，这样得到的病变位置更加精确，且鲁棒性更好、泛化能力强。
58.实施例一：
59.请参考图1和图3，本实施例提供一种3d视图辅助检测方法,其包括：
60.步骤101：实时获取待检测区域的左视图像和右视图像；
61.步骤102：对左视图像和右视图像进行病变检测分别得到第一病变标注框和第二病变标注框；
62.步骤103：将左视图像和右视图像进行特征融合后进行2d
‑
3d转换得到待检测区域的3d视图；
63.步骤104：根据第一病变标注框和第二病变标注框，在3d视图中对病变的位置进行3d标注得到3d病变标注视图；
64.步骤105：实时显示3d病变标注视图。
65.其中，在步骤101中，本实施例采用双目的3d电子内窥镜来采集待检测区域的左视图像和右视图像。即通过3d电子内窥镜的平行光轴的双摄像晶片经过光电转换获取双数字图像，即3d电子内窥镜的左视图像、右视图像。
66.在另一种实施例中，在对左视图像和右视图像进行病变检测之前，还需要对左视图像和右视图像进行预处理，例如对其图像大小、分辨率等进行归一化处理。然后分别检测出左视图像和右视图像中病灶相关的特征信息，即得到病灶对应的区域，本实施例中对左视图像和右视图像进行病变检测分别得到第一病变标注框和第二病变标注框，第一病变标
注框表示左视图像中的病变区域，第二标注框表示右视图像中的病变区域。
67.其中，本实施例中采用训练好的神经网络模型来进行病变检测。具体的，为了提高病变检测的速度，本实施例中将左视图像和右视图像分别输入到预先训练好的第一病变检测模型和第二病变检测模型中，分别得到第一病变标注框和第二病变标注框；该第一病变标注框和第二病变标注框分别表示左视图像和右视图像中的病变区域。
68.由于3d电子内窥镜的图像获取是通过平行光轴的双摄像晶片经过光电转换获取的双数字图像，左右图像应用场景一样、大小相同，因此构建基于yolo算法的第一病变检测模型和第二病变检测模型时，构建同一检测模型，提高图像传输和检测速度，降低空间内占比。
69.本实施例中构建适用于3d内窥镜的病变检测模型，采用的是基于yolo检测算法的网络结构进行训练获得，yolo检测算法直接在特征层上回归出类别和边框，使用回归的方法，使框架没有其他网络结构复杂，检测速度快，适合应用于视频流中。因此，3d内窥镜在诊断中检测病变图像时，使用基于yolo算法的检测模型，能满足实时性检测的要求。
70.本实施例中构建基于yolo算法的第一病变检测模型和第二病变检测模型在采用yolo结构的基础上提取多尺度特征进行融合训练，具体网络结构如图4所示。此方法可以解决目标检测中网络浅层特征利用少、内镜图像中小病变目标检测准确度低的情况，使得病变检测模型在计算速度保证的情况下检测准确度提高。
71.具体的，如图2，本实施例的第一病变检测模型和第二病变检测模型均通过以下方法训练所得：
72.步骤201：获取正常图像数据集和病变图像数据集作为训练样本集；训练样本集中的图像时采用单目内窥镜获取的，在经过医生或者专家分析后形成正常图像集和病变图像集。
73.步骤202：对训练样本集中的图像进行缩放、旋转、翻转和改变亮度以扩展该训练样本集；以使得各个病变类别的数据集图像相等，本实施例中的病变类型包括有病变和无病变；这样可以防止训练模型的过程中过拟合。在其他实施例中还可以采用其他预处理以及图像增强方法来扩充训练样本集。
74.步骤203：将扩展后的训练样本集输入到初始yolo网络模型中对其进行多次训练得到第一病变检测模型和第二病变检测模型。本实施例中的第一病变检测模型和第二病变检测模型结构相同，其可以用于对输入的图像检测时是否存在病变以及将病变的区域采用标注框的形式标注出来。
75.例如基于初始yolo网络模型训练第一病变检测模型时包括以下步骤：
76.1)将处理好的训练样本集内的用于训练的图像分割成s
×
s个网格；
77.2)将训练图像输入yolo网络结构提取特征，同时提取出三个不同尺度的特征，将高层抽象的特征和浅层特征融合应用于最终病变目标的检测；
78.3)同时在每个网格中训练并预测多标注框bounding box，在每个标注中预测不同尺寸及类型的目标；
79.4)在每个网格中同时预测网格所预测的标注框中包含检测病变目标，且预测该标注框中的类别的概率情况，因此本实施例中采用计算分类置信度(class
‑
specific confidence score)的值作为网格是否存在病变信息的判别值。分类置信度将每个网格预
测的分类信息和标注框预测的置信度相乘，得到每个标注框的分类置信度，计算如下：
[0080][0081]
其中，是预测出来的标注框与实际物体边界框的交并比值，pr(object)用于判断是否有目标病变信息在此网格中，pr(class
i
)是用于判断目标病变信息的分类情况。
[0082]
5)然后设置每个标注框的分类置信度阈值，若小于阈值，则舍弃相应标注框，对满足阈值条件的标注框再采用非极大值抑制(nms)处理，获得最终预测结果。
[0083]
采用nms算法来实现这样的效果：首先从所有的标注框中找到置信度最大的那个框，然后挨个计算其与剩余标注框的iou，如果其值大于设定的一个阈值(重合度过高)，那么就将该标注框剔除；然后对剩余的标注框重复上述过程，直到处理完所有的标注框。
[0084]
6)最终预测可以获得目标病变的标注框中分类概率、标注框的位置信息、标注框的置信度。而对于标注框的位置大小、种类、置信度等信息的预测都通过损失函数来训练。
[0085]
而损失函数是由四部分组成，分别是对预测标注框的中心坐标做损失计算，通过预测与训练中的实际中心位置进行相对计算；
[0086][0087]
其中，上式的中心位置损失计算中，λ
c
为给定的常数，(x
i
,y
i
)为预测中心位置，为训练中的中心位置。
[0088]
对预测标注框的宽度和高度相关的损失计算，计算其高度和宽度的平方根；
[0089][0090]
其中，标注框宽度w和高度h损失计算中，如果网格单元i中有病变信息则为1，预测有效；否则为为0，预测无效。
[0091]
对标注框的置信度计算损失，对标注框与实际病变目标的交叉部分置信度情况进行预测惩罚；
[0092][0093]
上式标注框置信度损失计算中，c
i
表示第i个预测框的置信度值，为第i个预测标注框与实际目标交叉处的置信度。为得到的最低置信度预测惩罚。
[0094]
对分类求损失，通过计算标注框中分类与实际分类求和平方误差。
[0095][0096]
上式中分类求损失中，p
i
为第i个预测框的分类百分比结果。
[0097]
其中，在步骤103中，若检测到左视图像和右视图像中只要有一个存在病变，则确定当前待检测区域存在病变，然后将左视图像和右视图像进行特征融合后进行2d到3d转换得到待检测区域的3d视图。具体的，在进行2d到3d转换时需要获取图像的深度信息。本实施例中，根据平行于光轴的左视图像和右视图像可以获取深度信息，然后根据视差、相机参数和深度信息通过空间计算获取3d视图。
[0098]
其中，在步骤104中，对第一病变标注框和第二病变标注框进行关联度计算，若关联度达到预设区间，则将第一病变标注框和第二病变标注框关联得到3d标注框，例如关联度达到0.7
‑
1之间，则将第一病变标注框和第二病变标注框关联得到3d标注框；在3d视图中标注3d标注框得到3d病变标注视图，该3d标注框所在的区域为病变区域。若关联度未达到预设区间，则表示第一病变标注框和第二病变标注框中标注的可能不是同一个病变目标。需要说明的是，在实际的病变特征检测时，在左视图像和右视图像中均分别可能出现多个病变标注框，每个标注框标注不同的病变目标，例如一个标注框标注息肉，另一个标注框标注糜烂，本申请中的第一病变标注框和第二病变标注框指的是对两个图中的对同一病变目标的标注，通过关联度计算则可以确定第一病变标注框和第二病变标注框是否标注的是同一个病变区域的病变目标，如果关联度未达到预设区间，则模型继续进行关联度匹配计算，直到关联度达到预设区间，若在预设次数(例如20次)内，模型计算的关联度始终不能达到预设区间，则不对两个标注框进行关联操作，同时不输出3d标注框。若某个标注框只出现在左视图像或者右视图像中一个时，则同样无法满足上述的关联度达到预设的区间的要求，此时同样不输出3d标注框。
[0099]
例如，可以根据左视图像和右视图像中的第一病变标注框和第二病变标注框的坐标位置获取其水平视差、深度信息，从而通过空间坐标转换计算得到3d标注框，3d标注框在3d视图中标注的3d立体区域则为病变区域。
[0100]
其中，本实施例中第一病变标注框和第二病变标注框的坐标通过以下方法获取，具体包括：提取左视图像和右视图像的中的第一病变标注框和第二病变标注框的深度信息是通过yolo网络中对第一病变标注框和第二病变标注框的参数预测获取的，而每一个病变标注框的预测参数(即标注框的坐标)包括：
[0101]
1)标注框目标中心位置相对于网格位置的局部坐标偏移值x、y；
[0102]
2)标注框相对于整幅图像的宽、高比w、h；
[0103]
3)置信度c(每一个网格是否包含病变检测目标的条件下，其检测框的准确性信息情况)；
[0104]
因此可以通过检测框中心位置偏移值和相对宽、高比值计算出病变标注框相对于整幅图像的坐标位置情况。通过角点坐标进行深度信息的计算，进而实现相应坐标的三维投影，获得内镜三维显示中的标注框信息。标注框坐标情况如下图5所示。
[0105]
因此，标注框目标中心位置相对于网格位置的局部坐标偏移值x、y和标注框相对
于整幅图像的宽、高比w、h值，在标注框相对于整幅图像有以下关系：
[0106][0107][0108]
上式中，(a
x
，a
y
)为标注框中心位置在整幅检测图像中心坐标位置，(m，n)为标注框左上角坐标位置，c
x
、c
y
为网格大小，a、b为标注框大小，u、v为整幅图像大小。
[0109]
因此可以通过上式获得第一病变标注框的中心点和第二病变标注框的中心点在整幅图像中的位置坐标以及第一病变标注框的中心点和第二病变标注框大小，从而得到标注框角点位置坐标，即可获取第一病变标注框的中心点和第二病变标注框的坐标。
[0110]
其中，第一病变标注框的深度信息和第二病变标注框的深度信息主要通过以下方法获取，具体包括：本实施例中3d内窥镜的两个摄像镜片平行标准放置，两个晶片的光轴平行，如图6所示，左右摄像晶片光心点为ol、or,立体视觉空间场景中的物点p在两个摄像晶片的成像平面上的投影点分别为(x
i
，f)和(x
r
，f)，f为摄像晶片焦距，两晶片光心距离为b。因此根据上述及图6可以得知视差d和深度z之间的关系，因此根据左视图像和右视图像中两个投影点的信息可以构建三维图像信息，进而根据此原理构建出的3d标注框。
[0111][0112][0113]
通过上述计算得到的第一病变标注框和第二病变标注框的中心点位置及各角点位置坐标，根据左视图像和右视图像在计算视差及深度图进行三维显示的同时，计算左视图像和右视图像中各个对应角点、对应中心点的视差，然后根据摄像晶片参数焦距、双目晶片基线距离和对应标注框的视差计算深度值，从而获得深度图，深度图则能体现标注框中每个像素点距离摄像晶片的位置情况。因此可以通过空间计算进行三维图像的显示，同时3d标注框在3d内窥镜的3d视图中标注出病变信息。
[0114]
最终通过偏光镜即可看到双目图像，偏光式眼镜利用光线有“振动方向”的原理来分解采集到的原始图像，通过把图像分为垂直向偏振光和水平向偏振光两组画面，偏光眼镜式需在lcd面板上增加相位延迟薄膜，产生正交的偏正方向，利用偏光眼镜的解偏，左右眼睛接收到不同偏振方向的图像，合成后即形成人眼可以观察到的立体图像。
[0115]
例如，3d标注框的标注和显示通过以下方法实现，对于左视图像和右视图像的二维检测框可直接映射为3d框，利用左视图像和右视图像的二维检测框回归的尺寸来进行重投影。
[0116]
例如，设3d检测框的尺寸信息为f＝{x，y，z，θ}，在3d框投影的过程中用6个特征值来关联二维标注框与3d标注框之间的关系，即u
l1
，v
t
，u
p
，v
b
，u
l2
，u
r
，它们分别代表左视图像的二维标注框的左、上、右、下边框和右视图像的二维检测框的左、右边框。
[0117]
[0118][0119][0120]
其他特征关联值(例如深度信息)的计算同上述相同，因此不一一列举，其中θ为标注框与摄像晶片之间的夹角。这些多元方程是通过高斯
‑
牛顿法求解的。通过图7所示进行二维标注框的位置尺寸信息映射三维立体的3d标注框。
[0121]
其中，本实施例中的左视图像和右视图像中的第一病变标注框和第二病变标注框在向三维投影形成3d标注框之前，先对第一病变标注框和第二病变标注框进行关联度计算，目的在于判断第一病变标注框和第二病变标注框是否为同一目标的标注框，因此需要对第一病变标注框和第二病变标注框进行关联度计算，若关联度小于预设值则认为两个标注框为同一目标的标注框。其中，关联度可以为两个图像的特征匹配度，关联度还可以为第一病变标注框和第二病变标注框的坐标重合度(也可以理解为坐标匹配度)。例如，假设左右视图图像分别进行检测后输出的检测框信息为x
1i
、x
2i
，第一病变标注框和第二病变标注框输出类别为y1、y2，此处的类别包括是病变区域和非病变区域。因此在x1和x2之间的平方距离为：
[0122]
d
w
＝(x1‑
x2)t
w
(x1‑
x2)
[0123]
上式中，w为马氏距离中的参数矩阵w。通过度量关联学习能获得第一病变标注框和第二病变标注框的结构相似性，因此度量函数为：
[0124][0125]
上式中，p为对应两幅图像检测框，p＝2；s
i，j
∈[0，1]，若y1＝y2则s
i，j
＝1，否则s
i，j
＝0。本实施例中合理的设置度量函数阈值以对进行第一病变标注框和第二病变标注的关联度判断，然后才对两个标注框进行三维映射。
[0126]
通过本实施例的辅助检测方法可以基于图像采集模块(例如双目3d内窥镜)采集的左视图像和右视图像，经过两个训练好的检测模型实时且快速的检测出是否发生病变，并且进一步实时的将病变图像转换成3d图像，并且在3d图像中对病变区域进行3d标注后实时显示，方便医生佩戴3d眼镜观察检测区域，对医生的诊断起到一定的辅助作用。
[0127]
实施例二：
[0128]
本实施例提供一种3d视图辅助检测系统，如图8，其包括：图像获取模块301、病变检测模块302、视图转换模块303、3d标注单元304、实时显示模块305。其中，图像获取模块301用于实时获取待检测区域的左视图像和右视图像；病变检测模块302用于对左视图像和右视图像进行病变检测分别得到第一病变标注框和第二病变标注框；视图转换模块303用于将左视图像和右视图像进行特征融合后进行2d
‑
3d转换得到待检测区域的3d视图；3d标注单元304用于根据第一病变标注框和第二病变标注框，在3d视图中对病变的位置进行3d标注得到3d病变标注视图；实时显示模块305用于实时显示所述3d病变标注视图。其中，具体的将二维图像转换成3d视图的方法与实施例一中相同，此处不再赘述。
[0129]
其中，本实施例的图像获取模块301采用双目3d内窥镜，两个平行的镜片可以同时
获取左视图像和右视图像。实时显示模块305为显示屏，用于对3d病变标注视图进行实时显示，显示效果如3d电影，医生佩戴适配的3d眼镜即可清楚的观察到待检测区域的病变信息。
[0130]
其中，3d标注单元304包括关联模块3041和标注模块3042：关联模块3041用于对第一病变标注框和第二病变标注框进行关联度计算，若关联度达到预设区间，则将第一病变标注框和第二病变标注框关联得到3d标注框；标注模块3042用于在3d视图中标注3d标注框得到3d病变标注视图，该3d标注框所在的区域为病变区域。其中，具体的关联度计算方法以及3d标注方法也与实施例一中相同，此处不再赘述。
[0131]
其中，病变检测模块302中设有预先训练好的第一病变检测模型和第二病变检测模型；将左视图像和右视图像分别输入到预先训练好的第一病变检测模型和第二病变检测模型中，分别得到第一病变标注框和第二病变标注框；该第一病变标注框和第二病变标注框分别表示左视图像和右视图像中的病变区域。
[0132]
进一步的，本实施例的辅助检测系统还包括：样本集获取模块306、预处理模块307、训练模块308；样本集获取模块306用于获取正常图像数据集和病变图像数据集作为训练样本集；预处理模块307用于对训练样本集中的图像进行缩放、旋转、翻转和改变亮度以扩展该训练样本集；训练模块308用于采用扩展后的训练样本集训练两个初始yolo网络模型中得到所述第一病变检测模型和第二病变检测模型。
[0133]
通过本实施例的辅助检测系统可以基于双目3d内窥镜采集的左视图像和右视图像，经过两个训练好的检测模型实时且快速的检测出是否发生病变，并且进一步实时的将病变图像转换成3d图像，并且在3d图像中对病变区域进行3d标注，并且将标注后的3d病变标注视图通过显示屏实时显示，方便医生佩戴3d眼镜观察检测区域，对医生的诊断起到一定的辅助作用。
[0134]
实施例三：
[0135]
本实施例提供一种3d视图辅助检测装置，如图9，其包括：3d内窥镜401、处理器402和显示器403，其中，3d内窥镜401用于实时获取待检测区域的左视图像和右视图像；处理器402用于对左视图像和右视图像进行病变检测分别得到第一病变标注框和第二病变标注框；将左视图像和右视图像进行特征融合后进行2d
‑
3d转换得到待检测区域的3d视图；根据第一病变标注框和第二病变标注框在所述3d视图中对病变的位置进行3d标注得到3d病变标注视图；显示器403用于实时显示所述3d病变标注视图。
[0136]
通过本实施例的辅助检测装置可以基于双目3d内窥镜采集的左视图像和右视图像，经过两个训练好的检测模型实时且快速的检测出是否发生病变，并且进一步实时的将病变图像转换成3d图像，并且在3d图像中对病变区域进行3d标注，并且将标注后的3d病变标注视图通过显示屏实时显示，方便医生佩戴3d眼镜观察检测区域，对医生的诊断起到一定的辅助作用。
[0137]
实施例四：
[0138]
本实施例提供一种计算机可读存储介质，其包括程序，该程序能够被处理器执行以实现如实施例一提供的辅助检测方法。
[0139]
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。