一种基于YOLOV3的乳腺结节辅助诊断方法及系统与流程

本发明涉及医学影像技术领域，具体为一种基于yolov3的乳腺结节辅助诊断方法及系统。

背景技术：

乳乳腺癌是女性群体中发病率最高的一类肿瘤。乳腺癌的早诊早筛有利于提升患者的5年生存率，具有重大的临床意义临床上，乳腺的钼钯是有效的检查方式，但存在假阳性率高的缺点；此外，临床上医生的主观性较强，导致较高的误诊率。

当前影像诊断主要依赖于人工阅片完成，然而，日益增加的图像数据也为人工阅片带来极大挑战。为了给医生提供有效地辅助诊断信息，智能图像处理技术为基础的计算机辅助诊断。以神经网络和图像处理技术为基础的计算机辅助诊断逐渐成为医学领域的研究热点。

技术实现要素：

本发明的目的在于提供一种基于yolov3的乳腺结节辅助诊断方法及系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于yolov3的乳腺结节辅助诊断方法，包括以下几个步骤：

步骤1：制作训练集，从数据集中选取x组样本组，每个样本组中包含y个样本，每个样本由一张rgbimage乳腺图片和一张depthimage乳腺图片组成，共获得2×x×y张样本图片；

步骤2：将每张样本图片进行复制，并按比例分别调整分辨率为300×225、400×300、500×375和600×450，获得扩增四倍数量的样本乳腺图片；

步骤3：将所述扩增四倍数量的样本乳腺图片经过darknet-53进行预训练，将完成预训练所获得的网络参数迁移到基础网络中并进行初始化，得到迁移darknet-53模型；

步骤4：采用k-means聚类算法对训练集中手工标记的乳腺区域框进行聚类，设置不同的k值，统计对应的误差平方和sse的值；

步骤6：绘制sse值和k值的关系图；根据sse值和k值的关系图，用手肘法找到最优的k值，得到对应的k个聚类中心，将所述k个聚类中心作为yolov3的初始候选框参数写入配置文件；

步骤6：将步骤1所获得的训练集利用改进的yolov3进行训练，得到完成训练的参数模型；通过融合所述四种类型的kinect图像的识别结果实现乳腺结节判别。

优选的，步骤1中训练集的制作如下：

1.1：使用kinect设备为每一个乳腺场景拍摄四种类型的kinect图像，分别是：ir图像、registrationofrgb图像、rgb图像和depth图像各一张；拍摄获得的图片的分辨率为640×480；

1.2：将每张拍摄获得的图片进行复制，并按比例分别调整分辨率为300×225、400×300、500×375和600×450，获得扩增四倍量的kinect图像数据集；

1.3：针对扩增四倍量的kinect图像数据集中的每张图片手工标记出乳腺结节区域框，生成标签文件；

1.4：由kinect图像数据集和标签文件组合构成训练集。

优选的，步骤6中得到完成训练的参数模型后还包括：调用kinect摄像头同时输出四种类型的kinect图像，采用参数模型进行识别，获得四种类型的kinect图像的识别结果；四种类型的kinect图像是指：ir图像、registrationofrgb图像、rgb图像和depth图像。

优选的，步骤3中误差平方和sse的值获得方法如下：yolov3在训练过程中将图像划分为s×s个的网格，按式(1)、式(2)和式(3)，针对每个网格预测获得b个检测框及其置信度conf(object)；

conf(object)＝pr(object)×iou(1)，

其中：

pr(object)表示是否有目标物落入候选框对应的网格中，若有为1，反之为0，如式(2)所示；

iou表示预测框与真实框的交集面积与并集面积之比；box(pred)表示预测框；box(truth)表示真实框；area(·)表示面积；

置信度conf(object)表示检测框对其检测出物体的自信程度；

每个检测框包含5个参数：x,y,w,h以及conf(object)；其中，(x,y)代表检测框中心相对网络位置的偏移，(w,h)代表检测框的宽和高；

每个网格预测c个类别概率pr(classi|object)，pr(classi|object)表示目标落入网格i的概率；最终输出s×s×[b×(4+1+c)]维的张量(tensor)；yolov3的损失函数loss由式(4)表征：

其中，为坐标误差，为iou误差，为分类误差，并有：

其中：

λcoord为的权重参数，λcoord＝5；λnoobj为的修正参数λnoobj＝0.5；

表示网格i对应的真实框的x参数值，表示网格i的x参数的误差；

表示网格i对应的真实框的y参数值，表示网格i的y参数的误差；

表示网格i对应的真实框的w参数值，表示网格i的w参数的误差；

表示网格i对应的真实框的h参数值，表示网格i的h参数的误差；

ci表示网格i的置信度conf(object)预测值；表示网格i的置信度conf(objec)t真实值，表示网格i的置信度误差；

pi(c)表示目标落入网格i的预测概率pr(classi|object)；表示目标落入网格i的真实概率，

表示目标落入网格i的概率误差；

表示是否有目标落入网格i中，若有为1，反之为0；

表示判断第j个预测框是否有物体落入网格i，若是则为1，反之为0。

优选的，步骤4中yolov3在目标检测过程中引入一组固定尺寸和宽高比的初始候选框采用k-means聚类算法对步骤1所得训练集中手工标记的目标框进行聚类分析，找到表征初始候选框的个数的最优k值，以及k个聚类中心的宽高维度作为网络配置文件中的候选框参数；

根据误差平方和sse，并采用手肘法按式(8)确定k值：

其中cli是第i个簇，p是cli中的样本点，mi是cli的重心，即为cli中所有样本的均值，sse是所有样本的聚类误差，代表聚类效果的好坏，手肘法的核心思想就是：随着k值增大，样本划分更加精细，sse逐渐变小，当k达到最优聚类数时，继续增加k值对聚类程度回报会迅速变小，表现为sse下降幅度骤减，sse和k的关系图呈现出一个手肘的形状，肘部对应的k值就是我们所需要的最优聚类数。

优选的，步骤5中在k-means聚类中，采用欧式距离代表样本点和样本均值之间的误差，样本点为预测框，样本均值是真实框，采用iou反映预测框和真实框的误差，iou越大，表明误差越小；利用式(9)计算获得样本的聚类误差：

其中，ioup表示样本点p的iou，用1-ioup表示样本点p的误差，从而得到sse和k值。

优选的，步骤6中采用将识别结果发送至乳腺诊断移动终端，作为辅助诊断结果交由医生做最后诊断。

本发明还提供一种基于yolov3的乳腺结节辅助诊断系统，包括：

乳腺影像采集设备，用于拍摄四种类型的kinect图像，并上传到乳腺诊断系统；

该乳腺诊断系统，获取kinect图像，并对图像预处理，做标签，利用yolov3神经网络实现乳腺结节判别；

乳腺诊断终端，接收该乳腺诊断系统处理得到的判别，并显示判别结果作为医生辅助诊断结果。

优选的，乳腺影像采集设备采用kinect设备，四种类型的kinect图像包括ir图像、registrationofrgb图像、rgb图像和depth图像各一张；图片的分辨率为640×480。

优选的，图像预处理为将每张拍摄获得的图片进行复制，并按比例分别调整分辨率为300×225、400×300、500×375和600×450，获得扩增四倍量的kinect图像数据集；做标签指针对所述扩增四倍量的kinect图像数据集中的每张图片手工标记出乳腺结节区域框，生成标签文件。

与现有技术相比，本发明的有益效果是：

能够给医生提供有效地辅助诊断信息，本发明以智能图像处理技术和神经网络为基础完成了一种乳腺结节辅助诊断系统，能够在一定程度上减少了医生的工作量，提高了医生工作效率，具有经济和社会意义。

附图说明

图1为本发明系统原理图；

图2为本发明中yolov3网络结构原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～2，本发明提供一种技术方案：

参见图1，一种基于yolov3的乳腺结节辅助诊断系统，包括乳腺影像采集、乳腺诊断系统、乳腺诊断终端。乳腺影像采集是使用kinect设备拍摄四种类型的kinect图像，分别是：ir图像、registrationofrgb图像、rgb图像和depth图像各一张；图片的分辨率为640×480。所述的乳腺云诊断系统包括有图像预处理、做标签、利用yolov3神经网络判别。

图2所示为yolov3的结构原理图，包括制作训练集、生成迁移darknet-53模型、改进候选框参数和乳腺识别。步骤如下：

步骤1、按如下过程制作训练集

1.1、使用kinect设备为每一个乳腺场景拍摄四种类型的kinect图像，分别是：ir图像、registrationofrgb图像、rgb图像和depth图像各一张；拍摄获得的图片的分辨率为640×480。

1.2、将每张拍摄获得的图片进行复制，并按比例分别调整分辨率为300×225、400×300、500×375和600×450，获得扩增四倍量的kinect图像数据集。

1.3、针对扩增四倍量的kinect图像数据集中的每张图片手工标记出乳腺结节区域框，生成标签文件。

1.4、由kinect图像数据集和标签文件组合构成训练集。

步骤2、按如下过程生成迁移darknet-53模型

2.1、数据集中选取x组样本组，每个样本组中包含y个样本，每个样本由一张rgbimage乳腺图片和一张depthimage乳腺图片组成，共获得2×x×y张样本图片。

2.2、将每张样本图片进行复制，并按比例分别调整分辨率为300×225、400×300、500×375和600×450，获得扩增四倍数量的样本乳腺图片。

2.3将扩增四倍数量的样本乳腺图片经过darknet-53进行预训练，将完成预训练所获得的网络参数迁移到基础网络中并进行初始化，得到迁移darknet-53模型。

步骤3、按如下过程设置yolov3的初始候选框参数

3.1、采用k-means聚类算法对训练集中手工标记的乳腺结节区域框进行聚类，设置不同的k值，统计对应的误差平方和sse(sumofthesquarederrors)的值。

3.2、用手肘法找到最优的k值，得到对应的k个聚类中心，将k个聚类中心作为yolov3的初始候选框参数写入配置文件。

步骤4、按如下过程进行乳腺识别

4.1、将步骤1所获得的训练集利用改进的yolov3进行训练，得到完成训练的参数模型；

4.2、调用kinect摄像头同时输出四种类型的kinect图像，采用经步骤4.1得到的参数模型进行识别，获得四种类型的kinect图像的识别结果；四种类型的kinect图像是指：ir图像、registrationofrgb图像、rgb图像和depth图像。

4.3、通过融合四种类型的kinect图像的识别结果实现乳腺结节的判别。

具体实施中，步骤3.1是按如下方式获得误差平方和sse的值：

yolov3在训练过程中将图像划分为s×s个的网格，按式(1)、式(2)和式(3)，针对每个网格预测获得b个检测框及其置信度conf(object)；

conf(object)＝pr(object)×iou(1)，

其中：

pr(object)表示是否有目标物落入候选框对应的网格中，若有为1，反之为0，如式(2)所示；

iou表示预测框与真实框的交集面积与并集面积之比；box(pred)表示预测框；box(truth)表示真实框；area(·)表示面积；

置信度conf(object)表示检测框对其检测出物体的自信程度；

每个检测框包含5个参数：x,y,w,h以及conf(object)；其中，(x,y)代表检测框中心相对网络位置的偏移，(w,h)代表检测框的宽和高；

每个网格预测c个类别概率pr(classi|object)，pr(classi|object)表示目标落入网格i的概率；最终输出s×s×[b×(4+1+c)]维的张量(tensor)；yolov3的损失函数loss由式(4)表征：

其中，为坐标误差，为iou误差，为分类误差，并有：

其中：

的权重参数，λcoord＝5；λnoobj为的修正参数λnoobj＝0.5；

表示网格i对应的真实框的x参数值，表示网格i的x参数的误差；

表示网格i对应的真实框的y参数值，表示网格i的y参数的误差；

表示网格i对应的真实框的w参数值，表示网格i的w参数的误差；

表示网格i对应的真实框的h参数值，表示网格i的h参数的误差；

ci表示网格i的置信度conf(object)预测值；表示网格i的置信度conf(objec)t真实值，表示网格i的置信度误差；

pi(c)表示目标落入网格i的预测概率pr(classi|object)；表示目标落入网格i的真实概率，

表示目标落入网格i的概率误差；

表示是否有目标落入网格i中，若有为1，反之为0；

表示判断第j个预测框是否有物体落入网格i，若是则为1，反之为0；

yolov3在目标检测过程中引入一组固定尺寸和宽高比的初始候选框采用k-means聚类算法对步骤1所得训练集中手工标记的目标框进行聚类分析，找到表征初始候选框的个数的最优k值，以及k个聚类中心的宽高维度作为网络配置文件中的候选框参数；

根据误差平方和sse，并采用手肘法按式(8)确定k值：

其中cli是第i个簇，p是cli中的样本点，mi是cli的重心，即为cli中所有样本的均值，sse是所有样本的聚类误差，代表聚类效果的好坏，手肘法的核心思想就是：随着k值增大，样本划分更加精细，sse逐渐变小，当k达到最优聚类数时，继续增加k值对聚类程度回报会迅速变小，表现为sse下降幅度骤减，sse和k的关系图呈现出一个手肘的形状，肘部对应的k值就是我们所需要的最优聚类数；

在k-means聚类中，采用欧式距离代表样本点和样本均值之间的误差，样本点为预测框，样本均值是真实框，采用iou反映预测框和真实框的误差，iou越大，表明误差越小；利用式(9)计算获得样本的聚类误差：

其中，ioup表示样本点p的iou，用1-ioup表示样本点p的误差，从而得到sse和k值。

最后将识别结果发送至乳腺诊断移动终端，作为辅助诊断结果交由医生做最后诊断。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。