一种疾病筛查和诊断系统的制作方法

本申请属于人工智能技术领域，特别是涉及一种疾病筛查和诊断系统。

背景技术：

目前常用的乳腺筛查手段是x线钼靶摄片和超声检查。x线钼靶具有一定的辐射，且不适用于亚洲妇女多见的“致密型”乳房，病灶与周围腺体组织缺乏对比，极易造成漏诊。超声检查具有无创实时，诊断成像速度快，价格相对较低，可重复性强，适用于亚洲致密性乳房等优势，成为了乳腺检查的主要方法。虽然超声由于上述诸多的优点，已成为乳腺疾病早期筛查的首选设备，但当前的乳腺超声检查仍面临着许多挑战。

由于早期的癌变区域较小，不易观察，医生需要长时间的紧盯超声屏幕，强度大易疲劳，容易造成漏诊或误诊。另外，医生在诊断时还需进行大量手工标记病变区域的工作，加重了医生的负担、严重影响了诊断的效率。而且，对于噪声较大的超声图像来说，有时仅凭医生肉眼的观察很难完成准确的特征选取或诊断，导致误诊漏诊。

技术实现要素：

1.要解决的技术问题

基于我国超声医生工作量巨大，由于早期的癌变区域较小，不易观察，医生需要长时间的紧盯超声屏幕，强度大易疲劳，容易造成漏诊或误诊。另外，医生在诊断时还需进行大量手工标记病变区域的工作，加重了医生的负担、严重影响了诊断的效率。而且，对于噪声较大的超声图像来说，有时仅凭医生肉眼的观察很难完成准确的特征选取或诊断，导致误诊漏诊的问题，本申请提供了一种疾病筛查和诊断系统。

2.技术方案

为了达到上述的目的，本申请提供了一种疾病筛查和诊断系统，包括相互连接的人工智能超声单元和人工智能诊断云平台单元；

所述人工智能超声单元，包括依次连接的图像采集模块、第一图像处理模块、疾病筛查模块和第一数据输出模块；

所述图像采集模块，用于采集超声设备生成的超声图像；

所述第一图像处理模块，用于将采集的超声图像尺度进行缩放后将灰度值归一化；

所述疾病筛查模块，用于将处理后的超声图像输入深度神经网络中，对疾病区域进行筛查并对筛查结果进行标记；

所述第一数据输出模块，用于对标记后的筛查结果进行显示；

所述人工智能诊断云平台单元，包括依次连接的图像读取模块、第二图像处理模块、疾病诊断模块和第二数据输出模块；

所述图像读取模块，用于读取上传至人工智能诊断云平台单元的带标记超声图像；

所述第二图像处理模块，用于将读取的带标记超声图像尺度进行缩放后将灰度值归一化；

所述疾病诊断模块，用于用于将处理后的带标记超声图像输入深度神经网络中，对疾病区域进行诊断；

所述第二数据输出模块，用于显示诊断结果和报告。

可选地，所述超声图像包括乳腺超声图像。

可选地，所述深度神经网络包括卷积层，批归一化层，激活层，最大池化层，拼接层和残差子模块。

可选地，所述第一数据输出模块可以根据疾病筛查模块的筛查结果，对病灶区域进行实时定位勾画。

可选地，所述实时定位勾画采用矩形框的形式进行勾画。

可选地，所述第一图像处理模块，用于将采集的图像尺度统一缩放至160×120×3，其中第一维表示图像的宽度，第二维表示图像的高度，第三维表示图像的通道数，并将灰度值归一化至[0，1]。

可选地，所述第二图像处理模块，用于将采集的图像尺度统一缩放至416×416×3，其中第一维表示图像的宽度，第二维表示图像的高度，第三维表示图像的通道数，并将灰度值归一化至[0，1]。

可选地，所述超声图像格式包括dicom、jpg、bmp或者png。

可选地，还包括数据训练单元，所述数据训练单元与所述人工智能超声单元相连接，所述数据训练单元与所述人工智能诊断云平台单元相连接，所述数据训练单元包括数据库模块、筛查模型建立模块和诊断模型建立模块；

所述数据库模块，用于将已有的大量超声图像诊断结果分为良性和恶性；

所述筛查模型建立模块，用于基于处理后的超声图像，对深度神经网络进行训练，建立筛查模型；

所述诊断模型建立模块，用于基于处理后的带标记超声图像，对深度神经网络进行训练，建立诊断模型。

3.有益效果

与现有技术相比，本申请提供的一种疾病筛查和诊断系统的有益效果在于：

本申请提供的疾病筛查和诊断系统，通过人工智能超声单元进行筛查，当筛查结果判断为阳性时，实时定位勾画出病灶区域，给医生以提示，当筛查结果为阴性时，则不进行提示，医生可以不必对该病例关注，避免医生长时间紧盯超声屏幕，缓解疲劳，节省了大量阅片的工作。当出现提示后，可以将病灶区域进行截取，上传至人工智能诊断云平台单元，对疾病的良恶性进行进一步诊断，诊断完毕后，显示所有上传截图的诊断结果和报告。本申请涉及的疾病筛查和诊断系统可减轻医生工作量，减少对经验的依赖性，能提供精确度高的辅助诊断，有效防止漏诊误诊，提高诊断效率。

附图说明

图1是本申请的一种疾病筛查和诊断系统原理示意图；

图2是本申请的一种疾病筛查和诊断系统总体示意图；

图3是本申请的人工智能超声单元压缩版网络结构示意图；

图4是本申请的人工智能诊断云平台单元高精度网络结构示意图；

图中：1-人工智能超声单元、2-人工智能诊断云平台单元、3-图像采集模块、4-第一图像处理模块、5-疾病筛查模块、6-第一数据输出模块、7-图像读取模块、8-第二图像处理模块、9-疾病诊断模块、10-第二数据输出模块、11-数据训练单元、12-数据库模块、13-筛查模型建立模块、14-诊断模型建立模块。

具体实施方式

在下文中，将参考附图对本申请的具体实施例进行详细地描述，依照这些详细的描述，所属领域技术人员能够清楚地理解本申请，并能够实施本申请。在不违背本申请原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施方式。

女性一生中患乳腺癌的概率为10％，全世界每年约有乳腺癌病人120万人，每年约有40万人死于该病，并且以每年2％～3％的速度递增。中国国家癌症中心发布的我国癌症负担最新结果中，乳腺癌位居女性癌症发病率首位，且发病年龄呈年轻化趋势。虽然中国乳腺癌发病率仍低于西方国家，增速却位列世界首位。农村地区近10年来上升趋势十分明显。有研究显示，我国近三分之二的乳腺癌患者就诊时已为肿瘤晚期，而美国的数据是60％以上的乳腺癌患者发现时均为早期病变。这一现象很可能与我国目前乳腺癌筛查普及程度不高及医疗卫生资源不均衡有关。

乳腺超声检查的诊断结果目前很大程度上依赖于医生的诊断经验，然而由于我国是人口大国，当前面临着医患比例失调、医疗供给侧优质医疗资源不足且分布不均衡等问题，导致受地域以及其他条件的限制，各地医生的诊断水平存在一定的差异，尤其是基层医院和社康中心缺乏有经验的高年资超声医生。

由于计算机具有庞大的运算和存储能力，随着近些年计算机技术的飞速发展，计算机辅助诊断(cad，computeraideddiagnosis)系统已广泛应用到多种医学诊断问题当中。针对上述超声乳腺检查中面临的挑战，需要开发出相应的超声计算机辅助诊断系统，在筛查过程中智能分析乳腺超声图像，自动检测出图像中的病变区域，以辅助医生做出更精准的诊断。

目标检测算法主要包含两个任务：1)找到目标所在位置；2)识别目标类别。传统的目标检测算法，包括特征提取和分类两部分，提取的特征通常包括haar特征、hog(histogramofgradient)、lbp(localbinarypattern)、acf(aggregatedchannelfeature)，分类器通常包括svm、boosting、randomforest。传统的方法在使用过程中大多是半自动的，需要医生手动选取病变区域，算法再进行良恶性分类，产品体验较差；另外，传统的方法需要人工设计和提取特征，算法的鲁棒性和泛化能力大都较差，无法适应不同厂家的超声设备。

人工智能技术近年来的发展速度不言而喻，而深度学习正是推动人工智能技术发展的核心算法。深度学习本身是一个复杂的机器学习算法，近年来在图像识别方面取得的效果，远远超过先前的相关技术。深度学习的核心是特征学习，旨在通过分层网络自动获取分层次的特征信息，从而解决以往需要人工设计特征的重要难题。大数据与人工智能等前沿技术在医疗领域应用也已经成为一种趋势，将大数据驱动的人工智能应用于乳腺诊断中，不仅可以挽救无数患者的生命，对于缓解医疗资源和医患矛盾也有重大意义。

前向概率：给定隐马尔科夫模型λ，定义到时刻t部分观测序列为,状态的概率为前向概率：

具体地说就是计算当给出模型参数的时候，计算一个观测序列和第t时刻为状态的联合概率，这是一个递推的过程，可以一层一层的计算，而不是像列举法，直接一条路径走到头，然后再计算下一条路径；最后能够通过加和递推得到p(o|λ)。

参见图1～4，本申请提供一种疾病筛查和诊断系统，包括相互连接的人工智能超声单元1和人工智能诊断云平台单元2；

所述人工智能超声单元1，包括依次连接的图像采集模块3、第一图像处理模块4、疾病筛查模块5和第一数据输出模块6；

所述图像采集模块3，用于采集超声设备生成的超声图像；

所述第一图像处理模块4，用于将采集的超声图像尺度进行缩放后将灰度值归一化；

所述疾病筛查模块5，用于将处理后的超声图像输入深度神经网络中，对疾病区域进行筛查并对筛查结果进行标记；

所述第一数据输出模块6，用于对标记后的筛查结果进行显示；

所述人工智能诊断云平台单元2，包括依次连接的图像读取模块7、第二图像处理模块8、疾病诊断模块9和第二数据输出模块10；

所述图像读取模块7，用于读取上传至人工智能诊断云平台单元的带标记超声图像；

所述第二图像处理模块8，用于将读取的带标记超声图像尺度进行缩放后将灰度值归一化；

所述疾病诊断模块9，用于用于将处理后的带标记超声图像输入深度神经网络中，对疾病区域进行诊断；

所述第二数据输出模块10，用于显示诊断结果和报告。

可选地，所述超声图像包括乳腺超声图像。

可选地，所述深度神经网络包括卷积层，批归一化层，激活层，最大池化层，拼接层和残差子模块。

可选地，所述第一数据输出模块6可以根据疾病筛查模块的筛查结果，对病灶区域进行实时定位勾画。

可选地，所述实时定位勾画采用矩形框的形式进行勾画。

可选地，所述第一图像处理模块4，用于将采集的图像尺度统一缩放至160×120×3，其中第一维表示图像的宽度，第二维表示图像的高度，第三维表示图像的通道数，并将灰度值归一化至[0，1]。

可选地，所述第二图像处理模块8，用于将采集的图像尺度统一缩放至416×416×3，其中第一维表示图像的宽度，第二维表示图像的高度，第三维表示图像的通道数，并将灰度值归一化至[0，1]。

可选地，所述超声图像格式包括dicom、jpg、bmp或者png。

可选地，还包括数据训练单元11，所述数据训练单元11与所述人工智能超声单元1相连接，所述数据训练单元11与所述人工智能诊断云平台单元2相连接，所述数据训练单元11包括数据库模块12、筛查模型建立模块13和诊断模型建立模块14；

所述数据库模块11，用于将已有的大量超声图像诊断结果分为良性和恶性；

所述筛查模型建立模块12，用于基于处理后的超声图像，对深度神经网络进行训练，建立筛查模型；

所述诊断模型建立模块13，用于基于处理后的带标记超声图像，对深度神经网络进行训练，建立诊断模型。

该系统的具体工作过程如下：

1、通过图像采集模块3采集超声检查的超声图像。

2、当人工智能超声单元1判断为阳性(实际可能是真阳，也可能是假阳)病例时，会在超声屏幕上实时定位勾画(以矩形框的形式)出病灶区域，给医生提示；当人工智能超声单元1判断患者为真阴时，不会在屏幕上产生提示，医生可以不必对该病例关注，避免医生长时间紧盯超声屏幕，缓解疲劳，节省了大量阅片的工作。

3、医生需对超声屏幕上产生矩形框提示的阳性病例做进一步关注和诊断，可以将该帧超声图像截取(只需按下截屏按钮)，截取后继续扫查。

4、截取的图像将自动上传至人工智能诊断云平台单元2，人工智能诊断云平台单元2上搭载的高精度人工智能算法将提供更精确的良恶性诊断。

5、在医生扫查完毕后，人工智能诊断云平台单元2同时返回所有上传截图的诊断结果和报告给予医生参考。

人工智能超声单元1压缩版实时检测网络

为了将人工智能算法植入超声设备，实现在超声设备屏幕上实时勾画病灶，本发明针对超声设备计算能力有限的问题，提出了基于深度学习的tinyultrasoundbreastyolo(tub-yolo)目标检测算法，大幅降低计算量，实现在超声设备端23fps的实时效果。本申请的网络结构如图3所示。包括以下步骤：

1、通过图像采集模块3逐帧采集超声设备生成的乳腺超声图像，图像可以是dicom，jpg，bmp，png等任何图片格式。

2、通过第一图像处理模块4将采集的图像尺度统一缩放至160×120×3，其中第一维表示图像的宽度，第二维表示图像的高度，第三维表示图像的通道数，并将灰度值归一化至[0,1]。

3、通过疾病筛查模块5将处理后的图像输入设计好的深度神经网络中，神经网络进行前向计算，通过引入特征金字塔网络实现多尺度输出，得到20×15×21和40×30×21两个尺度的输出结果。二维平面内的每个小方格负责检测中心点落在该格内的目标矩形框，每个小格的21维通道由(4+1+2)×3组成，包括4个坐标偏移量x，y，w，h；1个物体置信度值c，表示目标矩形框为病变区域的概率；良性和恶性2个类别条件概率值p1，p2；3个锚盒先验框。分别计算坐标中心点偏移量x，y，置信度c和类别条件概率p1，p2的sigmoid函数值。

检出置信度大于阈值的矩形框，通过计算先验框和坐标偏移量得到矩形框的最终坐标值。通过计算置信度与类别条件概率的乘积，得到最终良性和恶性的概率值，检出最终概率值大于阈值的矩形框。使用非最大抑制算法去除交并比(iou)较高的重复矩形框，得到最终目标。

4、通过第一数据输出模块6对筛查结果进行显示，以起到提示的作用。

人工智能诊断云平台单元2高精度诊断网络

在人工智能诊断云平台单元2，本申请设计了网络结构更复杂、能有效提取更多高维特征、精确度更高的superultrasoundbreastyolo(sub-yolo)目标检测算法，对上传人工智能诊断云平台单元2的图片进行良恶性的精准判断。包括以下步骤：

1、通过图像读取模块7读取上传至人工智能诊断云平台单元2的乳腺超声图像，图像可以是dicom，jpg，bmp，png等任何图片格式。

2、通过第二图像处理模块8将采集的图像尺度统一缩放至416×416×3，其中第一维表示图像的宽度，第二维表示图像的高度，第三维表示图像的通道数，并将灰度值归一化至[0，1]。

3、通过疾病诊断模块9将处理后的图像输入设计好的深度神经网络中，神经网络进行前向计算，通过引入特征金字塔网络实现多尺度输出，得到13×13×21和26×26×21和52×52×21三个尺度的输出结果。二维平面内的每个小方格负责检测中心点落在该格内的目标矩形框，每个小格的21维通道由(4+1+2)×3组成，包括4个坐标偏移量x，y，w，h；1个物体置信度值c，表示目标矩形框为病变区域的概率；良性和恶性2个类别条件概率值p1，p2；3个锚盒先验框。分别计算坐标中心点偏移量x，y，置信度c和类别条件概率p1，p2的sigmoid函数值。

检出置信度大于阈值的矩形框，通过计算先验框和坐标偏移量得到矩形框的最终坐标值。通过计算置信度与类别条件概率的乘积，得到最终良性和恶性的概率值，检出最终概率值大于阈值的矩形框。使用非最大抑制算法去除交并比(iou)较高的重复矩形框，得到最终目标。

4、通过第二数据输出模块10显示诊断结果和报告。

利用医疗大数据，训练本申请中的压缩版网络和高精度网络两个人工智能算法。两个算法仅网络结构不同，训练方法相同，步骤为：

1、建立训练数据集

首先从医院超声科数据库中采集大量乳腺超声图像，可以是dicom、jpg、bmp、png等任何图像格式，也可采集超声扫查视频进行逐帧分析。这些图像产生于不同厂商的超声设备，根据其已有的诊断结果将图像分为良性(benign)和恶性(malignant)两类，并由医生对病变区域进行矩形框位置标注，包括矩形框的中心坐标(x,y)和宽度w和高度h。

2、深度神经网络

深度神经网络由卷积层，批归一化层，激活层，最大池化层，拼接层，残差模块等组成，具体结构如图3和图4所示。

3、深度神经网络训练

首先通过水平翻折，调节色相、饱和度、亮度的方法，对训练数据集进行数据增强。

采用迁移学习(transferlearning)的方式先训练分类任务获得预训练权重值，在预训练权重的基础上训练目标检测任务，通过微调得到最终的权重参数。

采用随机梯度下降法，根据损失函数公式，通过计算预测结果与真实标注之间的误差，并反向传播到深度神经网络模型，从而计算梯度来更新网络参数。并在训练过程中通过随机改变输入图像的大小来进行多尺度训练。

网络训练完毕后，将压缩版网络植入人工智能超声单元1中，将高精度网络部署于人工智能诊断云平台单元2，组成人工智能诊断系统，利用该系统辅助医生进行乳腺癌超声筛查与诊断。

本申请提供的疾病筛查和诊断系统，除了适用于乳腺癌筛查外，在重新训练参数后还可应用于甲状腺等其他疾病的超声筛查工作。

当前，很多组织和机构都在研发人工智能诊断技术，应用于乳腺诊断，但都是基于工作站搭建，而没有将算法植入超声设备中，使得其在实际的临床诊断中使用复杂，很难被普及应用，不具有落地性和广泛使用性。

本申请提供的疾病筛查和诊断系统，通过人工智能超声单元进行筛查，当筛查结果判断为阳性时，实时定位勾画出病灶区域，给医生以提示，当筛查结果为阴性时，则不进行提示，医生可以不必对该病例关注，避免医生长时间紧盯超声屏幕，缓解疲劳，节省了大量阅片的工作。当出现提示后，可以将病灶区域进行截取，上传至人工智能诊断云平台单元，对疾病的良恶性进行进一步诊断，诊断完毕后，显示所有上传截图的诊断结果和报告。本申请涉及的疾病筛查和诊断系统可减轻医生工作量，减少对经验的依赖性，能提供精确度高的辅助诊断，有效防止漏诊误诊，提高诊断效率。

尽管在上文中参考特定的实施例对本申请进行了描述，但是所属领域技术人员应当理解，在本申请公开的原理和范围内，可以针对本申请公开的配置和细节做出许多修改。本申请的保护范围由所附的权利要求来确定，并且权利要求意在涵盖权利要求中技术特征的等同物文字意义或范围所包含的全部修改。