一种应用于web的七类皮肤肿瘤检测方法与流程

本发明涉及人工智能领域，涉及一种应用于web端的七类皮肤肿瘤检测方法。

背景技术：

皮肤恶性肿瘤是一种发于皮肤表面的恶性肿瘤，也是所有癌症中最常见的癌症之一，全球每年大约新增两至三百万人患病，造成超过五万人死亡。但是只要皮肤恶性肿瘤能够在早期确诊，无论手术、放疗或其他治疗方法，对皮肤恶性肿瘤均有很好的疗效，治愈率可在90％以上。

而深度学习算法自从2006年的成功以后备受人们关注，在多个领域与非深度学习算法相比，整体效果高20％-30％。近几年来，在算法上面的突破更是层出不穷，使得深度学习模型越来越完善，能够处理绝大多数图像问题。深度学习在人脸识别，自然图像分类，物体检测中已经取得了不错的成绩。在医学领域如胸片，乳腺癌的分类方面，基于深度学习的自动检测系统识别准确率已经高于专业的病理医生。

临床主要通过皮肤科专家个人主观判断来诊断皮肤癌，这些方法在观察者间和观察者内的可重复性都不理想，容易发生误诊，且对皮肤科专家的临床经验要求很高。皮肤癌最终确诊主要是通过活体检测诊断。活检结果是一种创伤性的诊断方法，虽然诊断结果可靠度高，但盲目实施活检往往会给病人造成不必要的刨伤和痛苦。并且，在未确诊肿瘤为良性或恶性之前，活检手术的手术范围也较难确定。因此，医学界迫切需要研究非创伤性的皮肤癌诊断技术。

从上述现象可看出，皮肤肿瘤的死亡率正随发病率的上升逐年上涨，但医患比例严重失衡，医疗资源匮乏，传统诊断方式费用高昂等问题都亟待解决。使用人工智能这种非创伤性的检测手段，能够有效帮助医生做初次筛查，减轻医生负担，保证准确率的同时提高医生诊断效率，这对于患者和医生无疑都是个巨大的福音。

技术实现要素：

为解决目前医疗资源严重不足的问题，本发明提出一种应用于手机的七类皮肤肿瘤检测方法。采用深度学习方法分类七类皮肤肿瘤的皮肤镜图像，并将其应用到web端，辅助医生诊断，缓解患者看病难的问题。

本发明采用的应用程序开发方法包含以下步骤：

步骤1、数据预处理：分别为训练集、验证集、测试集。使用随机仿射变换提高数据集分布范围。仿射变换相当于建立每个因子特征与相应类别的权重关系，减弱背景(或噪音)因子的权重，也就可以产生更好的学习效果，增加模型稳定性。

步骤2、数据增强：采取rgb直方图均衡化，能有效的解决训练图片质量层次不齐，明暗关系与色彩关系失衡对网络产生干扰的问题。同时作为有效的数据扩增手段，rgb直方图均衡化能为训练提供更多的训练样本。

步骤3、独特的数据上采样方法：生成对抗网络(gan)是2014年10月提出一种通过对抗过程估计生成模型的框架，是近年来无监督学习最具前景的代表之一。我们搭建的gan包括了两个部分：生成模型g和判别模型d，定义ls为真假样本来源(source)判别分类正确的最大似然估计，lc为样本类型(class)判别正确的最大似然估计，通过模型的互相博弈学习产生相当好的输出，并添加标签约束以提高生成图片质量。

步骤4、网络模型优化：在原有的inception块结构内部也加入了inception结构，并用1*1的卷积核对内部inception结构进行卷积操作。并在相邻inception块之间用残差网络连接，使网络能够高速收敛。设置初始学习率为1e-4，并使用余弦退火算法，得到分类性能不错的模型。采用focalloss作为新的损失函数，使相似样本更易训练。

步骤5、模型分类：基于改进后的网络进行迁移学习，通过试验获取超参数的最优值，最后经过训练得到分类性能最佳的模型。

步骤6、模型移植：在web服务端将经tensorflow训练好的模型加载成二进制字节流的形式，另一方面将病灶区图像在内存中进行大小色彩像素等预处理生成四维tensor，将这两者一起传到tensorflow工具集的分析接口中，这样就完成了模型移植，并在图像预处理阶段保留了模型的权重。

步骤7、分类皮肤肿瘤检测：患者通过浏览器上传病灶区图像，浏览器发送请求交由服务端处理，服务端应用程序识别病灶区图像，并将分析的检测结果返回给浏览器，检测结果对应的就是患者患七类皮肤肿瘤分别的概率。

所述的多种数据增强方法包括随机水平/竖直翻转、随机旋转、边缘锐化和随机裁剪。

本发明的有益效果是：

1)本系统采用优化后的inception-resnetv2分类网络，针对皮肤肿瘤图像，并取得理想效果，该网络同样适用于其他皮肤镜图像检测。

2)使用了针对皮肤肿瘤图像数据集进行扩增的acgan生成对抗网络，对皮肤镜图像进行上采样，扩大了数据范围，提升模型稳定性。

3)提出了七类皮肤肿瘤的应用程序检测方法。无论是医生还是患者都只需要打开浏览器进行简单的上传图片操作即可实时得到准确的检测结果，大大简化了检测皮肤肿瘤的流程。整个过程只需要在有网络连接的浏览器环境下即可，兼具测试方便、运行快速、结果准确等优点。

附图说明

图1为本发明应用于web的七类皮肤肿瘤检测方法的基本流程图。

图2为本发明网络结构改进图。

图3为本发明中图像处理流程图。

图4为本发明中网络模型结构创新流程图。

图5为本发明方法系统流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

用于实施的硬件环境是：cpuintel(r)xeon(r)cpue5-2630v4@2.20ghz，gpu是nvidiak80,运行环境是python2.7和tensorflow。

采用深度卷积神经网络inception-resnetv2，采用全局平均池化层取代全连接层，空间上分解为非对称卷积，极大降低了参数量，加快计算速度。

该网络优异的性能主要源于大量使用降维处理。大尺寸滤波器的卷积(如5*5，7*7)引入的计算量很大，使用两个3*3卷积级联起来代替一个5*5卷积可以减少计算量，而把3*3的卷积核分解为3*1+1*3来代替3*3的卷积，更使得两层结构计算量减少33％。这种降维处理可以看做通过分解卷积来加快计算速度的手段。在一个计算机视觉网络中，相邻激活响应的输出是高度相关的，所以在聚合前降低这些激活影响数目不会降低局部表示能力。

如图1、图5所示，本发明基于卷积神经网络的七类皮肤肿瘤分类系统，包括七类皮肤肿瘤皮肤镜图像数据库、数据预处理、卷积神经网络学习分类器、前端皮肤肿瘤检测应用程序开发。

具体步骤如下：

a)原图像尺寸为600*450，针对图像质量问题进行去黑边以及色彩恒常处理。并统一图像尺寸，加速模型训练，将图像尺寸压缩为224*224并将数据的像素值归一化到0，1区间。

b)针对训练集中正负样本不均衡问题，对数量较少的样本采用过采样技术，对数量较多的样本采用欠采样。图像的仿射变换涉及到图像的形状位置角度的变化，是深度学习预处理中常到的功能。仿射变换具体到图像中的应用，主要是对图像的缩放scale，旋转rotate，剪切shear，翻转flip和平移translate的组合。仿射变换相当于建立每个因子特征与相应类别的权重关系，减弱背景(或噪音)因子的权重，也就可以产生更好的学习效果，增加模型稳定性。

c)独特的数据上采样方法：生成对抗网络(gan)是2014年10月提出一种通过对抗过程估计生成模型的框架，是近年来无监督学习最具前景的代表之一。我们搭建的gan包括了两个部分：生成模型g和判别模型d，定义ls为真假样本来源(source)判别分类正确的最大似然估计，lc为样本类型(class)判别正确的最大似然估计，通过模型的互相博弈学习产生相当好的输出，并添加标签约束以提高生成图片质量。

d)基于卷积神经网络inception-resnetv2。在原有的inception块结构内部也加入了inception结构，并用1*1的卷积核对内部inception结构进行卷积操作。并在相邻inception块之间用残差网络连接，使网络能够高速收敛。设置初始学习率为1e-4，并使用余弦退火算法，得到分类性能不错的模型。

e)后期利用训练样本对已经训练完成的分类器模型进行微调，达到提高分类准确率的目的。引入focalloss作为损失函数，该函数使用了代价学习方法，若是样本数目少的类别分类错误，则给与大的惩罚权重，使模型训练时侧重于少样本类别，有利于样本量较少的类别的特征学习。调参后选用sgd+momentum作为本模型的优化器。

f)在训练好模型之后，我们将测试集送入模型进行预测，根据预测结果再计算得到图像级别分类的评价指标。我们将评价最优的模型的权重移植到web应用服务端，服务端将其加载成二进制的字节流形式。

g)在web应用的前端，医生或者患者通过浏览器上传病灶区图像，随后浏览器以客户端的身份向服务端发送携带了图像参数的请求

h)web应用服务端响应客户端的图像请求，接受图片之后先加载进内存，在内存中对图像进行重构，保证像素不变的情况下最终图像比例是224*224并以rgb作为色彩模式，之后需要获得重构图像的每个像素点的rgb值并赋值给四维矩阵进而生成四维tensor，这两项前置工作就将图像转换成了模型可以识别的四维tensor。

i)将模型可以识别的四维tensor和第一步已经移植好的最优模型的字节流作为参数一起传入tensorflow工具集的分析接口。在分析接口中主要就是先根据模型的字节流创建一张“图”(graph)，之后所有的工作都是在这张“图”上完成的，“图”只是提供了“工作场所”，还需要建立模型和tensor之间的沟通“桥梁”，这就是“会话”(session),有了“图”、“会话”、模型和tensor，就能得到最终的检测结果即七类皮肤肿瘤分别的概率。

j)最后将得到的概率结果响应给客户端浏览器，浏览器进行渲染可视化，呈现在用户面前的就将是对应的七类皮肤肿瘤的概率。

如图2所示，本发明方法，通过使用inception-resnetv2的更优网络结构，加速网络收敛，提升模型稳定性。

如图3、图4所示，本发明方法，整体包含一个深度卷积神经网络模型，且引入迁移学习。并且为了解决较早出现的过拟合问题，提高模型的泛化性能，我们在图像数据集上使用了数据增强，如水平翻转、随机裁剪、边缘锐化等。

如图1，图5所示，本发明方法，提出了一种基于web服务器的七类皮肤肿瘤的应用程序检测方法。该方法通过移植训练好的模型，将其加载为的字节流形式作为参数，传入tensorflow工具集的分析接口，能在用户端得到最终的检测结果即七类皮肤肿瘤分别的概率

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。