一种基于深度学习的望诊方法及装置与流程

文档序号：17593601发布日期：2019-05-03 22:09阅读：407来源：国知局

本申请涉及自动化诊断领域，具体涉及一种基于深度学习的望诊方法，同时涉及一种基于深度学习的望诊装置。

背景技术：

中医是中华民族数千年智慧的结晶，中医诊断是中医理论的重要组成部分，“望、闻、问、切”是最常见的、也是独具特色的中医诊断方法，通常也被看作是中医辨证施治的缩影，甚至在一定程度上称为为中医的代名词。随着现代医学的迅速发展、国际交流的开展，健康养生理念得到前所未有的重视，中医也逐渐走向了国际化，越来越多的民众认识到中医在很多方面可以弥补西医的不足，开始接受中医理论，学习中医知识。

随着信息技术的快速发展，中医也逐渐与信息技术结合起来，在远程医疗诊断模式中，医生不需要与患者面对面即可进行诊断，为患者提供了方便。然而中医远程诊断技术的发展仍然存在很多局限性，如舌象和面象样本特征的标注的准确性，模型算法的速度，以及在临床中推广、普及和应用。

技术实现要素：

本申请提供一种基于深度学习的望诊方法，提高了用于望诊的图像数据标注的准确性、模型算法的速度。

本申请一种基于深度学习的望诊方法，其特征在于，包括：

获取用于望诊的图像数据集；

根据所述图像数据集的特征对所述图像数据集进行多轮标注，并将标注结果对应到不同的特征数据集单元中；

将不同的特征数据集中的图像数据及对应的诊断结果作为训练数据集对深度学习的望诊模型进行训练；根据训练结果确认是否对训练数据集再次进行标注；

将待诊断的望诊的图像数据输入所述望诊模型中，所述望诊模型输出对应的诊断结果。

优选的，所述获取用于望诊的图像数据集，至少包括如下一种图像数据集：

整体望诊、局部望诊、望舌、望排出物、望小儿指纹的图像数据集。

优选的，所述根据所述图像数据集的特征对所述图像数据集进行多轮标注，包括：

对每一种图像数据集根据特征分类，并过滤出错误信息的图像数据；

将所述图像数据集的特征位置作为目标区域的位置，使用图形或文字进行标注；

对标注结果进行检查，过滤出不符合特征分类的样本。

优选的，所述对每一种图像数据集根据特征分类，具体的，包括：

若图像数据集为舌色，可以将图像数据集分为淡红舌、淡白舌、绛舌、淡紫舌、舌红，以及舌暗红。

优选的，所述将标注结果对应到不同的特征数据集单元中，还包括：

将错误信息的图像数据和不符合分类的样本，不归属于任何特征数据集单元中。

优选的，所述的标注方法，为人工标注。

优选的，所述根据训练结果确认是否对训练数据集再次进行标注，包括：

使用检测数据集对经过训练的深度学习的望诊模型进行检测；

若经过训练的深度学习的望诊模型的诊断准确率低于设置的阈值，则再次对训练数据集进行标注，筛选出不符合特征分类的样本。

本申请同时提供一种基于深度学习的望诊装置，其特征在于，包括：

获取单元，用于获取用于望诊的图像数据集；

标注单元，用于根据所述图像数据集的特征对所述图像数据集进行多轮标注，并将标注结果对应到不同的特征数据集单元中；

训练单元，用于将不同的特征数据集中的图像数据及对应的诊断结果作为训练数据集对深度学习的望诊模型进行训练；根据训练结果确认是否对训练数据集再次进行标注；

输出单元，用于将待诊断的望诊的图像数据输入所述望诊模型中，所述望诊模型输出对应的诊断结果。

优选的，所述标注单元，包括：

分类子单元，用于对每一种图像数据集根据特征分类，并筛选出错误信息的图像数据；

标注子单元，用于将所述图像数据集的特征位置作为目标区域的位置，使用图形或文字进行标注；

检查子单元，用于对标注结果进行检查，筛选出不符合特征分类的样本。

优选的，所述训练单元，还包括：

检测子单元，用于使用检测数据集对经过训练的深度学习的望诊模型进行检测；

筛选子单元，用于若经过训练的深度学习的望诊模型的诊断准确率低于设置的阈值，则再次对训练数据集进行标注，筛选出不符合特征分类的样本。

本申请提供的一种基于深度学习的望诊方法，通过对图像数据集根据特征进行多轮标注，然后将标注结果对应到不同的特征数据集单元中，将不同的特征数据集中的图像数据作为训练数据集对深度学习的望诊模型进行训练，最后通过所述望诊模型，输出对应的诊断结果，提高了用于望诊的图像数据标注的准确性、模型算法的速度，同时可以在临床中推广、普及和应用。

附图说明

图1是本申请实施例提供的一种基于深度学习的望诊方法流程示意图；

图2是本申请实施例涉及的去掉干扰后的舌诊数据集；

图3是本申请实施例涉及的训练数据集中不同的特征数据集中的图像数据及对应的诊断结果的关系示意图；

图4是本申请实施例涉及的使用训练数据集做成标签文件；

图5是本申请实施例提供的一种基于深度学习的望诊装置示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

请参看图1，图1是本申请实施例提供的一种基于深度学习的望诊方法流程示意图，下面结合图1对本申请提供方法进行详细说明。

步骤s101，获取用于望诊的图像数据集。

中医望诊，是医者运用视觉对人体全身和局部的一切可见征象以及排出物等进行有目的地观察，以了解健康或疾病状态，称为望诊。望诊的内容主要包括：观察人的神、色、形、态、舌象、络脉、皮肤、五官九窍等情况以及排泄物、分泌物、分泌物的形、色、质量等，现将望诊分为整体望诊、局部望诊、望舌、望排出物、望小儿指纹等五项叙述。舌诊和面部色诊虽属头面五官，但因舌象、面色反映内脏病变较为准确。实用价值较高。因而形成了面色诊、舌诊两项中医独特的传统诊法。首先就是获取用于望诊的图像数据集，在本申请中，就以面色诊和舌诊的大量数据为基础，对本申请的方法进行详细描述。

步骤s102，根据所述图像数据集的特征对所述图像数据集进行多轮标注，并将标注结果对应到不同的特征数据集单元中。

中医望诊可以分成面色诊和舌诊两大类。面诊就是透过面部反射区知道脏腑疾病与健康状况的诊断方法，从而快速治愈。面诊主要有三大特征：面色、面部光泽和唇色；中医舌象特征主要分为两大类，一是望舌质，二是望舌苔。望舌质主要包括：舌色和舌形等。舌色主要分为六种：舌淡白，舌淡红，舌红，舌淡紫，舌暗红，舌绛；舌形主要包括：胖瘦、点刺、齿痕和裂纹等。望舌苔主要分为：苔质和苔色。苔质分为厚薄苔和腐腻苔；苔色主要分为六种：苔白、苔黄、苔黄白相兼、苔灰黑、苔少和苔无。具体分类如下表1所示。

表1面象和舌象特征

接着根据所述图像数据集的特征对所述图像数据集进行多轮标注，在标注之前，还需要排除图像数据的一些干扰因素，例如，舌诊数据集，要排除除了舌体以外其他因素的干扰，所以，基于图像处理技术需要对舌体进行分割，可以采用ssd检测到的舌部区域，用椭圆区域按比例分割出舌头，有效排除了脖子衣服等干扰。去掉干扰后的舌诊数据集如图2所示。在进行标注时，首先，对每一种图像数据集，如舌诊数据集和面诊数据集根据表1的特征分类，在第一轮进行标注的时候，筛选出错误信息的图像数据，在本申请中，标注方法均为人工标注，对于第一轮标注，可以选用两位专业的标注人员分别对自己负责的每个舌象和面象特征分别进行标注，可以对舌象面象特征有个粗略的分类，并筛选出错误信息的图像数据，并将标注结果一一对应到相应的文件夹中，也就是不同的特征数据集单元中。

为了避免个人标注的片面性，第二轮标注两位标注人员一起对第一轮的标注结果进行统一的检查和再一次标注，这一次需要挑选出不确定的样本，单独放在一个文件中，将错误信息的图像数据和不符合分类的样本，不归属于任何特征数据集单元中。

步骤s103，将不同的特征数据集中的图像数据及对应的所述特征作为训练数据集对深度学习的望诊模型进行训练；根据训练结果确认是否对训练数据集再次进行标注。

在经过前两轮的标注后，将不同的特征数据集中的图像数据中的错误信息的图像数据和不符合分类的样本已经进行了过滤，已经可以作为训练数据集对深度学习的望诊模型进行训练，在训练之前，可以采用数据增强变换方法来增加输入数据的量，具体的，可以采用如下几种数据增加变换方法：1.旋转变换：随机旋转图像一定角度，改变图像内容的朝向；2.翻转变换：沿着水平或垂直方向翻转图像；3.缩放变换：按照一定的比例放大或者缩小图像；4.平移变换：在图像平面上对图像以一定的方向进行平移；5.采用随机或人为定义的方式指定平移范围和平移步长，沿水平或垂直方向进行平移，改变图像内容的位置；6.尺度变换：对图像按照指定的尺度因子，进行缩放，改变图像内容的大小或者模糊程度。所以就使用所述训练数据集对深度学习的望诊模型进行训练。

训练数据集中不同的特征数据集中的图像数据及对应的诊断结果的关系如图3所示，以舌诊为例，然后，就使用不同的特征数据集中的图像数据及对应的诊断结果作为训练数据集对深度学习的望诊模型进行训练，由于特征数据集中的图像数据，会包含多个特征，还是以舌诊为例，舌诊的特征可以包括舌红和黄苔，那么就根据这两项特征得出对应的诊断结果。

在使用训练数据集对深度学习的望诊模型进行训练时，首先需要将训练数据集做成标签文件，如图4所示(train.txt)，并将制作的txt文件放入对应的文件夹即训练的图片和训练的.txt放在一个文件夹中。文件夹也就是步骤s102中不同的特征数据集单元。在对深度学习的望诊模型训练完成后，根据训练结果确认是否对训练数据集再次进行标注，训练结果是通过使用检测数据集对经过训练的深度学习的望诊模型进行检测，若经过训练的深度学习的望诊模型的诊断准确率低于设置的阈值，也就是深度学习的望诊模型的准确率没有明显的提升，那么再次对训练数据集进行标注，筛选出不符合特征分类的样本，具体的，对第二轮的标注再一次进行人工标注；第三轮人工标注在原来两位标注人员的基础上增加一位更为专业的标注人员，再一次系统的进行样本标注的同时，着重处理第二轮挑选出来的不确定的样本。然后再次使用检测数据集对经过训练的深度学习的望诊模型进行检测，若经过训练的深度学习的望诊模型的诊断准确率高于设置的阈值，也就是深度学习的望诊模型的准确率有了明显的提升，那么对深度学习的望诊模型的训练完成，

步骤s104，将待诊断的望诊的图像数据输入所述望诊模型中，所述望诊模型输出对应的诊断结果。

在上一步对深度学习的望诊模型的训练完成后，模型就可以使用，只需将待诊断的望诊的图像数据输入所述望诊模型中，所述望诊模型输出对应的诊断结果。

同时，为了丰富训练样本集，提高深度学习的望诊模型的准确率，可以不断的完善训练样本集，然后，可以再通过前面的步骤对望诊的图像数据集进行多轮标注，对模型进行训练检测等，以不断提高本申请提供的深度学习的望诊模型的准确率。

本申请同时提供一种基于深度学习的望诊装置500，请参看图5其特征在于，包括：

获取单元510，用于获取用于望诊的图像数据集；

标注单元520，用于根据所述图像数据集的特征对所述图像数据集进行多轮标注，并将标注结果对应到不同的特征数据集单元中；

训练单元530，用于将不同的特征数据集中的图像数据及对应的诊断结果作为训练数据集对深度学习的望诊模型进行训练；根据训练结果确认是否对训练数据集再次进行标注；

输出单元540，用于将待诊断的望诊的图像数据输入所述望诊模型中，所述望诊模型输出对应的诊断结果。