基于机器学习的中医舌色苔色定量分析方法与流程

本发明涉及舌色苔色鉴定，具体涉及基于机器学习的中医舌色苔色定量分析方法。
背景技术：
：传统望舌是以肉眼观察为主，其正确性取决于医生经验，受限于环境因素，缺乏客观统一的辨识指标，无法达到研究上的可重复性要求。医生可能会因光线、环境等因素，造成对舌色、苔色的判断失误，因此急需采用机器量化分析和辨识的方法。现有技术主要有以下两种方法：卷积神经网络分类模型直接使用神经网络来分类判别舌体苔质颜色，以inceptionv4分类网络为例，该网络在ilsvrc-2012-cls数据集下以最大概率的类别作为预测结果，准确率为80.2％，而使用的是包含百万张图片的数据集。对于中医舌诊来说，要使用权威医生标注的高质量样本不仅匮乏而且代价十分昂贵，经验不足的医生往往难以保证数据标注的质量，所以能够作为训练的舌象库样本容量太小，无法达到预期的分类效果。卷积网络滑动窗口预测在《一种基于卷积神经网络的中医舌色苔色自动分析方法》专利中，提到的不再使用原图进行直接训练，而是利用滑动窗口从舌象的舌质、舌苔区域得到小块图片，然后再由中医进行确定标签，随后训练，预测的时候也是先通过滑动窗口将图片分成小块，然后通过模型预测每块的类型，综合起来判定整舌的舌色、苔色。上述方式较第一种确实有所改进，但是其中也有问题，比如使用滑动窗口方式取分块，具有随机性和不稳定性，往往一块图片上带有其他很多颜色，导致标记出现偏差，致使最终结果不准确。技术实现要素：(一)解决的技术问题针对现有技术所存在的上述缺点，本发明提供了基于机器学习的中医舌色苔色定量分析方法，能够有效克服现有技术所存在的识别结果准确性较低、较为依赖样本数据的缺陷。(二)技术方案为实现以上目的，本发明通过以下技术方案予以实现：基于机器学习的中医舌色苔色定量分析方法，包括以下步骤：s1、对不同地区、年龄的人群进行舌象调查与图像采集，并通过一致评审的方法对采集的舌象图像进行舌色、苔色判定，构建中医舌象大数据；s2、对中医舌象大数据中的舌象图像提取舌体区域，通过hsv空间聚类，切分成子图，聚类结果按色调自动生成舌色颜色色卡、苔色颜色色卡；s3、基于xgboost机器学习算法构建像素颜色属性分类器x，基于xgboost机器学习算法分别构建整舌舌色分类模型s和整舌苔色分类模型t；s4、使用像素颜色属性分类器x计算舌体区域每个像素点的颜色属性，得到颜色数量c、颜色比例f；s5、使用整舌舌色分类模型s计算整舌舌色，使用整舌苔色分类模型t计算整舌苔色；s6、按局部特征定义要求，对舌体各分区进行局部舌色、苔色特征计算。优选地，所述舌象图像为在自然光条件下，采用图像采集装置对儿童、青少年、中老年各年龄段人群进行采集。优选地，所述中医舌象大数据包括舌色、舌形、苔质、苔色，所述舌色包括淡白、淡红、红、绛、青紫，所述舌形包括胖大、瘦小、齿痕、裂纹、瘀斑、瘀点、点刺，所述苔质包括厚苔、薄苔、腐苔、腻苔、润苔、燥苔、剥苔，所述苔色包括白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔。优选地，从所述舌象图像提取舌体区域基于多尺度卷积神经网络的像素级实例分割模型，所述实例分割模型通过深度学习对舌象图像提取舌体区域并计算轮廓边界，每张舌体区域图像生成一张背景为黑色、前景为舌体的图像，作为舌体颜色特征计算数据源。优选地，通过所述hsv空间聚类生成舌色颜色色卡、苔色颜色色卡包括以下步骤：s1、通过颜色聚类的方式将提取的舌体区域图像进行hsv颜色空间聚类，按照相邻区域相近颜色为同一区域切分成子图；s2、对切分成的子图，使用抠图工具按照舌色、苔色的顺序，新建11张各颜色命名的黑色背景图片，从子图中抠出可能具有的以上颜色区域小图放置到对应的黑色背景图片中，经过反复取小图的方式，可以得到比较可靠的各颜色小块图片的拼图；s3、对各颜色小块图片进行像素点合并，并对色调跳跃大的以及重复像素点进行数据清洗，最后生成各种颜色对应的像素点图片，即五张舌色颜色色卡、六张苔色颜色色卡。优选地，构建所述像素颜色属性分类器x包括将舌色颜色色卡、苔色颜色色卡像素点的hsv三个值作为三列训练集特征数据，色卡对应的颜色作为标签值，并用数字代替，制作好的数据进行颜色属性分类器x的训练，得到所述颜色属性分类器x。优选地，构建所述整舌舌色分类模型s和整舌苔色分类模型t包括以下步骤：s1、使用颜色属性分类器x计算舌体区域每个像素点的颜色属性，得到颜色数量c、颜色比例f；s2、舌色训练数据列包括淡白、淡红、红、绛、青紫颜色像素点占比及中医专家评审舌色标签，苔色数据列包括白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔颜色像素点占比及中医专家评审苔色标签；s3、使用svm模型对整舌舌色预测模型、整舌苔色预测模型进行数据训练，得到整舌舌色分类模型s、整舌苔色分类模型t。优选地，使用所述整舌舌色分类模型s计算整舌舌色，使用所述整舌苔色分类模型t计算整舌苔色包括以下步骤：s1、读取r张舌象图像，图片宽度为w，高度为h，计算各像素在hsv空间的矩阵m：其中，mij＝[hsv]，h∈[0，180]s∈[0，255]v∈[0，255]s2、使用像素颜色属性分类器x计算舌象图像中各像素属于淡白、淡红、红、绛、青紫的颜色属性类别矩阵ns：s3、对颜色属性类别矩阵ns统计各类别像素数量矩阵cs及其占整舌比例fs：s4、使用整舌舌色分类模型s计算整舌舌色属于淡白、淡红、红、绛、青紫的概率ps：取颜色最大概率max(ps)＝[pj]r为整舌舌色；s5、使用像素颜色属性分类器x计算舌象图像中各像素属于白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔的颜色属性类别矩阵nt：s6、对颜色属性类别矩阵nt统计各类别像素数量矩阵ct及其占整舌比例ft：s7、使用整舌苔色分类模型t计算整舌苔色属于白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔的概率pt：取颜色最大概率max(pt)＝[pj]r为整舌苔色。优选地，所述舌体各分区包括舌尖、舌左边、舌右边、舌中、舌根。(三)有益效果与现有技术相比，本发明所提供的基于机器学习的中医舌色苔色定量分析方法具有以下有益效果：(1)、准确度明显高于同类方法，对舌体颜色特征的检测能力高于一般方法，检测算法的准确性更高，所需数据依赖更小，更能保证日常自然光照条件下拍照舌诊使用；(2)、通过对hsv颜色空间舌色、苔色属性的两次机器学习，对舌体进行像素级分类和舌色、苔色的定量计算，能达到对舌体5种舌色、6种苔色，共11个类别的检测，以及舌尖、舌中、舌根、舌左边、舌右边5个区域局部颜色的特征识别，显著提升了检测能力并且重复性好、准确度高，可应用于人工智能舌诊机器辨析舌色、苔色。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明舌色、苔色机器学习模型训练流程示意图；图2为本发明舌色、苔色分类模型定量分析示意图；图3为本发明舌体区域划分示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。基于机器学习的中医舌色苔色定量分析方法，如图1至图3所示，包括以下步骤：s1、对不同地区、年龄的人群进行舌象调查与图像采集，并通过一致评审的方法对采集的舌象图像进行舌色、苔色判定，构建中医舌象大数据；s2、对中医舌象大数据中的舌象图像提取舌体区域，通过hsv空间聚类，切分成子图，聚类结果按色调自动生成舌色颜色色卡、苔色颜色色卡；s3、基于xgboost机器学习算法构建像素颜色属性分类器x，基于xgboost机器学习算法分别构建整舌舌色分类模型s和整舌苔色分类模型t；s4、使用像素颜色属性分类器x计算舌体区域每个像素点的颜色属性，得到颜色数量c、颜色比例f；s5、使用整舌舌色分类模型s计算整舌舌色，使用整舌苔色分类模型t计算整舌苔色；s6、按局部特征定义要求，对舌体各分区进行局部舌色、苔色特征计算。舌象图像为在自然光条件下，采用图像采集装置对儿童、青少年、中老年各年龄段人群进行采集。中医舌象大数据包括舌色、舌形、苔质、苔色，舌色包括淡白、淡红、红、绛、青紫，舌形包括胖大、瘦小、齿痕、裂纹、瘀斑、瘀点、点刺，苔质包括厚苔、薄苔、腐苔、腻苔、润苔、燥苔、剥苔，苔色包括白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔。从舌象图像提取舌体区域基于多尺度卷积神经网络的像素级实例分割模型，实例分割模型通过深度学习对舌象图像提取舌体区域并计算轮廓边界，每张舌体区域图像生成一张背景为黑色、前景为舌体的图像，作为舌体颜色特征计算数据源。通过hsv空间聚类生成舌色颜色色卡、苔色颜色色卡包括以下步骤：s1、通过颜色聚类的方式将提取的舌体区域图像进行hsv颜色空间聚类，按照相邻区域相近颜色为同一区域切分成子图；s2、对切分成的子图，使用抠图工具按照舌色、苔色的顺序，新建11张各颜色命名的黑色背景图片，从子图中抠出可能具有的以上颜色区域小图放置到对应的黑色背景图片中，经过反复取小图的方式，可以得到比较可靠的各颜色小块图片的拼图；s3、对各颜色小块图片进行像素点合并，并对色调跳跃大的以及重复像素点进行数据清洗，最后生成各种颜色对应的像素点图片，即五张舌色颜色色卡、六张苔色颜色色卡。构建像素颜色属性分类器x包括将舌色颜色色卡、苔色颜色色卡像素点的hsv三个值作为三列训练集特征数据，色卡对应的颜色作为标签值，并用数字代替，制作好的数据进行颜色属性分类器x的训练，得到颜色属性分类器x。构建整舌舌色分类模型s和整舌苔色分类模型t包括以下步骤：s1、使用颜色属性分类器x计算舌体区域每个像素点的颜色属性，得到颜色数量c、颜色比例f；s2、舌色训练数据列包括淡白、淡红、红、绛、青紫颜色像素点占比及中医专家评审舌色标签，苔色数据列包括白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔颜色像素点占比及中医专家评审苔色标签；s3、使用svm模型对整舌舌色预测模型、整舌苔色预测模型进行数据训练，得到整舌舌色分类模型s、整舌苔色分类模型t。使用整舌舌色分类模型s计算整舌舌色，使用整舌苔色分类模型t计算整舌苔色包括以下步骤：s1、读取r张舌象图像，图片宽度为w，高度为h，计算各像素在hsv空间的矩阵m：其中，mij＝[hsv]，h∈[0，180]s∈[0，255]v∈[0，255]s2、使用像素颜色属性分类器x计算舌象图像中各像素属于淡白、淡红、红、绛、青紫的颜色属性类别矩阵ns：s3、对颜色属性类别矩阵ns统计各类别像素数量矩阵cs及其占整舌比例fs：s4、使用整舌舌色分类模型s计算整舌舌色属于淡白、淡红、红、绛、青紫的概率ps：取颜色最大概率max(ps)＝[pj]r为整舌舌色；s5、使用像素颜色属性分类器x计算舌象图像中各像素属于白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔的颜色属性类别矩阵nt：s6、对颜色属性类别矩阵nt统计各类别像素数量矩阵ct及其占整舌比例ft：s7、使用整舌苔色分类模型t计算整舌苔色属于白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔的概率pt：取颜色最大概率max(pt)＝[pj]r为整舌苔色。舌体各分区包括舌尖、舌左边、舌右边、舌中、舌根。如图3所示，舌体分区是将舌体划分成左、右、上、下、中5个部分。取舌体的最小外接矩形，将左右两边的上1/5处进行连线，将左右两边的下1/5处进行连线，上下两边的左1/5处进行连线，上下两边的右1/5处进行连线，通过4条线将最小外接矩形分成了a、b、c、d、e、f、g、h、i共9块区域，将b区域记为舌根，a、d、g区域记为舌左边，c、f、i区域记为舌右边、e区域记舌中、h区域记为舌尖。使用各颜色分类数量cs、ct得到各所属区域颜色分类数量，根据各类颜色区域像素量与舌体的区域像素重合比例，以舌体五个区域中重合比例最高的记为舌色、苔色的主要分布区域。局部特征定义和阈值化计算公式如表1：表1局部特征定义和阈值化计算公式从1000张测试集舌象图像中，随机挑选舌象图像中若干像素点，选用不重复2000个像素点，将每个像素点扩大成40*40的小块图片，从中选取550张样本图，由中医专家和像素颜色属性分类器x同时进行颜色辨识，使用像素颜色属性分类器x对颜色分类的准确率高于85％，实验结果分析如表2：表2像素点颜色预测结果结果显示：本发明训练得到像素颜色属性分类器x的准确性与专家评审的一致率保持较高水平，具备对舌色、苔色的辨识能力。从中医舌象大数据中抽取5000例舌象图像，按舌色分类建立淡白舌、淡红舌、红舌、绛舌、青紫舌数据集，利用神经网络、图像属性阈值算法、两次机器学习三种算法进行实验，使用xgboost两次机器学习预测准确率达85％以上，舌色实验结果分析如表3：表3舌色颜色属性及综合判定分析准确率结果结果显示：本发明在经过两次机器学习训练后，对整舌舌色判定的准确性更高。对白苔、淡黄苔、黄苔、焦黄苔、灰黑苔、焦黑苔共六类数据集实验分析，利用神经网络、图像属性阈值算法、两次机器学习三种算法进行实验，使用xgboost两次机器学习预测的准确率达85％，苔色实验结果分析如表4：表4苔色颜色属性及综合判定分析准确率结果结果显示：本发明在经过两次机器学习训练后，对整舌苔色判定的准确性更高。从中医舌象大数据中抽取具有舌尖红图片200张、无舌尖红图片200张、舌两边红图片200张、舌两边不红图片200张，按舌尖红和两边红组建数据集，进行舌尖红和舌两边红判定实验。在数据量较少的情况下，用神经网络对舌尖红、舌两边红分类准确率低，用机器学习与阈值算法判定准确率在85％，在舌尖不红的情况下误检测概率小。舌色局部特征实验结果见下表5：表5舌色局部特征的检测结果舌象数据集神经网络机器学习+阈值算法舌尖红75％90％舌尖不红20％85％舌两边红75％90％舌两边不红20％85％结果显示：本发明方法对舌尖红、舌两边红特征的进一步判定，准确性高，出现误检的概率低。对中根厚白苔、中根无厚白苔、中根黄苔、中根无黄苔、苔满布、无苔各200张舌象图像，共六类数据集实验分析。在数据量较少情况下，用神经网络对舌尖红、舌两边红分类准确率低，使用机器学习与阈值算法判定准确率在85％左右。舌苔局部特征实验结果分析如表6：表6舌苔局部特征的检测结果舌象数据集神经网络机器学习+阈值算法中根厚白苔75％85％中根无厚白苔20％85％中根黄苔75％90％中根无黄苔20％85％舌苔满布70％90％无苔70％80％结果显示：本发明对舌中根厚白苔、中根黄苔局部特征的进一步判定，准确性较高，出现误检的概率低。以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。当前第1页12