中医面色诊断方法及装置

本发明涉及图像处理技术领域，特别涉及一种中医面色诊断方法及装置。

背景技术：

在中医望诊中，面部色诊是望诊的重要内容，它是通过观察人体面部皮肤的色泽变化来诊察病情的方法。中医面色诊断中存在的主观性和经验局限性可以通过信息技术进行改进，如应用机器学习识别中医面部五脏分布区域的颜色以辅助诊断。

相关技术中，一般通过检测眼睛，眉毛，嘴巴等人脸关键器官，把它们作为参考位置，再结合人脸的对称性及人脸黄金比例，对面部五脏分布区域进行分割。常用的方法是使用阈值分割直接对眼睛区域进行处理，并利用haar特征结合adaboost检测出相关面部器官，然后根据框出器官的矩形框算出器官重心，但是该方法计算出的重心鲁棒性较差，且容易导致眼睛眉毛黏在一起，检测精度较低。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种中医面色诊断方法及装置，能够提高检测的精度。

第一方面，本发明提出了一种中医面色诊断方法，包括：

对输入图像进行肤色检测，得到人脸掩膜；

对输入图像进行预处理，得到眼部增强图像；

将眼部增强图像进行阈值分割，得到阈值分割结果；

根据阈值分割结果和人脸掩膜分割出面部五脏区域；

使用粒子群算法建立预测模型；

利用预测模型对面色进行识别，得到识别结果。

根据本发明第一方面实施例提出的中医面色诊断方法，至少具有如下有益效果：采集完人脸图像后，对输入的图像进行预处理，然后将眼部增强处理的图像进行阈值分割；同时对原始的人脸图像进行肤色检测，从而得到人脸掩膜，并根据阈值分割的结果与人脸掩膜定位分割出人脸面部的五脏区域；最后使用改进的粒子群算法建立预测模型，对面色进行识别，得出相应的结果。先对图像进行预处理再进行分割，避免了直接使用阈值分割处理导致的眼睛眉毛黏在一起的问题，提高了检测精度。

根据本发明第一方面的一些实施例，所述使用粒子群算法建立预测模型，包括：

设置预测模型中粒子的位置信息；

将验证集对svm(supportvectormachines，支持向量机)预测模型进行验证所得的误差构成适应度；

将得到的全局最优值所对应的位置信息作为svm分类器的参数值；

建立svm预测模型。

先设置预测模型中粒子的位置信息，并将验证集对svm预测模型进行验证所得的误差构成适应度，然后将不断更新后得到的全局最优值对应的位置信息作为参数值，建立svm预测模型。使用粒子群算法寻找合适的核参数，提高了模型的预测精度，避免了凭借经验选择参数而反复试验的可能。

根据本发明第一方面的一些实施例，所述对输入图像进行预处理，得到眼部增强图像，包括：

根据人脸五官的位置关系确认眼睛所在区域；

对眼睛所在区域的亮度图分别做腐蚀处理和膨胀处理，并将处理结果进行相应计算。

先对眼睛区域的图像进行预处理，然后再进行阈值分割，避免了直接将图像进行阈值分割导致的眼睛轮廓严重缺失的问题。

根据本发明第一方面的一些实施例，所述对眼睛所在区域的亮度图分别做腐蚀处理和膨胀处理，并将处理结果进行相应计算，使用如下公式：

其中，y(x,y)表示眼睛区域的亮度图，g(x,y)表示结构函数，⊕表示膨胀操作，⊙表示腐蚀操作。分别对眼睛区域的亮度图做膨胀处理和腐蚀处理，将膨胀处理与腐蚀处理结果中对应的值进行运算，得到眼部增强的图像，使得在阈值分割后得到完整的眼睛图像。

根据本发明第一方面的一些实施例，所述根据阈值分割结果和人脸掩膜分割出面部五脏区域，包括：

在人脸掩膜中排除肤色区域；

根据眼睛分布特点确定眼睛中心；

对人脸区域进行定位分割。

排除人脸掩膜中的肤色区域，根据眼睛的分布特点确定眼睛中心，再对目标区域进行定位分割。根据眼睛中心、人脸长宽的标准比例以及面部五脏分布特点对人脸区域进行定位分割，清晰地划分出人脸五脏区域，便于后续的面色识别过程。

根据本发明第一方面的一些实施例，所述在人脸掩膜中排除肤色区域，包括：利用ycbcr颜色空间中处于一定范围内的颜色浓度偏移量在连通区域中所占的比例作为约束条件，排除肤色区域。使用ycbcr颜色空间中颜色浓度偏移量所占比例作为约束条件，能更清楚地排除肤色区域，提高了面部分割的准确度。

根据本发明第一方面的一些实施例，所述利用预测模型对面色进行识别，得到识别结果，包括：

使用svm分类器训练出面色识别模型；

通过面色识别模型识别出面部脏腑反射区域的颜色；

根据所得色部颜色查找出相应健康状态。

使用svm分类器训练面色识别模型，然后通过面色识别模型对面部五脏进行识别，得出面部脏腑反射区域的颜色，并根据所得色部颜色得出相应的健康状态。使用svm分类器对人脸图像进行识别，减小了识别结果中眼睛和眉毛黏在一起的可能。

根据本发明第一方面的一些实施例，所述对输入图像进行肤色检测，得到人脸掩膜，包括：

输入采集得到的人脸图像，并根据需求将图像尺寸进行调整；

使用皮肤椭圆模型获取人脸区域二值图；

对人脸区域二值图进行扫描，得到人脸掩膜。

根据实际需求调整输入图像的尺寸大小，使用ycbcr颜色空间下的皮肤椭圆模型来获取人脸区域二值图，再对二值图进行扫描，从而得到人脸掩膜，提高了鲁棒性，使得识别结果更加准确。

第二方面，本发明提出了一种诊断装置，包括：

图片输入模块，用于采集图像并将图像输入至系统中；

目标分割模块，用于在人脸图像中分割出中医面部五脏分布区域；

面色识别模块，用于使用粒子群算法训练出预测模型；

健康状态判断模块，用于对图像中人脸进行面色识别。

根据本发明第二方面实施例提出的诊断装置，至少具有如下有益效果：将采集到的人脸图像根据实际需求调整尺寸并传输至系统中，然后针对该人脸图像进行预处理并分割，划分出面部五脏分部区域，使用根据粒子群算法训练出的预测模型对图像中的人脸进行面色识别。先对图像进行预处理再进行分割，提高了检测精度。

第三方面，本发明提出了另一种诊断装置，包括至少一个处理器和用于与所述至少一个处理器通信连接的存储器；所述存储器存储有能够被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本发明第一方面提出的中医面色诊断方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的附加方面和优点结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明第一方面的一些实施例的中医面色诊断方法的流程图；

图2为本发明第一方面的一些实施例的中医面色诊断方法中建立预测模型的流程图；

图3为本发明第一方面的一些实施例的中医面色诊断方法中设置粒子位置信息的流程图；

图4为本发明第一方面的一些实施例的中医面色诊断方法中svm参数优化的流程图；

图5为本发明第一方面的一些实施例的中医面色诊断方法中预处理的流程图；

图6为本发明第一方面的一些实施例的中医面色诊断方法中肤色检测的流程图；

图7为本发明第一方面的一些实施例的中医面色诊断方法中面部分割的流程图；

图8为本发明第一方面的一些实施例的中医面色诊断方法中面色识别的流程图；

图9为本发明第一方面的一些实施例的中医面色诊断方法的另一流程图；

图10为本发明第二方面的一些实施例的诊断装置的模块框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

如图1所示，图1为本发明第一方面的一些实施例的中医面色诊断方法的流程图。本发明第一方面提出的中医面色诊断方法包括但不限于以下：

步骤s110，对输入图像进行肤色检测，得到人脸掩膜；

步骤s120，对输入图像进行预处理，得到眼部增强图像；

步骤s130，将眼部增强图像进行阈值分割，得到阈值分割结果；

步骤s140，根据阈值分割结果和人脸掩膜分割出面部五脏区域；

步骤s150，使用粒子群算法建立预测模型；

步骤s160，利用预测模型对面色进行识别，得到识别结果。

可以理解的是，对输入的图像分别进行肤色检测与预处理，进行肤色检测得到人脸掩膜，进行预处理后得到眼部增强图像；将眼部增强图像进行阈值分割，然后根据阈值分割的结果与人脸掩膜对面部五脏区域进行分割，划分出面部五脏区域；最后使用粒子群算法建立预测模型，并使用预测模型对面色进行识别，得出识别结果。先对人脸图像进行预处理，再对预处理后的图像进行阈值分割；使用改进的粒子群算法来建立预测模型，该粒子群算法使用非线性惯性权重更新方式，且引入了随机化操作，这样分割得出的面部五脏区域，避免了直接使用阈值分割处理导致的眼睛眉毛黏在一起的问题，提高了检测精度。

需要说明的是，在一些实施例中使用最大类间方差法来作为阈值分割的工具。该方法在处理图像时以图像的灰度特性为依据，不受图像亮度和对比度的影响，因此能使面部识别的结果更加准确。

如图2所示，图2为本发明第一方面的一些实施例的中医面色诊断方法中建立预测模型的流程图。步骤s150包括但不限于以下步骤：

步骤s210，设置预测模型中粒子的位置信息；

步骤s220，将验证集对svm预测模型进行验证所得的误差构成适应度；

步骤s230，将得到的全局最优值所对应的位置信息作为svm分类器的最终参数值；

步骤s240，建立svm预测模型。

可以理解的是，先对测试模型中粒子的位置信息进行设置，然后将验证集对svm预测模型进行验证所得的误差构成适应度，适应度用于表示最优值的相似程度；最后将得到的全局最优值所对应的位置信息作为svm分类器的最终参数值，建立svm训练模型。使用改进的粒子群算法寻找合适的核参数并训练预测模型，提高了模型的预测精度，避免了凭借经验选择参数而反复试验的繁琐。

如图3所示，图3为本发明第一方面的一些实施例的中医面色诊断方法中设置粒子位置信息的流程图。步骤s210包括但不限于步骤s310：根据惩罚参数及核函数参数，设置粒子的位置信息。

可以理解的是，svm预测模型的性能取决于核函数参数的选择，且在粒子群算法中，当多项式核函数幂次数设置大于1，svm预测模型对非线性数据的表达能力较强；当数幂次数设置为1，svm预测模型适合于线性数据的分类，且预测速度较快，因此将svm核函数设置成多项式核函数。根据惩罚参数及核函数参数，设置粒子的位置信息，训练的svm预测模型所需参数较少，且快速收敛，全局寻优能力较强。

可以理解的是，由于标准的粒子群算法采用的是线性递减的权重更新方式，在前期惯性权重较大，算法的全局寻优能力较强，而后期惯性权重较小，容易陷入局部最优，不利于寻找全局最优。因此，本发明提出了一种改进的粒子群算法，使用非线性惯性权重更新方式，其权重更新公式如下：

其中，ωstart为惯性权重上限，ωend为惯性权重下限，maxgen为种群迭代次数。

如图4所示，图4为本发明第一方面的一些实施例的中医面色诊断方法中svm参数优化的流程图。svm参数优化包括但不限于以下步骤：

步骤s410，粒子参数初始化。即对最大进化次数、种群规模、惯性权重上下限、加速因子、初始速度及位置等pso的参数进行设置。改进的粒子群算法参数设置如下：种群规模n＝60；粒子维度dim＝4；种群迭代次数maxgen＝100；惯性权重ωend＝0.4及ωstart＝0.9；svm惩罚参数c、核参数γ、r、d范围均为[0.0001,15]，其中，在向svm传递d参数时，要对其数值向上取整；学习因子c1＝2，c2＝2。

步骤s420，将粒子位置信息传输至svm分类器。将惩罚参数及核函数参数设置为粒子的位置信息，并将设置好的粒子位置信息传输至svm分类器。

步骤s430，训练预测模型，使用验证误差作为适应度值f，记录个体最优历史位置以及全局最优位置。采用验证集所得的误差作为粒子的初始适应度，同时寻找粒子的初始历史最优位置lbest以及初始全局最优位置gbest，使用适应度来表示最优值的相似程度。

步骤s440，更新惯性权重、速度、位置以及适应度值。计算更新后粒子的fi^k+1，并更新lbest与gbest。若粒子的fi^k+1优于全局最优适应值fgbest，则fi^k+1赋值给fgbest并将该粒子位置信息赋值给gbest，若该粒子位置的fi^k+1优于该粒子历史最优值flbest，则该粒子位置上的fi^k+1赋值给flbest并将当前位置赋值给lbest，若粒子当前位置的fi^k+1劣于该粒子的上一的适应值fi^k，更新粒子当前位置。

步骤s450，判断粒子当前适应度值是否优于上一适应度值。若是，则进入步骤s470；若否，则进入步骤s460。

步骤s460，照一定概率赋予粒子位置信息均匀分布随机数。在算法中引入随机化操作，以一定的概率对往不利方向更新的粒子进行随机赋值，从而让粒子群算法更容易跳出局部最优。令概率为p，随机生成一个在区间[0,1]中的均匀分布随机数r,当r>p时，对不利的粒子进行随机赋值，p的公式如下：

其中，μ为常数，其取值为0.00001，υ为粒子各维度取值范围的极差和。

步骤s470，更新个体历史最优值以及全局最优位置信息。

步骤s480，判断迭代次数是否满足要求。在步骤s410中已将种群迭代次数maxgen设置为100，当种群迭代次数满足要求，进入步骤s490；否则回到步骤s440。

步骤s490，输出最优解，将其传至svm分类器，训练预测模型。

如图5所示，图5为本发明第一方面的一些实施例的中医面色诊断方法中预处理的流程图。步骤s120包括但不限于以下步骤：

步骤s510，根据人脸五官的位置关系确认眼睛所在区域。可以理解的是，眼睛的亮度以及色调与皮肤有很大的差异，且两眼中心以及两眉毛中心连线是一对平行线，利用这些特点可以快速确定眼睛所在区域。

步骤s520，对眼睛所在区域的亮度图分别做腐蚀处理和膨胀处理，并将处理结果进行相应计算。把输入的图片转化为ycbcr模式中的y分量图，对眼睛所在区域按如下公式进行处理，先将图像进行预处理再分割，避免直接对图像进行阈值分割导致的眼睛轮廓缺失。

公式中，y(x,y)表示眼睛区域的亮度图，g(x,y)表示结构函数，⊕表示膨胀操作，⊙表示腐蚀操作。

步骤s530，得到眼部增强图像。使用该眼部增强的图像来进行后续的阈值分割，使得眼部轮廓更清晰明显。

如图6所示，图6为本发明第一方面的一些实施例的中医面色诊断方法中肤色检测的流程图。在一些实施例中，肤色检测的方法包括但不限于以下步骤：

步骤s610，输入采集得到的人脸图像，并根据需求调整图像尺寸。需要说明的是，在一些实施例中，而采取封闭环境下进行人脸图片采集，即在暗箱中进行人脸图像的采集。具体的，暗箱光源是采用在国际照明委员会对标准照明体的定义中推荐的d65光源。在暗箱中采集图像，降低了外界光照因素对采集图片质量的影响。

步骤s620，使用皮肤椭圆模型获取人脸区域二值图。使用皮肤椭圆模型对人脸图像进行处理，降低了眼睛轮廓缺失的可能。

步骤s630，对人脸区域二值图进行扫描，得到人脸掩膜。构造和输入图片一样大小且灰度取值均为255的灰度图，通过上下左右扫描人脸区域二值图获取人脸轮廓并进一步缩小连通区域图，从而得到人脸掩膜。具体扫描操作如下：

上轮廓扫描：对皮肤椭圆模型获取的人脸区域图进行上轮廓扫描。从左到右对人脸区域二值图的各列进行上往下扫描，当图片灰度值为0时，在所构造的灰度图对应位置置零，当碰到图片灰度值为255时，以该位置为起点把图片高度的1/10个像素连续置零后停止对该列扫描，进入下一列扫描，重复扫描操作直至各列扫描完毕。

下轮廓扫描：从左到右对人脸区域二值图的各列进行下往上扫描，当图片灰度值为0时，在所构造的灰度图对应位置置零，当碰到图片灰度值为255时，以该位置为起点把图片高度的1/10个像素连续置零后停止对该列扫描，进入下一列扫描，重复扫描操作直至各列扫描完毕。

左轮廓扫描：从上到下对人脸区域二值图的各行进行左往右扫描，当图片灰度值为0时，在所构造的灰度图对应位置置零，当碰到图片灰度值为255时，以该位置为起点把图片高度的1/30个像素连续置零后停止对该行扫描，进入下一行扫描，重复扫描操作直至各行扫描完毕。

右轮廓扫描：从上到下对人脸区域二值图的各行进行右往左扫描，当图片灰度值为0时，在所构造的灰度图对应位置置零，当碰到图片灰度值为255时，以该位置为起点把图片高度的1/30个像素连续置零后停止对该行扫描，进入下一行扫描，重复扫描操作直至各行扫描完毕。

如图7所示，图7为本发明第一方面的一些实施例的中医面色诊断方法中面部分割的流程图。在一些实施例中，面部分割的方法包括但不限于以下步骤：

步骤s710，利用ycbcr颜色空间中处于一定范围内的颜色浓度偏移量在连通区域中所占的比例作为约束条件，排除肤色区域。

步骤s720，根据眼睛分布特点确定眼睛中心。

步骤s730，对人脸区域进行定位分割。

可以理解的是，先在人脸掩膜中，利用ycbcr颜色空间中处于一定范围内的颜色浓度偏移量在连通区域中所占的比例作为约束条件来排除肤色区域，有利于清晰地分割出面部五脏区域。然后利用眼睛结构以及分布关系可以筛选出眼睛区域并计算其中心。最后，对面部五脏区域进行分割，得出面部对应各个脏腑的位置，以便进行面色识别。

需要说明的是，在经过扫描的人脸区域二值图中，眼睛区域的ycbcr模式图中，cr分量取值在[119,132]范围内的像素数目占相应连通区域像素的比例要比其他区域的要大。因此，本课题采取其比例为0.1作为约束条件，排除小于0.1的连通区域，以便更好地定位出眼睛中心。

可以理解的是，在面部五脏区域分割的过程中，需要根据眼睛中心、人脸长宽的标准比例以及面部五脏分布特点，大致确定各个脏腑对应的面部位置，具体如下：

肺块中心:左眼中心向下移动双眼距离的2/5；

肝块中心:右眼中心向下移动双眼距离的2/5；

脾块中心:两眼的中心向下移动眼睛到鼻子距离的1/3；

心块中心：两眼的中心向上移动双眼距离的2/5。

在一些实施例中，使用lab颜色空间进行面色特征提取。从这些面部块中提取的各像素的分量平均值以及lbp(localbinarypattern,局部二值模式)直方图作为面部块特征在特征向量v中，将划分出的候选反射区域调整成32像素×64像素，然后进行局部二值模式计算，并且统计出相应的直方图，最后组成的纹理特征向量。

如图8所示，图8为本发明第一方面的一些实施例的中医面色诊断方法中面色识别的流程图。在一些实施例中，面色识别的方法包括但不限于以下步骤：

步骤s810,使用svm分类器训练出面色识别模型。

步骤s820,通过面色识别模型识别出面部脏腑反射区域的颜色。

步骤s830,根据所得色部颜色查找出相应健康状态。

使用svm分类器训练出面色识别模型，再利用该模型对面色进行识别。通过已训练的面色识别模型识别出面部脏腑反射区域的颜色，并通过不同部位反射出的颜色查找出相应健康状态以及调理方案。需要说明的是，各反射区域对应的脏腑、各反射出的颜色代表的健康状态以及各自的调理方案均由医师提供，并储存在存储器中。在进行面色识别时，系统根据识别结果自动调取存储器内相应的资料，以使识别结果更加全面。

如图9所示，图9为本发明第一方面的一些实施例的中医面色诊断方法的另一流程图。在一些实施例中，中医面色诊断方法还包括步骤s910：在进行皮肤检测得到人脸掩膜后，对人脸掩膜进行排除干扰处理。在面部五脏区域分割之前，先对人脸掩膜进行排除干扰处理，使得面部五脏区域的分割更加准确。

如图10所示，图10为本发明第二方面的一些实施例的诊断装置的模块框图。在一些实施例中，诊断装置包括图片输入模块、目标分割模块、面色识别模块以及健康状态判断模块。在图片输入模块中根据实际需求调整采集到的人脸图像的尺寸，并输入至系统；目标分割模块基于阈值分割以及形态学定位出眼睛中心，并结合对人脸的先验知识分割出中医面部五脏分布区域。经面色识别模块训练出的预测模型识别，健康状态判断模块根据识别的结果，提供对应的处理方案。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下，作出各种变化。