基于图像聚类和灰度投影的舌体定位方法与流程

本发明属于图像处理技术领域，用于对中医自动化舌诊中采集到的舌图像中的舌体进行自动定位，为中医自动化舌诊后续的舌体分割、舌体识别与诊断工作提供基础，具体涉及一种基于图像聚类和灰度投影的舌体定位方法。

背景技术：

舌诊是传统中医“望诊”的主要内容之一，是具有中医特色的传统诊断方法之一。舌象是反映人体生理功能和病理变化最敏感的指标，在中医诊疗过程中具有重要的应用价值。应用图像处理技术，建立舌诊信息的客观量化、识别方法，实现中医舌诊的自动化，对中医现代化具有重要的现实意义。自动化舌诊系统中，病人的舌图像经过数字采集仪器(工业相机、摄像头等)获取后，必须首先对目标区域(舌体)进行自动的分割。因此，舌图像分割成了连接舌图像采集和舌体识别与诊断的重要纽带。

舌图像分割存在一定的挑战和困难。这些困难源于舌图像自身的特性：(1)舌体的颜色与脸部的颜色特别是嘴唇的颜色很接近，容易混淆；(2)舌体作为一个软体，没有固定的形状，舌体形状的个体差异性大；(3)从医学病理学的角度来看，舌体不平滑，舌苔舌质因人而异，病理特征差异较大；(4)舌体的裂纹、舌苔色块也会严重影响舌体的分割。

舌体的定位旨在找到舌体所在的矩形区域。舌体定位可以帮助排除舌体以外的嘴唇中上部分和人脸的大部分区域，避免嘴唇中上部分与舌体颜色近似、人脸与舌体颜色近似、人脸褶皱等给舌体分割带来干扰，有助于舌图像中舌体的自动分割。张灵和秦鉴[1]根据对舌图像的观察，总结出了两个先验知识，在此基础上提出了一种基于灰度投影(gp,grayprojection)的舌体定位方法。这两个先验知识是：(1)舌图像中舌体根部区域通常比人脸的其他区域更暗；(2)当生成舌图像时，由于拉伸的舌体阻挡光线，舌体轮廓附近可能存在偏暗的区域。这些偏暗的区域所涉及的图像行和图像列比其他图像行和图像列具有更低的平均灰度值。利用上述先验知识，基于灰度投影的舌体定位方法(gp)先将一幅彩色图像转化为灰度图像，然后通过如下步骤实现舌图像中舌体的定位：(1)计算图像中每一行的平均灰度值和每一列的平均灰度值；(2)在前半部分图像行中找到具有最低平均灰度值的行记其行号为rup，在后半部分图像行中找到具有最低平均灰度值的行记其行号为rdown，在左半部分图像列中找到具有最低平均灰度值的列记其列号为cleft，在右半部分图像列中找到具有最低平均灰度值的列记其列号为cright；(3)使用rup、rdown、cleft和cright界定的矩形区域作为舌体定位的结果。

在探索了基于灰度投影的舌体定位方法后，申请人发现：此方法在通过图像采集设备获取的原始舌图像上进行舌体定位，效果差；在剪裁后的舌图像上进行舌体定位，有一定的效果；但是，目前还没有人提出适合舌体定位的图像自动剪裁方法，需要手动进行图像剪裁，费时费力。为了实现在原始舌图像上的舌体定位，本发明提出一种基于图像聚类和灰度投影的舌体定位算法，获得了良好的舌体定位效果。

参考文献：

[1]张灵,秦鉴.基于灰度投影和阈值自动选取的舌像分割方法.中国组织工程研究与临床康复,2010,14(9):1638–1641.。

技术实现要素：

本发明的目的在于实现在原始舌图像上的舌体定位，提供一种基于图像聚类和灰度投影的舌体定位方法，具有良好的舌体定位效果。

为实现上述目的，本发明的技术方案是：一种基于图像聚类和灰度投影的舌体定位方法，包括如下步骤：

步骤s1、输入舌图像，进行舌体区域粗提取；

步骤s2、舌体定位：对步骤s1粗提取的舌体区域，先利用灰度投影技术实现行定位，然后利用二值化结果进行列定位，最后结合行与列的定位结果确定舌体所在的矩形区域，实现舌体定位。

在本发明一实施例中，所述步骤s1的具体实现步骤如下：

步骤s11、颜色空间映射：将一幅彩色舌图像从rgb颜色空间映射到hsi颜色空间：

其中，

在公式(1)-(4)中，r、g和b分别代表图像的红色、绿色和蓝色分量；

步骤s12、基于聚类的分割阈值确定：在hsi颜色空间的色调分量上执行聚类，迭代更新各类中心，直到类中心不再变化；每次迭代根据每个像素点色调值与各类中心之间的绝对色调差异最小原则将像素点对应的色调值归到各类别中的一个，然后将每个类别中心更新为该类像素点的平均色调值；在图像聚类结束之后，将各个最终的类中心对应的色调值按升序排列放入集合tset中；

步骤s13、图像阈值分割处理和形态学运算：

首先，利用tset中的元素对图像的色调分量进行如下的阈值分割：

其中，tset(i)表示tset中的第i个元素；

然后，依次对阈值分割结果bimg执行形态学开运算和图像填充操作以获得修正后的阈值分割结果rbimg；

步骤s14、舌体区域粗提取：将步骤s13阈值分割结果中的最大目标区域作为舌体区域的粗提取结果oimg。

在本发明一实施例中，所述步骤s12中聚类的类别数设为3，3个初始类中心分别设定为色调分量的最小值、平均值、最大值。

在本发明一实施例中，所述步骤s2的具体实现步骤如下：

步骤s21、基于灰度投影的行定位：以原始舌图像的红色分量作为灰度投影的对象，且只对目标像素点进行灰度投影操作，目标像素点即舌体区域粗提取结果oimg中的白色像素点；具体地：

首先，计算图像中包含目标像素点的每一行上目标像素点的平均灰度值，然后将具有最低平均灰度值的行作为舌体定位矩形区域的上界，其行号记为rup；

其次，将oimg中目标像素点的最大行作为舌体矩形定位区域的下界，其行号记为rdown；

最后，将行范围[ruprdown]之外的目标像素点，即虚假的舌体像素点清除变成黑色的背景点，得到二值化图像；

步骤s22、利用步骤s21获得的二值化图像进行列定位，得到舌体定位矩形区域的左边界cleft和右边界cright；

步骤s23、舌体定位：使用行边界rup和rdown，及列边界cleft和cright确定出矩形区域，作为舌体定位结果。

相较于现有技术，本发明具有以下有益效果：本发明具有良好的舌体定位效果，且本发明方法简单有效。

附图说明

图1为本发明方法流程图。

图2为舌体定位结果，其中：图2(a)为原图，图2(b)为色调(hue)分量阈值分割结果，图2(c)为修正后的阈值分割结果，图2(d)为仅保留子图图2(c)中最大目标区域的二值图像，图2(e)为子图2(d)为行剪裁后的结果，图2(f)为舌体定位结果。

图3为形态学开运算使用的结构元素。

图4为舌体尺寸差异较大的舌图像定位结果。

图5为舌体形状差异较大的舌图像定位结果。

图6为舌体颜色差异较大的舌图像定位结果。

图7为舌体厚舌苔和强纹理的舌图像定位结果。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提出了一种基于图像聚类和灰度投影的舌体定位方法，包括如下步骤：

步骤s1、输入舌图像，进行舌体区域粗提取；

步骤s2、舌体定位：对步骤s1粗提取的舌体区域，先利用灰度投影技术实现行定位，然后利用二值化结果进行列定位，最后结合行与列的定位结果确定舌体所在的矩形区域，实现舌体定位。

所述步骤s1的具体实现步骤如下：

步骤s11、颜色空间映射：将一幅彩色舌图像从rgb颜色空间映射到hsi颜色空间：

其中，

在公式(1)-(4)中，r、g和b分别代表图像的红色、绿色和蓝色分量；

步骤s12、基于聚类的分割阈值确定：在hsi颜色空间的色调分量上执行聚类，迭代更新各类中心，直到类中心不再变化；每次迭代根据每个像素点色调值与各类中心之间的绝对色调差异最小原则将像素点对应的色调值归到各类别中的一个，然后将每个类别中心更新为该类像素点的平均色调值；在图像聚类结束之后，将各个最终的类中心对应的色调值按升序排列放入集合tset中；所述聚类的类别数设为3，3个初始类中心分别设定为色调分量的最小值、平均值、最大值。

步骤s13、图像阈值分割处理和形态学运算：

首先，利用tset中的元素对图像的色调分量进行如下的阈值分割：

其中，tset(i)表示tset中的第i个元素；

然后，依次对阈值分割结果bimg执行形态学开运算和图像填充操作以获得修正后的阈值分割结果rbimg；

步骤s14、舌体区域粗提取：将步骤s13阈值分割结果中的最大目标区域作为舌体区域的粗提取结果oimg。

所述步骤s2的具体实现步骤如下：

步骤s21、基于灰度投影的行定位：以原始舌图像的红色分量作为灰度投影的对象，且只对目标像素点进行灰度投影操作，目标像素点即舌体区域粗提取结果oimg中的白色像素点；具体地：

首先，计算图像中包含目标像素点的每一行上目标像素点的平均灰度值，然后将具有最低平均灰度值的行作为舌体定位矩形区域的上界，其行号记为rup；

其次，将oimg中目标像素点的最大行作为舌体矩形定位区域的下界，其行号记为rdown；

最后，将行范围[ruprdown]之外的目标像素点，即虚假的舌体像素点清除变成黑色的背景点，得到二值化图像；

步骤s22、利用步骤s21获得的二值化图像进行列定位，得到舌体定位矩形区域的左边界cleft和右边界cright；

步骤s23、舌体定位：使用行边界rup和rdown，及列边界cleft和cright确定出矩形区域，作为舌体定位结果。

以下为本发明的具体实现过程。

如图1所示，本发明基于图像聚类和灰度投影的舌体定位方法的执行流程具体如下：

1、舌体区域粗提取

(1)颜色空间映射：将一幅彩色图像从rgb颜色空间映射到hsi颜色空间：

其中，

在公式(1)-(4)中，r、g和b分别代表图像的红色、绿色和蓝色分量。

(2)基于聚类的分割阈值确定：在hsi颜色空间的色调(hue)分量上执行聚类，经验性地设定类别数为3，三个初始类中心分别设定为hue分量的最小值、平均值、最大值，迭代更新三个类中心，直到类中心不再变化。每次迭代根据每个像素点色调值与三个类中心之间的绝对色调差异最小原则将像素点对应的色调值归到三个类别中的某一个，然后将每个类别中心更新为该类像素点的平均色调值。在图像聚类结束之后，将三个最终的类中心对应的色调值按升序排列放入集合tset中。

(3)图像阈值分割处理和形态学运算：首先，利用tset中的元素对图像的色调分量进行如下的阈值分割：

其中，tset(i)表示tset中的第i个元素。然后，依次对阈值分割结果bimg执行形态学开运算和图像填充操作以获得修正后的阈值分割结果rbimg，其中，形态学开运算使用的结构元素见图3。图2(a)为原图，图2(b)和图2(c)分别给出了初始的阈值分割结果bimg和修正后的阈值分割结果rbimg。

(4)舌体区域粗提取：将上述阈值分割结果中的最大目标(白色)区域作为舌体区域的粗提取结果oimg。图2(d)给出了仅保留图2(c)中最大目标区域对应的二值化图像，记为oimg。

2、舌体定位

先利用灰度投影技术实现行定位，然后利用二值化结果进行列定位，最后结合行与列的定位结果确定舌体所在的矩形区域，实现舌体定位。

(1)基于灰度投影的行定位：以原始舌图像的红色分量作为灰度投影的对象，且只对目标像素点进行灰度投影操作，目标像素点即舌体区域粗提取结果oimg中的白色像素点。具体地，首先，计算图像中包含目标像素点的每一行上目标像素点的平均灰度值，然后将具有最低平均灰度值的行作为舌体定位矩形区域的上界，其行号记为rup；其次，将oimg中目标像素点的最大行作为舌体矩形定位区域的下界，其行号记为rdown。既然我们认为舌体应位于第rup行和第rdown行之间，行范围[ruprdown]之外的目标像素点就应该是虚假的舌体像素点，应予以清除，即将它们变成黑色的背景点。以图2(d)为例，图2(e)展示了利用行定位清除虚假目标像素点后的二值图像。

(2)列定位：将图2(e)中目标区域的左边界和右边界分别作为舌体定位矩形区域的左边界cleft和右边界cright。

(3)舌体定位：使用行边界(rup和rdown)和列边界(cleft和cright)确定出矩形区域，作为舌体定位结果，如图2(f)所示。

为了验证本发明方法的有效性，对舌体大小、形状、颜色、厚舌苔和强纹理的一系列舌图像进行了实验，每张图像的大小为640×480。本发明方法与现有的灰度投影(gp)方法[1]进行了比较。为了定量地测量出舌体定位的准确性，将每种方法得到的矩形区域作为二值分割结果中的目标区域，采用错误分类错误(me,misclassificationerror)[2]和kappa指数(ki,kappaindex)[3]作为定量测度。me和ki的定义如下：

其中，bm和fm分别代表手动的标准分割结果中的背景和目标，ba和fa分别代表自动分割算法所得分割结果中的背景和目标，|·|代表集合中元素的个数。me和ki的取值范围均为0～1。越低的me值代表越好的定位效果，越高的ki值代表越好的定位效果。所有实验均在一台cpu为1.7gintelcorei5-3317u、内存4g的笔记本电脑上进行。

一、定性比较

为了定性地比较两种方法的舌体定位效果，申请人在四组舌图像上进行了实验。第一组舌图像如图4所示，由舌体大小差异较大的十幅图像构成，前五幅图像的舌体小，后五幅图像的舌体大。第二组舌图像如图5所示，由舌体形状差异较大的十幅图像构成，前四幅图像拥有方形舌体，中间三幅图像拥有扁平状舌体，最后三幅图像拥有垂条状舌体。第三组舌图像如图6所示，由舌体颜色差异较大的十幅图像构成，前五幅图像拥有偏白的舌体，后五幅图像拥有偏红的舌体。第四组舌图像如图7所示，前五幅图像的舌体拥有较厚的舌苔，后五幅图像的舌体拥有强纹理。图4～7中的每幅图还给出了手动的理想分割结果，并用线条勾勒出了舌体的真实轮廓(图4-7中的第2组)；给出了现有的灰度投影方法获得的舌体定位结果，并用矩形框表示(图4-7中的第3组)；给出了本发明方法获得的舌体定位结果，用矩形框表示(图4-7中的第4组)。从图4～7可以看到，原有的灰度投影方法通常能较为准确地定位到舌体上边界即舌根处，但无法准确定位到舌体下边界和左右边界，舌体定位效果较差。相反地，本发明算法通常成功地定位到了舌体的上下左右四个边界，取得了满意的舌体定位效果。

二、定量比较

为了对舌体定位结果进行定量的比较，我们直接把舌体定位所得矩形框内区域作为目标区域，矩形框外区域作为背景区域，构造二值分割结果，运用me和ki两种测度来度量二值分割结果的准确性，以此定量地评价舌体定位的准确性。四组实验中每幅图像的me和ki值如表1～4所列。

表1第一组实验的定量比较结果

表2第二组实验的定量比较结果

表3第三组实验的定量比较结果

表4第四组实验的定量比较结果

从这些表1-4中，可以看到，与现有的灰度投影(gp)方法相比，本发明方法显著降低了每幅图像的me值，增加了每幅图像的ki值。更低的me值和更高的ki值均表明本发明方法具有比现有灰度投影方法更高的舌体定位精度。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。