一种基于多空间视觉聚类差分的舌质舌苔分割方法及系统与流程

本发明涉及智能医疗诊断以及图像处理，尤其涉及一种基于多空间视觉聚类差分的舌质舌苔分割方法及系统。

背景技术：

1、随着时代的发展和社会的进步，以及中医治未病理念的深入人心，中医和现代科技相结合，产生了一系列的现代化成果。除了中药的现代化提取与制作，中医望闻问切的诊断方法也在向着自动化、数字化的方向发展。

2、舌诊，是中医通过观察人体舌质、舌苔和舌下络脉的变化，了解人体生理功能和病理变化的诊察方法，又称望舌。舌诊是中医望诊的重要内容，也是中医独具特色的诊法之一。舌诊主要诊断舌质和舌苔的形态、色泽等，以此判断疾病的性质、病势的浅深、气血的盛衰及脏腑的虚实等。近年来，随着图像处理技术的逐步发展，机器学习和深度学习等人工智能技术的不断成熟，深度卷积神经网络开始应用到中医舌诊之中，并产生了多种诊断方法。

3、1、舌诊图像获取

4、在舌诊图像处理中，常用的舌诊图像获取大多是要求环境光和拍摄设备拍摄得到统一环境的舌诊图像，以满足舌诊图像的规范化获取，例如：“基于双光源的舌质舌苔分离方法研究”中，舌象采集是在白光和绿光双光源条件下处理舌图像，双光源条件下舌图像中舌质和舌苔区域的对比度增大。此外，“基于光谱技术的中医舌诊客观化研究”提到使用多光谱技术获取舌体重，舌质和舌苔的波段信息。

5、2、常见的处理舌质和舌苔的分离方法

6、常见的处理舌质和舌苔的分离方法，包括阈值分离和聚类分离；此外，移动设备的普遍应用，移动设备的普及性使得移动端获取的舌诊图像更便捷，因此具体的舌质和舌苔分离从图像处理领域更具有普适性，手机端获取到的图像需要对舌诊图像进行颜色矫正之后再对舌体图像进行舌质和舌苔进行分割，分割方法主要通过颜色聚类分析实验对舌苔区域和舌质区域的区分。然而这些分割方法存在很多技术缺陷，例如：

7、(1)“一种基于多彩色通道动态阈值的舌苔舌质分离别算法”中使用多个色彩通道动态选取阈值,再根据先验的空间信息辅助判断,最终分离舌苔舌质的算法,每个通道上取双峰之间的波谷，多通道中去最大波谷对应的通道进行舌苔和舌质分离。然而该方法多通道计算的方法存在计算量大，时效性差，并且对无苔和厚苔图像错误进行分割的缺点。

8、(2)“一种基于聚类的舌苔舌质分离方法”对分割后的舌体图像，选取b，g，s，v，rg作为基本属性集，并在每个通道上平滑后做归一化直方图，计算每个通道的属性值，选属性值最高的两维进行kmean聚2类，分为舌质和舌苔。该方法证明了多通道和聚类在舌质和舌苔分离时候的有效性。然而，基于阈值或基于聚类的方法很难从固定的一个或若干属性对苔质进行完美分割,这些属性集合并不能完备的描述舌质舌苔分割的所有属性；并且，常见基于聚类的舌苔和舌质的分离方法，使用多通道之后，这种选取前几类属性值的方法，对无苔和薄苔的情况无法区分，容易错分舌质和舌苔的区域；

9、(3)分裂合并方法：以标准舌色库为判断标准进行分裂合并判断，优点在于分离的舌苔和舌质都比较标准，缺点是应用环境不标准的情况下，苔质分离效果不理想。

10、(4)使用多次聚类的方法区分舌质和舌苔的区域，缺点在于聚类效果不稳定，时间复杂度高，且分割速度慢。

11、(5)现有的实际应用的舌质舌苔分割技术方案均针对有苔图片进行分割，对无苔图片并不适用。

12、(6)由于舌诊图像手持设备，大多要求硬件和光源条件，因此目前舌诊图像中的舌质和舌苔分割方案无法模拟中医师对舌诊图像的判定过程，且无法做到与设备和光源无关。

13、因此，应如何选取多通道实施舌苔和舌质的分割并在视觉上清晰高效地区分舌质和舌苔是现有舌质和舌苔分割任务的难题。

技术实现思路

1、本发明的目的是提供一种基于多空间视觉聚类差分的舌质舌苔分割方法及系统，以满足对舌诊图片自适应区分舌苔和非舌苔区域，并且视觉上满足舌苔和舌质的聚类划分。

2、本发明一方面提供了一种基于多空间视觉聚类差分的舌质舌苔分割方法，包括：

3、获取rgb舌图像数据并进行图像转换；所述图像转换将rgb舌图像转换为lab舌图像以及颜色空间舌图像；

4、对所述lab舌图像进行聚类分析，获得多个lab聚类中心之间差分计算后的多个第一色差值；

5、对所述颜色空间舌图像进行聚类分析，获得多个色貌空间聚类中心之间差分计算后的多个第二色差值；

6、基于所述第一色差值和所述第二色差值与预定阈值之间的关系分割舌质和舌苔。

7、优选的，所述将rgb舌图像转换为lab舌图像包括：

8、获取初始舌图像数据并基于unet对所述初始舌图像数据进行分割获得rgb舌分割图像；

9、将所述rgb舌分割图像转换成lab舌图像；

10、对所述lab舌图像进行预处理，包括：剔除舌反光点区域、将lab舌图像分割成l通道，a通道和b通道；对a通道进行直方图归一化操作得到a’通道。

11、优选的，所述将rgb舌图像转换为颜色空间舌图像包括：

12、获取初始舌图像数据并基于unet对所述初始舌图像数据进行分割获得rgb舌分割图像；

13、将所述rgb舌图像转换为d65下的xyz颜色空间舌图像；

14、将所述xyz颜色空间舌图像转换为所述ciecam16ucs颜色空间舌图像。

15、优选的，所述对所述lab舌图像进行聚类分析包括：

16、合并所述l通道，a’通道和b通道的图像并转换成bgr格式舌图像；

17、对转换后的所述bgr格式舌图像进行聚类分析，将其中的舌分割区域聚成m类并形成m个聚类区域；

18、计算m个聚类区域对应lab图像中的m个a值，并将m个所述a值有大到小进行排序；其中，基于所述排序能够将对应图像的区域划分为舌质区域，舌薄苔区域和舌厚苔区域；

19、分别计算m个聚类区域对应的m个lab聚类中心；

20、计算m个lab聚类中心之间的m-1个第一色差值。

21、优选的，所述对所述颜色空间舌图像进行聚类分析包括：

22、获取所述颜色空间舌图像的jp通道、ap通道和bp通道分别对应的jp数值、ap数值和bp数值；其中jp数值表示颜色空间对应的色貌模型中的明度感知，ap数值表示颜色空间的红绿分量，bp数值表示颜色空间的黄蓝分量；

23、基于所述ap数值和所述bp数值对所述颜色空间舌图像进行聚类，将其中的舌分割区域聚成n类并形成n个聚类区域；

24、分别基于n个聚类区域取ap通道和bp通道的中心值以确定对应的n个色貌空间聚类中心；其中，n个色貌空间聚类中心对应不同的ap数值和bp数值，n个色貌空间聚类中心的jp数值统一赋值为50；

25、在空间中进行色差计算，获得n个色貌空间聚类中心之间的n-1个第二色差值。

26、优选的，所述基于所述第一色差值和所述第二色差值与预定阈值之间的关系分割舌质和舌苔包括：

27、基于第一部分所述第一色差值和第一部分所述第二色差值之和小于第一判断阈值，将第一部分色貌空间聚类中心确定为舌质区域，否则为舌苔区域。

28、优选的，所述基于所述第一色差值和所述第二色差值与预定阈值之间的关系分割舌质和舌苔还包括：

29、基于除第一部分所述第一色差值之外的第一色差值和除第一部分所述第二色差值之外的第二色差值之和小于第二判断阈值，将除第一部分色貌空间聚类中心之外的色貌空间聚类中心确定为舌质区域，否则为舌苔区域。

30、本发明的第二方面在于提供一种基于多空间视觉聚类差分的舌质舌苔分割系统，用于实施第一方面所述的方法，包括：

31、图像转换模块，用于获取rgb舌图像数据并进行图像转换；所述图像转换将rgb舌图像转换为lab舌图像以及颜色空间舌图像；

32、第一色差计算模块，用于对所述lab舌图像进行聚类分析，获得多个lab聚类中心之间差分计算后的多个第一色差值；

33、第二色差计算模块，用于对所述颜色空间舌图像进行聚类分析，获得多个色貌空间聚类中心之间差分计算后的多个第二色差值；

34、分割模块，用于基于所述第一色差值和所述第二色差值与预定阈值之间的关系分割舌质和舌苔。

35、本发明的第三方面提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如第一方面所述的方法。

36、本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如第一方面所述的方法。

37、本发明提供的方法、系统、电子设备以及计算机可读存储介质，具有如下有益的技术效果：

38、(1)本发明在lab空间ciecam16ucs空间上，分别对聚类进行分析并计算色差，实现满足舌苔和非舌苔的自动分割。解决舌诊图像中，有苔和无苔条件下，自适应舌苔和舌质分割问题，在多通道上使用聚类的方法满足视觉区分舌质和舌苔区域的自动分割。

39、(2)本发明的方法无关设备和光源，大大减少硬件成本，同时满足自适应区分舌苔和非舌苔区域，对舌诊系统准确率的提高提供了有效保证。