一种基于颜色校正与深度卷积神经网络的舌分割方法及系统与流程

本发明涉及医学图像处理领域，更具体地，涉及一种基于颜色校正与深度卷积神经网络的舌分割方法及系统。

背景技术：

中医是我们中华民族的瑰宝，是经过数千年很多代人不断完善的智慧结晶。随着时代的发展和社会的进步，以及中医治未病理念的深入人心，中医和现代科技相结合，产生了一系列的现代化成果。除了中药的现代化提取与制作，中医的诊断方法也在向着自动化、数字化的方向发展。正如《古今医统》所说：“望闻问切四字，诚为医之纲领。”即望闻问切组成了中医诊断的四诊。《灵枢·本脏篇》：“视其外应，以知其内脏，则知所病矣。”可知望诊具有非常重要的作用。望诊可以分为面诊和舌诊。《辨舌指南》：“辨舌质可辨脏腑的虚实，视舌苔可察六淫之浅深。”舌为心之苗，脾之外候，苔由胃气所生。脏腑通过经脉与舌相联，脏腑病变，可在舌质和舌苔上反映出来。舌诊主要诊断舌质和舌苔的形态、色泽等，以此判断疾病的性质、病势的浅深、气血的盛衰及脏腑的虚实等。

近几年，随着图像处理技术的逐步发展，机器学习和深度学习等人工智能技术的不断成熟，深度卷积神经网络开始应用到中医舌诊之中，并产生了多种方法。其中，舌体分割是舌诊系统中非常关键的处理步骤。由于舌体形状各不相同，舌体颜色很接近于嘴唇和脸部颜色，导致现有的很多舌体分割效果并不理想，传统的舌分割方法都存在一定的局限性，可能会产生舌头边缘有缺失、舌根有缺失、舌体中间有孔洞、粘连嘴唇和下巴等情况；甚至因为拍摄环境偏色，导致根本没有分割出舌头；这些都直接影响了舌诊客观化的可行性与准确性。

技术实现要素：

为了解决背景技术存在的现有的舌分割因拍摄环境偏色以及图像处理效果差等原因影响舌分割质量的问题，本发明提供了一种基于颜色校正与深度卷积神经网络的舌分割方法及系统；所述方法及系统通过对原始图像rgb值的校正以及基于深度卷积神经网络和多种优化操作，获得更准确的舌分割图像；所述一种基于颜色校正与深度卷积神经网络的舌分割方法包括：

根据预设规则对原始图像进行颜色校正；

根据预先训练的舌分割模型对经过颜色校正的原始图像中的舌体进行分割，获得舌体分割的二值化图像；所述舌分割模型根据深度卷积神经网络训练获得；

检测所述舌体分割的二值化图像中的连通区域，并根据预设规则确认最大连通区域，获得最大连通区域图像；

根据预设规则对所述最大连通区域图像进行修补操作，获得最终舌分割区域；

所述最终舌分割区域对应在颜色校正后的原始图像的区域，即为舌分割结果。

进一步的，所述根据预设规则对原始图像进行颜色校正，包括：

获取原始图像上部人脸皮肤区域的rgb颜色值信息，并确认所述区域的rgb均值；

根据预设常数以及所述区域的rgb均值，计算出整幅图像中每个像素校正后的rgb值；根据所述每个像素校正后的rgb值调整整幅原始图像的颜色。

进一步的，所述每个像素校正后的rgb值的计算公式为：

其中，r`、g`以及b`为原始图像上部人脸皮肤区域校正后的rgb值，r、g以及b为原始图像当前像素的rgb值，所述以及为原始图像上部人脸皮肤区域的rgb均值；a、b以及c为预设常数。

进一步的，所述预先训练的舌分割模型，是在caffe深度学习框架下，根据训练样本进行fcn深度卷积神经网络训练获得；

所述训练样本通过预先对样本图像进行舌体标注获得，所述训练样本中包括舌体像素以及非舌体像素。

进一步的，在检测所述舌体分割的二值化图像中的连通区域前，所述方法还包括：

对所述舌体分割的二值化图像进行开操作，消除所述二值化图像的轮廓毛刺以及小于预设尺寸的狭窄的间断。

进一步的，在根据预设规则对所述最大连通区域图像进行修补操作前，所述方法还包括：

对所述最大连通区域图像进行闭操作，消除所述最大连通区域图像中小于预设尺寸的狭窄的间断以及小于预设尺寸的空洞。

进一步的，所述检测所述舌体分割的二值化图像中的连通区域，根据预设规则确认最大连通区域包括：

确认所述二值化图像中每一个像素在以该像素为中心的八个相连像素与该像素是否具有相同的的灰度值；将具有相同灰度值且相连的像素记为一个连通区域；

根据各个区域内的像素数量判断，获得最大的连通区域。

所述一种基于颜色校正与深度卷积神经网络的舌分割系统包括：

颜色校正单元，所述颜色校正单元用于根据预设规则对原始图像进行颜色校正；

舌分割模型单元，所述舌分割模型单元用于根据预先训练的舌分割模型对经过颜色校正单元校正的原始图像中的舌体进行分割，输出舌体分割的二值化图像；所述舌分割模型根据深度卷积神经网络训练获得；

连通区域计算单元，所述连通区域计算单元用于检测所述舌分割模型单元输出的舌体分割的二值化图像中的连通区域，并根据预设规则确认最大连通区域，输出最大连通区域图像；

修补计算单元，所述修补计算单元根据预设规则对所述连通区域计算单元输出的最大连通区域图像进行修补操作，获得最终舌分割区域；

舌分割输出单元，所述舌分割输出单元用于将所述最终舌分割区域对应在颜色校正后的原始图像的区域，输出舌分割结果。

进一步的，所述颜色校正单元用于获取原始图像上部人脸皮肤区域的rgb颜色值信息，并确认所述区域的rgb均值；

所述颜色校正单元用于根据预设常数以及所述区域的rgb均值，计算出整幅图像中每个像素校正后的rgb值；根据所述每个像素校正后的rgb值调整整幅原始图像的颜色。

进一步的，所述舌分割模型单元预先训练的舌分割模型，是在caffe深度学习框架下，根据训练样本进行fcn深度卷积神经网络训练获得；

所述训练样本通过预先对样本图像进行舌体标注获得，所述训练样本中包括舌体像素以及非舌体像素。

进一步的，所述系统还包括开操作计算单元；

所述开操作计算单元用于对所述舌分割模型单元输出舌体分割的二值化图像进行开操作，消除所述二值化图像的轮廓毛刺以及小于预设尺寸的狭窄的间断；并将进行开操作后的二值化图像输出至所述连通区域计算单元。

进一步的，所述系统还包括闭操作计算单元；

所述闭操作计算单元用于对所述连通区域计算单元输出的最大连通区域图像进行闭操作，消除所述最大连通区域图像中小于预设尺寸的狭窄的间断以及小于预设尺寸的空洞；并将进行闭操作后的最大连通区域图像输出至所述修补计算单元。

进一步的，所述连通区域计算单元用于确认所述二值化图像中每一个像素在以该像素为中心的八个相连像素与该像素是否具有相同的的灰度值；将具有相同灰度值且相连的像素记为一个连通区域；

所述连通区域计算单元根据各个区域内的像素数量判断，获得最大的连通区域。

本发明的有益效果为：本发明的技术方案，给出了一种基于颜色校正与深度卷积神经网络的舌分割方法及系统，所述方法及系统通过对原始图像rgb值的校正，解决舌体照片在因拍摄环境偏色差异导致的色差问题；通过深度卷积神经网络获得舌分割的二值化图像，并根据预设的开操作、连通区域计算、闭操作以及修补操作等，对二值化图像进行进一步优化，起到了去噪、边缘光滑化以及修复舌体残缺部分的效果；提升舌分割的精确性，为提高后续的舌诊诊断效果奠定了坚实地基础。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：

图1为本发明具体实施方式的一种基于颜色校正与深度卷积神经网络的舌分割方法的流程图；

图2为本发明具体实施方式的一种基于颜色校正与深度卷积神经网络的舌分割系统的结构图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

图1为本发明具体实施方式的一种基于颜色校正与深度卷积神经网络的舌分割方法的流程图，如图1所示，所述方法包括：

步骤110，根据预设规则对原始图像进行颜色校正；

本申请所涉及的舌分割方法，是实现舌诊的前置基础，通过输入需要舌诊的患者的舌体照片，对照片中的舌体进行图像识别并单独分割分割出来，更后续客观的对舌体进行分析；

而在实际输入的舌体照片中，因拍摄环境不统一，输入的舌体原始图像明暗度、亮度、对比度等存在较大差异，现有技术主要是通过将原始图像根据预设的方式转换为舌体分割的二值化图像，而同样的原始图像的若明暗度、亮度、对比度等存在较大差异，其输出的二值化图像也会存在差异，部分较差环境下的原始图像无法有效的分割出舌体；

对于舌体的原始图像，均为人从口中伸出舌头拍摄，原始图像的上部存在人脸皮肤的区域，因对于特定区域人群人脸皮肤色差相差不大，对于相似皮肤色差的人群设置人脸皮肤区域的预设常数(如分别设置白种人、黄种人、黑种人等人种对应的预设常数，所述预设常数的设定可根据需求做进一步细分)，所述根据预设规则对原始图像进行颜色校正可进一步包括：

获取原始图像上部人脸皮肤区域的rgb颜色值信息，并确认所述区域的rgb均值；

根据预设常数以及所述区域的rgb均值，计算出整幅图像中每个像素校正后的rgb值；

根据所述每个像素校正后的rgb值调整整幅原始图像的颜色。

进一步的，所述每个像素校正后的rgb值的计算公式为：

其中，r`、g`以及b`为原始图像上部人脸皮肤区域校正后的rgb值，r、g以及b为原始图像当前像素的rgb值，所述以及为原始图像上部人脸皮肤区域的rgb均值；a、b以及c为预设的常数。

本实施例中，对应黄种人，预设常数取值为a＝1.55、b＝1.15、c＝0.95。

步骤120，根据预先训练的舌分割模型对经过颜色校正的原始图像中的舌体进行分割，获得舌体分割的二值化图像；所述舌分割模型根据深度卷积神经网络训练获得；

进一步的，所述预先训练的舌分割模型，是在caffe深度学习框架下，根据训练样本进行fcn深度卷积神经网络训练获得；

所述训练样本通过预先对样本图像进行舌体标注(例如通过多位专家对舌体进行多轮标注获得)获得，所述训练样本中包括舌体像素以及非舌体像素；

进一步的，对于输出的二值化图像，进行开操作，消除所述二值化图像的轮廓毛刺以及小于预设尺寸的狭窄的间断。对于原始图像的初次二值化图像获得，其舌体轮廓边缘存在毛刺等细的突出物，或存在狭窄的间断(如对于牙齿相近的舌体部分的二值化处理时)，通过开操作对这些缺陷进行消除。

本实施例中，通过采用matlab中的函数imopen实现对双数二值化图像的开操作。

步骤130，检测所述舌体分割的二值化图像中的连通区域，并根据预设规则确认最大连通区域，获得最大连通区域图像；

本实施例中，采用8连通的方式检测连通区域；

确认所述二值化图像中每一个像素在以该像素为中心的八个相连像素与该像素是否具有相同的的灰度值；将具有相同灰度值且相连的像素记为一个连通区域；

本实施例中，采用matlab中的函数bwlabel获取连通区域。

根据各个区域内的像素数量判断，获得最大的连通区域；

同样，本实施例中，可通过matlab中的regionprops函数度量图像中各个区域的面积。

所述最大的连通区域，即对应为舌切割对应的图像区域；

进一步的，对所述最大连通区域图像进行闭操作，消除所述最大连通区域图像中小于预设尺寸的狭窄的间断以及小于预设尺寸的空洞。在原始图像的拍摄中，因舌体伸展程度不同，可能存在凹陷点；或因拍摄原因出现曝光点、坏点；通过闭操作消除缺陷。

本实施例中，通过采用matlab中的imclose函数实现闭操作。

步骤140，根据预设规则对所述最大连通区域图像进行修补操作，获得最终舌分割区域；

所述修补操作包括修补最大连通区域中间的孔洞或舌根中间缺失部分；

所述最大连通区域对应为原始图像中的舌体部分，即舌分割的最终区域；故若该最大连通区域中间存储封闭的孔洞，那该孔洞对应的部分也一定是舌体的一部分，可能因为舌体为伸展充分造成的凹陷点或因拍摄原因出现曝光点、坏点，通过修补操作，补充这部分孔洞，以保证舌分割区域的完整性；

而由于患者的伸舌习惯，长城舌根中间部分会凹陷，使得这部分在原始图像上较暗，无法被有效分割；通过对舌体预设形状的设置，自动的补充舌根部分缺失的凹陷，以实现最终舌分割区域的完整性。

步骤150，所述最终舌分割区域对应在颜色校正后的原始图像的区域，即为舌分割结果。

图2为本发明具体实施方式的一种基于颜色校正与深度卷积神经网络的舌分割系统的结构图。如图2所示，所述系统包括：

颜色校正单元210，所述颜色校正单元210用于根据预设规则对原始图像进行颜色校正；

进一步的，所述颜色校正单元210用于获取原始图像上部人脸皮肤区域的rgb颜色值信息，并确认所述区域的rgb均值；

所述颜色校正单元210用于根据预设常数以及所述区域的rgb均值，计算出整幅图像中每个像素校正后的rgb值；根据所述每个像素校正后的rgb值调整整幅原始图像的颜色。

舌分割模型单元220，所述舌分割模型单元220用于根据预先训练的舌分割模型对经过颜色校正单元210校正的原始图像中的舌体进行分割，输出舌体分割的二值化图像；所述舌分割模型根据深度卷积神经网络训练获得；

进一步的，所述舌分割模型单元220预先训练的舌分割模型，是在caffe深度学习框架下，根据训练样本进行fcn深度卷积神经网络训练获得；

所述训练样本通过预先对样本图像进行舌体标注获得，所述训练样本中包括舌体像素以及非舌体像素。

连通区域计算单元230，所述连通区域计算单元230用于检测所述舌分割模型单元220输出的舌体分割的二值化图像中的连通区域，并根据预设规则确认最大连通区域，输出最大连通区域图像；

进一步的，所述连通区域计算单元230用于确认所述二值化图像中每一个像素在以该像素为中心的八个相连像素与该像素是否具有相同的的灰度值；将具有相同灰度值且相连的像素记为一个连通区域；

所述连通区域计算单元230根据各个区域内的像素数量判断，获得最大的连通区域。

修补计算单元240，所述修补计算单元240根据预设规则对所述连通区域计算单元230输出的最大连通区域图像进行修补操作，获得最终舌分割区域；

舌分割输出单元250，所述舌分割输出单元250用于将所述最终舌分割区域对应在颜色校正后的原始图像的区域，输出舌分割结果。

进一步的，所述系统还包括开操作计算单元；

所述开操作计算单元用于对所述舌分割模型单元220输出舌体分割的二值化图像进行开操作，消除所述二值化图像的轮廓毛刺以及小于预设尺寸的狭窄的间断；并将进行开操作后的二值化图像输出至所述连通区域计算单元230。

进一步的，所述系统还包括闭操作计算单元；

所述闭操作计算单元用于对所述连通区域计算单元230输出的最大连通区域图像进行闭操作，消除所述最大连通区域图像中小于预设尺寸的狭窄的间断以及小于预设尺寸的空洞；并将进行闭操作后的最大连通区域图像输出至所述修补计算单元240。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。本说明书中涉及到的步骤编号仅用于区别各步骤，而并不用于限制各步骤之间的时间或逻辑的关系，除非文中有明确的限定，否则各个步骤之间的关系包括各种可能的情况。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。例如，在权利要求书中所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本公开进行说明而不是对本公开进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。

以上所述仅是本公开的具体实施方式，应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开精神的前提下，可以作出若干改进、修改、和变形，这些改进、修改、和变形都应视为落在本申请的保护范围内。