一种基于深度卷积神经网络的舌诊分析方法及系统与流程

本发明涉及医学图像分析领域，更具体地，涉及一种基于深度卷积神经网络的舌诊分析方法及系统。

背景技术：

中医是我们中华民族的瑰宝，是经过数千年很多代人不断完善的智慧结晶。随着时代的发展和社会的进步，以及中医治未病理念的深入人心，中医和现代科技相结合，产生了一系列的现代化成果。除了中药的现代化提取与制作，中医的诊断方法也在向着自动化、数字化的方向发展。正如《古今医统》所说：“望闻问切四字，诚为医之纲领。”即望闻问切组成了中医诊断的四诊。《灵枢·本脏篇》：“视其外应，以知其内脏，则知所病矣。”可知望诊具有非常重要的作用。望诊可以分为面诊和舌诊。《辨舌指南》：“辨舌质可辨脏腑的虚实，视舌苔可察六淫之浅深。”舌为心之苗，脾之外候，苔由胃气所生。脏腑通过经脉与舌相联，脏腑病变，可在舌质和舌苔上反映出来。舌诊主要诊断舌质和舌苔的形态、色泽等，以此判断疾病的性质、病势的浅深、气血的盛衰及脏腑的虚实等。今年，随着图像处理技术的逐步发展，机器学习和深度学习等人工智能技术的不断成熟，深度卷积神经网络开始应用到中医舌诊之中，并产生了多种方法。

而现有的基于深度卷积神经网络的技术因使用诸如图像语义分割算法等算法使得整体应用十分耗时，舌诊分析的时效性差，使得应用于性能较差的舌诊设备时反应卡顿、分析用时长，用户体验差。

技术实现要素：

为了解决背景技术存在的现有的基于深度卷积神经网络的舌诊分析算法十分耗时、分析用时长，用户体验差的问题，本发明提供了一种基于深度卷积神经网络的舌诊分析方法及系统；所述方法及系统通过使用预先处理环节减少算法耗时，通过使用轻量级深度卷积神经网络提升算法性能，所述一种基于深度卷积神经网络的舌诊分析方法包括：

获取原始图像，并根据预设的感兴趣区域对原始图像进行剪裁，获得roi图像；

根据舌部检测模型，判断所述roi图像中是否包含舌部；

根据舌部定位模型，对舌部进行定位，获得定位后的舌部区域图像；

根据舌部分析模型，对舌部区域图像中的舌部情况进行分析，并输出舌部分析结果；

所述舌部检测模型、舌部定位模型以及舌部分析模型通过轻量级深度卷积神经网络预先训练获得；

进一步的，在根据预设的感兴趣区域对原始图像进行剪裁，获得roi图像前，所述方法还包括：

对所述原始图像进行预处理；所述预处理的方式包括白平衡调整；

所述白平衡调整方式包括根据预设白平衡参数进行固定调节以及根据预设规则进行自动白平衡调节。

进一步的，所述预设的感兴趣区域设置为所述原始图像画面中间的固定尺寸区域。

进一步的，所述对舌部进行定位根据轻量级深度卷积神经网络基础上的ssd网络框架实现；

通过限制所述ssd网络框架的定位目标尺寸，进行定位目标计算；

所述定位目标计算仅计算所述ssd网络框架的四个候选区域个数较小的目标定位层；所述候选区域个数较小的目标定位层包括conv8_2、conv9_2、conv10_2以及conv11_2。

进一步的，所述舌部分析模型为多个，对应多个舌部特征；所述多个舌部特征包括齿痕、点刺、腐腻、厚薄、裂纹、胖瘦、舌边尖红、舌色以及苔色；

所述多个舌部分析模型在caffe深度学习框架下通过squeezenet深度卷积神经网络训练获得；

根据舌部情况分析需求，通过opencv的dnn模块进行所述多个舌部分析模型的调用。

进一步的，所述舌部检测模型、舌部定位模型以及舌部分析模型在caffe深度学习框架下通过迁移学习的方式，在设置的squeezenet预训练模型中训练获得；

所述舌部检测模型以及舌部定位模型的训练样本为预先采集的多个包含舌部的roi图像；所述舌部分析模型的训练样本为预先标注的多个舌部区域图像。

所述一种基于深度卷积神经网络的舌诊分析系统包括：

roi图像获取单元，所述roi图像获取单元用于获取原始图像，并根据预设的感兴趣区域对原始图像进行剪裁，获得roi图像；

舌部检测单元，所述舌部检测单元用于接收所述roi图像获取单元的roi图像，并根据舌部检测模型判断所述roi图像中是否包含舌部；

舌部定位单元，所述舌部定位单元用于根据舌部定位模型，对舌部进行定位，获得定位后的舌部区域图像；

舌部分析单元，所述舌部分析单元用于根据舌部分析模型，对舌部区域图像中的舌部情况进行分析，并输出舌部分析结果；

模型训练单元，所述模型训练单元用于通过轻量级深度卷积神经网络预先训练获得所述舌部检测模型、舌部定位模型以及舌部分析模型。

进一步的，所述系统还包括预处理单元，所述预处理单元用于对所述原始图像进行预处理；所述预处理的方式包括白平衡调整；

所述白平衡调整方式包括根据预设白平衡参数进行固定调节以及根据预设规则进行自动白平衡调节。

进一步的，所述roi图像获取单元剪裁的预设的感兴趣区域设置为所述原始图像画面中间的固定尺寸区域。

进一步的，所述舌部定位单元用于根据轻量级深度卷积神经网络基础上的ssd网络框架对舌部进行定位；

所述舌部定位单元用于通过限制所述ssd网络框架的定位目标尺寸，进行定位目标计算；

所述定位目标计算仅计算所述ssd网络框架的四个候选区域个数较小的目标定位层；所述候选区域个数较小的目标定位层包括conv8_2、conv9_2、conv10_2以及conv11_2。

进一步的，所述舌部分析模型为多个，对应多个舌部特征；所述多个舌部特征包括齿痕、点刺、腐腻、厚薄、裂纹、胖瘦、舌边尖红、舌色以及苔色；

所述多个舌部分析模型在caffe深度学习框架下通过squeezenet深度卷积神经网络训练获得；

所述舌部分析单元根据舌部情况分析需求，通过opencv的dnn模块进行所述多个舌部分析模型的调用。

进一步的，所述模型训练单元用于在caffe深度学习框架下通过迁移学习的方式，在设置的squeezenet预训练模型中训练获得；

所述舌部检测模型以及舌部定位模型的训练样本为预先采集的多个包含舌部的roi图像；所述舌部分析模型的训练样本为预先标注的多个舌部区域图像。

本发明的有益效果为：本发明的技术方案，给出了一种基于深度卷积神经网络的舌诊分析方法及系统；所述方法及系统通过使用预先处理环节减少算法耗时，并通过使用迁移学习保证舌部定位以及分类的效果，使用轻量级深度卷积神经网络提升算法性能，所述方法通过减少舌部定位中ssd定位目标的尺寸进一步提升计算效率，并通过预设的模型调用方法提高舌部分析的效率；所述方法及系统通过多个角度提升舌诊分析的效果和性能，使在性能较差的舌诊设备中仍然可以有效使用，提升了舌诊分析的时效性。

附图说明

通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：

图1为本发明具体实施方式的一种基于深度卷积神经网络的舌诊分析方法的流程图；

图2为本发明具体实施方式的一种基于深度卷积神经网络的舌诊分析系统的结构图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

图1为本发明具体实施方式的一种基于深度卷积神经网络的舌诊分析方法的流程图；如图1所示，所述方法包括：

步骤110，获取原始图像，并根据预设的感兴趣区域对原始图像进行剪裁，获得roi图像；

所述原始图像，是患者面向摄像头将舌部伸出拍摄的照片，患者的舌部会显示在图像画面中间区域；

所述预设的感兴趣区域设置为所述原始图像画面中间的固定尺寸区域。通过设置固定的尺寸区域以及对患者拍摄照片的要求，使舌部显示在所述预设区域内，即roi图像；

在患者拍摄舌部照片时，要求患者尽量拍摄仅显示舌部的照片不仅不易实现、拍摄不便，且可能会因拍摄角度，头部挡光等情况带来其他影响因素；故通过设置固定尺寸的区域，对原始图像进行固定尺寸区域的剪裁，不仅可以有效的获得内含舌部的图像，简单的剪裁处理也不会带来额外的计算负担；本实施例中，所述剪裁可以使用opencv中的函数对所述固定区域进行剪裁。

进一步的，因使用场景的不同，所述图像拍摄时的环境是不同的，图像的明暗程度存在差异，故在获取原始图像后，对所述原始图像进行预处理；所述预处理的方式包括白平衡调整；

所述白平衡调整方式包括根据预设白平衡参数进行固定调节以及根据预设规则进行自动白平衡调节。

通过预处理，消除因使用环境不同导致的处理差异。

步骤120，根据舌部检测模型，判断所述roi图像中是否包含舌部；

所述舌部检测模型通过深度积神经网络squeezenet建立并预先训练，对所述roi图像进行分类，判断所述roi图像中是否包含舌体；如不包含则提示重新提供原始图像；

所述舌部检测模型在caffe深度学习框架下通过迁移学习的方式，在设置的squeezenet预训练模型中训练获得；

所述舌部检测模型训练样本为预先采集的多个包含舌部的roi图像；

步骤130，根据舌部定位模型，对舌部进行定位，获得定位后的舌部区域图像；

所述对舌部进行定位根据轻量级深度卷积神经网络基础上的ssd网络框架实现；通过ssd网络架构找出舌部的具体位置，并确定左上角坐标和宽、高；进而剪切获得精确的舌部区域图像。

为了提高算法性能，通过限制所述ssd网络框架的定位目标尺寸，进行定位目标计算；

所述定位目标计算仅计算所述ssd网络框架的四个候选区域个数较小的目标定位层；所述候选区域个数较小的目标定位层包括conv8_2、conv9_2、conv10_2以及conv11_2。

上述conv8_2、conv9_2、conv10_2以及conv11_2四个目标定位层中的featuremap对应的目标区域数量依次是6、6、4以及4；故最终所需计算的目标区域数量为790个(10*10*6+5*5*6+3*3*4+1*1*4)；原小于传统的使用ssd网络构架的候选目标区域个数(8732个)；故通过减少计算的目标定位层，可有效的减少计算耗时。

进一步的，所述舌部定位模型是caffe深度学习框架下通过迁移学习的方式，在设置的squeezenet预训练模型中训练获得；

所述舌部定位模型的训练样本为预先采集的多个包含舌部的roi图像。

步骤140，根据舌部分析模型，对舌部区域图像中的舌部情况进行分析，并输出舌部分析结果；

所述舌部分析模型为多个，对应多个舌部特征；所述多个舌部特征包括齿痕、点刺、腐腻、厚薄、裂纹、胖瘦、舌边尖红、舌色以及苔色；

其中齿痕、点刺、厚薄、裂纹和舌边尖红均是二分类，腐腻包含腐、腻、非腐腻三类，胖瘦包含胖、瘦、胖瘦适中三类，舌色包含淡白、淡红、淡紫、红、暗红和绛色等子类，苔色包含白、黄、黄白相兼和灰黑等子类。

所述多个舌部分析模型在caffe深度学习框架下通过squeezenet深度卷积神经网络训练获得；所述舌部分析模型的训练样本为预先标注的多个舌部区域图像。

进一步的，根据舌部情况分析需求，通过opencv的dnn模块进行所述多个舌部分析模型的调用；通过该调用方法，要快于直接使用caffe调用深度学习卷积神经网络模型；进一步提高算法性能。

所述一种基于深度卷积神经网络的舌诊分析系统包括：

roi图像获取单元，所述roi图像获取单元用于获取原始图像，并根据预设的感兴趣区域对原始图像进行剪裁，获得roi图像；

舌部检测单元，所述舌部检测单元用于接收所述roi图像获取单元的roi图像，并根据舌部检测模型判断所述roi图像中是否包含舌部；

进一步的，所述roi图像获取单元剪裁的预设的感兴趣区域设置为所述原始图像画面中间的固定尺寸区域。

舌部定位单元，所述舌部定位单元用于根据舌部定位模型，对舌部进行定位，获得定位后的舌部区域图像；

进一步的，所述舌部定位单元用于根据轻量级深度卷积神经网络基础上的ssd网络框架对舌部进行定位；

所述舌部定位单元用于通过限制所述ssd网络框架的定位目标尺寸，进行定位目标计算；

所述定位目标计算仅计算所述ssd网络框架的四个候选区域个数较小的目标定位层；所述候选区域个数较小的目标定位层包括conv8_2、conv9_2、conv10_2以及conv11_2。

舌部分析单元，所述舌部分析单元用于根据舌部分析模型，对舌部区域图像中的舌部情况进行分析，并输出舌部分析结果；

进一步的，所述舌部分析模型为多个，对应多个舌部特征；所述多个舌部特征包括齿痕、点刺、腐腻、厚薄、裂纹、胖瘦、舌边尖红、舌色以及苔色；

所述多个舌部分析模型在caffe深度学习框架下通过squeezenet深度卷积神经网络训练获得；

所述舌部分析单元根据舌部情况分析需求，通过opencv的dnn模块进行所述多个舌部分析模型的调用。

模型训练单元，所述模型训练单元用于通过轻量级深度卷积神经网络预先训练获得所述舌部检测模型、舌部定位模型以及舌部分析模型。

进一步的，所述模型训练单元用于在caffe深度学习框架下通过迁移学习的方式，在设置的squeezenet预训练模型中训练获得；

所述舌部检测模型以及舌部定位模型的训练样本为预先采集的多个包含舌部的roi图像；所述舌部分析模型的训练样本为预先标注的多个舌部区域图像。

进一步的，所述系统还包括预处理单元，所述预处理单元用于对所述原始图像进行预处理；所述预处理的方式包括白平衡调整；

所述白平衡调整方式包括根据预设白平衡参数进行固定调节以及根据预设规则进行自动白平衡调节。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。本说明书中涉及到的步骤编号仅用于区别各步骤，而并不用于限制各步骤之间的时间或逻辑的关系，除非文中有明确的限定，否则各个步骤之间的关系包括各种可能的情况。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。例如，在权利要求书中所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本公开进行说明而不是对本公开进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。

以上所述仅是本公开的具体实施方式，应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开精神的前提下，可以作出若干改进、修改、和变形，这些改进、修改、和变形都应视为落在本申请的保护范围内。