一种基于人工智能的舌像检测与识别方法与流程

本发明尤其涉及一种基于人工智能的舌像检测与识别方法。

背景技术：

中医诊断步骤包括望、闻、问、切四个方面，其中望诊的主要方式是通过舌诊来诊断患者的疾病。舌诊就是中医医生通过观察舌像相关信息并结合自身经验做出的诊断，这样容易受到医生的主观意识的影响。而本发明则是通过对采集舌像图像数据相关信息进行标准化，借助人工智能技术进行检测与识别，有助于中医医生快速进行舌诊并作出准确诊断。

舌像检测与识别是舌诊步骤的一个重要环节，采用计算机辅助检测舌诊舌像具有实际应用价值。深圳市易特科信息技术有限公司专利CN106510636A提出了一种中医舌像自动检测系统及方法，通过自动控制舌像采集设备获取舌像检测结果并实现对舌体的各种属性进行分析与识别。福建北极光虚拟视觉展示科技有限公司专利CN106557746A提出一种基于图像识别技术的舌像检测方法及系统，通过采集舌像数据、处理、与舌像图像数据库对比分析获取舌像检测结果。综上所述，现有的舌像检测方法较为复杂、流程繁琐，存在如下缺点1：舌像采集需要在专门的舌像采集设备进行，采集方式单一，不具备大规模于采集舌像，应用范围狭小。缺点2：上述舌像检测方法较为复杂、流程繁琐，检测过程的耗费时间过长。缺点3：采集的舌像图像中人脸其他部分占据绝大部分，舌体位置占据位置较小，正确检测出舌体相对困难。

技术实现要素：

本发明的目的在于提供一种基于人工智能的舌像检测与识别方法，用于解决舌像采集过程中舌像舌体的实时检测拍摄、保存、上传，同时识别舌像舌色、舌形、苔质、苔色，便于中医医生进行舌诊并综合其他三诊（问诊、闻诊、切诊）快速做出诊断。

本发明采用的技术方案是：

一种基于人工智能的舌像检测与识别方法，包括两个部分，一部分是舌像舌体实时检测部分，另一部分是舌像舌色、舌形、苔质、苔色识别部分；

舌像舌体实时检测部分：

步骤1-1：准备前期舌像数据并处理，用于实时检测网络的训练；

步骤1-2：将舌像数据输入到实时检测网络中进行微调训练，得到舌像舌体实时检测网络模型；

步骤1-3：打开舌像采集装置调用舌像舌体实时检测模型进行实时检测用户的舌像舌体位置并框出；

步骤1-4：通过手动或自动拍摄舌像，得到只含舌体部分的舌像并进行保存、上传至后台数据库；

另一部分是舌像识别部分，具体步骤如下：

步骤2-1:前期准备只含舌体舌像数据集并进行处理，用于InceptionV3网络的分类任务训练；

步骤2-2：将处理完的舌像数据集输入到InceptionV3网络进行多标签分类模型的训练，得到具有多个分类的舌像识别模型；

步骤2-3：将只含舌体舌像输入到舌像识别模块中，调用各个分类的识别模型进行预测，得到该舌像的各项结果；

步骤2-4：将预测得到识别结果输出并展示。

进一步的，步骤1-2中舌像采集装置包括手机、平板摄像头或专业的舌像采集装置。

进一步的，步骤2-2中多标签分类包括舌色、舌形、苔质、苔色标签。

进一步的，其中舌色包括淡红、淡白、暗红、绛青、紫、瘀斑/瘀点，舌形包括胖、瘦、齿痕、点刺、裂纹，苔质包括厚、薄、燥、滑、腻、腐、少苔、无苔、剥脱，苔色包括苔白、苔黄、苔灰、苔黑。

本发明采用以上技术方案，舌像采集方式采用手机、平板摄像头或专门的舌像采集装置，解决了采集方式单一、不能大规模采集舌像的限制，为采集舌像图像提供便利；实时自动检测舌像舌体位置，并可实现手动或自动拍摄、保存、上传，解决传统采集的舌像图像中人脸其他部分占据绝大部分，舌体位置占据位置较小，正确检测出舌体相对困难的问题。自动识别舌像舌色、舌形、苔质、苔质的各个属性，有助于中医医生进行舌诊诊断。本发明的检测与识别过程无需复杂的人机交互过程，对舌像数据的分析与计算快速，结果精准。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明；

图1为本发明一种基于人工智能的舌像检测与识别方法的流程示意图；

图2为本发明的舌像舌体实时检测流程示意图；

图3为本发明的舌像舌色、舌形、苔质、苔色识别流程示意图。

具体实施方式

本发明公开了一种基于人工智能的舌像检测与识别方法，用于解决舌像采集过程中舌像舌体的实时检测拍摄、保存、上传，同时识别舌像舌色、舌形、苔质、苔色，便于中医医生进行舌诊并综合其他三诊（问诊、闻诊、切诊）快速做出诊断。

本发明的主要关键技术包括两部分，一部分是舌像舌体实时检测模块，另一部分是舌像舌色、舌形、苔质、苔色识别模块。以下，介绍基于人工智能的舌像检测与识别技术详细实现过程。

如图1-3之一所示，本发明提出了基于人工智能的舌像检测技术。首先是打开手机、平板摄像头或专门的舌像采集设备，然后启动自动舌像检测与识别系统，进行自动检测与识别，最后输出检测与识别结果。自动舌像检测与识别系统主要由舌像舌体实时检测模块和舌像舌色、舌形、苔质、苔色识别模块构成。用户通过摄像头或采集装置进行舌像采集时，首先进行进入舌像舌体实时检测模块，舌像舌体位置进行实时检测框出，然后进行手动或自动拍摄得到仅含舌体部分的舌像、保存、上传。然后，将保存、上传的舌像数据输入到舌像识别模块中，对该舌像数据进行舌色、舌形、苔质、苔色的自动识别，最后输出检测与识别结果。

图2为舌像舌体实时检测的流程，具体步骤如下。

步骤1：准备前期舌像数据并处理，用于实时检测网络的训练。

步骤2：将舌像数据输入到实时检测网络中进行微调训练，得到舌像舌体实时检测网络模型。

步骤3：打开手机、平板摄像头或专业的舌像采集装置进入舌像舌体实时检测模块，调用舌像舌体实时检测模型进行实时检测用户的舌像舌体位置并框出。

步骤4：通过手动或自动拍摄舌像，得到只含舌体部分的舌像并进行保存、上传。

步骤5：将保存、上传只含舌体的舌像输入到舌像识别模块进行舌色、舌形、苔质、苔色的识别。同时，输出只含舌体舌像结果。

具体地，本发明能够实时检测采集用户舌像舌体位置，舌像采集方式简便多样，能够实现手动或自动拍摄舌像，克服了现有技术中针对舌像检测实时性问题，从采集舌像开始便能够实时检测出舌像舌体位置。同时，目前采集舌像方式一般都是采用专业的舌像采集装置，具有局限性。本发明提出的检测与识别技术可使用手机、平板摄像头或专业舌像采集装置进行采集舌像，使得采集方式更为多样简便。此外，舌像检测模块还能实现自动或者手动进行拍摄，这样采集用户即可自行采集无需多人协作采集。

如图3所示，舌像舌色、舌形、苔质、苔色识别的具体步骤如下。

步骤1:前期准备只含舌体舌像数据集并进行处理，用于InceptionV3网络的分类任务训练。

步骤2：将处理完的舌像数据集输入到InceptionV3网络分别进行舌色、舌形、苔质、苔色多标签分类模型的训练，得到舌像舌色、舌形、苔质、苔色识别模型。其中舌色包括淡红、淡白、暗红、绛青、紫、瘀斑/瘀点，舌形包括胖、瘦、齿痕、点刺、裂纹，苔质包括厚、薄、燥、滑、腻、腐、少苔、无苔、剥脱，苔色包括苔白、苔黄、苔灰、苔黑。

步骤3：将舌像舌体实时检测模块得到的只含舌体舌像输入到舌像识别模块中，调用舌像舌色、舌形、苔质、苔色的识别模型进行预测，得到该舌像的舌色、舌形、苔质、苔色的各项结果。

步骤4：将预测得到识别结果输出并展示。

具体的，利用只含舌体的舌像直接进行训练识别模型并预测识别的，无需另外进行舌像颜色校正等预处理步骤。同时针对舌形、舌色、苔质、苔色四个属性分别进行了4个多标签的识别模型训练，这样可以针对每个舌像属性都有一个准确的判断，识别精度更高。同时，本发明的舌像识别模块针对舌像舌形（包括胖、瘦、齿痕、点刺、裂纹）、舌色（包括淡红、淡白、暗红、绛青、紫、瘀斑/瘀点）、苔质（包括厚、薄、燥、滑、腻、腐、少苔、无苔、剥脱）、苔色（包括苔白、苔黄、苔灰、苔黑）这4个属性识别的范围更广，克服现有技术只能针对部分舌像属性或者单一舌像属性的识别问题，得到一个更为优异的检测与识别结果。

本发明采用以上技术方案，舌像采集方式采用手机、平板摄像头或专门的舌像采集装置，解决了采集方式单一、不能大规模采集舌像的限制，为采集舌像图像提供便利；实时自动检测舌像舌体位置，并可实现手动或自动拍摄、保存、上传，解决传统采集的舌像图像中人脸其他部分占据绝大部分，舌体位置占据位置较小，正确检测出舌体相对困难的问题。自动识别舌像舌色、舌形、苔质、苔质的各个属性，有助于中医医生进行舌诊诊断。本发明的检测与识别过程无需复杂的人机交互过程，对舌像数据的分析与计算快速，结果精准。