基于舌苔舌质图像的诊断系统

本申请涉及中医舌诊、移动互联网、图像处理、神经网络学习等技术在精准诊疗领域的应用，尤其涉及一种基于舌苔舌质图像的诊断系统。

背景技术：

随着社会的不断发展，科技的不断进步，人们对疾病的治疗和健康的保障越来越重视。人们已经从以往简单的疾病治愈，提高到精准治愈的层次。对于疾病的预防和精准治疗也提出了更多的要求，传统医疗的手段面临更大的挑战。

中医是中华民族的瑰宝，望、闻、问、切是中医诊断的四诊，其中“望”是重要的内容，通过对人进行面诊和舌诊来了解人体生理和病理状态，是中医辨证诊治的重要依据之一。传统的舌诊主要通过医生查看病人的舌头的形态、色泽来判断疾病的种类和严重程度，传统中医诊疗依赖医生的经验，面对大量不确定的主观信息，很难精准的给予对症的治疗。

随着图像处理技术、深度学习等人工智能技术的不断成熟，越来越多的计算机技术与医疗领域结合起来，特别是在舌诊方面，产生了多种方法。现有的舌象分析系统仅能采集舌象，而不能将舌象异常的情况与疾病相关联而做出诊断。

我国医疗资源短缺，供给严重不足，导致很多人不能及时就医而延误病情。随着人工智能ai在医疗产业的广泛应用，除了提高医生工作效率，降低医疗成本外，更是提升了医疗资源的供给。ai的图像算法和自然语言处理技术正在不断满足医疗行业的需求，使人们做到科学有效的日常监测预防，更好的管理自身健康，实现精准医疗。

cn106295139b公开了一种基于深度卷积神经网络的舌体自诊健康云服务系统，该系统主要包括用于深度学习和训练识别的卷积神经网络、基于全卷积神经网络的舌体分割方法的舌体分割模块、基于卷积神经网络对分割后的舌体图像进行分类的舌象分类模块和用于根据所识别的舌象类型进行舌体自诊健康云服务平台。该系统适用于由使用者进行舌体自诊,而无法为医生做出诊疗意见提供参考。

技术实现要素：

基于此，本申请提供了一种基于舌苔舌质图像的诊断系统，所述诊断系统包括：终端交互系统，以及云端处理系统，其通过有线连接或无线连接的方式连接至终端交互系统。

终端交互系统包括：用于采集图像的图像采集模块、用于将采集到的图像进行色彩平衡校正的图像校正模块、用于识别校正后的图像中的脸部位置的脸部识别模块、用于将识别后的脸部图像中的口部和舌部图像传输至云端处理系统的图像传输模块以及用于显示由云端处理系统传输来的诊断结果的图像显示模块。

云端处理系统包括用于对口部和舌部图像进行分类的图像分类模块、用于保留由图像分类模块分类后的口部和舌部图像中的口部和舌部的相关像素并且去除无关像素干扰的图像处理模块、用于向图像分类模块提供和从图像分类模块接收训练和学习数据的反馈识别模块、用于根据反馈识别模块接收到的训练结果为医生做出诊疗意见提供参考的诊断模块以及用于存储只保留有口部和舌部的相关像素的口部和舌部图像的数据库。

其中，图像分类模块利用卷积神经网络对口部和舌部图像进行分类。

卷积神经网络包括：用于提取口部和舌部图像的特征的多个卷积层、用于降采样和避免过拟合的多个池化层以及用于输出结果的全连接层。

卷积神经网络的层数大于或等于六层，其中交替布置有卷积层和池化层，并且以全连接层代替最后一个池化层。

图像处理模块利用全卷积网络、u-net、v-net以及u-net变体模型中的至少一种，通过重复卷积、池化、反池化、转置卷积的过程以将口部和舌部图像中的所有像素进行分类并且只保留口部和舌部的相关像素，从而去除无关像素的干扰。

根据可选的实施方式，终端交互系统包括微信小程序，其中，微信小程序能够利用图像采集模块调用移动设备的摄像头以采集图像，微信小程序还能够利用图像校正模块使用灰度世界算法、完美反射算法、动态阈值算法中的至少一者对采集到的图像进行色彩平衡校正，微信小程序还能够利用脸部识别模块通过人脸识别接口以识别图像中的人脸位置，以供图像传输模块从图像中截取口部和舌部图像传输到云端处理系统。

根据可选的实施方式，卷积神经网络能够以多个训练样本进行训练以获得舌部定位模型、舌质颜色分类模型和舌苔颜色分类模型。

根据可选的实施方式，图像采集模块能够采集包含口部和舌部图像的面部图像。

根据可选的实施方式，终端交互系统能够在图像采集模块采集图像的同时收集由使用者填写的个人多因素信息并且将其传输到云端处理系统。

根据可选的实施方式，终端交互系统包括用于收集使用者的血液样本、舌象信息和舌苔样本的采样模块，以通过医学检验并结合流行病学数据，对使用者进行个性化分层诊断。

根据可选的实施方式，卷积神经网络能够根据口部和舌部图像的特征而采用googlenet、resnet、fractalnet和densenet中的至少一者。

根据可选的实施方式，舌象信息根据中医舌诊方法进行分类，中医舌诊方法包括：将舌象信息中的舌象分类为舌质和舌苔、将所述舌质分类为为舌色和舌型、以及将舌苔分类为苔色和苔质，其中舌色能够进一步分类为淡红舌、淡白舌、红舌、绛红舌，舌型能够进一步分类为胖大、瘦薄、齿痕，苔色能够进一步分类为白苔、黄苔、黑苔，苔质能够进一步分类为薄、润、燥、腐腻、剥脱，以及中医舌诊方法还包括对舌色、舌型、苔色和苔质进行综合处理和分析以获得相应的结论。

根据可选的实施方式，诊断模块能够通过医生对使用者进行健康指导，健康指导包括以下步骤：使用者在空腹状态或者用水漱口以后避免食物和药物沾染舌苔、利用终端交互系统获得舌体图像、启动终端交互系统中的微信小程序并且填写使用者的个人信息以传输到云端处理系统、使用者将舌体自然伸出口外并且放松舌体以使得舌面平展并且舌尖略向下从而充分暴露舌体、利用终端交互系统中的图像采集模块获得舌体的图像并且借助于终端交互系统中的图像传输模块自动将图像传输到云端处理系统、以及将使用者的医学检验结果传输到云端处理系统，云端处理系统能够对于所传输的使用者的舌体图像进行分割和分类处理，随后根据使用者的个人信息和医学检验结果、借助于卷积神经网络的判断为诊断提供参考并且将诊断结果反馈给使用者。

根据可选的实施方式，所述诊断系统适于诊断包括高血压在内的能够通过苔象诊断的疾病。

通过本申请的诊断系统，所述卷积神经网络以经过分类的口部和舌部图像进行训练，并且其训练结果能够为医生做出诊疗意见提供参考。

附图说明

本申请的前述和其它方面将通过下面参照附图所做的详细介绍而被更完整地理解和了解，在附图中：

图1是本申请的基于舌苔舌质图像的诊断系统的框图；

图2是图1的诊断系统的卷积神经网络的示意图；

图3是获取使用者的个人信息的流程图；以及

图4是本申请的基于舌苔舌质图像的诊断系统的工作流程图。

具体实施方式

图1是本申请的基于舌苔舌质图像的诊断系统的框图。

基于舌苔舌质图像的诊断系统包括：终端交互系统1和云端处理系统2。云端处理系统2通过有线连接或无线连接的方式连接至终端交互系统1。

终端交互系统1包括：用于采集图像的图像采集模块11、用于将采集到的图像进行色彩平衡校正的图像校正模块12、用于识别校正后的图像中的脸部位置的脸部识别模块13、用于将识别后的脸部图像中的口部和舌部图像传输至云端处理系统2的图像传输模块14以及用于显示由云端处理系统2传输来的诊断结果的图像显示模块15。

云端处理系统2包括用于对口部和舌部图像进行分类的图像分类模块21、用于保留由图像分类模块21分类后的口部和舌部图像中的口部和舌部的相关像素并且去除无关像素干扰的图像处理模块22、用于向图像分类模块21提供和从图像分类模块21接收训练和学习数据的反馈识别模块23、用于根据反馈识别模块23接收到的训练结果为医生做出诊疗意见提供参考的诊断模块24以及用于存储只保留有口部和舌部的相关像素的口部和舌部图像的数据库25。

图像分类模块21利用卷积神经网络26对口部和舌部图像进行分类。

卷积神经网络26包括：用于提取口部和舌部图像的特征的多个卷积层261、用于降采样和避免过拟合的多个池化层262以及用于输出结果的全连接层263。

终端交互系统1包括微信小程序。微信小程序能够利用图像采集模块11调用移动设备的摄像头以采集图像。微信小程序还能够利用图像校正模块12使用灰度世界算法、完美反射算法、动态阈值算法中的至少一者对采集到的图像进行色彩平衡校正。微信小程序还能够利用脸部识别模块13通过人脸识别接口以识别图像中的人脸位置，以供图像传输模块14从图像中截取口部和舌部图像传输到云端处理系统2。

图像采集模块11能够采集包含口部和舌部图像的面部图像。

终端交互系统1能够在图像采集模块11采集图像的同时收集由使用者填写的个人多因素信息并且将其传输到云端处理系统2。

终端交互系统1包括用于收集使用者的血液样本、舌象信息和舌苔样本的采样模块16，以通过医学检验并结合流行病学数据，对使用者进行个性化分层诊断。

图2是图1的诊断系统的卷积神经网络的示意图。卷积神经网络26能够以多个训练样本进行训练以获得舌部定位模型、舌质颜色分类模型和舌苔颜色分类模型。

卷积神经网络26能够根据口部和舌部图像的特征而采用googlenet、resnet、fractalnet和densenet中的至少一者。

卷积神经网络26的层数大于或等于六层，其中交替布置有卷积层261和池化层262，并且以全连接层263代替最后一个池化层262。

图像处理模块22利用全卷积网络、u-net、v-net以及u-net变体模型中的至少一种，通过重复卷积、池化、反池化、转置卷积的过程以将口部和舌部图像中的所有像素进行分类并且只保留口部和舌部的相关像素，从而去除无关像素的干扰。

舌象信息根据中医舌诊方法进行分类，

中医舌诊方法包括：将舌象信息中的舌象分类为舌质和舌苔、将所述舌质分类为为舌色和舌型、以及将舌苔分类为苔色和苔质，其中舌色能够进一步分类为淡红舌、淡白舌、红舌、绛红舌，舌型能够进一步分类为胖大、瘦薄、齿痕，苔色能够进一步分类为白苔、黄苔、黑苔，苔质能够进一步分类为薄、润、燥、腐腻、剥脱，以及中医舌诊方法还包括对舌色、舌型、苔色和苔质进行综合处理和分析以获得相应的结论。

图3是获取使用者的个人信息的流程图。诊断模块24能够通过医生对使用者进行健康指导，健康指导包括以下步骤：使用者在空腹状态或者用水漱口以后避免食物和药物沾染舌苔、利用终端交互系统1获得舌体图像、启动终端交互系统1中的微信小程序并且填写使用者的个人信息以传输到云端处理系统2、使用者将舌体自然伸出口外并且放松舌体以使得舌面平展并且舌尖略向下从而充分暴露舌体、利用终端交互系统1中的图像采集模块11获得舌体的图像并且借助于终端交互系统1中的图像传输模块14自动将图像传输到云端处理系统2、以及将使用者的医学检验结果传输到云端处理系统2，云端处理系统2能够对于所传输的使用者的舌体图像进行分割和分类处理，随后根据使用者的个人信息和医学检验结果、借助于卷积神经网络26的判断为诊断提供参考并且将诊断结果反馈给使用者。

图4是本申请的基于舌苔舌质图像的诊断系统的工作流程图。图像采集模块11采集的舌体图像数据是诊断系统的关键。需要由资深中医对收集到的舌体图像数据进行甄别，包括对拍摄的舌象图片的舌质颜色、舌苔厚薄、多寡、舌尖红及淤点进行辨识和分类。具体做法是，由资深临床诊断经验的中医负责，通过反馈识别模块23给出的口、舌部图像，判断舌质与舌苔的状态，并在反馈识别模块23中进行标记。在对每位采集舌象的使用者进行对应疾病医学检测分析后，结合问诊录入信息，获得较为科学和准确的舌象特征分类依据和诊断结果。反馈识别模块23向图像分类模块21提供训练和学习数据，以供图像分类模块21的卷积神经网络26训练和学习。

本申请将经过专家辨舌和医学检测诊断后的舌象图片做标签，然后将这些带有标签的舌象图片让卷积神经网络26学习，自动提取出带有标签的舌象特征。舌象分类包括舌质和舌苔，其中舌质包括舌色和舌型，舌苔包括苔色和苔质。

实验研究表明，训练数据集越大分类越精准。因此，做好有标签的舌体图像数据集是卷积神经网络26学习的关键。

舌体数据集的准备方法是：采集已经确诊为高血压病的使用者舌体图像，结合高血压流行病学数据库和血、尿生物样本库，将舌体图像分类判断与高血压疾病的关联性。

以上所述仅为本申请的较佳实施例，并不用于限制本申请，凡在本申请精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的包含范围之内。