一种基于人脸区域分割的中医面诊系统及面诊方法与流程

本发明涉及中医诊断数字化、医学红外热像技术、计算机医学图像处理技术领域，具体涉及一种基于人脸区域分割的中医面诊系统。

背景技术：

中医面诊是中医诊断中经常使用的诊断方法，中医认为面部能够比较全面地反映身体的健康情况，面部又可以分为若干个部分，与脏腑属于分属关系，每个反射区均能够不同程度地反映身体整体状况。传统的面诊主要是医生直接目测诊察，结果与医生的临床经验有着密切的关系，主观依赖性强，同时容易受到光照条件等外界环境干扰因素的影响，缺乏一定的客观量化标准。这些可能出现的误差严重影响中医面诊的规范性与客观性，因此迫切地需要一种新的方法，实现中医面诊的自动化与客观化，促进中医面诊的应用和进一步发展。

随着计算机技术的不断发展，医学图像处理、模式识别、人工智能等技术已经应用到中医面诊数字化之中，实现了中医面诊的标准化与客观化，并取得了一定的成果。所谓“相由心生”，内在五脏六腑的病理变化或是心理变化，终会表现在脸上的相关区域，所以面部望诊最能洞察病机、掌握病情。通过查阅大量的资料，目前的中医面诊系统主要是通过对面部颜色、光泽、润燥和口唇等进行定性的特征分析，虽然已经取得了一定的成果，但是缺乏诊断针对性，同时在电磁频谱中，自然可见光的范围极其窄，严重影响面诊结果的准确性，限制了中医面诊数字化的发展。

技术实现要素：

本发明为了克服现有技术中存在的上述缺陷，提供了一种基于人脸区域分割的中医面诊系统及面诊方法。

为解决上述问题，本发明提出的基于人脸区域分割的中医面诊系统，包括：图像采集模块、图像处理分析模块、检索匹配模块以及面诊系统主界面四大模块，其中图像处理分析模块由人脸检测分割子模块、关键点定位与子区域分割子模块、特征提取子模块和面部红外热像分析子模块组成；所述图像采集模块与所述图像处理分析模块通过计算机无线网络相连，所述图像处理分析模块与所述检索匹配模块通信相连，所述检索匹配模块与所述面诊系统主界面通信相连；

所述图像采集模块通过面诊采集装置在标准光源环境照明条件下直接获取受诊者的自然光面诊图像，同时通过面诊采集装置的红外模式功能获取面部红外热像，并将采集的自然光面诊图像和面部红外热像传输到所述图像处理分析模块以及面诊系统主界面；

所述人脸检测分割子模块采用基于haar特征的adaboost算法对所述图像处理分析模块接收的面诊图像进行人脸检测，该算法具有检测速度快，检测准确率高的特点；

所述关键点定位与子区域分割子模块对位于人眼、嘴巴、鼻子和眉毛四个关键部位的关键点进行定位并根据这些关键点以及先验位置关系将面部区域分割为前额区域、左眼区域、右眼区域、鼻子区域、左脸颊区域、右脸颊区域、上唇区域、下唇区域共八个子区域；

所述特征提取子模块通过支持向量机(svm)对面诊图像整体进行面部颜色分析、面部光泽分析以及唇色分析，获取rgb、his、lab多颜色空间下的面部颜色特征、面部光泽特征以及口唇的颜色和纹理，为数字化面诊提供客观的诊断依据；对每个子区域进行单独的特征分析，提取每个子区域的关于颜色、光泽、润燥的特征信息；

所述面部红外热像分析子模块通过对面诊采集装置获取的面部红外热像进行定量分析，根据各种疾病所产生的局部新陈代谢的异常活跃或减低与面部温差的关系，获取面部连续的、动态的红外信息，同时获取面部子区域的热态温度数据特征信息，为自动化中医面诊提供重要的诊断依据；

所述检索与匹配模块首先将获取的面诊信息进行综合分析，得到面部全局与子区域的综合特征信息，然后将获取的综合特征信息以及面部红外热像特征信息与标准化样本特征信息数据库进行特征匹配与加权相似度计算，最后准确地将综合特征信息、以及计算机辅助诊断结果反馈给面诊系统主界面模块；

所述的面诊系统主界面为医生呈现原始面诊图像、面诊综合特征信息以及计算机辅助诊断结果，医生结合自己的临床经验，最后进行综合的诊断，并给出具体的诊断结果，最终实现数字化中医面诊。

上述方案中，人眼定位的具体步骤如下：

步骤一、对人脸检测与分割之后获取的面部图像进行图像预处理，完成直方图归一化处理；

步骤二、对步骤一所得的直方图归一化图像进行gabor小波变换；

步骤三、对人脸的上半部分进行灰度投影，确定人眼的位置。

上述方案中，嘴角定位的具体步骤如下：

步骤一、对面部图像进行光线补偿，改善彩色偏差；

步骤二、根据先验经验，嘴角位于人脸的偏下部分，因此限定搜索的范围，然后采用基于hear特征的adaboost分类器对嘴部进行目标检测与粗略的定位；

步骤三、采用利用yiq唇色模型进行嘴唇分割，通过形态学处理后，获得嘴角的位置。

上述方案中，鼻子和眉毛的具体定位方法为：将人脸图像进行灰度化处理，然后在做水平方向积分投影，得到积分曲线，再次进行局部的积分投影，然后根据相关波峰与波谷的位置，结合眼睛与嘴角的位置以及各区域划分关键点的先验比例关系，判定鼻翼和眉峰的具体位置。

一种基于人脸区域分割的中医面诊系统的面诊方法，包括以下步骤：

步骤一、系统通过所述图像采集模块和计算机网络无线传输技术获取人脸图像以及面部红外热像；

步骤二、图像处理分析模块对得到的人脸图像进行人脸检测与分割，对分割后得到的面部图像进行关键划分点定位，并结合先验知识，对面部图像进行子区域划分，然后获取面诊综合特征以及面部热态温度数据；

步骤三、所述检索匹配模块对面部整体区域和子区域的面诊综合特征和面部热态温度数据进行特征提取后与系统特征数据库中的标准化样本特征信息进行局部和全局的特征匹配以及相似度计算，并将具体的自动化诊断信息返回到所述面诊系统主界面上；

步骤四、医生根据所述面诊系统主界面上呈现的原始面诊图像、自动化诊断信息、具体情况，结合临床经验进行综合判断，得到最终的面部诊断报告。

本发明与现有技术方案相比具有以下有益效果和优点：

相对于现有的中医面部诊断系统，本发明通过与中医面诊采集装置相连接，能够通过计算机网络无线传输获取面部图像，对面部图像进行子区域划分，实现人脸整体颜色、光泽以及口唇颜色特征信息与子区域相关特征信息的综合分析，同时增加了面部红外热像热态温度数据分析，最后根据中医综合诊断，得到更加准确的定性诊断结果，实现中医面诊的标准化与客观化。

本发明主要依据在中医面诊理论中，不同的面部区域映射不同的内脏器官，对采集的人脸进行面部区域分割，同步分析结合面部整体与各子区域的颜色、光泽、润燥和口唇特征，实现局部与整体并行诊断，同时增加了面部红外热像的分析，获取面部热态温度数据，极大的提高了中医面诊的规范化与客观化。该系统可以为中医大夫提供客观的局部与全局面部区域定量分析数据，辅助中医临床诊断，对医学临床、科研教学等方面有着重大的意义，将会极大地推动医疗诊断客观化与标准化的发展，有着广泛的发展前景。

附图说明

图1是本发明提出的基于人脸区域分割的中医面诊系统结构示意图。

图2为本发明面部区域分割的具体流程图。

图3位本发明嘴角定位具体流程图。

图4为本发明划分点定位与子区域划分的具体结果示例图。

图5为本发明人眼定位与嘴角定位的具体结果示例图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步的详细描述：

如图1、图2、图3、图4和图5所示，本实施例中的基于人脸区域分割的中医面诊系统，包括：图像采集模块、图像处理分析模块、检索匹配模块以及面诊系统主界面四大模块，其中图像处理分析模块由人脸检测分割子模块、关键点定位与子区域分割子模块、特征提取子模块和面部红外热像分析子模块组成；图像采集模块与图像处理分析模块通过计算机无线网络相连，图像处理分析模块与检索匹配模块通信相连，检索匹配模块与面诊系统主界面通信相连；

图像采集模块通过面诊采集装置在标准光源环境照明条件下直接获取受诊者的自然光面诊图像，同时通过面诊采集装置的红外模式功能获取面部红外热像，并将采集的自然光面诊图像和面部红外热像传输到所述图像处理分析模块以及面诊系统主界面；

人脸检测分割子模块采用基于haar特征的adaboost算法对图像处理分析模块接收的面诊图像进行人脸检测，该算法具有检测速度快，检测准确率高的特点；

关键点定位与子区域分割子模块对位于人眼、嘴巴、鼻子和眉毛四个关键部位的关键点进行定位并根据这些关键点以及先验位置关系将面部区域分割为前额区域、左眼区域、右眼区域、鼻子区域、左脸颊区域、右脸颊区域、上唇区域、下唇区域共八个子区域；

特征提取子模块通过支持向量机(svm)对面诊图像整体进行面部颜色分析、面部光泽分析以及唇色分析，获取rgb、his、lab多颜色空间下的面部颜色特征、面部光泽特征以及口唇的颜色和纹理，为数字化面诊提供客观的诊断依据；对每个子区域进行单独的特征分析，提取每个子区域的关于颜色、光泽、润燥的特征信息；

面部红外热像分析子模块通过对面诊采集装置获取的面部红外热像进行定量分析，根据各种疾病所产生的局部新陈代谢的异常活跃或减低与面部温差的关系，获取面部连续的、动态的红外信息，同时获取面部子区域的热态温度数据特征信息，为自动化中医面诊提供重要的诊断依据；

检索与匹配模块首先将获取的面诊信息进行综合分析，得到面部全局与子区域的综合特征信息，然后将获取的综合特征信息以及面部红外热像特征信息与标准化样本特征信息数据库进行特征匹配与加权相似度计算，最后准确地将综合特征信息、以及计算机辅助诊断结果反馈给面诊系统主界面模块；

面诊系统主界面为医生呈现原始面诊图像、面诊综合特征信息以及计算机辅助诊断结果，医生结合自己的临床经验，最后进行综合的诊断，并给出具体的诊断结果，最终实现数字化中医面诊。

人眼定位的具体步骤如下：

步骤一、对人脸检测与分割之后获取的面部图像进行图像预处理，完成直方图归一化处理；

步骤二、对步骤一得到的直方图归一化图像进行gabor小波变换；

步骤三、对人脸的上半部分进行灰度投影，确定人眼的位置。

嘴角定位的具体步骤如下：

步骤一、对面部图像进行光线补偿，改善彩色偏差；

步骤二、根据先验经验，嘴角位于人脸的偏下部分，因此限定搜索的范围，然后采用基于haar特征的adaboost分类器对嘴部进行目标检测与粗略的定位；

步骤三、采用利用yiq唇色模型进行嘴唇分割，通过形态学处理后，获得左右嘴角的位置。

鼻子和眉毛的具体定位方法为：将人脸图像进行灰度化处理，然后在做水平方向积分投影，得到积分曲线，再次进行局部的积分投影，然后根据相关波峰与波谷的位置，结合眼睛与嘴角的位置以及各区域划分关键点的先验比例关系，判定左鼻翼、右鼻翼、左眉峰和右眉峰的具体位置。

一种基于人脸区域分割的中医面诊系统的面诊方法，包括以下步骤：

步骤一、系统通过图像采集模块和计算机网络无线传输技术获取人脸图像以及面部红外图像；

步骤二、图像处理分析模块对得到的人脸图像进行人脸检测与分割，对分割后得到的面部图像进行关键划分点定位，并结合先验知识，将面部图像划分成八个子区域；

步骤三、检索匹配模块对面部整体区域和子区域的面诊综合特征和面部热态温度数据进行特征提取后与系统特征数据库中的标准化样本特征信息进行局部和全局的特征匹配以及相似度计算，并将具体的自动化诊断信息返回到所述面诊系统主界面上；

步骤四、医生根据所述面诊系统主界面上呈现的原始面诊图像、自动化诊断信息、具体情况，结合临床经验进行综合判断，得到最终的面部诊断报告。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围中。