一种中医耳诊图像处理方法及装置与流程

本发明涉及人工智能技术领域，尤其涉及一种中医耳诊图像处理方法及装置。

背景技术：

中医学在诊断和防治疾病中的重要思想是将人体看作一个有机整体，强调内脏和体表组织器官在结构和机能上的协调性和完整性，以及生理上的密切联系和病理上的相互影响。其中，中医理论认为，耳为肾所主，肾开窍于耳，心气也通于耳，耳部为宗脉之所聚，胃、膀胱、三焦、胆经等经气皆上通于耳，其病候皆反映于耳。因而，通过中医中“望、闻、问、切”的耳廓望诊和耳部触诊对耳部的位、色、形、态进行观察，能够直接反应出脏腑的重要信息。

随着人工智能技术的不断发展，使得望诊中的舌诊图像处理已取得不少成果，但是，耳诊的客观化数字研发目前还是罕见。因此，为了更好的推广中医耳诊，利用人工智能技术处理并识别耳诊图像以及对耳诊图像进行分析为病情诊断提供定量的参考数据，以克服因经验不足或判断差异而产生的问题，具有广泛应用研究意义。

技术实现要素：

针对上述问题，本发明的一种中医耳诊图像处理方法及装置能够为耳诊诊测提供定量的参考数据，自动识别出耳诊病症状态，克服因经验不足或判断差异而产生的判断不准确的问题。

为解决上述技术问题，本发明的一种中医耳诊图像处理方法，包括：

通过双目相机获取使用者的耳部图像；

采用空间点重建方法对所述耳部图像进行三维重建，以形成耳部三维模型；

以所述耳部三维模型的耳中部位并转换为中心对其进行扇形分割，使得所述耳部三维模型中轮1耳穴至轮6耳穴分别位于不同的扇形区域内，得到所述耳部三维模型的区域图像；

根据所述各个区域图像中耳轮区域的像素信息确定其五色特征，以及提取所述各个区域图像中耳甲区域的五色特征并转换为耳色特征；所述五色特征用于指示轮区域图像的体表病色，所述五色特征用于指示青、红、黄、白、黑中的一种，所述耳色特征用于指示各个区域图像中耳甲区域对应的五脏状态等级；

从所述耳部三维模型中提取三维表面特征并转换为耳廓形态特征；

将预设获取次数内的所述耳色特征和所述耳廓形态特征送入预设的svm多分类器以进行耳诊病症状态分类并将分类后的数据输出至预设的耳诊数据库进行存储。

作为上述方案的改进，所述耳部图像通过如下步骤获得：

通过两台高分辨率摄像机组成的双目相机获取使用者的头部侧面视频图像；

对所述头部侧面视频图像进行预处理，所述预处理包括依次进行的图像增强处理和图像滤波处理；

采用haar特征及adaboost算法对所述头部侧面视频图像进行耳部区域检测，以获取耳部图像；

作为上述方案的改进，所述耳部三维模型通过如下步骤构建：

采用相机标定法计算所述双目相机的内参数和外参数；

根据所述内参数、所述外参数和世界坐标系中的定标点建立所述双目相机对应的双目模型相机之间的位置关系，得到所述双目模型相机的投影矩阵；

对所述耳部图像进行特征点提取并进行特征匹配，以建立耳部图像匹配点对集；

根据所述投影矩阵和所述耳部图像匹配点对集进行三维重建，得到耳部三维模型。

作为上述方案的改进，所述区域图像通过如下步骤进行分割：

根据所述耳部三维模型中耳中部位特征点、轮1耳穴特征点至轮6耳穴特征点定位轮区域；

采用hough变换对定位出的轮区域进行扇形分割，得到各个区域图像。

作为上述方案的改进，所述各个区域图像中耳轮区域的五色特征通过如下步骤确定：

根据所述各个耳轮区域图像中各个像素的r分量、g分量、b分量计算各个像素的rgb平均值；

根据所述各个像素的rgb平均值计算所述各个耳轮区域图像中的红色比例、青色比例、黄色比例、白色比例和黑色比例，以确定比例最大的颜色为所述各个区域图像的五色特征。

作为上述方案的改进，所述耳色特征包括使用者正常、病症呈现、病症一般、病症加深、病症严重、病症非常严重。

作为上述方案的改进，所述三维表面特征通过如下步骤提取：

从所述耳部三维模型中获取点状或片状的隆起区域图像、局部血管图像、耳垂图像和耳垂皱褶图像；

根据所述局部血管图像的纹理特征确定其形状特征；

根据所述耳垂图像中耳垂的弯曲度确定耳垂厚度特征；

根据所述耳垂皱褶图像识别其皱褶的深浅度；

设定所述隆起区域图像的体表病色特征、所述局部血管图像的形状特征、所述耳垂厚度特征和所述皱褶的深浅度为所述三维表面特征。

本发明还提供一种中医耳诊图像处理装置，所述装置存储有计算机程序，所述计算机程序适于被执行以实现上述任一种图像处理方法。

本发明还提供另一种中医目诊图像处理装置，该装置包括处理器、与所述处理器连接的存储器，所述存储器存储有计算机程序，所述计算机程序适于被执行以上述任一种图像处理方法。

与现有技术相比，实施本发明的一种中医耳诊图像处理方法及装置具有如下有益效果：

(1)通过建立耳部三维模型来获取各个耳轮区域图像的五色特征及其耳甲区域的五色特征并转换为耳色特征、以及提取耳部三维模型的三维表面特征并转换为耳廓形态特征，再将获取的上述特征由svm分类器进行耳诊病症状态分类并将分类后的数据输出至预设的耳诊数据库进行存储，能够为耳诊诊测提供定量的参考数据，克服因经验不足或判断差异而产生的判断不准确的问题。

(2)本发明的方法及装置通过图像处理的方法来获取使用者的耳部图像并对其进行耳诊症候的识别，能有效避免现有技术中电诊或触诊因接触性不足而导致诊测效果差的问题，并且因其能准确、便捷、无痛、无创的进行诊测，可有效改善使用者的使用体验。

附图说明

图1是本发明实施例提供的一种中医耳诊图像处理方法的流程示意图。

图2是中国标准耳穴挂图。

图3是本发明实施例提供的一种中医耳诊图像处理装置的结构示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

下面结合具体实施例和附图对本发明的技术方案进行清楚、完整的描述。

请参见图1，是本发明实施例提供的一种中医耳诊图像处理方法的流程示意图。

如图1和图2所示，该中医耳诊图像处理方法包括如下步骤：

s1、通过双目相机获取使用者的耳部图像；

在步骤s1中，所述耳部图像通过如下步骤获得：

s11、通过两台高分辨率摄像机组成的双目相机获取使用者的头部侧面视频图像；

其中，使用者在利用该双目相机进行拍摄时，需要暴露整个耳朵；并且本发明中的双目相机采用两台高分辨率摄像机组成，使得获取到的视频图像具有很高的分辨率，能够提高耳部图像定量分析的准确性。

s12、对所述头部侧面视频图像进行预处理，所述预处理包括依次进行的图像增强处理和图像滤波处理；

s13、采用haar特征及adaboost算法对所述头部侧面视频图像进行耳部区域检测，以获取耳部图像；

s2、采用空间点重建方法对所述耳部图像进行三维重建，以形成耳部三维模型；

在步骤s2中，所述耳部三维模型通过如下步骤构建：

s21、采用相机标定法计算所述双目相机的内参数和外参数；

s22、根据所述内参数、所述外参数和世界坐标系中的定标点建立所述双目相机对应的双目模型相机之间的位置关系，得到所述双目模型相机的投影矩阵；

s23、对所述耳部图像进行特征点提取并进行特征匹配，以建立耳部图像匹配点对集；

s24、根据所述投影矩阵和所述耳部图像匹配点对集进行三维重建，得到耳部三维模型。

s3、以所述耳部三维模型的耳中部位作为中心对其进行扇形分割，使得所述耳部三维模型中轮1耳穴至轮6耳穴分别位于不同的扇形区域内，得到所述耳部三维模型的区域图像；

在步骤s3中，所述区域图像通过如下步骤进行分割：

s31、根据所述耳部三维模型中耳中部位特征点、轮1耳穴特征点至轮6耳穴特征点定位轮区域；

s32、采用hough变换对定位出的轮区域进行扇形分割，得到各个区域图像。

s4、根据所述各个区域图像中耳轮区域的像素信息确定其五色特征，以及提取所述各个区域图像中耳甲区域的五色特征并转换为耳色特征；所述五色特征用于指示轮区域图像的体表病色，所述五色特征用于指示青、红、黄、白、黑中的一种，所述耳色特征用于指示各个区域图像中耳甲区域对应的五脏状态等级；

在步骤s4中，所述各个区域图像的五色特征通过如下步骤确定：

s401、根据所述各个区域图像中各个像素的r分量、g分量、b分量计算各个像素的rgb平均值；

s402、根据所述各个像素的rgb平均值计算所述各个区域图像中的红色比例、青色比例、黄色比例、白色比例和黑色比例，以确定比例最大的颜色为所述各个区域图像的五色特征。

由于图像在计算机内是通过像素来表达，每个像素的颜色是由红色分量(r)、绿色分量(g)、蓝色分量(b)三个值来表示，且每个颜色分量都有256(0～255)级灰度，因而在步骤s401中，通过计算各个像素的rgb平均至可以精确的描述各种颜色。

在步骤402中，通过如下方式计算每个区域图像中红色比例、青色比例、黄色比例、白色比例和黑色比例：红色像素数量/像素总数、青色像素数量/像素总数、黄色像素数量/像素总数、白色像素数量/像素总数、黑色像素数量/像素总数，最后设定比例值最大的颜色为区域图像的五色特征。例如，当确定一张轮1耳穴区域图像中红色比例最大时，则红色为该轮1耳穴区域图像的五色特征。

在步骤s402中，由于位于轮1耳穴区域图像的耳甲区域的五色特征与人体肾脏部位体表病色对应、位于轮2耳穴区域图像的耳甲区域的五色特征与人体肝脏部位体表病色对应、位于轮3耳穴区域图像的耳甲区域的五色特征与人体脾脏部位体表病色对应、位于轮4耳穴区域图像的耳甲区域的五色特征与人体肺脏部位体表病色对应、位于轮5耳穴区域图像的耳甲区域的五色特征与人体心脏部位体表病色对应，则可依次设定轮1至轮6耳穴区域图像的耳甲区域为肾脏耳甲区域、肝脏耳甲区域、脾脏耳甲区域、肺脏耳甲区域和心脏耳甲区域。

为此，根据中医病色交错理论，通过依据如下表1所示的病色交错表转换五色特征为耳色特征：

表1病色交错表

也就是说，当肝脏耳甲区域呈现青色、心脏耳甲区域呈现红色、脾脏耳甲区域呈现黄色、肺脏耳甲区域呈现白色、肾脏耳甲区域呈现黑色，其五脏体表特征(即耳色特征)为病症呈现；

当肝脏耳甲区域呈现黑色、心脏耳甲区域呈现青色、脾脏耳甲区域呈现红色、肺脏耳甲区域呈现黄色、肾脏耳甲区域呈现白色，其五脏体表特征(即耳色特征)为病症一般；

当肝脏耳甲区域呈现红色、心脏耳甲区域呈现黄色、脾脏耳甲区域呈现白色、肺脏耳甲区域呈现黑色、肾脏耳甲区域呈现青色，其五脏体表特征(即耳色特征)为病症加深；

当肝脏耳甲区域呈现黄色、心脏耳甲区域呈现白色、脾脏耳甲区域呈现黑色、肺脏耳甲区域呈现青色、肾脏耳甲区域呈现红色，其五脏体表特征(即耳色特征)为病症严重；

当肝脏耳甲区域呈现白色、心脏耳甲区域呈现黑色、脾脏耳甲区域呈现青色、肺脏耳甲区域呈现红色、肾脏耳甲区域呈现黄色，其五脏体表特征(即耳色特征)为病症非常严重；

因而各个区域图像中耳甲区域的五色特征变化能够直接反应出人体五脏的健康状态。

s5、从所述耳部三维模型中提取三维表面特征并转换为耳廓形态特征；

在中医学中，耳廓形态诊断包括：当耳廓局部有结节状或条索状隆起、点状凹陷时，则表示有慢性器质性疾病；当耳廓局部见到点状或片状白色隆起，且隆起光泽发亮或边缘红晕，则多为慢性疾病在耳穴上的反应；当耳廓局部血管过于充盈、扩张，可见到圆圈状、条状等图形时，则常见于有心肺功能异常；当耳垂向后弯曲，而且较为肥厚时，则反应出多易患脂肪肝等代谢疾病。因而，在步骤s5中通过耳部三维模型中的三维表面特征及预训练的耳廓形态svm多分类器提取耳廓形态特征可以直观反应人体脏腑的健康状态，提高后续分类识别的全面性和准确性。

所述耳廓形态svm多分类器通过如下间接法步骤构造：

s501、依据病情的轻重标注望诊图像数据库中预设的耳部降起图像、局部血管图像、耳垂厚度图像、皱褶图像的三维表面特征，其轻重分为正常、病症呈现、病症一般、病症加深、病症严重、病症非常严重等六个类别，每个分别设定为a、b、c、d、e、f；

s502、训练时依次把相同类别的样本归为一类，其他剩余的样本归为另一类，这样六个类别的样本就构造出了六个svm。分类时将未知样本分类为具有最大分类函数值的那类。于是在抽取训练集的时候，分别抽取：

(1)a所对应的向量作为正集，b、c、d、e、f所对应的向量作为负集；

(2)b所对应的向量作为正集，a，c、d、e、f所对应的向量作为负集；

(3)c所对应的向量作为正集，a、b、d、e、f所对应的向量作为负集；

(4)d所对应的向量作为正集，a、b、c、e、f所对应的向量作为负集；

(5)e所对应的向量作为正集，a、b、c、d、f所对应的向量作为负集；

(6)f所对应的向量作为正集，a、b、c、d、e所对应的向量作为负集；

使用这六个训练集分别进行训练，然后得到六个训练结果文件。利用这六个训练结果文件对对应的测试向量分别进行测试，最后每个测试得到一个结果值，而最终的测试结果便是由这六个结果值中最大的一个作为分类结果。

在步骤s5中，所述三维表面特征通过如下步骤提取：

s511、从所述耳部三维模型中获取点状或片状的隆起耳甲区域图像、局部血管图像、耳垂图像和耳垂皱褶图像；

s512、根据所述局部血管图像的病色特征确定其隆起病色特征；

s512、根据所述局部血管图像的纹理特征确定其形状特征；

s513、根据所述耳垂图像中耳垂的弯曲度确定耳垂厚度特征；

s514、根据所述耳垂皱褶图像识别其皱褶的深浅度特征；

s6、将预设获取次数内的所述耳色特征和所述耳廓形态特征送入预设的svm分类器以进行耳诊病症状态分类并将分类后的数据输出至预设的耳诊数据库进行存储。所述耳诊病症状态是使用者正常、病症呈现、病症一般、病症加深、病症严重、病症非常严重状态中的一种。

在步骤s6中，预设的svm分类器通过如下步骤构建：

s61、通过训练集和测试集构建svm分类器；

具体地，svm分类器的构建包括如下步骤：

在预定的获取次数内分别收集n个耳色特征、n个耳廓形态特征作为样本数据，并对所述样本数据进行归一化得到样本集p；其中，n≥2，且n为整数；其中，n＝60，

a1,n表示归一化后的n个耳色特征，作为样本集p中的第二子样本；

a2,n表示归一化后的n个耳廓形态特征，作为样本集p中的第三子样本；

其中，n＝1，2，3，…，n；

s62、通过主成分分析对每个子样本进行降维，使得样本集p中的样本数据减少一半，得到样本集p1；

s63、从降维后的样本集p1中选取70％的样本数据作为svm的训练集d，其余30％的样本数据作为测试集t；

s64、设定的训练集d＝{(x1,l1)，(x2,l2)，…，(xm,lm)}，其中，d∈p1li∈{-1,1}xi是样本数据，li是样本标记；

s65、假设该训练集可被一个超平面ω^tx+b＝0线性划分，其中，ω是决定超平面的法向量，b是原点与超平面距离的位置，则问题转化为最优化超平面问题：

其中，ξi是0/1损失函数，c为惩罚参数；

s66、对于非线性可分情况，选用rbf径向基核函数则svm分类器的优化问题最终转化为参数(c，δ)的选择问题；其中，δ≥0为径向基核函数的宽度参数，用于控制径向基核函数的径向作用范围。

具体地，在步骤s76中，通过如下步骤构建训练分类模型：

s661、以2^-10≤c≤2⁷和2^-10≤δ≤2³为范围、步距为0.1构建取值范围内的所有c和δ组成的参数对；

s662、依次取参数对(c，δ)作为基于rbf径向基核函数的svm分类器参数的初始值，利用交叉验证k-cv方法得到每组参数对(c，δ)下训练集d验证分类准确率；

s663、选取最高分类准确率所对应的参数对(co，δo)作为最佳参数，得到所求svm分类模型的模型参数。

进一步地，在步骤s7中通过如下步骤进行模型预测：

采用上述步骤得到的模型参数(co，δo)对测试集t进行svm分类预测，得到使用者耳诊病症状态。所述耳诊病症状态是使用者正常、病症呈现、病症一般、病症加深、病症严重、病症非常严重状态中的一种。

本发明实施例还提供一种中医耳诊图像处理装置，所述装置存储有计算机程序，所述计算机程序适于被执行以实现上述任一种所述的图像处理方法。

如图3所示，本发明实施例还提供另一种中医耳诊图像处理装置，该装置包括处理器1、与所述处理器1连接的存储器2，所述存储器2存储有计算机程序，所述计算机程序适于被执行以实现上述任一种图像处理方法。

与现有技术相比，实施本发明的一种中医耳诊图像处理方法及装置具有如下有益效果：

(1)通过建立耳部三维模型来获取各个耳轮耳甲区域图像的五色特征及其耳甲耳甲区域的五色特征并转换为耳色特征、以及提取耳部三维模型的三维表面特征并转换为耳廓形态特征，再将获取的上述特征由svm分类器进行耳诊病症状态分类并将分类后的数据输出至预设的耳诊数据库进行存储，能够为耳诊诊测提供定量的参考数据，克服因经验不足或判断差异而产生的判断不准确的问题。

(2)本发明的方法及装置通过图像处理的方法来获取使用者的耳部图像并对其进行耳诊症候的识别，能有效避免现有技术中电诊或触诊因接触性不足而导致诊测效果差的问题，并且因其能准确、便捷、无痛、无创的进行诊测，可有效改善使用者的使用体验。

以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，故凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。