一种基于移动端的复杂环境快速舌分割装置

1.本发明涉及医学图像处理领域，特别是涉及一种基于移动端的复杂环境快速舌分割装置。


背景技术：

2.将智慧医疗算法模型运用到移动端设备，能够实时，便捷地让用户掌握健康信息。而在移动端设备智能舌诊中，用户上传的舌体图片是通过不同设备采集的，分辨率各不相同，光照及环境信息各异。用户无法提供高质量舌体图片，图片中参杂了许多类舌物体影响分割精确度。与此同时，移动端智能舌诊系统需要更小的空间占用和更少的时间开销。因此，除了分割精确度，推断时长和模型参数总量也是需要考虑的。图1中示出了六种舌头分割中难以实现准确分割的情况，包括：(a)环境中的存在类舌图像信息；(b)具有特殊苔色和苔质的舌象；(c)曝光过度的舌图像；(d)光照较暗的舌图像；(e)图像中舌的比例太大；(f)舌体在图像中的比例太小。当采用移动端设备进行舌头像采集，上述情况是不能忽略的，需要进行针对性处理。
3.舌体分割目前可以分为阈值分割，模板匹配，区域分割和神经网络四种方法。阈值分割首先定义彩色图像亮度，然后使用otus方法将图像二值化，去除非目标区域图像，最终使用数学形态学的方法获取最终的分割结果。该方法对环境要求苛刻难以依靠移动端设备采集符合条件的图像。
4.模板匹配是移动端设备舌体分割最常用的方法，li等在2009年的工业电子年会上便提出了使用模板匹配的方法进行舌分割，但其也存在一定的缺陷。它需要初始定位舌体位置，用户需要将舌体完全放到预设模板内。该方法一定程度上解决了采集舌体的定距离和复杂环境内类舌物体干扰的问题，但是该方法需要对能量函数动态优化来逼近目标的真实轮廓。优化过程中，设定曲线复杂导致计算量过大，即使通过转换到不同颜色空间中降低曲线复杂度，也难以达到快速分割舌体的要求。此外，模板匹配的精确性十分依赖初始模板的设定，一个差的模板容易造成算法难以收敛。
5.区域分割算法常常与模板匹配算法联用，通过区域分割设定初始模板再通过模板匹配能量函数使曲线逼近目标。该方法对噪声过于敏感，对低对比度图像易失去重要轮廓，进而产生过分割的情况。移动端获取的图像由于环境和设备因素的影响，无法很好的满足区域分割算法所需要求。
6.神经网络通过对不同维度特征的学习较好解决了环境因素对舌体分割的影响。早期，li通过迁移学习，融入已训练好的算法提升了舌体分割的精确度。近期，神经网络舌体分割更多是改进固定模型，以获得更高的分割精确度。zhou等利用空洞卷积的方式得到了一个端到端的模型达到了良好的舌体分割效果。huang等利用编解码结合全卷积神经网络的方式实现准确的舌体分割。zhou等利用改进的u-net模型对舌体进行形态学分割。近几年也有使用resnet和deeplab v3改进的分割方法在舌体分割领域取得了不错的效果。但在上述方法中，使用的舌体图片数据集大多为标准环境下采集，鲁棒性较低。一些过深的网络虽
然分割效果好，但参数量过大，推断时间过长，降低了网络在移动端的可用性。


技术实现要素：

7.本发明的目的在于，为了实现在移动设备上的舌头图像的采集和判断，克服现有技术中从移动设备获得的图像噪声多，有效信息少的问题，以及移动终端的舌部图像数据集难以充分匹配现有模型训练量，在训练模型上进行了改进，基于轻量级的u-net，提出了一种基于移动端的复杂环境快速舌分割装置。
8.为了实现上述发明目的，本发明提供了以下技术方案：
9.一种基于移动端的复杂环境快速舌分割装置，所述装置执行以下步骤：
10.s1，获取包括舌体的测试图像；
11.s2，将测试图像输入到训练好的oet-net模型中，输出从所述测试图像中分割出的舌图像；其中所述oet-net模型的架构为：将u-net模型中的残差连接模块替换为残差软连接模块，并且在u-net模型的每一卷积层之后增加显著图融合模块，并且将损失函数更换为像素加权的交叉熵损失函数。
12.作为优选方案，所述oet-net模型包括编码模块、残差软连接模块、解码模块和显著图融合模块，
13.所述编码模块将输入图片进行多次卷积和池化操作，获取舌象高维特征图；
14.所述残差软连接模块将每一个stage的初始特征图与编码后的特征图融合；然后连接了一个1x1的柔性连接系数卷积块，最后将降噪后的特征块与高层特征融合；
15.所述解码模块通过对编码后的特征图不断上采样还原图像原有特征，直到与输入图像的分辨率一致；
16.所述显著图融合模块将监督信息馈入到中间层。
17.作为优选方案，所述像素加权的交叉熵损失函数是：
[0018][0019]
n为训练集大小，yi表示第i张图的label图，p(yi)表示对第i张图的预测图。αi为惩罚权重，根据舌体所占比例不同其值也不同，具体计算如下:
[0020][0021]
si为第i幅图中舌体占整幅图像比例；ε为预先设定的比例阈值以区分舌体占比小的图像和占比大的图像；β为惩罚因子用于定义惩罚权重。
[0022]
作为优选方案，所述舌体的测试图像的分辨率包括但不限于：320
×
240、1920
×
1440、3000
×
4000、3840
×
5120、6000
×
8000。
[0023]
作为优选方案，所述oet-net模型训练过程中惩罚权重设为100，阈值设置为0.05。
[0024]
与现有技术相比，本发明的有益效果：
[0025]
1、本发明的装置内存储了一种快速舌分割算法模型，该模型以轻量级的u-net为基础，从上下文特征融合和多分辨率特征融合的角度提高了u-net分割的精度。在上下文特征融合方面，将u-net的skip-connection(跳跃连接)模块替换为残差软连接模块，以减少
通过跳过连接直接传输到解码模块的噪声。在多分辨率特征融合方面，通过显著图像融合从底层到顶层获得多分辨率的显著图像，并在最后一层通过融合保留每一层的有效信息。移动终端设备在内存方面有一定的限制。轻量级的oet-net模型可以很好地部署到各种移动设备上，并且在移动端智能舌诊的后续研究中具有良好的可扩展性。
[0026]
2、此外，舌头的位置和大小在不同设备获取舌图像中有很大的不同，容易导致小数据量的训练数据过拟合。本发明中还通过每幅图像中舌体的比例，建立了一种新的焦点损失函数，并对舌体比例较低的图像的目标分割区域进行加权，以增加损失值，加强对目标区域的注意力。为了更好地保留每种分辨率的分割信息，还计算了各层对应的显著图的损失值，并对整体模型进行优化。
[0027]
3、通过本发明的模型与其他模型的比较，得到了一个三维图，如图2所示。图2直观显示了本案中的oet-net模型与其他指标的比较结果。在oet-net舌分割模型中，参数的大小为7.75mb，处理图像数据的时间长度为59ms/张，miou为96.98％，显示出巨大的竞争力。该模型可以在短时间内推断出分割结果，并在应用于移动终端时节省大量的时间。移动端设备的舌分割模型快速推理速度是良好用户体验的基础。不同设备和环境下的舌图像数据的分割结果优于验证的所有模型。
附图说明：
[0028]
图1为现有技术中的舌头分割中难以实现准确分割的六种情况示意图；
[0029]
图2为本发明oet-net与其他分割模型的分割效果、模型参数量大小和推理时间进行比较的三维图像；
[0030]
图3为本发明实施例1中的一种基于移动端的复杂环境快速舌分割装置所执行的步骤流程图；
[0031]
图4为本发明实施例1中的oet-net模型结构示意图；
[0032]
图5为本发明实施例1中的残差软连接模块的结构示意图；
[0033]
图6为本发明实施例1中的显著图融合模块原理示意图；
[0034]
图7为本发明实施例1中基于移动端的复杂环境快速舌分割装置执行步骤s1和s2后，获取的在自然环境中分割舌体图像与其他模型输出的分割舌体图像的对比图；
[0035]
图8为本发明实施例1中以miou为分割准确率的指标，模型参数量为模型大小的指标，分割一张图片的时间为推断速度的指标的三维图；
[0036]
图9为本发明实施例2中的采用oet-net模块每批次的损失变化曲线；
[0037]
图10为本发明实施例2中的每个模型的实际分割结果示例一；
[0038]
图11为本发明实施例2中的每个模型的实际分割结果示例二；
[0039]
图12为本发明实施例2中的每个模型的实际分割结果示例三；
[0040]
图13为本发明实施例2中的每个模型的实际分割结果示例四；
[0041]
图14为本发明实施例2中的每个模型的实际分割结果示例五；
[0042]
图15为本发明实施例2中的不同移动端设备的三个实际分割结果；
[0043]
图16为本发明实施例2中消融实验中相应模块的实际分割效果图一；
[0044]
图17为本发明实施例2中消融实验中相应模块的实际分割效果图二；
[0045]
图18为本发明实施例2中消融实验中相应模块的实际分割效果图三；
[0046]
图19为本发明实施例2中消融实验中相应模块的实际分割效果图四；
[0047]
图20为本发明实施例2中消融实验中相应模块的实际分割效果图五。
具体实施方式
[0048]
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
[0049]
实施例1
[0050]
本发明提出了一种基于移动端的复杂环境快速舌分割装置，该装置执行的步骤流程图如图3所示，执行的步骤包括：
[0051]
s1，获取包括舌体的测试图像。
[0052]
s2，将测试图像输入到训练好的oet-net模型中，输出从所述测试图像中分割出的舌图像；其中所述oet-net模型的架构为：将u-net模型中的跳跃连接(skip-connection)模块替换为残差软连接模块，并且在u-net模型的每一卷积层之后增加显著图融合模块，并且将损失函数更换为像素加权的交叉熵损失函数。
[0053]
其中，步骤s1具体包括：获取自然条件下移动设备拍摄舌体图像表示为i。该图像背景和距离拍摄设备距离无约束，可以在输入任一环境条件下的舌体图像。输入编码模块的图像可以通过任意设备拍摄也可以通过存储卡上传。
[0054]
步骤s2中的oet-net模型的结构如图4所示，主要包括编码模块，残差软连接模块，解码模块，显著图融合模块四个模块。
[0055]
编码模块：
[0056]
编码模块首先获取自然条件下移动设备拍摄舌体图像表示为i。该图像背景和距离拍摄设备距离无约束，可以在输入任一环境条件下的舌体图像。输入编码模块的图像可以通过任意设备拍摄也可以通过存储卡上传。输入后的图片通过多层下采样编码得到一个分辨率低而语义信息丰富的深层特征图。
[0057]
残差软连接模块：
[0058]
传统的u-net在同一stage的最后一层卷积编码层和第一层反卷积解码层之间通过残差连接，这样能够将一些编码池化后丢失的信息直接传递到解码模块。编码模块的信息是一些低层特征而解码模块中的特征为高层特征，直接将两者拼接可能存在很大的语义差异。两个不兼容特征直接融合可能会造成整个舌体分割模型在训练中产生差异，进而对结果造成不利的影响。与此同时，低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积操作更少，其语义性更低，噪声更多。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差。开放环境存在更多的噪声影响，低层特征直接硬性与高层特征融合，会将更多的噪声直接传导到高层。因此在残差连接时，需要将更多的环境噪音过滤。本发明设计了一种改进的残差软连接模块替代原有的跳跃连接，如图5所示，整个模块首先是特征融合部分，将每一个stage的初始特征图与编码后的特征图融合。编码层是两层3x3的浅层网络，所以编码前后的特征语义差异不大，融合后的特征保留了更多的舌体位置信息。特征融合后紧接着是一个1x1的柔性连接系数卷积块，在降低了低层特征与高层特征之间语义差异的同时，卷积特征提取能够可训练的降低低层特征传导到高层特征的噪声。
最终将降噪后的特征块与高层特征融合。
[0059]
解码模块：
[0060]
解码模块通过对编码后的特征图不断上采样还原图像原有特征，直到与输入图像的分辨率一致。在此期间将深层编码后的特征图与通过残差软连接模块传递到同一层的特征相融合，更好的保存图像分割的细节信息。
[0061]
显著图融合模块：
[0062]
开放环境中的舌体图片质量难以得到保证，为了更精确的分割舌体，获取每个层级的细节特征更加重要。显著图模块整体原理如图6所示。显著图融合模块将监督信息馈入到中间层，使得从输入到外连接层就可以构成一个独立的网络，有多个外连接层，就有了多个独立网络。整个网络是通过多尺度和多层次的特征进行学习。通过学习到的丰富分级特征，能有效解决舌体分割中的细节分割问题。在模块中首先通过1x1卷积获取到5张显著图，再将这五张显著图融合，通过1x1卷积和sigmoid函数获取到融合映射。
[0063]
将每个显著图与目标输出比对，获取损失值能够进一步对模型整体进行迭代。图像分割模型中使用较多的损失函数是交叉熵、均方差和dice loss，但这些损失函数对每个像素点的权重是均等的。在开放环境下不同设备采集的舌体图片中，舌体大小占整幅图像的比例大小不一。对于舌体占比小的舌体图片，在分割出现很明显的误差时，计算出的损失值也会很小进而导致欠分割。很多照片都是用手机的后置摄像头拍摄的，舌体和非舌体的比例差异大。焦点损失的优势在于阳性样本和阴性样本之间存在较大的数据差异，因此，选择优化焦点损失来构建一个新的损失函数作为该模型的损失函数。焦点损失函数如公式(1)所示。
[0064][0065]
γ是用于调节模型分割不足的因素，它是一个大于0的数字，当它是1时，是交叉熵函数，α是平衡阳性样本和阴性样本的因素，改进的损失函数更注重如何平衡严重不平衡的阳性和阴性样本。分割损失函数根据舌体的像素大小进行加权。对于舌体比例较小的图像，阳性样本比例可能很小，因此，应该对舌体比例较小的图像给予更多的惩罚权重，以使这类图像对分割误差更加敏感，像素加权损失函数计算方式为：
[0066][0067]
n为训练集大小，yi表示第i张图的目标分割图，p(yi)表示对第i张图的预测图。αi为惩罚权重，根据舌体所占比例不同其值也不同，具体计算如下:
[0068][0069]
si为第i幅图中舌体占整幅图像比例；ε为预先设定的比例阈值以区分舌体占比小的图像和占比大的图像；β为惩罚因子用于定义惩罚权重。当β为1，ε为0时，损失函数就是二元交叉熵损失函数。实验训练的模型需要使l
seg
最小。
[0070]
oet-net模型的损失函数算法的具体实现方法见表1：
[0071]
表1损失算法的具体实现方法
[0072][0073]
经过上述步骤处理后，图像已能够较为精确的在自然环境中分割舌体图像，具体如图7所示，如p1和p2所示，舌体呈淡紫色，图片中人穿的衣服颜色也是偏紫色，一定程度干扰了模型分割。p3中的人舌体表面的黄苔也降低了模型分割准确率。然而，改进的舌体分割模型排除了这些环境噪音干扰，融合了有效信息。因此该方法对复杂环境舌体分割有更好的效果。于此同时，模型大小以及模型推断速度也是我们需要考虑的，我们以miou为分割准确率的指标，模型参数量为模型大小的指标，分割一张图片的时间为推断速度的指标绘制如图8的三维图，在该图中，指标远离原点且靠近xoy面模型效果越佳，不难看出，新的舌体分割模型消耗极小的空间和时间为代价提升了自然条件下舌体分割精确度。
[0074]
实施例2
[0075]
实施例2采用本发明的方法进行了实验。
[0076]
1、数据集的建立
[0077]
所有数据均来自于从免费社区诊所采集的舌部图像数据集。成都中医药大学附属医院伦理支持认证号为2021kl-027。采集设备是不同型号的手机，图像有五种不同的分辨率：320
×
240、1920
×
1440、3000
×
4000、3840
×
5120、6000
×
8000。图像采集由医生进行操作，以确保所有的图像都包含所有的舌头诊断信息，并能通过这些图像进行准确的舌头诊断。舌图像数据集中有1481张舌图像，通过labelme对舌图像进行分割和标记。
[0078]
2、训练的过程
[0079]
oet-net模型以u-net为骨干网络，将数据集随机分为80％训练数据集和20％验证数据集。通过tensorflow 2.0.2构建oet-net和其他控制模型，并且采用nvidia tesla-100 gpu进行训练。使用adam优化函数作为oet-net的优化函数，衰减权重和学习率设置为10-5
，总共迭代100个epoch，batch size设置为12。因此，总共有9.8k batch的迭代，将加权损失函数中的惩罚权重设为100，阈值设置为0.05，迭代过程中损失值的变化如图9所示。经过78个batch的训练，模型的损失保持稳定。
[0080]
3、舌部分割实验
[0081]
在实验中，使用联合平均相交(miou)、模型参数数值、推断持续时间和每秒浮点运算来评估模型，以更好地探索模型在移动设备应用中的潜力。
[0082]
1)miou：它常用于计算两集的交集和并集的比值，是计算模型语义分割精度的黄金指标之一。在实验中，它是计算真实图像和预测图之间的值。它的计算公式如下：
[0083][0084]
k+1是像素类别的数量，像素类别包括空类，p
ij
是预测为第j类的第i类像素的值，即假正值，p
ii
是真正值的数量，p
ji
是假阴性的数量。
[0085]
2)总参数：为模型中包含的参数总数，可以直观地反映模型的大小。它是评价该模型是否可用于微设备的重要评价指标之一。
[0086]
3)推理时间：它反映了模型对一个结果的推理时间，推理时间越短，模型推断结果的速度就越快。
[0087]
4)浮点运算数：它可以测量神经系统中前向传播运算的数量网络流量越小，计算速度可能就越快。计算公式如下式所示：
[0088][0089]
对于卷积网络和全连接网络，flops的计算方法也有所不同。在卷积网络的计算公式中，h和w分别表示输入卷积核矩阵的形状；c
in
和c
out
表示输入和输出通道的数量；k表示卷积核的大小。在全连通网络的计算公式中，i和o分别表示输入维度和输出维度。
[0090]
将oet-net的舌分割结果与u-net、u
2-net、u
2-net
+
、se u-net、attention u-net、resnet、deeplab v3的舌分割结果做比较，结果见表2，所有的结果都是经过100epochs的训练后得到的。开放环境的舌头分割任务需要一个精确、轻量级和快速的模型。在u-net、deeplabv3和resnet的三个基本框架中。deeplabv3和resnet比u-net网络获得了更好的分割结果。为了保证我们的评判指标的客观性，选用推断的长度和参数总数与miou进行全面比较。通过比较三者之间的指标差异，发现u-net在miou略逊于其他两种模型，而miou为分割精度指标，可以通过优化模型来拉近u-net与其他两者之间的精度差异。而deeplabv3与resnet之间参数过多、结果推断较慢的缺点难以弥补。在通过注意力机制改进后的u-net模型中，对变化较大的小数据集的分割存在过拟合，两种基于注意力机制的模型的分割miou均降低。u
2-net和一个简化版本的u
2-net
+
，在肿瘤分割方面取得了良好的效果，极大地提高了分割的miou，但推理速度太慢。oet-net可以很好地适应不同设备采集的图像分辨率和复杂环境的干扰。与u-net相比u
2-net具有最好的分割效果，我们的模型将miou提高了0.22。在模型参数数量、flops和推理时间方面，添加的残差软连接模块和显著图融合模块没有给原主干模型增加太多的参数和计算工作量。
[0091]
表2模型间指标比较
[0092][0093]
图10-图14显示了每个模型的实际分割效果。与现有的方法相比，oet-net获得了更好的语义分割结果。在图10-图14中，舌体的比例为6.52％，7.28％，11.92％，2.38％和4.92％。5个不同的图像场景分别显示了每个模型在多种开放环境干扰因素下的分割效果，如弱舌样物体干扰、强舌样物体干扰、舌苔干扰、舌体比例、光照、拍摄角度等。
[0094]
图10为每个模型的实际分割结果示例一，在图10中对应处理手段分别为：(a)标签可视化(b)真实图像；(c)u-net；(d)deeplabv3；(e)resnet；(f)u
2-net；(g)u
2-net
+
；(h)se u-net；(i)attention u-net；(j)oet-net。舌头是淡紫色的，在背景的左侧有一小块相似的颜色，这对分割的干扰很弱。该图像的详细分割困难在于舌体上部下凹部分的分割和舌体边缘的平滑分割。通过观察每个模型的分割结果，可以很容易地看出，与其他模型相比，oet-net对细节的捕捉最准确。oet-net对舌体上部凹痕部分的分割效果相对准确，而对边缘的平滑分割效果与其他模型相似。
[0095]
图11为每个模型的实际分割结果示例二，在图11中对应处理手段分别为：(a)标签可视化(b)真实图像；(c)u-net；(d)deeplabv3；(e)resnet；(f)u
2-net；(g)u
2-net
+
；(h)se u-net；(i)attention u-net；(j)oet-net。图11中的人穿着一件与舌头身体颜色非常相似的淡紫色衬衫，这强烈干扰了舌头分割任务。因为舌头的左下部分与衬衫，分割这部分的细节具有挑战性。u-net、deeplabv3和u
2-net在这类图像中出现了欠分割的结果。由于训练数据集中数据量的限制，与注意机制相关的u-net模型的过度分割很明显。这两种模型都错误地分割了项圈和面部部分。由于噪声传输的减少和详细特征的积累，保留了更详细的位置特征，oet-net能够排除图像中与舌体相似的部分。
[0096]
在开放环境中，舌头分割的干扰因素不仅来自环境，而且来自舌质纹理和舌苔。由于光线的变化，扰动更加无法控制。图12为每个模型的实际分割结果示例三，在图12中对应处理手段分别为：(a)标签可视化(b)真实图像；(c)u-net；(d)deeplabv3；(e)resnet；(f)u
2-net；(g)u
2-net
+
；(h)se u-net；(i)attention u-net；(j)oet-net。图12中的舌体在这五个场景中所占比例最大的。因此，在图像中可以更清晰地显示舌体的细节。在这张图片中，舌头上覆盖着一层类似于参与者的皮肤颜色的黄苔。在这种影响下，u-net和resnet没有将黄苔部分纳入舌体，分割不足的现象很明显。与前两个人相比，attention u-net被过度分割，将部分皮肤分割成舌头上的一层涂层。
[0097]
图13为每个模型的实际分割结果示例四，在图13中对应处理手段分别为：(a)标签可视化(b)真实图像；(c)u-net；(d)deeplabv3；(e)resnet；(f)u
2-net；(g)u
2-net
+
；(h)se u-net；(i)attention u-net；(j)oet-net。在图13中，图片中舌体的比例在本文所述的图片中最小。在这种情况下，环境因素对分割的影响更大。在这个场景中，由于对图像曝光的影响，舌边缘的细节分割非常具有挑战性。舌体下边缘的特征与暴露条件下的非舌体的特征极为相似。除oet-net外，所有模型在光照和服装的影响下都存在舌尖上的分割现象。
[0098]
图14为每个模型的实际分割结果示例五，在图14中对应处理手段分别为：(a)标签可视化(b)真实图像；(c)u-net；(d)deeplabv3；(e)resnet；(f)u
2-net；(g)u
2-net
+
；(h)se u-net；(i)attention u-net；(j)oet-net。图14表明，环境因素可以降低低比例舌图像的分割效果。在舌头投射到下巴阴影的影响下，u-net和u
2-net
+
对这些干扰因素很敏感，但仍存在分割不足的现象。u
2-net的舌尖分割也存在缺陷。在所有的干扰情况下，oet-net都可以有效地克服干扰因素，得到良好的分割效果。
[0099]
同时，验证了人们对不同手机采集的舌部图像的oet-net分割的准确性。实验选择荣耀20、华为mate 40e、华为nova 8、iphone 12、iphone x、oppo r 15x和小米mix2进行验证。选择miou作为准确的指标，结果如图15所示，图15为不同移动端设备的三个实际分割结果，采用的手机分别为：(a)honor 20；(b)huawei mate 40e；(c)huawei nova 8；(d)iphone 12；(e)iphone x；(f)oppo r15x；(g)xiaomi mix2。不难看出，采用不同的移动设备，oet-net模型在三个统一环境下的分割结果都保持了较高的miou。
[0100]
4、消融实验
[0101]
通过消融实验，验证了新设置的损失函数、残差软连接块和显著的图像融合模块的有效性。并探讨了这三种优化对整体模型优化的贡献。消融实验结果见表3。与u-net相比，损失函数优化、残差软连接块、各阶段后添加显著图融合模块，可以提高模型在开放环境下的舌图像分割精度。改进后的损失函数可以进一步优化细节分割精度。而当显著图融合和残差软连接同时使用时，模型分割的miou下降到94.12％。结合三种优化，融合更多的特征，同时减少噪声传输，增强对分割区域的关注，进一步提高了模型的分割效率，miou最大达到96.98％。以下是根据不同模块融合到模型中，对实际舌部图像的分割结果进行的分析。
[0102]
表3消融实验结果
[0103]
[0104]
图16为消融实验中相应模块的实际分割效果图一，图像分别对应：(a)真实图像；(b)u-net；(c)具有区域加权损失函数的u-net；(d)具有显著图融合模块的u-net；(e)具有残差软连接模块的u-net；(f)具有区域加权损失函数和残差软连接模块的u-net；(g)具有显著图融合模块和残差软连接模块的u-net；(h)具有显著图融合模块和区域加权损失函数的u-net；(i)oet-net。图16中的舌头通过使用u-net可以实现相对准确的分割效果，但仍存在一些缺陷。现有的模型仍需改进，以分割舌上缘的压痕部分。与注意机制类似，对于小样本量的数据集，低层次细节的过度传输容易导致过度分割。当图中显著融合与图中残差软连接相结合时，就会出现这个结果。但从结果中可以看出，显著图融合更多的是提升舌右上边缘突出部分的细节优化，而残差软连接更多的是舌体右下边缘的细节优化。经过损失函数约束后，融入更多细节分割和oet-net可以更好地提高舌头在该图像中的分割精度。
[0105]
图17为消融实验中相应模块的实际分割效果图二，图像分别对应：(a)真实图像；(b)u-net；(c)具有区域加权损失函数的u-net；(d)具有显著图融合模块的u-net；(e)具有残差软连接模块的u-net；(f)具有区域加权损失函数和残差软连接模块的u-net；(g)具有显著图融合模块和残差软连接模块的u-net；(h)具有显著图融合模块和区域加权损失函数的u-net；(i)oet-net。图17展示了各模块对环境舌类物体和舌苔本身的干扰的分割优化。任务优化主要是舌苔的左下边缘。不难看出，这三个模块在一定程度上单独使用，消除了外部物体的干扰，保证了舌头分割的完整性。从增强细节特征的两个模块的角度来看，残余软连接显示出更好的细节分割。
[0106]
图18为消融实验中相应模块的实际分割效果图三，图像分别对应：(a)真实图像；(b)u-net；(c)具有区域加权损失函数的u-net；(d)具有显著图融合模块的u-net；(e)具有残差软连接模块的u-net；(f)具有区域加权损失函数和残差软连接模块的u-net；(g)具有显著图融合模块和残差软连接模块的u-net；(h)具有显著图融合模块和区域加权损失函数的u-net；(i)oet-net。图18显示了oet-net的每个模块在图片中受到舌涂层干扰的分段贡献，并且在图片中舌体的比例很大。通过添加显著图融合或残差软连接模块，分割舌苔的中心。随着细节特征传输的增加，舌体更加精确。令人惊讶的是，与单独使用两个模块相比，原始损失函数和改进的损失函数提高了模型的分割效率。同时使用显著图融合和软残差连接导致了图的分割任务中的过度分割。在改进的损失函数约束下，新的三个模快融合后的模型效果最好。
[0107]
图19为消融实验中相应模块的实际分割效果图四，图像分别对应：(a)真实图像；(b)u-net；(c)具有区域加权损失函数的u-net；(d)具有显著图融合模块的u-net；(e)具有残差软连接模块的u-net；(f)具有区域加权损失函数和残差软连接模块的u-net；(g)具有显著图融合模块和残差软连接模块的u-net；(h)具有显著图融合模块和区域加权损失函数的u-net；(i)oet-net。图19为在异常光照环境下舌头比例小的舌头图像的分割。只有使用显著图融合，才会导致部分错误的照明信息被传递回来，从而导致极端分割不足的现象。具有残差软连接的显著图融合降低了照明干扰信息的传递，并更准确地分割了舌部图像的边缘细节。因此，在开放环境舌头分割任务中，为了更好地精确的在多光环境下的舌头分割，整合两者是非常必要的。同时，由于舌体在图中的比例较小，改进的损失函数对舌体分类的约束也有意义。在仅提高损失函数的情况下，也提高了模型的分割性能。通过整合这三种元素，我们可以减少噪声传输，增强细节，提高不同比例的舌部图像的约束条件，从而实现在
高曝光条件下，能较好地进行舌图像的分割。
[0108]
图20为消融实验中相应模块的实际分割效果图五，图像分别对应：(a)真实图像；(b)u-net；(c)具有区域加权损失函数的u-net；(d)具有显著图融合模块的u-net；(e)具有残差软连接模块的u-net；(f)具有区域加权损失函数和残差软连接模块的u-net；(g)具有显著图融合模块和残差软连接模块的u-net；(h)具有显著图融合模块和区域加权损失函数的u-net；(i)oet-net。图20主要显示了每个模块对舌下边缘阴影的详细分割，以及上部与唇部交界处的分割。突出图像的融合对下边缘阴影的分割具有良好的分割效果，残差软连接使唇舌交界处的分割更加平滑。因为舌头在图中的比例。略小于它的阈值为0.05，损失函数在分割结果中也起着一定的作用。
[0109]
本发明设计了一个可以在自然环境中准确地分割舌头图像的模型，结果表明，该方法取得了最好的分割效果。由于模型主干为u-net，模型参数总数与推理时间之间有很小的差距。从自然环境中拍摄的舌像在图像中舌体比例不同，舌体比例过小，容易导致模型丢失。这正是优化焦点损失以构建一个新的损失函数的原因之一。
[0110]
在图像分割中，注意机制通常用于关注特定的目标。令人惊讶的是，利用注意机制改进的两种模型的最终分割效果不如u-net本身。在开放环境条件下，图片在空间和通道方面都是多样的。仅仅是由于颜色温度的差异，图片之间存在显著差异。本研究基于志愿者诊所收集的1481张图像构建的模型，即使图像数据集在短时间内扩充，但对于复杂的环境变化仍然是杯水车薪。因此，注意机制不适合用于这项任务。与u
2-net模块相比，oet-net没有引入残余的u-块模块，但选择向u-net模型添加一个轻量级优化模块，以优化损失函数的优化。由于分割效果相当，因此在推理时间上具有比较优势。
[0111]
已经有许多模型可以在适当的照明和小的环境干扰的场景中实现舌头的准确分割。然而，这些方法中的大多数都不够稳健。开放的环境没有标准的环境那样有那么多的环境限制，而且光照的变化使得分割舌头边缘的细节更具挑战性。oet-net采用残余软模块和卷积模块进行该操作，这也证明了其在实际分割中的优越性。u
2-net使用高、低层次特征的直接拼接，在光处理过程中传递更多的噪声，效果不如oet-net。
[0112]
优化后的损失函数更像是不均匀的舌图象的比例。残差软连接除了可以过滤冗余环境细节和位置信息外，还可以过滤冗余环境噪声。优化了显著图融合模块在舌头分割算法的边缘分割细节。与残差软连接模块相比，显著图融合相当于一个更深的特征融合模块，在单个模块的整体分割优化方面优于残差软连接模块。显著图融合模块位于模型的解码器中，因此缺乏低层次的位置信息。因此，需要将两个模块结合起来来实现更好的细节分割。残差软连接和显著图融合的结合与注意机制相似，会在少量数据集中产生过度分割。这种现象通过改进的损失函数对位置和图像比例的约束迭代是可以有效阻止。因此，每一次在显著图融合后也有损失函数。改进后的损失函数可以有效地连接分割不足的情况。这三个模块在模型优化中都起着一定的作用，基于这三个模块的优化模型可以在开放环境中更好地分割舌部图像。oet-net在实验中表现出参数数量少、快速、准确的特点。通过对不同手机型号的比较和验证，我们认为该方法在移动设备上具有巨大的应用潜力。这样我们就可以随时随地做智能的舌头诊断。
[0113]
基于上述算法构建了一个客观的智能诊断系统。
[0114]
以上显示和描述了本发明的基本原理和主要特征及本发明的优点，对于本领域技
术人员而言，显然在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0115]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。