样本标签置信度计算方法、装置、设备及模型训练方法与流程

本发明涉及，尤其涉及一种样本标签置信度计算方法、装置、设备及模型训练方法。

背景技术：

深度学习网络模型在医学领域已经取得了突出的成果，在图像分类、图像分割以及目标检测等领域均已打败传统图像处理技术。在图像分类方面，深度学习的研究者们针对性地提出了多种经典模型，如vggnet、googlenet以及resnet等。目前，研究者们已经将这些经典模型应用于医学图像分类中。与传统的自然图像不同，医学图像强依赖于医学的领域知识，在实现某一特定医学影像的疾病分类时，研究者们需要专业的医生对医学图像进行标注，并且标注的精确度越高，深度学习模型的性能会越好。然而，由于医生的专业水平不同，对于医学影像的理解和判断也会有出入，收集的医学影像数据很难保证较高的纯度。此外，医生在标注过程中也会由于各种因素，如疲倦、疏忽，而导致误标的情况。对于学习资料不纯的情况，目前并没有针对性的处理方法，大多是通过发现一例错误样本纠错一例的方法进行样本集的沉淀。此外，算法模型的一些防止过拟合的方法也一定程度上抵御了数据纯度低的风险，如参数正则化、dropout处理等。还有一种特殊的网络结构teacher-studentnetwork，这类网络首先通过teacher网络学习样本集，然后student网络基于teacher网络学到的参数进行学习。teacher网络能够在学习阶段降低错误样本的权重，student网络在学习时受到错误样本的影响会相对小些。

但是，从根本上将，深度学习模型是以数据驱动的算法，数据的纯度能够影响模型在真实应用场景的最终性能。虽然无监督模型和半监督模型的发展能够一定程度上控制数据纯度低所带来的风险，但其应用场景远比有监督模型要少。目前，有监督深度学习模型通过拓展模型宽度和深度，能够高效地学习训练样本的特征，当然也包括训练样本中的一些噪音特征。随着深度学习模型的学习能力不断加强，医学影像学习资料中的错误会以过拟合的形式被模型学习到，这会让模型的能力大打折扣。深度学习模型是人工智能领域最先进的代表算法，但相比真正的智能仍存在很多不足，其中之一表现在对训练数据的学习方面。目前的深度学习模型不会对输入的训练数据有自己的判断，而是一味地按照所给的标签，机械式地通过梯度下降等优化算法进行学习。即使模型对某一正确标签样本学习了100次，当将该样本的标签人为地标错，并输入模型进行学习时，模型不会记得前100次的正确学习，而是以百分之百的置信度去学习错误标签样本。在训练样本中存在较多错标数据时，这样的学习方式显然是不合适的，尤其是在医学影像的学习方面。

技术实现要素：

基于此，有必要针对上述样本标签不准确的问题，提供一种能够对样本标签进行修正的样本标签置信度计算方法。

本发明提供的一种样本标签置信度计算方法，用于对图像深度学习模型训练的样本标签置信度进行计算，包括一下步骤：

根据当前样本的学习结果计算样本初始标签的初始标签置信度；

判断所述初始标签置信度是否满足预设置信度条件，并得到判断结果；

根据所述判断结果，当所述初始标签置信度满足预设置信度条件时，保持所述当前样本的最终标签为所述初始标签不变；

根据所述判断结果，当所述初始标签置信度不满足预设置信度条件时，从所有预设类标签中选择置信度最大的标签作为所述当前样本的最终标签；

其中，包含所述初始标签的所有预设标签的数量两个以上。

其中一个实施例的样本标签置信度计算方法中，所述初始标签置信度包括基础置信度和调整置信度两部分。

其中一个实施例的样本标签置信度计算方法中，对于所述初始标签的初始标签置信度在最初预设学习次数内初始标签置信度为100％。

其中一个实施例的样本标签置信度计算方法中，所述根据当前样本的学习结果计算样本初始标签的初始标签置信度，包括：

计算当前样本初始标签的基础置信度，其计算公式如下：

其中，nstart最初预设学习次数，n表示当前学习的次数，k表示输入样本的标签权重衰减度，b表示标签的滑动平均系数；

计算当前样本历史学习结果的调整置信度，其计算公式如下：

其中p⁽ⁿ⁾m表示在第n次学习中，第m类标签的置信度；p⁽⁰⁾m表示第m类标签的置信度初始值；函数i(m＝i)表示的是当标签类别为i时输出1，否则输出0；n表示标签的类别数目；，b表示标签的滑动平均系数；

计算样本总的初始标签置信度，计算公式如下：

其中一个实施例的样本标签置信度计算方法中，所述初始标签置信度的预设置信度条件为初始标签置信度大于等于1。

基于同一发明，还提供一种图像深度学习模型训练的样本标签置信度计算的装置，包括：

初始标签置信度计算模块，用于根据当前样本的学习结果计算样本初始标签的初始标签置信度；

结果判断模块，用于判断所述初始标签置信度是否满足预设置信度条件，并得到判断结果；

第一处理模块，用于根据所述判断结果，当所述初始标签置信度满足预设置信度条件时，保持所述当前样本的最终标签为所述初始标签不变；

第二处理模块，用于根据所述判断结果，当所述初始标签置信度不满足预设置信度条件时，从所有的预设类标签中选择置信度最大的标签作为所述当前样本的最终标签；

其中，包含所述初始标签的所有预设标签的数量两个以上。

还提供一种用于图像深度学习模型训练的样本标签置信度计算的设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现前述任一实施例的样本标签置信度计算方法。

还提供一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现前述任一实施例的样本标签置信度计算方法。

还提供一种图像深度学习模型训练的方法，包括：

接收输入的样本图像，并获取每个输入样本图像的标签数据；

使用前述任一实施例所述的样本标签置信度计算方法计算输入样本的置信度；

图像分类网络模型前向传播；

输出前向传播结果；

模型训练；

图像分类网络模型反向传播；

调整图像分类网络模型参数。

还提供一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现前述图像深度学习模型训练的方法。

本发明的有益效果包括：本发明提供的一种样本标签置信度计算方法，用于对图像深度学习模型训练的样本标签置信度进行计算，该方法能够应用到深度学习模型中，使得深度学习模型在学习的过程中能够保留对训练样本的历史学习记忆。输入的带有标签的样本以一定概率会被当作相反标签的样本进行学习，然而我们不必担心正确标注的样本会被错误地学习，该方法的主要目的是对错标样本进行纠错，从而使得模型能够得到更好的训练。当模型对每一个样本进行学习时，模型会结合该样本的历史学习结果来给出该样本的标签置信度，基于样本的标签置信度，模型以样本置信度为指标选择置信度最大的标签作为样本的标签进行学习。

附图说明

图1为本发明一种样本标签置信度计算的方法的一具体实施例的流程图；

图2为眼底图像出血与否深度学习模型loss下降曲线对比示意图；

图3为本发明一种图像深度学习模型训练的样本标签置信度计算的装置的结构示意图；

图4为本发明一种图像深度学习模型训练方法一个实施例的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明的样本标签置信度计算方法，对应的装置、设备，以及图像深度学习模型训练的方法的具体实施方式进行说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，本发明的样本标签置信度计算的方法，用于对图像深度学习模型训练的样本标签置信度进行计算。其中一个具体实施例如图1所示，具体包括以下步骤：

s100,根据当前样本的学习结果计算样本初始标签的初始标签置信度。

在本方法中，每个样本引入中到图像深度学习模型中时，都会初始标记一个标签，如对于眼底图像，输入的图像标签包括合格图像、过曝光图像，欠曝光图像，或者根据病变类型分为青光眼图像，正常眼底图像等。本方法执行过程中涉及每个样本均是每次学习时对初始标签的初始标签置信度进行一次计算。当然在一个深度学习模型中，包含初始标签在内，样本可能标记的预设标签的数量会在两个以上

s200,判断初始标签置信度是否满足预设置信度条件，并得到判断结果。

本方法的目的在于引用对样本初始标签置信度的概念，对样本标签进行修正。因此，可预先设置对初始标签置信度计算的公式以及评价标准，本步骤判断对当前标签初始标签置信度计算后是否满足预先设置的条件，并根据判断结果决定下一步要执行的操作。

s300，根据判断结果，当初始标签置信度满足预设置信度条件时，保持当前样本的最终标签为初始标签不变。即样本初始标签标记在本次学习验证中没有发现问题，因此当前的样本图像保持原有的样本标签不变。

s400，根据判断结果，当初始标签置信度不满足预设置信度条件时，从所有预设类标签中选择置信度最大的标签作为当前样本的最终标签。另外还需要说明的是，本方法是在图像深度学习模型训练的时候用的，在训练过程中每个循环对样本图像进行一次标签置信度的计算，可以根据多次循环的结果综合对样本置信度做出最终的判断，具体的循环学习的次数可以更具具体情况进行设定。

本实施例的样本标签置信度计算方法，用于对图像深度学习模型训练的样本标签置信度进行计算，该方法能够应用到深度学习模型中，使得深度学习模型在学习的过程中能够保留对训练样本的历史学习记忆。输入的带有标签的样本以一定概率会被当作相反标签的样本进行学习，然而我们不必担心正确标注的样本会被错误地学习，该方法的主要目的是对错标样本进行纠错，从而使得模型能够得到更好的训练。当模型对每一个样本进行学习时，模型会结合该样本的历史学习结果来给出该样本的标签置信度，基于样本的标签置信度，模型以样本置信度为指标选择置信度最大的标签作为样本的最终标签进行学习。

在一具体实施例中，将初始标签置信度包括基础置信度和调整置信度两部分。

步骤s100，根据当前样本的学习结果计算样本初始标签的初始标签置信度，包括：

s101,计算当前样本初始标签的基础置信度，其计算公式如下：

其中，nstart最初预设学习次数，n表示当前学习的次数，k表示输入样本的标签权重衰减度；其模拟退火算法，即输入的带有标签的样本以一定概率会被当作相反标签的样本进行学习，采用e为底的指数衰减，n表示epoch的次数，当n小于nstart时，pori值始终为1；当n大于nstart时，随着n值越来越大，pori值越来越小对于初始标签的初始标签置信度在最初预设学习次数内初始标签置信度为100％，也即置信度为1。

s102,计算当前样本历史学习结果的调整置信度，其计算公式如下：

其中p⁽ⁿ⁾m表示在第n次学习中，第m类标签的置信度；p⁽⁰⁾m表示第m类标签的置信度初始值；函数i(m＝i)表示的是当标签类别为i时输出1，否则输出0；n表示标签的类别数目；，b表示标签的滑动平均系数,这里通过指数滑动平均得出第n次epoch中的样本的每一类标签的置信度；函数i(m＝i)表示的是当标签类别为i时输出1，否则输出0；n表示标签的类别数目。

s103,计算样本总的初始标签置信度，计算公式如下：

最终得到由两部分综合得到的图像样本的初始标签置信度。该实施例中能够综合多次学习的结果对样本初始标签置信度进行计算。

当所述初始标签置信度不满足预设置信度条件时，也即初始标签置信度小于1时，从所有预设类标签中选择置信度最大的标签作为所述当前样本的最终标签，先计算其他预设类标签的置信度，计算公式如下：

此时，模型将以样本标签类别的置信度为指标选择性地接受某一标签作为该样本的最终标签进行学习。如可以选择置信度最大的标签作为当前样本的最终标签。从而实现对图像深度学习模型训练的样本标签进行修正，使模型能够更准确的对需要判断的图像进行判断。

本发明在深度学习模型中加入了样本标签置信度计算模块，样本标签的置信度计算包括两个部分，第一个部分是样本初始标签的置信度pori，第二个部分是样本历史学习结果的初始标签置信度pjudge-ori，两部分相加构成了样本标签的总体置信度ptotal-ori。pori值随着训练epoch的增加越来越小，即其在总体置信度中的比重会越来越小，最终趋于0；pjudge-ori值不受epoch的影响，但会随着pori值比重的减小而逐渐起到主导作用。最终使用ptotal-ori值对输入训练样本的标签做控制，或者接受初始标签，或者根据置信度ptotal-ori的值选择更适合的标签。

还需要说明的是，本发明的方法通过计算软件执行，在执行操作之前，需要首先初始化样本置信度参数nstart、k、b。

下面以一个具体实例对本发明的方法进行详细说明。

以训练眼底图像出血与否的二分类模型为例，收集正常眼底图像11000张，出血眼底图像11000张，其中各取1000张作为验证集。本发明使用googlenet进行训练，其主要参数设置为：batchsize＝16，学习率lr＝0.01，学习率衰减指数garmma＝0.96，衰减周期为4个epoch，此外优化方法采用的是adam算法。将样本置信度计算模块添加至网络进行学习，其样本标签置信度计算模块在模型训练过程中的详细计算如下所示：

由于眼底图像出血特征相对比较明显，因此我们设置置信度计算模块的超参数为nstart＝10,k＝50，b＝0.9。即，从第11次epoch启动置信度计算模块，并在第50次epoch时pori下降至e^-1，指数滑动平均系数为0.9，其具体的计算公式如下：

由于ptotal-ori∈[0,1]，我们以ptotal-ori为概率对输入的眼底图标签进行重新选择。在训练的前10个epoch里，模型以ptotal-ori＝100％的概率接受眼底图像的初始标签；从第11个epoch开始，ptotal-ori的值将会出现小于100％，甚至出现接近0的情况，当趋近于0时，模型将以很大概率摒弃初始样本标签，同时以大概率接受模型认为正确的标签。

每次完成一个epoch，模型将计算出样本对于每个类别的标签置信度指数滑动平均值p⁽ⁿ⁾m。通过多次epoch的训练，模型对于训练样本的认知情况将会趋于稳定，这里设定epoch的最大次数为500次。

由于在训练初的前几个epoch里模型就像“新生儿”一样对输入的数据没有自己的认知，我们应该让模型100％接受训练样本的初始标签，因此本发明设置了在前10个epoch中模型并没有使用样本置信度计算模块，并且此参数可以基于不同的训练数据进行调整。

本发明分别做了两次实验进行对比，第一个实验是采用传统的训练方法对googlenet进行训练；第二个实验是在第一个实验的基础上增加了样本置信度计算模块对googlenet再次进行训练。两次实验中的googlenet模型超参数设置相同，并且学习策略和优化方法也相同。两次实验在验证集上的loss曲线如图2所示。从图中可以看出加入样本置信度计算模块可以加快loss的下降，提高模型的训练效率和性能。

本发明还提供一种图像深度学习模型训练的样本标签置信度计算的装置，由于此装置解决问题的原理与前述一种样本标签置信度计算方法相似，因此，该系统的实施可以按照前述方法的具体步骤实现，重复之处不再赘述。

如图3所示，其中一个实施例的图像深度学习模型训练的样本标签置信度计算的装置包括初始标签置信度计算模块100，结果判断模块200，第一处理模块300及第二处理模块400。其中，所述初始标签置信度计算模块100，用于根据当前样本的学习结果计算样本初始标签的初始标签置信度；所述结果判断模块200，用于判断初始标签置信度是否满足预设置信度条件，并得到判断结果；所述第一处理模块300，用于根据判断结果，当初始标签置信度满足预设置信度条件时，保持当前样本的最终标签为初始标签不变；所述第二处理模块400，用于根据判断结果，当初始标签置信度不满足预设置信度条件时，从所有预设类标签中选择置信度最大的标签作为当前样本的最终标签；且包含初始标签的所有预设标签的数量两个以上。

同时提供的一种用于图像深度学习模型训练的样本标签置信度计算的设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现前述任一实施例的样本标签置信度计算的方法。

同时还提供一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当计算机程序指令被处理器执行时实现前述任一实施例的样本标签置信度计算的方法。

同时，本发明还提供一种图像深度学习模型训练方法，如图4所示，包括以下步骤：

s001,接收输入的样本图像，并获取每个输入样本图像的标签数据；

s002,使用前述的样本标签置信度计算方法计算输入样本的置信度；

s003,图像分类网络模型前向传播；

s004,输出前向传播结果；

s005,模型训练；

s006,图像分类网络模型反向传播；

s006,调整图像分类网络模型参数。

样本标签置信度计算机标签调整渗透到模型深度学习的整个循环周期，对样本标签进行纠正。

同时还提供一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当计算机程序指令被处理器执行时实现上述的图像深度学习模型训练方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。