训练数据处理方法、分类模型训练方法及设备与流程

本发明涉及人工智能领域，具体涉及一种训练数据处理方法、分类模型训练方法及设备。

背景技术：

在诸如机器学习、深度学习、神经网络等人工智能算法的众多应用场景中，训练数据的准确性对模型的性能起到至关重要的作用。具体地，在训练分类模型的过程中，需要使用样本数据及其标注作为训练数据，所谓标注是用于表示样本数据的实际类型的信息，也即标签信息。

目前，多数情况下标注操作需要由人工完成，通过人工经验辨别样本数据的类型，并为其添加相应的标签信息。在某些应用场景中，可能会遇到样本数据的实际类型很难被辨别的情况，也即类型的界限比较模糊。尤其是在图像识别领域，例如对于某一样本图像而言，由于图像不清晰或者特征不明显等客观原因，使得人工很难确定其具体类别，这使得人工标注结果可能出现错误。错误的训练数据会使分类模型的训练很难收敛，进而影响分类模型的识别准确性。

技术实现要素：

有鉴于此，本发明提供一种训练数据处理方法，包括：

获取多个训练数据，所述训练数据中包括样本图像及其标签信息；

利用所述多个训练数据对分类模型进行训练，并判断是否达到设定的收敛条件；

当未达到设定的收敛条件时，利用训练后的所述分类模型对各个样本图像进行分类并输出分类结果；

利用与所述标签信息不一致的分类结果替换相应的标签信息，以更新所述训练数据。

可选地，所述方法被循环执行，在更新所述训练数据后，返回利用所述多个训练数据对分类模型进行训练的步骤，直至达到设定的收敛条件为止。

可选地，所述收敛条件为损失值小于设定阈值。

可选地，在利用所述多个训练数据对分类模型进行训练的步骤中，利用所述多个训练数据中的至少部分训练数据对分类模型进行训练，直至损失值不再继续下降，以获取最低损失值。

可选地，利用与所述标签信息不一致的分类结果替换相应的标签信息，包括：

从对各个所述样本图像的分类结果中确定与相应的所述标签信息不一致的分类结果，所述分类结果中包括对应于类别的置信度信息；

从确定的分类结果中筛选出置信度信息大于设定置信度阈值的分类结果，并利用筛选出的分类结果替换相应的标签信息。

可选地，所述样本图像为眼底图像，所述标签信息用于表示与眼底疾病相关的类别。

可选地，所述标签信息用于表示眼底血管反光程度。

本发明还提供一种分类模型训练方法，包括：

利用上述训练数据处理方法处理训练数据；

利用处理后的训练数据对目标分类模型进行训练。

相应地，本发明还提供一种训练数据处理设备，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述训练数据处理方法。

相应地，本发明还提供一种分类模型训练设备，其特征在于，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述分类模型训练方法。

根据本发明实施例提供的训练数据处理方法及设备，首先利用初始的训练数据训练分类模型，并判断当前的训练数据是否能够使分类模型收敛，在不能使其收敛时，表示当前的训练数据不够准确，进而获取分类模型对当前训练数据的分类结果，并利用与标签信息不一致的分类结果替换相应的标签信息，以此来优化训练数据。经过本方案处理后的训练数据可用于训练分类模型，使其更容易收敛，进而提高分类模型的识别准确性。

利用经过处理的、更加准确的训练数据，可以使分类模型获得更好的性能，并且可以提高模型训练的效率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的训练数据处理方法的流程图；

图2为本发明实施例中属于正常类的眼底图像块；

图3为本发明实施例中属于轻度反光类的眼底图像块；

图4为本发明实施例中属于严重反光类的眼底图像块。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明提供了一种训练数据处理方法，该方法可以由计算机和服务器等电子设备执行。如图1所示该方法包括如下步骤：

s1a，获取多个训练数据，训练数据中包括样本图像及其标签信息。作为一个应用举例，样本图像例如是医疗设备采集的人体图像，可将其称为医疗图像。医疗图像作为辅助诊断的数据可以体现人体的疾病特征，或者至少能够体现人体的器官或组织特征。医疗图像的标签信息即为疾病的类型、器官或组织的类型，具体类别根据用途而定，相应的标签信息可以由人工提供。

医疗图像一般由专用设备采集，例如ct设备、x光设备、光学照相设备等，一些图像可能由于清晰度低或者特征不明显等原因，使得人工很难辨别其类型，从而给出不准确的标签信息。

作为一个具体举例，在一个实施例中样本图像是眼底视网膜图像，具体是如图2-图4所示的图像块，这些图像块是眼底图像的一部分，其中的条状影像是血管(动脉或静脉)。在本实施例中，这些图像的类别(标签信息)为血管壁反光类型，例如具体可分为三类：图2是正常类(无反光)、图3是轻微反光的类型、图4是严重反光类的类型，标签信息即为表达这些类型的信息。在其它实施例中，标签信息也可以用于表示如糖尿病视网膜病变、青光眼病变等其他与眼底疾病相关的类别。

从图2-图4可以看出，这几类图像之间的区别并不十分明显，医学专家虽然可以区分其类型，但也不能保证完全正确，对于一般人员而言区分难度会更大。初始的训练数据由人工提供，而后使用本发明提供的方案对这些训练数据进行处理。

s2a，利用多个训练数据对分类模型进行训练，并判断是否达到设定的收敛条件。在此使用的分类模型可以是结构比较简单的神经网络模型，分类模型的参数为初始值，它将学习训练数据以调整合适的参数，从而达到辨别类型的目的。有多种可选的收敛条件，例如是所学习的训练数据的数量或者其输出的类型与标签信息的差距等。经过一定的训练后，当判断未达到设定的收敛条件时，执行步骤s3a；当判断已经达到设定的收敛条件时，即表示训练数据已经足够准确，执行步骤s5a。

s3a，利用训练后的分类模型对各个样本图像进行分类并输出分类结果。步骤s2a是对模型的训练阶段，而此步骤是应用其识别图像的阶段。分类模型输出的是用于表达图像类型的信息，以上述三种类型为例，在此得到的分类结果则用于表示相应的样本图像属于正常类(无反光)、轻微反光的类型还是严重反光类的类型。

s4a，利用与标签信息不一致的分类结果替换相应的标签信息，以更新训练数据。例如在步骤s3a中，分类模型对1000个样本图像进行分类得到1000个分类结果，这些结果的准确率可以达到80％以上。也即多数分类结果与标签信息是一致的，只有少数是不一致的，例如图3的标签信息为轻微反光，而分类模型输出的结果为正常类。在本发明方案中，认为这些不一致的情况可能属于标签信息本身是不恰当的，所以将标签信息替换为模型输出的分类结果，以修正这些训练数据。

关于替换，可以加入进一步的筛选标准，而不是对于所有不一致的情况都必须做出替换。例如可以根据分类结果与标签信息的差距选择需要更新的训练数据。具体地，以上述血管壁反光的应用为例，对于将标注为轻微反光的图像识别为严重反光的(或者相反的情况)，可以不进行替换；而将标注为正常的图像识别为轻微反光或者严重反光的情况(或者相反的情况)则需要进行替换。具体筛选标准可根据实际应用场景而定。

s5a，输出当前的训练数据。此步骤可能输出原始的训练数据，或者更新后的训练数据。

需要说明的是，本方法不限于应用到医疗领域中。对于其它领域，只要存在容易混淆或不易辨别类型的图像，使人工难以标注，都可以使用本方法进行处理来优化训练数据。

根据本发明实施例提供的训练数据处理方法，首先利用初始的训练数据训练分类模型，并判断当前的训练数据是否能够使分类模型收敛，在不能使其收敛时，表示当前的训练数据不够准确，进而获取分类模型对当前训练数据的分类结果，并利用与标签信息不一致的分类结果替换相应的标签信息，以此来优化训练数据。经过本方案处理后的训练数据可用于训练分类模型，使其更容易收敛，进而提高分类模型的识别准确性。

上述步骤被执行一次则完成一次训练数据更新操作。在一个优选的实施例中，上述步骤被循环执行，在步骤s4a执行完毕后返回步骤s2a，再一次利用更新后的训练数据对分类模型进行训练，以使其进一步优化自身参数，如果达到收敛条件则停止更新训练数据，以当前的训练数据作为结果，否则再一次筛选并更新训练数据，直至达到收敛条件为止。

理论上在第一次执行上述方法时也可能判定不需要更新训练数据，也即可能出现只执行步骤s1a、s2a和s5a的情况，说明初始的训练数据已经足够准确。但是在实际应用时，通常会多次执行步骤s1a-s4a，随着循环执行，对训练数据进行适当的更新后才会从步骤s2a跳转到步骤s5a。

在一个优选的实施例中，收敛条件被设置为损失值小于设定阈值。具体地，在训练阶段，分类模型将通过损失函数计算针对当前训练数据的损失值(loss)，该数值用于表达当前的分类模型输出的分类结果与标签信息的差距。损失值越小则表示分类模型的性能越好，在训练时这一数值会随着训练数据的增加而降低，但是一般情况下无法使损失值为0。

假设训练数据的数量是1000个，在步骤s2a中，分类模型可能在接收了1000个数据中的一部分数据时，损失值不再继续下降，此时则获取损失值，即最低损失值。然后判断最低损失值是否小于设定阈值，如果小于设定阈值则跳转步骤s5a，否则执行步骤s3a。

根据上述优选方案可以提高模型训练阶段的效率，在损失值不再降低时即停止训练并进入后续步骤，从而提高训练数据更新操作的效率。

关于步骤s4a，分类模型实际上可以输出一种置信度信息或者概率信息，例如分类模型将图3确定为轻微反光类的过程，实际上所输出的是对应于三个类别的置信度，例如(0，0.8,0.3)，这三个数值对应三个类别，由于0.8为其中最大值，由此确定该图像为第二类，即轻微反光类。在一个优选的实施例中，根据这些置信度信息筛选出需要更新的标签信息，以提高训练数据更新结果的准确性。具体地，步骤s4a可包括如下步骤：

s4a1，从对各个样本图像的分类结果中确定与相应的标签信息不一致的分类结果，分类结果中包括对应于类别的置信度信息。首先筛选出与标签信息不一致的分类结果，并获取与分类结果相应的置信度信息。

s4a2，从确定的分类结果中筛选出置信度信息大于设定置信度阈值的分类结果，并利用筛选出的分类结果替换相应的标签信息。例如设置置信度阈值为0.8，假设一个不一致的分类结果：轻微反光类，0.9，但其标签信息为严重反光类，由此将标签信息替换为轻微反光类；假设一个不一致的分类结果：轻微反光类，0.6，但其标签信息为严重反光类，对此将不进行替换，保留原始的标签信息。

根据上述优选方案，在不一致的分类结果中，具有足够大的置信度表示分类模型输出的分类结果准确性足够高，也即表示标签信息是错误的可能性更大，标签信息应当被替换；反之则表示分类结果的准确性不够高，标签信息不应该被替换。筛选出这些分类结果替换相应的标签信息可以提高数据更新的效率以及准确性。

本发明的一个实施例还提供一种训练数据处理设备，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述训练数据处理方法。

本发明的一个实施例还提供了一种分类模型训练方法，该方法可以由计算机和服务器等电子设备执行。首先利用上述训练数据处理方法对原始的训练数据进行处理；然后利用处理后的训练数据对目标分类模型进行训练。目标分类模型的结构与处理训练数据所用的分类模型的结构可以是完全不同的，它可以更加复杂。

利用经过处理的、更加准确的训练数据，可以使分类模型获得更好的性能，并且可以提高模型训练的效率。

本发明的一个实施例还提供一种分类模型训练设备，包括：至少一个处理器以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述分类模型训练方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。