医疗图像识别方法和设备与流程

本发明涉及医疗图像处理领域，具体涉及一种医疗图像识别方法和设备。

背景技术：

利用机器学习算法和模型对图像进行识别是一种高效的方式，也是诸如自动驾驶、智能摄像、机器人等众多领域的底层技术。

医学图像通常可以反应出多种疾病类型，例如眼底图像可以体现出血管瘤、眼底出血、青光眼等多种眼部疾病。利用机器学习模型(例如神经网络)识别医学图像，首先要使用样本图像对模型进行训练，训练时需要大量标注过的图片，对标注人员的依赖程度较高。不同国家、城市、医生对一些疾病定义标准不同，标注人员水平参差不齐，所标注的图像质量相差比较大，错误和不够准确的标注内容会产生数据噪声。

现有的基于人工智能的医疗图像识别方案利用这些标注图像训练出的模型得到识别结果，受到数据噪声的影响比较大，识别结果准确性不够高，甚至会造成模型训练的失败。

技术实现要素：

有鉴于此，本发明提供一种医疗图像识别方法，包括：

获取医疗图像；

利用第一机器学习模型对所述医疗图像进行分类得到第一向量，所述第一向量表示所述医疗图像的类型为健康或者异常的第一置信度；

利用第二机器学习模型对所述医疗图像进行分类得到第二向量，所述第二向量表示所述医疗图像的类型为各种疾病类型的第二置信度；

根据所述第一向量和所述第二向量得到第三向量；

根据所述第三向量得到对所述医疗图像的识别结果。

可选地，所述根据所述第一向量和所述第二向量得到第三向量，包括：

拼接所述第一向量和所述第二向量得到第三向量，所述第三向量由所述第一置信度和所述第二信度组成。

可选地，所述根据所述第三向量得到对所述医疗图像的识别结果，包括：

利用第三机器学习模型对所述第三向量进行分类得到分类结果，所述分类结果为正常或者异常；

根据所述分类结果确定对所述医疗图像的识别结果。

可选地，所述根据所述分类结果确定对所述医疗图像的识别结果，包括：

判断所述分类结果是否为正常；

当分类结果为正常时，输出所述分类结果。

可选地，当分类结果为异常时，输出所述第二向量。

可选地，所述根据所述第一向量和所述第二向量得到第三向量，包括：

根据预设第一比例在所述第一向量中取第一数值；

根据预设第二比例在所述第二向量中取第二数值；

对所述第一数值与所述第二数值求和得到第三向量。

可选地，所述根据所述第三向量得到对所述医疗图像的识别结果，包括：

将所述第三向量与设定阈值进行比对；

根据比对结果确定对所述医疗图像的识别结果。

可选地，所述根据比对结果确定对所述医疗图像的识别结果，包括：

判断所述第三向量是否小于所述设定阈值；

当所述第三向量小于所述设定阈值时，确定识别结果为健康。

可选地，当所述第三向量大于或等于所述设定阈值时，输出所述第二向量。

本发明还提供了一种医疗图像识别装置，包括：

获取单元，用于获取医疗图像；

第一机器学习模型，用于对所述医疗图像进行分类得到第一向量，所述第一向量表示所述医疗图像的类型为健康或者异常的第一置信度；

第二机器学习模型，用于对所述医疗图像进行分类得到第二向量，所述第二向量表示所述医疗图像的类型为各种疾病类型的第二置信度；

融合单元，用于根据所述第一向量和所述第二向量得到第三向量；

确定单元，用于根据所述第三向量得到对所述医疗图像的识别结果。

本发明还提供了一种医疗图像识别设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述医疗图像识别方法。

根据本发明实施例提供的医疗图像识别方法和设备，通过两个机器学习模型分别对同一医疗图像进行识别，其中的两个机器学习模型用途不同，在训练机器模型时可以分别针对不同的用途采用不同的样本数据进行训练，以得到准确性较高的模型。其中一个模型对医疗图像进行二分类，得到其属于健康或异常的置信度，而不必识别具体异常类型；另一个模型对医疗图像进行多分类，专注于识别异常类型，得到其属于各种疾病的置信度。对这两个分类结果进行融合，最终根据融合结果得到对医疗图像的识别结果，以缓解数据噪声对识别结果的干扰，由此可以提高医疗图像识别的准确性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的一种医疗图像识别方法的流程图；

图2为本发明实施例中的另一种医疗图像识别方法的流程图；

图3为本发明实施例中的医疗图像识别装置的结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供了一种医疗图像识别方法，该方法可以由计算机和服务器等电子设备执行。在本方法中使用了机器学习模型识别图像，所述机器学习模型可以是多种类型和结构的神经网络。如图1所示该方法包括如下步骤：

s1a，获取医疗图像。该图像可以是单通道图像，例如ct(computedtomography，电子计算机断层扫描)图像、超声波检测图像等等；该图像也可以是多通道图像，例如是眼底照片等等。在一些优选的实施例中，还可以对医疗图像进行预处理，例如剪切图像中不必要的背景、提高图像的对比度、转换色彩空间和去除部分不必要的区域等操作。

s2a，利用第一机器学习模型对医疗图像进行分类得到第一向量，第一向量表示医疗图像的类型为健康或者异常的第一置信度。

在使用第一机器学习模型之前应当使用样本数据对其进行训练使其具备一定的分类能力。具体可以使用大量已知为健康的医疗图像和已知为异常的医疗图像对初始的模型进行训练，训练数据包括异常和正常两个类别，经过训练后的模型即可根据输入图像输出一个向量，该向量中只有一个数值，该数值表示医疗图像的类型为健康或者异常的置信度，该置信度的范围在0和1之间。

此步骤中的第一机器学习模型只需要对医疗图像块进行二分类，输出正常的置信度或者异常的置信度这两种分类结果中的一个，输出的分类结果可能是0和1之间的任何一个数值，而非确定性的结论。

例如第一机器学习模型输出第一向量为[0.6],0.6表示医疗图像属于健康的置信度为60％；或者0.6表示医疗图像属于异常的置信度为60％。在本实施例中预先设定并训练第一机器学习，使其输出用于表示类型为异常的置信度，因此输出结果表示该医疗图像属于异常的置信度为60％(属于正常的置信度为40％)。

s3a，利用第二机器学习模型对医疗图像进行分类得到第二向量，第二向量表示医疗图像的类型为各种疾病类型的第二置信度。在使用第二机器学习模型之前应当使用样本数据对其进行训练使其具备一定的分类能力。具体可以使用大量已知具有疾病特征的医疗图像对初始的模型进行训练，并且一个用于训练的医疗图像中可以包含多种疾病特征。经过训练后的模型即可根据输入图像输出一个向量，该向量中有多个数值，这些数值分别表示医疗图像属于各种疾病类型的置信度，各个置信度的范围均在0和1之间。

此步骤中的第二机器学习模型需要对医疗图像块进行多分类，输出的分类结果中的各个数值分别可能是0和1之间的任何一个数值，而非确定性的结论。

例如第二机器学习模型输出第二向量为[0.1，0.5，0.3，0.4，0.5],其中第一个数值0.1表示医疗图像属于第一种疾病类型的置信度为10％、第二个数值0.5表示医疗图像属于第二种疾病类型的置信度为50％、第三个数值0.3表示医疗图像属于第三种疾病类型的置信度为30％、第四个数值0.4表示医疗图像属于第四种疾病类型的置信度为40％、第五个数值0.5表示医疗图像属于第五种疾病类型的置信度为50％。

s4a，根据第一向量和第二向量得到第三向量。融合两个向量的方法有多种，例如相加、相减、拼接等等。本实施例采用一种优选的实施方式，将两个模型的输出的向量以一定的比例求和得到第三向量。

以上述预测向量为例，对第一机器学习模型输出的第一向量取50％得到第一数值0.3(0.6×50％＝0.3)；对第二机器学习模型输出的第二向量取10％得到多个第二数值0.01(0.1×10％＝0.01)、0.05(0.5×10％＝0.05)、0.03(0.3×10％＝0.03)、0.04(0.4×10％＝0.04)、0.05(0.5×10％＝0.05)，第一数值与多个第二数值求和得到第三向量0.3+0.01+0.05+0.03+0.04+0.05＝0.48,第三向量为[0.48]。

在以上举例中，对第一向量进行取值的比例是50％、对第二向量进行取值的比例是10％，这只是为了清楚地说明所作的举例而非对比例进行限定，实际应用中根据实际情况设定这两个取值比例。

s5a，根据第三向量得到对医疗图像的识别结果。例如可以使用分类器对第三向量进行分类得到识别结果，或者采用阈值法确定识别结果，最终的识别结果可以是健康、异常、属于某一种或多种疾病或者属于各种疾病的置信度。

根据本发明实施例提供的医疗图像识别方法，通过两个机器学习模型分别对同一医疗图像进行识别，其中的两个机器学习模型用途不同，在训练机器模型时可以分别针对不同的用途采用不同的样本数据进行训练，以得到准确性较高的模型。其中一个模型对医疗图像进行二分类，得到其属于健康或异常的置信度，而不必识别具体异常类型；另一个模型对医疗图像进行多分类，专注于识别异常类型，得到其属于各种疾病的置信度。对这两个分类结果进行融合，最终根据融合结果得到对医疗图像的识别结果，以缓解数据噪声对识别结果的干扰，由此可以提高医疗图像识别的准确性。

本实施例采用一种优选的方式确定识别结果。具体地，判断第三向量是否小于设定阈值，如果第三向量小于设定阈值则确定识别结果为健康。例如设定阈值为0.5，第三向量中的数值0.48小于0.5，则最终判定该医疗图像是健康的，不必再对第二向量进行判断。

如果第三向量大于或等于设定阈值，可以只输出识别结果为异常，也可以输出第二向量用来表示该医疗图像属于各种疾病的置信度，或者可以进一步对第二向量中的各个数值进行判断，输出该医疗图像属于某种疾病的确定性结论。

上述利用阈值判断得到最终识别结果的方式具有较高的计算效率，并且比较直观；对于异常类的医疗图像，最后输出其属于各种疾病的置信度，为用户提供量化的参考数值，相比于输出确定性的结论，输出置信度信息的辅助效果更强。

本发明实施例提供了另一种医疗图像识别方法，该方法可以由计算机和服务器等电子设备执行。在本方法中使用了机器学习模型识别图像，所述机器学习模型可以是多种类型和结构的神经网络。如图2所示该方法包括如下步骤：

s1b，获取医疗图像。具体可参照上述实施例中的步骤s1a，本实施例中不再赘述。

s2b，利用第一机器学习模型对医疗图像进行分类得到第一向量，第一向量表示医疗图像的类型为健康或者异常的第一置信度。具体可参照上述实施例中的步骤s2a，本实施例中不再赘述。在本实施例中预先设定并训练第一机器学习使其输出用于表示类型为正常的置信度，例如第一向量为[0.4],则表示该医疗图像属于正常的置信度为40％(属于异常的置信度为60％)。

s3b，利用第二机器学习模型对医疗图像进行分类得到第二向量，第二向量表示医疗图像的类型为各种疾病类型的第二置信度。具体可参照上述实施例中的步骤s3a，本实施例中不再赘述。

例如第二机器学习模型输出第二向量为[0.1，0.5，0.3，0.4，0.5],其中第一个数值0.1表示医疗图像属于第一种疾病类型的置信度为10％、第二个数值0.5表示医疗图像属于第二种疾病类型的置信度为50％、第三个数值0.3表示医疗图像属于第三种疾病类型的置信度为30％、第四个数值0.4表示医疗图像属于第四种疾病类型的置信度为40％、第五个数值0.5表示医疗图像属于第五种疾病类型的置信度为50％。

s4b，将两个模型输出的向量进行拼接得到第三向量。以上述预测向量为例，拼接之后得到第三向量为[0.4，0.1，0.5，0.3，0.4，0.5]，其中第一个数值0.4是第一向量中的唯一数值、第二至六个数值是第二向量中的全部数值。

在以上举例中，将第一向量的数值设在首位只是为了清楚地说明所作的举例而非对拼接方式进行限定，实际应用中根据实际情况设定具体拼接方式，并相应地调整后续算法。

s5b，利用第三机器学习模型对第三向量进行分类得到分类结果，分类结果为正常或者异常。在使用第三机器学习模型之前应当使用样本数据对其进行训练使其具备一定的分类能力。具体可以使用大量已知状态的医疗图像及其对应的第三向量对初始的模型进行训练，经过训练后的模型即可根据输入向量分辨医疗图像属于健康类或是异常类。与第一机器学习模型不同的是，第三机器学习模型输出的是确定性的结论。例如第三机器学习模型可以是一个svm分类器，该分类器的输入是第三向量[0.4，0.1，0.5，0.3，0.4，0.5]，输出是0或1，例如0表示健康、1表示异常。

s6b，根据分类结果确定对医疗图像的识别结果。对于第三机器学习模型输出的两种分类结果，可以采取不同的处理方式得到最终的识别结果。最终识别结果例如是健康、异常、属于某一种或多种疾病或者属于各种疾病的置信度。

本实施例提供的医疗图像识别方法拼接两个预测向量，并利用第三个机器学习模型对拼接后的向量进行分类，使用人工智能方式根据拼接向量得到最终识别结果的方式具有较高的准确性。

本实施例采用一种优选的方式确定识别结果。具体地，判断第三机器学习模型输出的分类结果是否为正常，如果分类结果为正常则输出分类结果。最终判定该医疗图像是健康的，不必再对第二向量进行判断。

如果分类结果为异常，可以只输出最终识别结果为异常，也可以输出第二向量用来表示该医疗图像属于各种疾病的置信度，或者可以进一步对第二向量中的各个数值进行判断，输出该医疗图像属于某种疾病的确定性结论。

对于异常类的医疗图像，最后输出其属于各种疾病的置信度，为用户提供量化的参考数值，相比于输出确定性的结论，输出置信度信息的辅助效果更强。

本发明的一个实施例还提供了一种医疗图像识别装置，该装置可以设置在计算机和服务器等电子设备中。如图3所示该装置包括：

获取单元31，用于获取医疗图像；

第一机器学习模型32，用于对所述医疗图像进行分类得到第一向量，所述第一向量表示所述医疗图像的类型为健康或者异常的第一置信度；

第二机器学习模型33，用于对所述医疗图像进行分类得到第二向量，所述第二向量表示所述医疗图像的类型为各种疾病类型的第二置信度；

融合单元34，用于根据所述第一向量和所述第二向量得到第三向量；

确定单元35，用于根据所述第三向量得到对所述医疗图像的识别结果。

作为一个优选的实施例，所述融合单元34包括：

向量拼接单元，用于拼接所述第一向量和所述第二向量得到第三向量，所述第三向量由所述第一置信度和所述第二信度组成。

进一步地，所述确定单元35包括：

第三机器学习模型，用于对所述第三向量进行分类得到分类结果，所述分类结果为正常或者异常；

判定单元，用于根据所述分类结果确定对所述医疗图像的识别结果。

进一步地，所述判定单用于判断所述分类结果是否为正常，当分类结果为正常时，输出所述分类结果；当分类结果为异常时，输出所述第二向量。

作为另一个优选的实施例，所述融合单元34包括：

第一取值单元，用于根据预设第一比例在所述第一向量中取第一数值；

第二取值单元，用于根据预设第二比例在所述第二向量中取第二数值；

求和单元，用于对所述第一数值与所述第二数值求和得到第三向量。

进一步地，所述确定单元35包括：

比对单元，用于将所述第三向量与设定阈值进行比对；

判定单元，用于根据比对结果确定对所述医疗图像的识别结果。

进一步地，所述判定单元用于判断所述第三向量是否小于所述设定阈值，当所述第三向量小于所述设定阈值时，确定识别结果为健康；当所述第三向量大于或等于所述设定阈值时，输出所述第二向量。

本发明的一个实施例还提供了一种医疗图像识别设备，该设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行上述实施例中的医疗图像识别方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。