一种识别图像差异的方法及装置与流程

本发明涉及数字图像处理技术领域，尤其涉及一种识别图像差异的方法及装置。

背景技术：

医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程。医学影像的应用方便了医生观察患者身体或身体部分位置的内部图像或结构。

医生通常通过将患者身体某一部位的不同时期的医学图像进行对比观察，判断患者的该身体部分是否发生变化。由于人体组织复杂，成像内容也相应复杂，对于医生来说需要很仔细地对比才能准确判断不同时期同一身体部位的医学图像是否存在差异。加之患者治疗周期长，成像数量多，同时越来越多的患者依靠医学影像观察身体状况，医生依靠肉眼观察不同时期同一身体部位的医学图像是否存在差异是一项繁重的劳动付出，并且完全依靠医生肉眼观察医学图像差异的效率较低。

技术实现要素：

基于上述现有技术的缺陷和不足，本发明提出一种识别图像差异的方法及装置，能够实现自动化地识别医学图像差异。

一种识别图像差异的方法，包括：

获取待识别差异的第一图像和第二图像；

分别获取所述第一图像和所述第二图像的特征像素点集合；

对所述第一图像的特征像素点集合和所述第二图像的特征像素点集合进行匹配处理，确定所述第一图像和所述第二图像的匹配像素点的坐标；

根据所述第一图像和所述第二图像的匹配像素点的坐标，计算得到所述第一图像和所述第二图像的差值图像；

根据所述差值图像，确定所述第一图像和所述第二图像的差异图像区域。

可选的，所述获取待识别差异的第一图像和第二图像，包括：

获取第一图像和预设的对比图像集合；其中，所述对比图像集合中的图像与所述第一图像的成像目标相同；

分别提取所述第一图像和所述对比图像集合中的每一幅图像的特征像素点，得到所述第一图像的特征像素点集合，以及所述对比图像集合中的每一幅图像的特征像素点集合；

分别将所述第一图像的特征像素点集合与所述对比图像集合中的每一幅图像的特征像素点集合进行匹配，从所述对比图像集合中选取出与所述第一图像的匹配特征像素点最多的图像，作为第二图像。

可选的，所述根据所述第一图像和所述第二图像的匹配像素点的坐标，计算得到所述第一图像和所述第二图像的差值图像，包括：

根据所述第一图像和所述第二图像的匹配像素点的坐标，计算所述第一图像或所述第二图像的变换矩阵；

根据所述变换矩阵，将所述第一图像和所述第二图像转换为在相同坐标位置显示的图像；

计算在相同位置显示的第一图像和第二图像的差值，并进行像素归一化处理，得到所述第一图像和所述第二图像的差值图像。

可选的，所述根据所述差值图像，确定所述第一图像和所述第二图像的差异图像区域，包括：

将所述差值图像输入经过训练的卷积神经网络，使所述卷积神经网络推理得到所述差值图像的掩码图；其中，所述掩码图包含所述差值图像的有效差异内容；

对所述掩码图进行连通域标记处理，确定所述第一图像和所述第二图像的差异图像区域。

可选的，所述方法还包括：

对所述差异图像区域进行轮廓描迹处理，得到所述差异图像区域的轮廓；

计算并输出所述差异图像区域的面积和直径。

一种识别图像差异的装置，包括：

图像获取单元，用于获取待识别差异的第一图像和第二图像；

特征像素点获取单元，用于分别获取所述第一图像和所述第二图像的特征像素点集合；

匹配处理单元，用于对所述第一图像的特征像素点集合和所述第二图像的特征像素点集合进行匹配处理，确定所述第一图像和所述第二图像的匹配像素点的坐标；

差值计算单元，用于根据所述第一图像和所述第二图像的匹配像素点的坐标，计算得到所述第一图像和所述第二图像的差值图像；

差异图像确定单元，用于根据所述差值图像，确定所述第一图像和所述第二图像的差异图像区域。

可选的，所述图像获取单元，包括：

第一获取单元，用于获取第一图像和预设的对比图像集合；其中，所述对比图像集合中的图像与所述第一图像的成像目标相同；

特征像素点提取单元，用于分别提取所述第一图像和所述对比图像集合中的每一幅图像的特征像素点，得到所述第一图像的特征像素点集合，以及所述对比图像集合中的每一幅图像的特征像素点集合；

图像选择单元，用于分别将所述第一图像的特征像素点集合与所述对比图像集合中的每一幅图像的特征像素点集合进行匹配，从所述对比图像集合中选取出与所述第一图像的匹配特征像素点最多的图像，作为第二图像。

可选的，所述差值计算单元，包括：

第一计算单元，用于根据所述第一图像和所述第二图像的匹配像素点的坐标，计算所述第一图像或所述第二图像的变换矩阵；

图像转换单元，用于根据所述变换矩阵，将所述第一图像和所述第二图像转换为在相同坐标位置显示的图像；

第二计算单元，用于计算在相同位置显示的第一图像和第二图像的差值，并进行像素归一化处理，得到所述第一图像和所述第二图像的差值图像。

可选的，所述差异图像确定单元，包括：

图像推理单元，用于将所述差值图像输入经过训练的卷积神经网络，使所述卷积神经网络推理得到所述差值图像的掩码图；其中，所述掩码图包含所述差值图像的有效差异内容；

标记处理单元，用于对所述掩码图进行连通域标记处理，确定所述第一图像和所述第二图像的差异图像区域。

可选的，所述装置还包括：

输出单元，用于对所述差异图像区域进行轮廓描迹处理，得到所述差异图像区域的轮廓；计算并输出所述差异图像区域的面积和直径。

本发明技术方案，在获取待识别差异的第一图像和第二图像后，分别获取所述第一图像和所述第二图像的特征像素点集合；然后对所述第一图像的特征像素点集合和所述第二图像的特征像素点集合进行匹配处理，确定所述第一图像和所述第二图像的匹配像素点的坐标，以及根据所述第一图像和所述第二图像的匹配像素点的坐标，计算得到所述第一图像和所述第二图像的差值图像；最后根据所述差值图像，确定所述第一图像和所述第二图像的差异图像区域。上述技术方案实现了自动化的识别两幅图像的差异图像区域，即实现了自动化的识别图像差异，将其应用到医学图像差异识别中，比医生肉眼识别医学图像差异的速度更快，识别效率更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明实施例提供的一种识别图像差异的方法的流程示意图；

图2是本发明实施例提供的另一种识别图像差异的方法的流程示意图；

图3是本发明实施例提供的的又一种识别图像差异的方法的流程示意图；

图4是本发明实施例提供的的再一种识别图像差异的方法的流程示意图；

图5是本发明实施例提供的一种识别图像差异的装置的结构示意图；

图6是本发明实施例提供的另一种识别图像差异的装置的结构示意图；

图7是本发明实施例提供的又一种识别图像差异的装置的结构示意图；

图8是本发明实施例提供的再一种识别图像差异的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种识别图像差异的方法，参见图1所示，该方法包括：

s101、获取待识别差异的第一图像和第二图像；

具体的，上述的第一图像和第二图像，分别是指在患者就诊过程中不同时期针对同一身体部位拍摄的医学图像。例如上述第一图像为患者在当前时刻针对某一身体部位拍摄的医学图像，上述第二图像为患者在就诊历史中针对同一身体部位拍摄的医学图像，可以理解，将两幅图像进行对比识别差异，就可以判断该患者的上述同一身体部位是否发生变化，例如是否发生病变或组织结构发生变化等。

本发明实施例技术方案可以以软件形式实现，在实现本发明实施例技术方案的软件运行时，上述获取待识别差异的第一图像和第二图像的过程，可以是为用户提供图像库图像选择窗口，使用户从图像库中选择需要识别差异的图像，同时设置图像显示窗口，同时显示用户选择的需要识别差异的图像。更进一步的，用户还可以选择多幅图像进行差异识别，例如医生从同一患者的历史就诊图像资料库中，选择针对同一身体部位的多幅历史医学图像，用于与选择的当前时刻的针对上述同一身体部位的医学图像进行差异识别，或者也可以只进行对历史医学图像的差异识别。

可以理解，识别多幅图像差异时，也是每两幅图像之间对比识别差异，因此本发明实施例以识别上述第一图像和第二图像的差异为例介绍本发明实施例提出的识别图像差异的方法，在任意图像显示模式或不同领域图像的差异识别场景下，都可以参照本发明实施例提出的识别图像差异的方法识别图像差异，都在本发明实施例保护范围内。

s102、分别获取所述第一图像和所述第二图像的特征像素点集合；

具体的，图像的特征像素点，是指能够表示图像特征的像素点。本发明实施例分别计算第一图像和第二图像的各个像素点邻域内的灰阶、边缘梯度，然后根据像素点邻域内的灰阶、边缘梯度选取其中可以表示图像特征的像素点，作为特征像素点。第一图像和第二图像的所有特征像素点分别构成第一图像的特征像素点集合和第二图像的特征像素点集合，则第一图像的特征像素点集合可以代表第一图像，第二图像的特征像素点集合可以代表第二图像。

s103、对所述第一图像的特征像素点集合和所述第二图像的特征像素点集合进行匹配处理，确定所述第一图像和所述第二图像的匹配像素点的坐标；

具体的，将第一图像的特征像素点集合中的各个特征像素点分别与第二图像的特征像素点集合中的各个特征像素点进行匹配，判断第一图像的特征像素点与第二图像的特征像素点的相似度是否大于设定阈值，如果第一图像的特征像素点与第二图像的特征像素点的相似度大于设定阈值，则认为第一图像的特征像素点与第二图像的特征像素点匹配。

按照上述方法，分别确定第一图像的特征像素点集合与第二图像的特征像素点集合中的，相匹配的特征像素点，即确定第一图像与第二图像的匹配像素点。

然后，确定上述第一图像和第二图像的匹配像素点在图像坐标系中的坐标。

s104、根据所述第一图像和所述第二图像的匹配像素点的坐标，计算得到所述第一图像和所述第二图像的差值图像；

具体的，在确定第一图像和第二图像的匹配像素点的坐标后，以第一图像和第二图像的匹配像素点的坐标为基准，将第一图像和第二图像转换到同一坐标位置显示，然后将同一坐标位置显示的第一图像和第二图像求差，得到第一图像和第二图像的差值图像。

s105、根据所述差值图像，确定所述第一图像和所述第二图像的差异图像区域。

具体的，在计算得到第一图像和第二图像的差值图像后，从差值图像中推理得到差值图像中的有效差异，也就是第一图像和第二图像的有效差异，然后将有效差异进行连通域标记，即得到差异图像区域。

通过上述介绍可见，本发明实施例自动化的识别图像差异的技术方案，在获取待识别差异的第一图像和第二图像后，分别获取所述第一图像和所述第二图像的特征像素点集合；然后对所述第一图像的特征像素点集合和所述第二图像的特征像素点集合进行匹配处理，确定所述第一图像和所述第二图像的匹配像素点的坐标，以及根据所述第一图像和所述第二图像的匹配像素点的坐标，计算得到所述第一图像和所述第二图像的差值图像；最后根据所述差值图像，确定所述第一图像和所述第二图像的差异图像区域。上述技术方案实现了自动化的识别两幅图像的差异图像区域，即实现了自动化的识别图像差异，将其应用到医学图像差异识别中，比医生肉眼识别医学图像差异的速度更快，识别效率更高。

可选的，在本发明的另一个实施例中，参见图2所示，所述获取待识别差异的第一图像和第二图像，包括：

s201、获取第一图像和预设的对比图像集合；其中，所述对比图像集合中的图像与所述第一图像的成像目标相同；

具体的，上述第一图像，是指患者在当前时刻针对某一身体部位拍摄的医学图像。上述预设的对比图像集合，是指上述患者在就诊历史中，针对同一身体部位拍摄的医学图像的集合。该对比图像集合，可以是存储在医学图像资料库中的医学图像。

s202、分别提取所述第一图像和所述对比图像集合中的每一幅图像的特征像素点，得到所述第一图像的特征像素点集合，以及所述对比图像集合中的每一幅图像的特征像素点集合；

具体的，图像的特征像素点，是指能够表示图像特征的像素点。本发明实施例分别计算第一图像和上述对比图像集合中的每一幅图像的各个像素点邻域内的灰阶、边缘梯度，然后根据像素点邻域内的灰阶、边缘梯度的取值范围，选取其中可以表示图像特征的像素点，作为特征像素点。

按照上述的特征像素点选取方法，分别提取上述第一图像和上述对比图像集合中的每一幅图像的特征像素点，得到第一图像的特征像素点集合，和对比图像集合中的每一幅图像的特征像素点集合。

s203、分别将所述第一图像的特征像素点集合与所述对比图像集合中的每一幅图像的特征像素点集合进行匹配，从所述对比图像集合中选取出与所述第一图像的匹配特征像素点最多的图像，作为第二图像。

具体的，将上述第一图像的特征像素点集合中的每一个特征像素点的灰阶和边缘梯度值，分别与上述对比图像集合中的每一幅图像的特征像素点集合中的每一个特征像素点的灰阶和边缘梯度值进行对比，将灰阶和边缘梯度值的差值小于设定阈值的特征像素点确定为匹配特征像素点。

按照上述方法，分别确定上述第一图像与上述对比图像集合中的每一幅图像的匹配像素点数量，从上述对比图像集合中选择出与上述第一图像的匹配像素点数量最多的图像，作为第二图像。

可以理解，上述第二图像实质上是与第一图像最相似的图像，也就是与当前针对患者某一身体部位拍摄的第一图像最相似的，针对同一身体部位拍摄的同一切面的历史医学图像。

进一步的，在分别提取到上述第一图像的特征像素点集合与上述对比图像集合中的每一幅图像的特征像素点集合后，可以参照上述的处理方法，从上述对比图像集合中，选择与第一图像的匹配特征像素点数量超过一定阈值的任意时期的一幅图像，作为第二图像。上述任意时期的一幅图像，则是与第一图像相似的图像，但并不一定是最相似的图像，此时选出的第二图像，是选取的针对患者同一身体部位的任意历史时期的医学图像。

本实施例中的步骤s204～s207分别对应图1所示的方法实施例中的步骤s102～s105，其具体内容请参见图1所示的方法实施例的内容，此处不再赘述。

可选的，在本发明的另一个实施例中，参见图3所示，所述根据所述第一图像和所述第二图像的匹配像素点的坐标，计算得到所述第一图像和所述第二图像的差值图像，包括：

s304、根据所述第一图像和所述第二图像的匹配像素点的坐标，计算所述第一图像或所述第二图像的变换矩阵；

具体的，上述变换矩阵，是指对图像显示位置进行平移的变换矩阵。对于上述的第一图像和第二图像，将其中一幅图像的显示位置坐标固定，然后根据与另一幅图像的匹配像素点的坐标，计算将另一幅图像平移到相同显示位置的变换矩阵。例如，将第一图像在图像坐标系的显示位置固定，然后根据第一图像和第二图像的匹配像素点坐标，计算将第二图像平移到第一图像显示位置进行显示的变换矩阵，即得到第二图像的变换矩阵。

s305、根据所述变换矩阵，将所述第一图像和所述第二图像转换为在相同坐标位置显示的图像；

具体的，根据上述计算得到的变换矩阵，将该变换矩阵对应的图像进行显示位置平移，使上述的两幅图像在相同的坐标位置显示。例如，通过步骤s304计算得到第二图像的变换矩阵后，将第二图像按照该变换矩阵进行显示位置变换，也就是将第二图像平移到第一图像的显示位置相同的坐标位置进行显示，使第一图像和第二图像成为在相同坐标位置显示的图像。

s306、计算在相同位置显示的第一图像和第二图像的差值，并进行像素归一化处理，得到所述第一图像和所述第二图像的差值图像。

具体的，将上述在相同坐标位置显示的第一图像和第二图像进行差值运算，计算第一图像和第二图像的差值，并对计算得到的像素差值进行归一化处理，得到第一图像和第二图像的差值图像。

本实施例中的步骤s301～s303、s307分别对应图1所示的方法实施例中的步骤s101～s103、s105，其具体内容请参见图1所示的方法实施例的内容，此处不再赘述。

可选的，在本发明的另一个实施例中，参见图4所示，所述根据所述差值图像，确定所述第一图像和所述第二图像的差异图像区域，包括：

s405、将所述差值图像输入经过训练的卷积神经网络，使所述卷积神经网络推理得到所述差值图像的掩码图；其中，所述掩码图包含所述差值图像的有效差异内容；

具体的，本发明实施例训练卷积神经网络，对卷积神经网络输入差值图像，使卷积神经网络推理输入的差值图像的掩码图，然后根据事先已确定的输入的差值图像的掩码图对卷积神经网络进行调校，反复执行上述过程实现对卷积神经网络的训练，使该卷积神经网络具备推理差值图像的掩码图的能力。

上述的掩码图，是指以二进制表示图像像素点的图像，图像中的有效像素被标记为1，无用像素被标记为0。则上述的差值图像的掩码图的具体显示内容是：差值图像中表示第一图像和第二图像存在差异的像素点的值为1，表示第一图像和第二图像相同的像素点的值为0。可以理解，在上述差值图像的掩码图中，值为1的像素点表示第一图像和第二图像的对应像素点不同，值为0的像素点表示第一图像和第二图像的对应像素点相同。

本发明实施例将第一图像和第二图像的差值图像输入上述经过训练的卷积神经网络，推理得到该差值图像的掩码图。

s406、对所述掩码图进行连通域标记处理，确定所述第一图像和所述第二图像的差异图像区域。

具体的，将掩码图中，被标记为1的所有像素点进行连通域标记，实现将连通的被标记为1的像素点形成区域，则得到的连通域即为表示第一图像和第二图像的差异部分的区域，即第一图像和第二图像的差异图像区域。

本实施例中的步骤s401～s404分别对应图1所示的方法实施例中的步骤s101～s104，其具体内容请参见图1所示的方法实施例的内容，此处不再赘述。

可选的，在本发明的另一个实施例中还公开了，上述的识别图像差异的方法还包括：

对所述差异图像区域进行轮廓描迹处理，得到所述差异图像区域的轮廓；

计算并输出所述差异图像区域的面积和直径。

具体的，在本发明实施例中，在确定第一图像和第二图像的差异图像区域后，还进一步对确定的差异图像区域进行轮廓描迹处理，即描绘出差异图像区域的轮廓，具体可在相同坐标位置显示的第一图像或第二图像上直接描绘差异图像区域的轮廓。

进一步的，本发明实施例还可以计算所描绘出的差异图像轮廓所包含的图像区域的面积和直径。具体的，通过计算差异图像区域包含的各个方向的被标记为1的像素数量，即可确定该差异图像区域轮廓在该方向的直径；统计差异图像区域包含的所有被标记为1的像素数量，可以确定该差异图像区域轮廓所包含的图像区域的面积。

需要说明的是，上述对差异图像区域进行轮廓描迹处理得到差异图像区域的轮廓，以及计算差异图像区域面积和直径的具体处理过程，还可以参见常用的计算图像感兴趣区域的参数的处理过程。

在计算得到上述的差异图像区域的轮廓、差异图像区域的面积和直径后，本发明实施例还可以进一步控制输出上述的轮廓、面积和直径，以使用户(医生)可以更明确地发现患者身体的变化情况。

本发明另一实施例还公开了一种识别图像差异的装置，参见图5所示，该装置包括：

图像获取单元100，用于获取待识别差异的第一图像和第二图像；

特征像素点获取单元110，用于分别获取所述第一图像和所述第二图像的特征像素点集合；

匹配处理单元120，用于对所述第一图像的特征像素点集合和所述第二图像的特征像素点集合进行匹配处理，确定所述第一图像和所述第二图像的匹配像素点的坐标；

差值计算单元130，用于根据所述第一图像和所述第二图像的匹配像素点的坐标，计算得到所述第一图像和所述第二图像的差值图像；

差异图像确定单元140，用于根据所述差值图像，确定所述第一图像和所述第二图像的差异图像区域。

可选的，在本发明的另一实施例中，参见图6所示，所述图像获取单元100，包括：

第一获取单元1001，用于获取第一图像和预设的对比图像集合；其中，所述对比图像集合中的图像与所述第一图像的成像目标相同；

特征像素点提取单元1002，用于分别提取所述第一图像和所述对比图像集合中的每一幅图像的特征像素点，得到所述第一图像的特征像素点集合，以及所述对比图像集合中的每一幅图像的特征像素点集合；

图像选择单元1003，用于分别将所述第一图像的特征像素点集合与所述对比图像集合中的每一幅图像的特征像素点集合进行匹配，从所述对比图像集合中选取出与所述第一图像的匹配特征像素点最多的图像，作为第二图像。

可选的，在本发明的另一实施例中，参见图7所示，所述差值计算单元130，包括：

第一计算单元1301，用于根据所述第一图像和所述第二图像的匹配像素点的坐标，计算所述第一图像或所述第二图像的变换矩阵；

图像转换单元1302，用于根据所述变换矩阵，将所述第一图像和所述第二图像转换为在相同坐标位置显示的图像；

第二计算单元1303，用于计算在相同位置显示的第一图像和第二图像的差值，并进行像素归一化处理，得到所述第一图像和所述第二图像的差值图像。

可选的，在本发明的另一实施例中，参见图8所示，所述差异图像确定单元140，包括：

图像推理单元1401，用于将所述差值图像输入经过训练的卷积神经网络，使所述卷积神经网络推理得到所述差值图像的掩码图；其中，所述掩码图包含所述差值图像的有效差异内容；

标记处理单元1402，用于对所述掩码图进行连通域标记处理，确定所述第一图像和所述第二图像的差异图像区域。

可选的，在本发明的另一实施例中，所述装置还包括：

输出单元，用于对所述差异图像区域进行轮廓描迹处理，得到所述差异图像区域的轮廓；计算并输出所述差异图像区域的面积和直径。

具体的，上述各实施例中的各个单元的具体工作内容，请参见上述方法实施例的内容，此处不再赘述。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。