基于实例分割的目标Re-ID方法、系统、终端和存储介质与流程

本发明涉及汽车电子技术领域，特别是涉及一种基于实例分割的目标re-id方法、系统、终端和存储介质。

背景技术：

adas即先进驾驶辅助系统又称主动安全系统，主要通过获取图像、雷达数据并处理。得到目标物体的距离、位置、形状等信息。目标物体的跟踪中，每个跟踪物体都有一个实时的id，在目标跟踪的过程中，每隔k帧启动检测，每次启动检测时，跟踪物体的id就会被打乱，无法确认跟踪目标。

技术实现要素：

为了解决上述的以及其他潜在的技术问题，本发明提供了一种基于实例分割的目标re-id方法、系统、终端和存储介质，为了解决随时间连续顺序采集的图像组或视频中，同一目标物体在不同帧的图像中被误认为两个物体的问题，本发明提出了以下技术方案：

在目标跟踪过程中，同时对每个跟踪目标进行实例分割，根据前后帧的实例分割结果进行相似性匹配(包括尺度、轮廓、纹理、位置等信息)，当重新启动检测时，可以根据实例分割的匹配信息来找到前一帧的匹配目标，给予相同的目标id。同时，利用前面多帧相同实例id的特征，对当前实例进行修正，使得实例分割与跟踪的过程更加平滑。

一种基于实例分割的目标re-id方法，包括以下步骤：

s01：输入一组连续的捕获图像，在目标跟踪过程中，同时对每个跟踪目标进行实例分割，获取捕获图像或视频中相同类别中不同的实例；

s02：根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配，匹配成功的目标则根据实例分割的匹配信息来找到帧数在前的一个或多个捕获图像，给予目标相同的目标id。

进一步地，所述步骤s02：开始于当系统重新启动目标检测时。在目标跟踪的过程中，每间隔k帧重新启动检测，前次跟踪的目标id与后次启动目标检测的目标id无法匹配的问题更严重。

进一步地，所述步骤s01中对每个跟踪目标进行实例分割的网络架构包括但不限于mask-rcnn，fcis，panet。

进一步地，所述步骤s01中实例分割的方法为：输入图像通过卷积神经网络主干结构处理，提取特征图和预选框，通过无量化层处理的区域候选网络，得到目标增强后的预选区域，再由第一二分类层输出追踪目标的类别概率分布和回归坐标，第二二分类层输出掩膜处理后得到的目标轮廓格点，再将目标轮廓格点映射回原图。

优选地，所述第一二分类层通过第一后卷积层完成，所属苏第二二分类层通过第二后卷积层完成。

优选地，所述第一二分类层为卷积神经网络cnn，第二二分类层为全卷积神经网络fcn。

优选地，所述预选框是对捕获图像进行目标检测处理得到所有的预选框，以目标编号分类所有的预选框得到同一目标编号的一组预选框为预选框组，以预选框组输入区域候选网络得到候选区域。

优选地，所述目标增强是对预选框组中每一个追踪目标所在的预选框组中每一个预选框进行上、下、左、右偏移得到一组高于预选框组数量若干倍的一组目标增强后的一组预选框组。例如原预选框组中的预选框为10～20个，每一个预选框进行上、下、左、右偏移时，会产生3-5个新的预选框，进而预选框组中的预选框数量上升为30～100个，使语义分割中每个类别中实例分割小类别中某一实例(追踪目标)的预选框组得到增强。

优选地，所述步骤s01中实例分割网络架构还包括获得预选区域后先做多层特征融合，再把候选区域映射到特征图像上做二分类语义分割，进行目标检测，这不仅利用了高层特征的语义信息，还考虑了低层特征的细节纹理信息，是的目标检测定位更精准。解决了fastr-cnn和fasterr-cnn都是利用了后卷积层的特征进行目标检测，而由于高层的卷积层特征已经损失了很多细节信息，所以在定位时并不是很精准的问题。

优选地，所述第二后卷积层输出掩膜处理得到目标轮廓格点的过程具体为：所述第二后卷积层为fcn全卷积网络，所述fcn全卷积网络用于对每一个由区域候选网络输出的候选区域进行语义分割；语义分割输出按照通道数序列区分的特征图，再根据分类器输出的类别概率分布选择概率最大值对应的类别标签作为最终的预测类别，选出与预测类别对应的通道；用与预测类别对应的通道的特征图计算出需要掩膜处理的特征图，经过sigmoid函数将输出映射到[0,1]之间的概率值，再采用阈值法，进行二值化，进而得到二值化掩膜图。

优选地，所述掩膜处理的主要作用是大致定位出目标实例的基本轮廓，有利于进一步准确进行实例分割。

优选地，所述损失函数是使用数据分布和模型分布间的交叉熵函数，具体为平均二进制交叉熵损失函数。

进一步地，所述步骤s01中实例分割的网络架构为：输入图像通过卷积神经网络主干结构处理，提取特征图和候选框，通过无量化层处理，得到预选框组合，再由第一再分类层输出追踪目标的类别概率分布和回归坐标，第二再分类层输出掩膜处理后得到的目标轮廓格点，再将目标轮廓格点映射回原图。

进一步地，所述步骤s01中实例分割的网络架构中无量化层处理具体为通过双线性插值方法避免量化操作。优选地，所述双线性插值过程中对于每个网格插值的位置与抽样点数均不敏感，在实现过程中对每个网格只插值一个抽样点。

进一步地，所述无量化层相比与量化层操作，减小了第一量化操作和第二量化操作。所述第一量化操作为：自输入图像原坐标系输出的区域候选的若干组坐标映射到特征图时的池化操作，由于特征图的空间尺寸被缩放，而缩放尺寸时对不能整除的结果进行的第一步量化操作。所述第二量化操作为：区域候选框划分网格时，如遇不能整除的像素点在量化过程中致使无法对候选区域框均匀划分网格，输入和输出特征严重失准。

进一步地，所述步骤s02中，根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配的方式为：从前帧捕获图像和后帧图像中分别获得追踪目标的包括但不限于尺度、轮廓、纹理、位置等要素信息，各个要素的权重按照追踪目标的类别配比要素的权重，再根据各个要素的权重综合打分之后，将综合打分的分值与预设阈值进行比较，大于阈值则认为匹配成功，小于预设阈值则认为匹配失败。

进一步地，所述步骤s02中，根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配的具体方式为：

s021：从前帧捕获图像和后帧图像中分别获得追踪目标的包括但不限于尺度、轮廓、纹理、位置等要素信息；

s022：将前帧图像与后帧图像中对于相同追踪目标的相同要素之间做差、平方、求和、归一化处理，得到该要素的匹配分数；

s023：把匹配分数高于某一值的预选框提取出，归类为同一id目标物体。

进一步地，还包括步骤s03：在一组图像中出现后又消失的追踪目标，对于特定的追踪目标类别，将该追踪目标类别中的各个实例保留固定帧数的记忆；对于除特定的追踪目标类别之外的追踪目标，将该追踪目标类别中的各个实例作为消失处理。消失的示例一般会在内存中被删除，保留就是在内存中保留一段时间，如果间隔一段时间之后还是没有出现再删除。

进一步地，还包括步骤s04：利用相似性匹配后前面多帧图像中相同实例id的特征，对当前帧图像的该实例进行修正，用前面多帧图像相同实例id特征融合结果结合当前帧图像实例特征的结果，使得实例分割与跟踪的过程更加平滑，生成更加通用和鲁棒的特征。

一种基于实例分割的目标re-id的系统，包括图像采集模块、实例分割模块、相似性匹配模块、赋值模块；

所述图像采集模块用于采集待分析的图像，图像采集模块采集的捕获图像须是随时间递进连续的一组图像；

所述实例分割模块用于将图像采集模块采集到的随时间递进连续的一组图像中每一张图像抽取出分别进行实例分割，得到图像中目标追踪的类别、每个类别中每个实例的标签以及每个实例的各项要素信息；

所述相似性匹配模块用于以实例分割模块实例分割得到图像中目标追踪的类别、每个类别中每个实例的标签以及每个实例的各项要素信息为基础，对一组图像中一个或多个追踪目标分别进行相似度匹配；

所述赋值模块用于给前后帧中相似度匹配成功的实例以相同的id。

进一步地，还包括定时器，所述定时器用于给图像采集模块采集图像的时间间隔计数，当定时器的设定时间在k帧时，图像采集模块采集图像的间隔为k帧。

进一步地，所述实例分割模块的网络架构包括但不限于mask-rcnn，fcis，panet。

进一步地，所述实例分割模块用于输入图像通过卷积神经网络主干结构处理，提取特征图和预选框，通过无量化层处理的区域候选网络，得到目标增强后的预选区域，再由第一二分类器输出追踪目标的类别概率分布和回归坐标，第二二分类器输出掩膜处理后得到的目标轮廓格点，再将目标轮廓格点映射回原图，进而得到分割后各个实例的要素信息。

进一步地，所述第一二分类器为第一后卷积层，所述第二二分类器通过第二后卷积层。

进一步地，所述第一二分类器为卷积神经网络cnn，第二二分类器为全卷积神经网络fcn。

进一步地，还包括目标检测模块，所述目标检测模块用于获取图像采集模块采集图像按照目标分类出的各个目标物体。

进一步地，还包括目标增强模块，所述目标增强模块用于增强目标检测模块的准确程度。

进一步地，所述相似度分配模块包括要素获取模块、要素权重分配模块、匹配分数计算模块，所述要素获取模块用于获取表征追踪目标的要素，所述要素包括但不限于尺度、轮廓、纹理、位置；所述要素权重分配模块用于分配获取要素的权重；所述匹配分数计算模块用于计算前后帧追踪目标的匹配分数。

一种基于实例分割的目标re-id的终端，其特征在于，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现上述的方法中的步骤。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现上述的方法中的步骤。

如上所述，本发明的具有以下有益效果：

解决了随时间连续顺序采集的图像组或视频中，同一目标物体在不同帧的图像中被误认为两个物体的问题。在目标跟踪过程中，同时对每个跟踪目标进行实例分割，根据前后帧的实例分割结果进行相似性匹配(包括尺度、轮廓、纹理、位置等信息)，当重新启动检测时，可以根据实例分割的匹配信息来找到前一帧的匹配目标，给予相同的目标id。同时，利用前面多帧相同实例id的特征，对当前实例进行修正，使得实例分割与跟踪的过程更加平滑。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1显示为本发明的流程图。

图2显示为本发明的测试效果图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

参见图1～图2，

一种基于实例分割的目标re-id方法，包括以下步骤：

s01：输入一组连续的捕获图像，在目标跟踪过程中，同时对每个跟踪目标进行实例分割，获取捕获图像或视频中相同类别中不同的实例；

s02：根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配，匹配成功的目标则根据实例分割的匹配信息来找到帧数在前的一个或多个捕获图像，给予目标相同的目标id。

作为优选实施例，所述步骤s02：开始于当系统重新启动目标检测时。在目标跟踪的过程中，每间隔k帧重新启动检测，前次跟踪的目标id与后次启动目标检测的目标id无法匹配的问题更严重。

作为优选实施例，所述步骤s01中对每个跟踪目标进行实例分割的网络架构包括但不限于mask-rcnn，fcis，panet。

作为优选实施例，所述步骤s01中实例分割的方法为：输入图像通过卷积神经网络主干结构处理，提取特征图和预选框，通过无量化层处理的区域候选网络，得到目标增强后的预选区域，再由第一二分类层输出追踪目标的类别概率分布和回归坐标，第二二分类层输出掩膜处理后得到的目标轮廓格点，再将目标轮廓格点映射回原图。

优选地，所述第一二分类层通过第一后卷积层完成，所属苏第二二分类层通过第二后卷积层完成。

优选地，所述第一二分类层为卷积神经网络cnn，第二二分类层为全卷积神经网络fcn。

优选地，所述预选框是对捕获图像进行目标检测处理得到所有的预选框，以目标编号分类所有的预选框得到同一目标编号的一组预选框为预选框组，以预选框组输入区域候选网络得到候选区域。

优选地，所述目标增强是对预选框组中每一个追踪目标所在的预选框组中每一个预选框进行上、下、左、右偏移得到一组高于预选框组数量若干倍的一组目标增强后的一组预选框组。例如原预选框组中的预选框为10～20个，每一个预选框进行上、下、左、右偏移时，会产生3-5个新的预选框，进而预选框组中的预选框数量上升为30～100个，使语义分割中每个类别中实例分割小类别中某一实例(追踪目标)的预选框组得到增强。

优选地，所述步骤s01中实例分割网络架构还包括获得预选区域后先做多层特征融合，再把候选区域映射到特征图像上做二分类语义分割，进行目标检测，这不仅利用了高层特征的语义信息，还考虑了低层特征的细节纹理信息，是的目标检测定位更精准。解决了fastr-cnn和fasterr-cnn都是利用了后卷积层的特征进行目标检测，而由于高层的卷积层特征已经损失了很多细节信息，所以在定位时并不是很精准的问题。

优选地，所述第二后卷积层输出掩膜处理得到目标轮廓格点的过程具体为：所述第二后卷积层为fcn全卷积网络，所述fcn全卷积网络用于对每一个由区域候选网络输出的候选区域进行语义分割；语义分割输出按照通道数序列区分的特征图，再根据分类器输出的类别概率分布选择概率最大值对应的类别标签作为最终的预测类别，选出与预测类别对应的通道；用与预测类别对应的通道的特征图计算出需要掩膜处理的特征图，经过sigmoid函数将输出映射到[0,1]之间的概率值，再采用阈值法，进行二值化，进而得到二值化掩膜图。

优选地，所述掩膜处理的主要作用是大致定位出目标实例的基本轮廓，有利于进一步准确进行实例分割。

优选地，所述损失函数是使用数据分布和模型分布间的交叉熵函数，具体为平均二进制交叉熵损失函数。

作为优选实施例，所述步骤s01中实例分割的网络架构为：输入图像通过卷积神经网络主干结构处理，提取特征图和候选框，通过无量化层处理，得到预选框组合，再由第一再分类层输出追踪目标的类别概率分布和回归坐标，第二再分类层输出掩膜处理后得到的目标轮廓格点，再将目标轮廓格点映射回原图。

作为优选实施例，所述步骤s01中实例分割的网络架构中无量化层处理具体为通过双线性插值方法避免量化操作。优选地，所述双线性插值过程中对于每个网格插值的位置与抽样点数均不敏感，在实现过程中对每个网格只插值一个抽样点。

作为优选实施例，所述无量化层相比与量化层操作，减小了第一量化操作和第二量化操作。所述第一量化操作为：自输入图像原坐标系输出的区域候选的若干组坐标映射到特征图时的池化操作，由于特征图的空间尺寸被缩放，而缩放尺寸时对不能整除的结果进行的第一步量化操作。所述第二量化操作为：区域候选框划分网格时，如遇不能整除的像素点在量化过程中致使无法对候选区域框均匀划分网格，输入和输出特征严重失准。

作为优选实施例，所述步骤s02中，根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配的方式为：从前帧捕获图像和后帧图像中分别获得追踪目标的包括但不限于尺度、轮廓、纹理、位置等要素信息，各个要素的权重按照追踪目标的类别配比要素的权重，再根据各个要素的权重综合打分之后，将综合打分的分值与预设阈值进行比较，大于阈值则认为匹配成功，小于预设阈值则认为匹配失败。

作为优选实施例，所述步骤s02中，根据连续的捕获图像或视频中前后帧的实例分割结果进行相似性匹配的具体方式为：

s021：从前帧捕获图像和后帧图像中分别获得追踪目标的包括但不限于尺度、轮廓、纹理、位置等要素信息；

s022：将前帧图像与后帧图像中对于相同追踪目标的相同要素之间做差、平方、求和、归一化处理，得到该要素的匹配分数；

s023：把匹配分数高于某一值的预选框提取出，归类为同一id目标物体。

作为优选实施例，还包括步骤s03：在一组图像中出现后又消失的追踪目标，对于特定的追踪目标类别，将该追踪目标类别中的各个实例保留固定帧数的记忆；对于除特定的追踪目标类别之外的追踪目标，将该追踪目标类别中的各个实例作为消失处理。消失的示例一般会在内存中被删除，保留就是在内存中保留一段时间，如果间隔一段时间之后还是没有出现再删除。

作为优选实施例，还包括步骤s04：利用相似性匹配后前面多帧图像中相同实例id的特征，对当前帧图像的该实例进行修正，用前面多帧图像相同实例id特征融合结果结合当前帧图像实例特征的结果，使得实例分割与跟踪的过程更加平滑，生成更加通用和鲁棒的特征。

一种基于实例分割的目标re-id的系统，包括图像采集模块、实例分割模块、相似性匹配模块、赋值模块；

所述图像采集模块用于采集待分析的图像，图像采集模块采集的捕获图像须是随时间递进连续的一组图像；

所述实例分割模块用于将图像采集模块采集到的随时间递进连续的一组图像中每一张图像抽取出分别进行实例分割，得到图像中目标追踪的类别、每个类别中每个实例的标签以及每个实例的各项要素信息；

所述相似性匹配模块用于以实例分割模块实例分割得到图像中目标追踪的类别、每个类别中每个实例的标签以及每个实例的各项要素信息为基础，对一组图像中一个或多个追踪目标分别进行相似度匹配；

所述赋值模块用于给前后帧中相似度匹配成功的实例以相同的id。

作为优选实施例，还包括定时器，所述定时器用于给图像采集模块采集图像的时间间隔计数，当定时器的设定时间在k帧时，图像采集模块采集图像的间隔为k帧。

作为优选实施例，所述实例分割模块的网络架构包括但不限于mask-rcnn，fcis，panet。

作为优选实施例，所述实例分割模块用于输入图像通过卷积神经网络主干结构处理，提取特征图和预选框，通过无量化层处理的区域候选网络，得到目标增强后的预选区域，再由第一二分类器输出追踪目标的类别概率分布和回归坐标，第二二分类器输出掩膜处理后得到的目标轮廓格点，再将目标轮廓格点映射回原图，进而得到分割后各个实例的要素信息。

作为优选实施例，所述第一二分类器为第一后卷积层，所述第二二分类器通过第二后卷积层。

优选地，所述第一二分类器为卷积神经网络cnn，第二二分类器为全卷积神经网络fcn。

作为优选实施例，还包括目标检测模块，所述目标检测模块用于获取图像采集模块采集图像按照目标分类出的各个目标物体。

作为优选实施例，还包括目标增强模块，所述目标增强模块用于增强目标检测模块的准确程度。

作为优选实施例，所述相似度分配模块包括要素获取模块、要素权重分配模块、匹配分数计算模块，所述要素获取模块用于获取表征追踪目标的要素，所述要素包括但不限于尺度、轮廓、纹理、位置；所述要素权重分配模块用于分配获取要素的权重；所述匹配分数计算模块用于计算前后帧追踪目标的匹配分数。

一种基于实例分割的目标re-id的终端，其特征在于，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现上述的方法中的步骤。

作为优选实施例，本实施例还提供一种终端设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的终端设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。需要指出的是，具有组件存储器、处理器的终端设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

作为优选实施例，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的基于实例分割的目标re-id的程序代码等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器在一些实施例中可以是中央处理器(centralprocessingunit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，例如运行基于实例分割的目标re-id程序，以实现实施例中基于实例分割的目标re-id系统的功能。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现上述的方法中的步骤。

本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储基于实例分割的目标re-id程序，被处理器执行时实现实施例中的基于实例分割的目标re-id方法。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。