一种基于关键点回归的通用物体检测方法、系统、终端和存储介质与流程

本发明涉及汽车电子技术领域，特别是涉及一种基于关键点回归的通用物体检测方法、系统、终端和存储介质。

背景技术：

adas即先进驾驶辅助系统又称主动安全系统，主要通过获取图像、雷达数据并处理。得到目标物体的距离、位置、形状等信息。目标物体的跟踪中，同一目标物体由于目标的自身状态、场景所处的环境的影响，同一类物体在不同的图像中所成的像往往会差别很大，在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相很难相匹配。关键点是在不同尺度空间的图像中检测出的具有方向信息的局部极值点，无人驾驶车辆行驶过程中，摄像头会采集到道路上及周围的物体，对于车辆、行人、路牌、路灯杆等物体，我们可以根据关键点检测算法回归出其相应的关键点，根据关键点信息可以辅助无人驾驶车辆进行定位。

技术实现要素：

为了解决上述的以及其他潜在的技术问题，本发明提供了一种基于关键点回归的通用物体检测方法、系统、终端和存储介质，第一，对多类别追踪目标以及每一个类别追踪目标中每一个个体进行编码，某类别追踪目标的编码具有固定的位数，在总编码中只占一部分，在学习过程中，各个类别追踪目标之间无干扰。第二，分类别对roi(感兴趣区域)框进行扩充，使得roi更具有有效性。第三，将追踪目标对应的标准特征图进行多尺度特征融合。第四，使用标准特征图，在不影响耗时的情况下，提高图像精度。第五，分两个阶段进行损失函数回归，先将标准特征图进行下采样操作得到下采样层特征图。阶段一在下采样层特征图中进行学习，当学习充分后，将下采样层特征图中的关键点位置映射到标准特征图中；阶段二在映射得到的标准特征图中进行学习，且利用掩码只学习关键点所在的映射位置，减小回归的难度。

一种基于关键点回归的通用物体检测方法，包括以下步骤：

s01：预设追踪目标的关键点标签，确定追踪目标的检测区域，获得预设追踪目标关键点标签在检测区域中的相对位置信息，标记为关键点第一位置信息；

s02：提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息，标记为关键点第二位置信息；

s03：以关键点第一位置信息和关键点第二位置信息为输入，得出损失函数以优化网络结构。

进一步地，步骤s01中所述追踪目标的类别为至少两种类别，所述预设追踪目标的关键点标签按照其预设的追踪目标类别、以及每个类别中每个预设的追踪目标个体分别预设关键点。

进一步地，所述步骤s01中确定追踪目标的检测区域时，根据追踪目标的类别不同分别确定每个类别中每个追踪目标个体所在的检测区域，再将每个预设的追踪目标个体的关键点标签与追踪目标个体所在的检测区域相匹配；分别得到各个追踪目标个体所对应关键点信息。

进一步地，所述步骤s01中所述预设追踪目标的关键点标签按照其预设的追踪目标类别、以及每个类别中每个预设的追踪目标个体分别预设关键点时，所述关键点包括其所在追踪目标预选框的位置信息以及表述该追踪目标上该关键点是否可见的信息；所述表述该追踪目标上该关键点是否可见的信息时，给予该关键点的可见度以权重。

进一步地，所述步骤s02中所述提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息时，所述关键点在特征图中的相对位置信息的获取方式是：通过将基础网络段各个卷积层获得的特征图中含有该关键点部分通过映射关系找出，并标记含有该关键点部分在各个特征图中的位置，并以各个特征图中该关键点可见度的权重给各个特征图中关键点的位置打分，并选择打分最高的特征图中该关键点的位置作为关键点在特征图中的位置信息记录下来。

给予关键点位置权重相比与传统的rcnn的处理流程最后再做bboxregression来说，使网络结构更精简。因为这相当于把bboxregression放进了神经网络内部，与区域候选框、分类和并成为了一个multi-task模型，使这两个任务能够共享卷积特征，并相互促进。

进一步地，所述步骤s02中，提取目标检测区域的特征图后，还包括将各个特征图的特征融合的步骤s021。

进一步地，所述步骤s021中的特征图的特征融合限定为中低层的特征图进行特征融合。即在神经网络的卷积层中，处于中低层的卷积层的特征图进行特征融合。

进一步地，所述步骤s021中的特征融合为密集性特征融合。即特征融合时，选择神经网络中的卷积层时，选取尽可能多的卷积层进行特征融合。

进一步地，在步骤s01的确定追踪目标的检测区域后，在步骤s02的提取目标检测区域的特征图前，还包括尺度空间转换的步骤s01a：将相同类别追踪目标的各个目标检测区域的特征图转换成相同的尺度的标准特征图，再进行关键点检测，获取关键点在特征图中的相对位置关系。将相同类别追踪目标的各个目标检测区域的特征图转换成相同的尺度的标准特征图操作采用roipooling层，对每个区域都提取一个固定维度的特征表示，再通过正常的softmax进行类型识别。

进一步地，所述标准特征图的尺寸为56*56的特征图，标准特征图的尺寸稍大于追踪目标候选框的尺寸，以防止追踪目标的边缘外露，使关键点处于标准特征图之外。

进一步地，在获取追踪目标关键点在特征图中的相对位置信息前，还包括将标准特征图下采样的步骤s01b：获取下采样层特征图，以下采样层特征图作为输入，训练下采样局部网络；再以下采样层特征图为输入下采样局部网络，输出关键点位置信息并映射回标准特征图中。

进一步地，所述将得到的56*56的标准特征图进行下采样，得到7*7的下采样层特征图，在7*7的下采样层特征图中进行学习，学习充分后，再将得到的关键点位置映射到56*56的标准特征图中。

进一步地，还包括步骤s01c：将映射了下采样关键点位置的标准特征图进行掩码操作，训练标准特征局部网络，使其只学习标准特征图中关键点所在的映射位置。

进一步地，在56*56的标准特征图中，利用mask掩码，只学习含有关键点的部分，降低学习难度，利用损失函数进行学习。

进一步地，所述目标检测区域标记其左上角点为原点，获得参数(x,y)，目标检测区域的宽设置为w，目标检测区域的高设置为h；得到目标检测区域的参数(x,y,w,h)。

进一步地，所述网络结构中，基础段采用resnet50网络结构，检测段采用rrc网络结构。

进一步地，所述关键点检测段的网络结构包括获取基础段中低层的特征图，通过roipooling层使每个特征图的窗口生成固定尺寸的特征图，以concat函数融合固定尺寸的特征图，再经过至少一次卷积、池化操作获得标准特征图，标准特征图与预设追踪目标的关键点标签输入一起生成第一损失函数。

进一步地，所述关键点检测段生成标准特征图前经过三次卷积、池化操作。

进一步地，所述标准特征图再经过至少一次卷积、池化操作获得下采样层特征图，下采样层特征图和追踪目标关键点在特征图中的标签共同作为输入再通过掩码操作，生成第二损失函数。

进一步地，所述关键点检测段生成下采样层特征图前经过三次卷积、池化操作。

一种基于关键点回归的通用物体检测系统，包括关键点标签标注模块、目标检测模块、特征提取模块、关键点第一位置生成模块、关键点第二位置信息生成模块、损失函数生成模块；

所述目标检测模块用于在原图中获得追踪目标，并以追踪目标为基础获得检测区域；

所述关键点标签标注模块用于标注追踪目标关键点，并输出关键点标签；

所述特征提取模块用于自检测区域中提取特征，生成特征图；

所述关键点第一位置生成模块用于以关键点标签所在目标检测模块的像素点的位置信息生成关键点第一位置数组；

所述关键点第二位置生成模块用于以关键点标签所在特征图的格点的位置信息生成关键点第二位置数组；

所述损失函数生成模块用于以关键点第一位置数组与第二位置数组对应位数之差的和与系数的乘积得到损失函数，以修正网络结构。

进一步地，还包括特征融合模块，所述特征融合模块用于将基础段中中低层的特征图进行融合生成标准特征图。

进一步地，还包括尺度空间转换模块，所述尺度空间转换模块用于将基础段中各个层特征图转换成相同的尺寸生成标准特征图。

进一步地，还包括下采样层模块，所述下采样层模块用于将标准特征图中各个格点下采样，生成空间尺寸小于标准特征图的下采样层特征图。

进一步地，还包括掩码模块，所述掩码模块用于在下采样层特征图中第二关键点位置信息映射至标准特征图的过程中，对标准特征图中除了与第二关键点位置信息相关的格点进行掩码的操作。

一种基于关键点回归的通用物体检测终端，其特征在于，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现上述的方法中的步骤。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现上述的方法中的步骤。

如上所述，本发明的具有以下有益效果：第一，对多类别追踪目标以及每一个类别追踪目标中每一个个体进行编码，某类别追踪目标的编码具有固定的位数，在总编码中只占一部分，在学习过程中，各个类别追踪目标之间无干扰。第二，分类别对roi(感兴趣区域)框进行扩充，使得roi更具有有效性。第三，将追踪目标对应的标准特征图进行多尺度特征融合。第四，使用标准特征图，在不影响耗时的情况下，提高图像精度。第五，分两个阶段进行损失函数回归，先将标准特征图进行下采样操作得到下采样层特征图。阶段一在下采样层特征图中进行学习，当学习充分后，将下采样层特征图中的关键点位置映射到标准特征图中；阶段二在映射得到的标准特征图中进行学习，且利用掩码只学习关键点所在的映射位置，减小回归的难度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1显示为本发明的流程图。

图2显示为本发明的测试效果图。

图3显示为本发明掩码模块操作的示意图。

图4显示为本发明关键点检测段的网络结构图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

参见图1～图4，一种基于关键点回归的通用物体检测方法，包括以下步骤：

s01：预设追踪目标的关键点标签，确定追踪目标的检测区域，获得预设追踪目标关键点标签在检测区域中的相对位置信息，标记为关键点第一位置信息；

s02：提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息，标记为关键点第二位置信息；

s03：以关键点第一位置信息和关键点第二位置信息为输入，得出损失函数以优化网络结构。

作为优选实施例，步骤s01中所述追踪目标的类别为至少两种类别，所述预设追踪目标的关键点标签按照其预设的追踪目标类别、以及每个类别中每个预设的追踪目标个体分别预设关键点。

作为优选实施例，所述步骤s01中确定追踪目标的检测区域时，根据追踪目标的类别不同分别确定每个类别中每个追踪目标个体所在的检测区域，再将每个预设的追踪目标个体的关键点标签与追踪目标个体所在的检测区域相匹配；分别得到各个追踪目标个体所对应关键点信息。

作为优选实施例，所述步骤s01中所述预设追踪目标的关键点标签按照其预设的追踪目标类别、以及每个类别中每个预设的追踪目标个体分别预设关键点时，所述关键点包括其所在追踪目标预选框的位置信息以及表述该追踪目标上该关键点是否可见的信息；所述表述该追踪目标上该关键点是否可见的信息时，给予该关键点的可见度以权重。

作为优选实施例，所述步骤s02中所述提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息时，所述关键点在特征图中的相对位置信息的获取方式是：通过将基础网络段各个卷积层获得的特征图中含有该关键点部分通过映射关系找出，并标记含有该关键点部分在各个特征图中的位置，并以各个特征图中该关键点可见度的权重给各个特征图中关键点的位置打分，并选择打分最高的特征图中该关键点的位置作为关键点在特征图中的位置信息记录下来。

给予关键点位置权重相比与传统的rcnn的处理流程最后再做bboxregression来说，使网络结构更精简。因为这相当于把bboxregression放进了神经网络内部，与区域候选框、分类和并成为了一个multi-task模型，使这两个任务能够共享卷积特征，并相互促进。

该代码序列为多类别追踪目标编码的代码表现形式，本实施例中共有三个类别，类别一为路牌，其中路牌类别下有一个追踪目标个体路牌，此追踪目标个体路牌包括四个关键点。类别二为路灯杆，其中路灯杆类别下有两个追踪目标路灯杆，每一个追踪目标路灯杆包括两个关键点。类别三为电线杆，其中电线杆类别下有两个追踪目标个体电线杆，每一个追踪目标电线杆包括两个关键点。

但每个这样的数据列表中仅表示一种物体，"category_id":0表示当前类别为路牌，id:2表示这是这张图中的第二个路牌，参见以下行代码：

在keypoints这个括号内，每个关键点由x坐标、y坐标和该坐标下的关键点是否可见三个数据表示。比如keypoints这个括号内第一位数666，keypoints这个括号内第二位数237表示第一个关键点的x坐标和y坐标，keypoints这个括号内第三位数1表示坐标为(666,237)的关键点是否可见，1表示该点可见，若为0，则表示第一个关键点不可见。由于该列表表示的是路牌的属性，因此只有前12位数会有数据，其余位数数据为0。路灯杆关键点的数据为第13-18共六位数，电线杆关键点的数据为19-24共六位数。

作为优选实施例，所述步骤s02中，提取目标检测区域的特征图后，还包括将各个特征图的特征融合的步骤s021。

作为优选实施例，所述步骤s021中的特征图的特征融合限定为中低层的特征图进行特征融合。即在神经网络的卷积层中，处于中低层的卷积层的特征图进行特征融合。

作为优选实施例，所述步骤s021中的特征融合为密集性特征融合。即特征融合时，选择神经网络中的卷积层时，选取尽可能多的卷积层进行特征融合。

作为优选实施例，在步骤s01的确定追踪目标的检测区域后，在步骤s02的提取目标检测区域的特征图前，还包括尺度空间转换的步骤s01a：将各个目标检测区域的特征图转换成相同的尺度的标准特征图，再进行关键点检测，获取关键点在特征图中的相对位置关系。

作为优选实施例，所述标准特征图的尺寸为56*56的特征图，标准特征图的尺寸稍大于追踪目标候选框的尺寸，以防止追踪目标的边缘外露，使关键点处于标准特征图之外。

作为优选实施例，在获取追踪目标关键点在特征图中的相对位置信息前，还包括将标准特征图下采样的步骤s01b：获取下采样层特征图，以下采样层特征图作为输入，训练下采样局部网络；再以下采样层特征图为输入下采样局部网络，输出关键点位置信息并映射回标准特征图中。

作为优选实施例，所述将得到的56*56的标准特征图进行下采样，得到7*7的下采样层特征图，在7*7的下采样层特征图中进行学习，学习充分后，再将得到的关键点位置映射到56*56的标准特征图中。

作为优选实施例，还包括步骤s01c：将映射了下采样关键点位置的标准特征图进行掩码操作，训练标准特征局部网络，使其只学习标准特征图中关键点所在的映射位置。

作为优选实施例，在56*56的标准特征图中，利用mask掩码，只学习含有关键点的部分，降低学习难度，利用损失函数进行学习。

作为优选实施例，所述目标检测区域标记其左上角点为原点，获得参数(x,y)，目标检测区域的宽设置为w，目标检测区域的高设置为h；得到目标检测区域的参数(x,y,w,h)。

作为优选实施例，所述网络结构中，基础段采用resnet50网络结构，检测段采用rrc网络结构。

作为优选实施例，所述关键点检测段的网络结构包括获取基础段中低层的特征图，通过roipooling层使每个特征图的窗口生成固定尺寸的特征图，以concat函数融合固定尺寸的特征图，再经过至少一次卷积、池化操作获得标准特征图，标准特征图与预设追踪目标的关键点标签输入一起生成第一损失函数。

作为优选实施例，所述关键点检测段生成标准特征图前经过三次卷积、池化操作。

作为优选实施例，所述标准特征图再经过至少一次卷积、池化操作获得下采样层特征图，下采样层特征图和追踪目标关键点在特征图中的标签共同作为输入再通过掩码操作，生成第二损失函数。

作为优选实施例，所述关键点检测段生成下采样层特征图前经过三次卷积、池化操作。

一种基于关键点回归的通用物体检测系统，包括关键点标签标注模块、目标检测模块、特征提取模块、关键点第一位置生成模块、关键点第二位置信息生成模块、损失函数生成模块；

所述目标检测模块用于在原图中获得追踪目标，并以追踪目标为基础获得检测区域；

所述关键点标签标注模块用于标注追踪目标关键点，并输出关键点标签；

所述特征提取模块用于自检测区域中提取特征，生成特征图；

所述关键点第一位置生成模块用于以关键点标签所在目标检测模块的像素点的位置信息生成关键点第一位置数组；

所述关键点第二位置生成模块用于以关键点标签所在特征图的格点的位置信息生成关键点第二位置数组；

所述损失函数生成模块用于以关键点第一位置数组与第二位置数组对应位数之差的和与系数的乘积得到损失函数，以修正网络结构。

作为优选实施例，还包括特征融合模块，所述特征融合模块用于将基础段中中低层的特征图进行融合生成标准特征图。

作为优选实施例，还包括尺度空间转换模块，所述尺度空间转换模块用于将基础段中各个层特征图转换成相同的尺寸生成标准特征图。

作为优选实施例，还包括下采样层模块，所述下采样层模块用于将标准特征图中各个格点下采样，生成空间尺寸小于标准特征图的下采样层特征图。

作为优选实施例，还包括掩码模块，所述掩码模块用于在下采样层特征图中第二关键点位置信息映射至标准特征图的过程中，对标准特征图中除了与第二关键点位置信息相关的格点进行掩码的操作。

一种基于关键点回归的通用物体检测终端，其特征在于，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现上述的方法中的步骤。

作为优选实施例，本实施例还提供一种终端设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的终端设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。需要指出的是，具有组件存储器、处理器的终端设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

作为优选实施例，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的基于实例分割的目标re-id的程序代码等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器在一些实施例中可以是中央处理器(centralprocessingunit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，例如运行基于实例分割的目标re-id程序，以实现实施例中基于实例分割的目标re-id系统的功能。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现上述的方法中的步骤。

本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储基于实例分割的目标re-id程序，被处理器执行时实现实施例中的基于实例分割的目标re-id方法。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。