一种基于像素级别分离行人图片背景的方法及装置与流程

本发明涉及图像处理领域，特别涉及一种基于像素级别分离行人图片背景的方法及装置。

背景技术：

随着人们对社会公共安全的日益关注以及大规模视频采集技术的快速发展。大量的摄像设备被安装在学校、街道、商场、地铁等人口密集的公共场所。而这些人群密集的场所往往会出现意想不到的危险。人工难以应对海量的增长的视频数据，因此行人再识别与行人属性分类的应用需求应运而生。行人再识别要处理的问题即是在两个不同摄像头下或者同一摄像头跨时间下找出同一行人。而这一问题的挑战性主要在于样本的复杂性，比如拍摄角度改变、光照影响、背景杂乱及遮挡、行人姿势的不确定性等因素都会导致样本的复杂性，行人属性分类处理的问题主要是对图片中行人进行如性别、衣服颜色等的分类。

现在主流的方法就是利用仿视觉皮层对样本图片进行训练，提取图片的特征信息。这种仿视觉皮层方法较传统的方法相比有许多优势，首先，这种方法不需要人工设计特征提取器，而是机器自动学习到，适合变化多端的数据，具有非常优良的泛化能力和鲁棒性。其次，只需少量的人工介入。但在行人再识别和行人属性分类中图片背景变化仍是影响识别率的一大瓶颈。

技术实现要素：

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于像素级别分离行人图片背景的方法及装置。

第一方面，本发明实施例提供一种基于像素级别分离行人图片背景的方法，包括：

获取多个行人图像样本，将所述行人图像样本调整成统一大小样式，生成图像分割训练库；

将所述训练库中的每个行人图像样本做像素级的标注，将其中包含行人的像素部分用第一预设颜色标注，其余部分用第二预设颜色标注；

将所述训练库中的行人图像样本和标注后的行人图像样本，放入仿视觉皮层网络中学习，建立像素级别分割模型；

利用所述像素级别分割模型，对待识别行人图像进行像素级别分割。

在一个实施例中，利用所述像素级别分割模型，对待识别行人图像进行像素级别分割，包括：

根据所述像素级别分割模型将待识别行人图像做分割，得到原图的mask；

将所述得到原图的mask与原图做映射，将图片中行人部分保留下来，而将背景映射成为黑色。

在一个实施例中，还包括：

将保留下来的图片中行人部分图像，放入仿视觉皮层网络中提取特征，完善所述像素级别分割模型。

在一个实施例中，将所述训练库中的每个行人图像样本做像素级的标注，将其中包含行人的像素部分用第一预设颜色标注，其余部分用第二预设颜色标注，包括：

对所述训练库中的每个行人图像样本的每一像素点进行判断，当该像素点属于行人，则用第一预设颜色标注，若不属于行人，则用第二预设颜色标注。

在一个实施例中，所述第一预设颜色为红色，所述第二预设颜色为黑色。

第二方面，本发明实施例提供一种基于像素级别分离行人图片背景的装置，包括：

获取生成模块，用于获取多个行人图像样本，将所述行人图像样本调整成统一大小样式，生成图像分割训练库；

标注模块，用于将所述训练库中的每个行人图像样本做像素级的标注，将其中包含行人的像素部分用第一预设颜色标注，其余部分用第二预设颜色标注；

建立模块，用于将所述训练库中的行人图像样本和标注后的行人图像样本，放入仿视觉皮层网络中学习，建立像素级别分割模型；

识别模块，用于利用所述像素级别分割模型，对待识别行人图像进行像素级别分割。

在一个实施例中，所述识别模块，包括：

分割子模块，用于根据所述像素级别分割模型将待识别行人图像做分割，得到原图的mask；

映射模块，用于将所述得到原图的mask与原图做映射，将图片中行人部分保留下来，而将背景映射成为黑色。

在一个实施例中，还包括：完善模块，用于将保留下来的图片中行人部分图像，放入仿视觉皮层网络中提取特征，完善所述像素级别分割模型。

在一个实施例中，所述标注模块，具体用于对所述训练库中的每个行人图像样本的每一像素点进行判断，当该像素点属于行人，则用第一预设颜色标注，若不属于行人，则用第二预设颜色标注。

在一个实施例中，所述标注模块中，所述第一预设颜色为红色，所述第二预设颜色为黑色。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明实施例提供的基于像素级别分离行人图片背景的方法及装置，该方法通过仿视觉皮层网络建立像素级别分割模型，根据像素级别分割模型去分割图像，去掉行人图片背景，有效的排除了行人识别和分类中因为背景的杂乱等带来的干扰。行人图片背景的复杂性一直是影响识别率的主要因素，本发明利用图像分割技术对每个像素点进行分类，将行人部分对应的像素点保留下来，而将非行人部分对应的像素点屏蔽掉，从而实现提高行人样本的辨识度。

进一步地，再利用这种无背景的行人图片放入仿视觉皮层网络中提取特征，使其在不断的在学习中，为后续的行人再识别、行人属性分类等提高准确率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的基于像素级别分离行人图片背景的方法的流程图；

图2为本发明实施例提供的步骤S104的流程图；

图3为本发明实施例提供的去掉行人图片背景的示意图；

图4为本发明实施例提供的基于像素级别分离行人图片背景的装置的框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

参照图1所示，本发明实施例提供的基于像素级别分离行人图片背景的方法，利用像素级别分割技术去掉行人图片背景，包括以下步骤：

S101、获取多个行人图像样本，将所述行人图像样本调整成统一大小样式，生成图像分割训练库。本发明所述的图像，可以理解为包括视频和图片，比如通过获取公共场所摄像设备所采集的视频截图或照片，因获取的设备不同，所采集图像的像素比例、图像大小、分辨率等参数可能均不相同，本步骤中将上述这些视频截图或照片resize(调整)成统一大小，比如可以调整到400x300像素尺寸，可以不顾及原来图片的宽高比，调整大小后的图片可能会出现变形；也可以调整成图片宽度为400像素，高度按比例自动调节；还可以调整成图片高度为400像素，宽度按比例自动调节。

进一步地，可以变换为统一格式，比如bmp,jpg,png,tiff,gif等，本公开实施例对此不做限定。调整成统一大小样式后，比如存储到数据库，该数据库可称为图像分割训练库。

S102、将所述训练库中的每个行人图像样本做像素级的标注，将其中包含行人的像素部分用第一预设颜色标注，其余部分用第二预设颜色标注。本步骤中，像素级别的分类例如：1)语义级别图像分割(semantic image segmentation),最终要得到对应位置每个像素的分类结果。2)边缘检测,相当于对每个像素做一次二分类(是边缘或不是边缘)。以语义图像分割为例，其目的是将图像分割为若干个区域,使得语义相同的像素被分割在统一区域内。另外，第一预设颜色和第二预设颜色不做限定，比如第一预设颜色为红色，第二预设颜色为黑色等，主要是将二者用不同的颜色区分开即可。

S103、将所述训练库中的行人图像样本和标注后的行人图像样本，放入仿视觉皮层网络中学习，建立像素级别分割模型。

针对上述S102中标注的问题，现有技术中做法以某个像素点为中心取一个图像块,然后取图像块的特征作为样本去训练分类器。在测试阶段,同样的在测试图片上以每个像素点为中心采一个图像块进行分类,分类结果作为该像素点的预测值。然而，这种逐像素取图像块进行分类的方法非常耗时,另外一个不足是受到图像块的限制,无法建模较大的上下文信息(context),从而影响算法的性能。

S103中，将训练库中的行人图像样本和标注后的行人图像样本，放入仿视觉皮层网络中学习，使得学习后的网络能自动分割图片中的行人。

比如仿视觉皮层网络使用全连接层得到固定长度的特征向量进行分类，最后可实现在采样的特征图上进行逐像素分类，建立像素级别分割模型。

S104、利用所述像素级别分割模型，对待识别行人图像进行像素级别分割。根据上述S103建立的像素级别分割模型，可以对待识别的行人图像，进行像素级别分割。

本实施例中，本发明利用像素级别标注，可分割去掉行人图片背景，有效的排除了行人图片背景的杂乱等带来的干扰，提高行人样本的辨识度。

在一个实施例中，参照图2所示，步骤S104包括：

S1041、根据所述像素级别分割模型将待识别行人图像做分割，得到原图的mask；

S1042、将所述得到原图的mask与原图做映射，将图片中行人部分保留下来，而将背景映射成为黑色。

本实施例中，要求得到的mask与原图大小保持一致，因为下一步需要将mask与原图做映射。mask可称为掩膜，也称作“掩模”。数字图像处理中的掩膜的概念是借鉴于PCB制版的过程，在半导体制造中，许多芯片工艺步骤采用光刻技术，用于这些步骤的图形“底片”称为掩膜(也称作“掩模”)，其作用是：在硅片上选定的区域中对一个不透明的图形模板遮盖，继而下面的腐蚀或扩散将只影响选定的区域以外的区域。图像掩膜与其类似，用选定的图像、图形或物体，对处理的图像全部或局部进行遮挡，来控制图像处理的区域或处理过程。本实施例中，mask主要是结构特征提取，用相似性变量或图像匹配方法检测和提取图像中与掩模相似的结构特征。将得到原图的mask与原图做像素点之间的一一映射，将图片中行人部分保留下来，而将不属于行人部分的像素点，比如背景，也一一映射成为黑色。可参照图3所示，为本发明实施例中去掉行人图片背景的示意图。

在一个实施例中，参照图2所示，还包括：

S1043、将保留下来的图片中行人部分图像，放入仿视觉皮层网络中提取特征，完善所述像素级别分割模型。

再利用这种无背景的行人图片放入仿视觉皮层网络中提取特征，完善上述像素级别分割模型，使其在不断的在学习中，为后续的行人再识别、行人属性分类等提高准确率。

在一个实施例中，步骤S102，具体的包括：对上述训练库中的每个行人图像样本的每一像素点进行判断，当该像素点属于行人，则用第一预设颜色标注，若不属于行人，则用第二预设颜色标注。

比如仿视觉皮层网络使用全连接层得到固定长度的特征向量进行分类，最后可实现在采样的特征图上进行逐像素分类，建立像素级别分割模型。

基于同一发明构思，本发明实施例还提供了基于像素级别分离行人图片背景的装置，由于该装置所解决问题的原理与前述基于像素级别分离行人图片背景的方法相似，因此该装置的实施可以参见前述方法的实施，重复之处不再赘述。

本发明实施例还提供了一种基于像素级别分离行人图片背景的装置，参照图4所示，包括：

获取生成模块41，用于获取多个行人图像样本，将所述行人图像样本调整成统一大小样式，生成图像分割训练库；

标注模块42，用于将所述训练库中的每个行人图像样本做像素级的标注，将其中包含行人的像素部分用第一预设颜色标注，其余部分用第二预设颜色标注；

建立模块43，用于将所述训练库中的行人图像样本和标注后的行人图像样本，放入仿视觉皮层网络中学习，建立像素级别分割模型；

识别模块44，用于利用所述像素级别分割模型，对待识别行人图像进行像素级别分割。

在一个实施例中，上述识别模块44，参照图4所示，包括：

分割子模块441，用于根据所述像素级别分割模型将待识别行人图像做分割，得到原图的mask；

映射模块442，用于将所述得到原图的mask与原图做映射，将图片中行人部分保留下来，而将背景映射成为黑色。

在一个实施例中，上述识别模块44，参照图4所示，还包括：完善模块443，用于将保留下来的图片中行人部分图像，放入仿视觉皮层网络中提取特征，完善所述像素级别分割模型。

在一个实施例中，标注模块42，具体用于对所述训练库中的每个行人图像样本的每一像素点进行判断，当该像素点属于行人，则用第一预设颜色标注，若不属于行人，则用第二预设颜色标注。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。