一种行人个体分割方法及装置与流程

本发明涉及计算机视觉、模式识别技术领域，特别涉及基于全卷积神经网络的粗细粒度结合的行人个体分割方法及装置。

背景技术：

行人个体分割问题是场景理解、生物特征识别等领域最重要的问题之一。大部分传统行人分割方法要求背景中不能含有其他行人，通过区分人体与环境的差异获得分割结果。然而，在实际场景中行人互相遮挡的情况大量存在，此时传统行人分割方法无法获得满意的结果。通过个体检测与行人分割相结合的方式可以部分解决这一问题，但是个体检测耗时严重，且很多情况下即使精确检测到个体位置，仍然由于区域中包含多个人体信息而无法得到完美的个体分割结果。本方法提出的粗细粒度结合的方法可以较好的解决这一问题。

技术实现要素：

本发明的目的是针对现有技术在行人个体分割中遇到的难题，通过粗粒度分割模型与细粒度分割模型相结合的方式，利用粗粒度模型屏蔽背景中出现的其他行人，在此基础上用细粒度模型进行精细分割，得到个体的分割结果。首先利用大量带标记的人形图像训练多层全卷积神经网络的粗粒度人形轮廓分割模型；然后利用该粗粒度人形轮廓分割模型得到所有图像的人形分割结果，并根据该分割结果将图像上背景区域减除(即将对应像素置0)，以此作为细粒度分割模型的输入；最后利用屏蔽背景的图像作为输入，精细的人形标记作为监督信息，训练细粒度人形分割模型。

为实现上述目的，本发明第一方面提供了一种行人个体分割方法，包括：

利用预先训练好的粗粒度人形轮廓分割模型对待处理图像进行行人分割，得到区块化分割结果；所述区块化分割图像中包括多个标示成背景和前景的区块，被标示成背景的区块中不包含行人主体，而被标示成前景的区块中包含行人主体的部分图像；

去除所述待处理图像中所述区块化行人分割结果对应部分中的背景图像，得到粗粒度分割图像；

将所述粗粒度分割图像输入至预先训练好的细粒度人形轮廓分割模型；

其中，所述粗粒度人形轮廓分割模型和细粒度人形轮廓分割模型均通过全卷积神经网络训练得到。

其中，所述粗粒度人形轮廓分割模型对应的第一全卷积神经网络包括多层卷积层和一层反卷积层；所述细粒度人形轮廓分割模型对应的第二全卷积神经网络包含多层卷积层与多层反卷积层，所述多层卷积层与所述多层反卷积层呈中心对称的结构，组合成漏斗形状。

所述方法还包括所述粗粒度人形轮廓分割模型的训练步骤，包括：

将训练数据集中的具有行人标记的训练样本进行区块化处理，得到训练样本的区块化处理结果；

将用于训练的训练样本归一化至统一的大小，然后将归一化后的训练样本送入粗粒度人形轮廓分割模型对应的第一全卷积神经网络；

将所述粗粒度人形轮廓分割模型输出的区块分割结果与对应的训练样本的区块化处理结果进行比较得到预测误差；

采用反向传播算法和随机梯度下降法来减小预测误差以训练该粗粒度人形轮廓分割模型对应的第一全卷积神经网络，经过多次迭代训练得到最终的粗粒度人形轮廓分割模型。

所述方法还包括所述细粒度人形轮廓分割模型的训练步骤，包括：

将训练数据集中的具有行人标记的训练样本输入至训练好的粗粒度人形轮廓分割模型，得到区块化分割结果；

将所述训练样本中所述区块化分割结果对应部分中的背景图像减除，得到粗粒度分割图像；

将粗粒度分割图像归一化至统一的大小；

将归一化后的粗粒度分割图像送入细粒度人形轮廓分割模型对应的第二全卷积神经网络中；

将所述第二全卷积神经网络输出的精细分割结果与对应的训练样本的精细分割标记结果进行比较得到第二预测误差；

采用反向传播算法和随机梯度下降法来减小第二预测误差以训练该细粒度人形轮廓分割模型对应的第二全卷积神经网络，经过多次迭代训练得到最终的细粒度人形轮廓分割模型。

其中，所述粗粒度人形轮廓分割模型的监督信息为进行区块化处理的分割标记，用于屏蔽图像中的背景。

本发明第二方面提供了一种行人个体分割装置，包括：

区块化分割模块，被配置为利用预先训练好的粗粒度人形轮廓分割模型对待处理图像进行行人分割，得到区块化分割图像；所述区块化分割图像中包括多个标示成背景和前景的区块，被标示成背景的区块中不包含行人主体，而被标示成前景的区块中包含行人主体的部分图像；

背景去除模块，被配置为去除所述待处理图像中所述区块化行人分割结果对应部分中的背景图像，得到粗粒度分割图像；

精细分割模块，被配置为将将所述粗粒度分割图像输入至预先训练好的细粒度人形轮廓分割模型；

其中，所述粗粒度人形轮廓分割模型和细粒度人形轮廓分割模型均通过全卷积神经网络训练得到。

其中，所述粗粒度人形轮廓分割模型对应的第一全卷积神经网络包括多层卷积层和一层反卷积层；所述细粒度人形轮廓分割模型对应的第二全卷积神经网络包含多层卷积层与多层反卷积层，所述多层卷积层与所述多层反卷积层呈中心对称的结构，组合成漏斗形状。

所述装置还包括所述粗粒度人形轮廓分割模型的训练模块，包括：

标记子模块，被配置为将训练数据集中的具有行人标记的训练样本进行区块化处理，得到训练样本的区块化处理结果；

第一归一化子模块，被配置为将用于训练的训练样本归一化至统一的大小；

第一训练子模块，被配置为将归一化后的训练样本送入粗粒度人形轮廓分割模型对应的第一全卷积神经网络；

第一比较子模块，被配置为将所述粗粒度人形轮廓分割模型输出的区块分割结果与对应的训练样本的区块化处理结果进行比较得到预测误差；

第一迭代子模块，被配置为采用反向传播算法和随机梯度下降法来减小预测误差以训练该粗粒度人形轮廓分割模型对应的第一全卷积神经网络，经过多次迭代训练得到最终的粗粒度人形轮廓分割模型。

所述的装置，还包括所述细粒度人形轮廓分割模型的训练模块，包括：

区块化子模块，被配置为将训练数据集中的具有行人标记的训练样本输入至训练好的粗粒度人形轮廓分割模型，得到区块化分割结果；

背景去除子模块，被配置为将所述训练样本中所述区块化分割结果对应部分中的背景图像减除，得到粗粒度分割图像；

第二归一化子模块，被配置为将粗粒度分割图像归一化至统一的大小；

第二训练子模块，被配置为将归一化后的粗粒度分割图像送入细粒度人形轮廓分割模型对应的第二全卷积神经网络中；

第二比较子模块，被配置为将所述第二全卷积神经网络输出的精细分割结果与对应的训练样本的精细分割标记结果进行比较得到第二预测误差；

第二迭代子模块，被配置为采用反向传播算法和随机梯度下降法来减小第二预测误差以训练该细粒度人形轮廓分割模型对应的第二全卷积神经网络，经过多次迭代训练得到最终的细粒度人形轮廓分割模型。

其中，所述粗粒度人形轮廓分割模型的监督信息为进行区块化处理的分割标记，用于屏蔽图像中的背景。

本发明提供的基于全卷积神经网络的粗细粒度结合的行人个体分割方法采用深度学习技术来分别训练粗粒度分割模型和细粒度模型，并利用粗粒度分割模型的结果屏蔽部分背景，可以提高人形分割的准确率，尤其适用于背景中含有其他行人的情况。本发明的上述技术方案需同时结合粗细粒度分割模型的结果，其中粗粒度分割模型的结果用于去除图像中的背景区块，并以此作为细粒度分割模型的输入，可大大降低细粒度分割的难度，改善分割效果；粗细粒度分割模型均为全卷积神经网络，且均只包含卷积层和全卷积层结构，具有结构简单，参数少的优点，因此运行速度较快；其中粗粒度分割网络只包含一层反卷积层，可以预测区块化的分割结果，细粒度分割网络为前后对称的漏斗形结构，可以预测精细的分割结果；所提出的粗粒度分割模型的监督信息为进行区块化处理的分割标记，通过训练能够有效的屏蔽图像中的背景，尤其是背景中的其他行人，最终仅保留含有一个行人的区域

附图说明

图1是本发明中训练数据及标记方法示意图；

图2是本发明一实施例中行人个体分割方法流程示意图；

图3是本发明一实施例中粗粒度分割模型结构示意图；

图4是本发明一实施例中细粒度分割模型结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案作进一步的详细描述。

本发明一实施例提出了一种行人个体分割方法。该方法包括：

利用预先训练好的粗粒度人形轮廓分割模型对待处理图像进行行人分割，得到区块化分割结果；所述区块化分割图像中包括多个标示成背景和前景的区块，被标示成背景的区块中不包含行人主体，而被标示成前景的区块中包含行人主体的部分图像；

去除所述待处理图像中所述区块化行人分割结果对应部分中的背景图像，得到粗粒度分割图像；

将所述粗粒度分割图像输入至预先训练好的细粒度人形轮廓分割模型；

所述预先训练好的细粒度人形轮廓分割模型输出个体行人分割结果。

在一实施例中，所述区块化分割结果为将待处理图像划分成多个大小相同的区块，并且每个区块被标示成背景区块或前景区块，所述背景区块对应的图像中不包含行人主体图像，而所述前景区块对应的图像中包含行人主体的部分图像，如图1所示，d为区块分割结果，e为区块化分割图像，即区块化分割结果对应的区块化分割图像。

在一实施例中，所述粗粒度人形轮廓分割模型和所述细粒度人形轮廓分割模型均为全卷积神经网络，即均只包含卷积层和全卷积层结构，具有结构简单，参数少的优点，因此运行速度较快。

在一实施例中，所述粗粒度人形轮廓分割模型包括多层卷积层和一层反卷积层，用于预测区块化的分割结果，而细粒度人形轮廓分割模型包含多层卷积层与多层反卷积层，其卷积部分与反卷积部分为中心对称的结构，组合成漏斗形状，即所述细粒度人形轮廓分割模型的最中间层为卷积层，前半部分均为卷积层，后半部分均为饭卷积层，前半部分和后半部分呈中心对称的结构。

在一实施例中，所述粗粒度人形轮廓分割模型的监督信息为进行区块化处理的分割标记，通过训练能够有效的屏蔽图像中的背景，尤其是背景中的其他行人，最终仅保留含有一个行人的区域。

本发明在粗粒度模型分割的基础上，细粒度模型通过对称的漏斗形全卷积网络，可以得到非常精细的行人个体分割结果。该方法对于图像中多样的背景变化具有极强的鲁棒性，可以较好的解决多行人互相遮挡情况下的人形分割问题

下面以某大型人形分割数据库为例，共包含5000张行人图像及对应的人形分割标注。

图2为本发明行人个体分割方法的流程图，如图所示，本发明具体包括如下步骤：

步骤S0，将数据集中的5000张行人标记数据进行区块化处理，如附图1所示，首先将行人分割标记图像均匀划分为10×5个区块，然后根据区块中是否含有行人分割标记确定该区块为前景或者背景区块，这样就得到了10×5的区块化分割标记，共5000对行人图像与区块分割标记；

步骤S1，将用于训练的行人图像归一化至统一的大小(50×25像素)，然后将该图像送入一个全卷积神经网络(即粗粒度分割网络)，该网络含有数层卷积层与反卷积层，具体结构如图3所示，共包含4个卷积层和1个反卷积层。第一个卷积层含有48个滤波器(大小为3×3)，步长为2；同样的，第二、三、四个卷积层分别含有96/96/128个滤波器(大小均为3×3)，步长均为2，第五层为反卷积层，含有1个滤波器(大小为10×5)，步长为1，其输出即为粗粒度分割结果。

步骤S2，在该粗粒度分割网络的最后一层输出图像表达，即区块分割结果(大小为10×5)；

步骤S3，将上述输出的区块分割结果与对应的区块化分割标记(如图1中d所示)进行比较得到预测误差，此时会比较10×5区域中每个点的预测误差并求和作为最终的预测误差；

步骤S4，采用反向传播算法和随机梯度下降法来减小预测误差以训练该粗粒度分割网络，经过多次迭代训练得到较好的粗粒度分割模型，大约需要10,000次左右的迭代，可以通过调整权重的学习率来进一步减小误差损失，直到误差不再减小时停止训练，此时粗粒度分割模型训练完成；

步骤S5，将归一化后的行人图像(大小为50×25)输入训练完成的粗粒度模型，可得到区块化的分割结果(大小为10×5)，根据该分割结果将未归一化的原始行人图像上的背景区域减除(即将对应像素置0)，得到去除背景的行人图像，如图1所示；

步骤S6，将S5得到的去除背景的行人图像归一化至统一的大小(如150×75像素)，然后将该图像送入一个全卷积神经网络(即细粒度分割网络)，该网络包含数层卷积层与反卷积层，其卷积部分与反卷积部分通常为对称结构，组合成漏斗形状，如图4所示，共包含4个卷积层和3个反卷积层。第一个卷积层含有48个滤波器(大小为3×3)，步长为2；同样的，第二、三、四个卷积层分别含有64/96/128个滤波器(大小均为3×3)，步长均为2；第五层为反卷积层，与第三层卷积层对称，含有96个滤波器(大小为3×3)，步长为2；第六层为反卷积层，与第二层卷积层对称，含有64个滤波器(大小为3×3)，步长为2；第七层为反卷积层，与第一层卷积层对称，含有1个滤波器(大小为3×3)，步长为2，其输出为150×75大小的细分割结果；

步骤S7，在该细粒度分割网络的最后一层输出图像表达，即精细分割结果(大小为150×75)；

步骤S8，将上述输出的精细分割结果与对应的归一化分割标记(大小为150×75，如图1中b所示)进行比较得到预测误差，该误差为150×75个像素点的误差的总和；所述归一化分割标记为具有准确分割标记的原始样本被归一化成精细分割结果大小(50×75)后的结果；

步骤S9，采用反向传播算法和随机梯度下降法来减小预测误差以训练该细粒度分割网络，经过多次迭代训练得到最终的细粒度分割模型；由于网络规模较大，通常需要100,000次左右的迭代，可以通过调整权重的学习率来进一步减小误差损失，直到误差不再减小时停止训练，此时细粒度分割模型训练完成；

步骤S10，利用训练好的粗细粒度分割模型进行测试。首先将待测试含有行人的图像归一化至50×25像素，送入粗粒度分割模型，得到粗粒度分割结果(即区块分割结果，大小为10×5)；

步骤S11，利用S10中的得到的区块分割结果将原始行人图像上的背景区域减除(即将对应像素置0)以得到去除背景的行人图像，然后将其归一化至统一的大小(150×75像素)，最后将该图像送入细粒度分割网络；

步骤S12，此时，可从细粒度分割网络的输出端得到精细化的行人分割结果。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。