一种基于Vibe算法的人体动作轮廓提取方法与流程

所属技术领域

本发明专利属于图像识别和信息处理技术领域，特指一种基于vibe算法的前景图像的检测技术，通过对vibe算法进行改进，实现对人体动作的轮廓前景图像高效提取。

背景技术：

随着互联网时代的发展，相机设备成本的降低，人们开始习惯于使用视频、图片等形式来记录和观测生活，视频图像的内容在这段时间内数据总量飞速增长。充分地利用这些图像视频信息进行语义信息的分析判断，将会给实际生产生活带来诸多的便利。例如，通过家庭看护机器人对老人、小孩的肢体动作进行实时的分析，来及时对意外情况进行告警。在公共场合通过智能监控相机对人体动作进行分析，可以判断是否出现过激、伤害他人的行为，有助于安防人员及时发现这些安全隐患。视频技术与图像分析技术的水平提升，让行为动作识别成为可能。人体的运动情况分为两大部分，一种是静态的，一种是动态的。静态的人体运动一般被称之为姿势，它们是一种原子化运动单位，如正常的站立，弯腰，蹲下等一系列可以暂时保持一种状态不发生其他变化的运动关系，它最显著的特点就是它的不可再分性。而动态的肢体移动解析就是人体的动作识别，它是一个周期性变化的过程，比如跑步，登山，都是一系列静态动作的组合，他们在一定周期完成，并且一般具有循环性。人体动作的采集一般分为两种方法，一种是利用可穿戴设备，通常使用各种传感器的互相配合，记录人体的运动信息，另一种是非接触式方法，即通过摄像机采集运动图像后进行处理。与此同时，对图像或视频进行处理以获取信息开始采用深度信息的方式，而不是简单的使用单纯的彩色信息。而采用双目摄像头可以获得图像的深度信息，比之于单纯的色彩获得更加多的空间信息。双目摄像头是两个相同的普通摄像头拼接到一起，二者同时采集的图像之间会有一个视差，利用此视差能获取空间中物体的位置信息。这种结合深度信息优势，在动作识别领域也越来越明显。人体目标检测的关键内容是能够把人从背景中分离出来，因此大多数情况下，目标检测也可以称为目标前景检测。前景检测算法是人体动作识别的重要一环，相当于要从原本充满复杂信息的图像中，提取出本文需要的运动信息。vibe（visualbackgroundextractor）算法首次把随机选择机制加入到背景建模和背景更新中，它不但令背景建模的效率提高，还大大增强了鲁棒性，并且该算法最大的优点就是计算简单。

技术实现要素：

在前景检测过程中能够去除一部分动态的背景，比如场景中随着风摇动的窗帘，突然出现的光斑，由于光线不稳定人的阴影变化。有时候当算法的模型迭代替换旧信息的速度不够快时，背景中移动物体改变位置时容易干扰前景的判别。当物体初始运动时，由于变换了位置被错误识别为前景，而当它再次消失或归位时那片区域同样可能被识别为错误前景。因此在我们得到的背景中容易产生不规则的小块噪声影响最终的检测效果。为了消除这种干扰，本发明拟首先采用形态学处理的方法对前景检测得到的二值化图进行处理。经过形态学处理后，虽然有所改进，但是效果不够理想，一些边缘部分过于模糊，前景图像不够细致。因此本发明最终的策略是采用图像左图的彩色信息，进行单目的前景检测，得到一个前景目标的二值化图。使用rgb图像的前景二值化图像与利用vibe获得的二值化图像结合起来，取他们相交的部分作为前景检测二值化图像。最后对获取的二值化图像采用上述的形态学处理，最终得到前景目标。具体步骤如下：

(1).提取图像彩色信息和深度信息

首现提取图像左图的彩色信息和深度图像信息。

利用深度信息获取前景二值化信息

利用vibe算法获取前景目标的二值化图像信息。

利用彩色信息获取前景二值化信息

利用码本算法来根据图像的彩色信息得到前景目标的二值化信息。

两种方式获取的二值化信息进行结合

使用rgb图像的前景二值化图像与vibe获得的二值化图像结合起来，取他们相交的部分作为初步的前景检测二值化图像。

形态学处理

采用膨胀与腐蚀相结合的方法对步骤(4)处理后得到的二值化图像进行相应的形态学处理。并得到前景目标图。

在步骤（1）中，在封闭室内的灯光照明下，采用320×180的分辨率，使用c++语言对sgbm算法实现编程。进而完成原始图像到深度图的转换。并通过opencv获取图像的rgb信息。在步骤（2）中，通过c++语言实现vibe算法，并对步骤（1）中的深度图作用vibe算法，进而获得二值化前景图。在步骤（3）中，利用单目彩色相机前景检测法—coodbook法，对步骤（1）中获取的原始图像的rgb信息进行作用，进而也提取到另一份二值化前景图。在步骤（4）中，取步骤（2）和步骤（3）所得到的二值化图相交的部分作为前景检测二值化图像。步骤（5）主要是对步骤（4）得到的前景检测二值化图像做形态学处理，主要是腐蚀与膨胀的组合。这种操作可以用来去除图像中与主体无关的小杂块，并且可以让前景主体的边界变得平滑但是不会大量改变它的面积。先用掩模为3×3的矩形核进行三次膨胀，即选取该正方形的中心点作为该核的原点，在待处理图像中逐点以矩形核的原点为中心依次进行运算。然后进行掩模为3×3的矩形核进行五次开运算，即先设定一个正方形的邻域范围，设定中心点为原点。对待检测图像的每个像素点按照3×3的原点周围的正方形邻域依次进行运算，如果图像的某一个点不能保证这个邻域窗口每一个点都是1，那么该点会设为0，全部符合则为1。完成这一步后再对图像以相同的核进行膨胀操作，反复迭代5次。形态学处理之后取出来场景中的细小碎块但是有一些较大的块无法去除。于是需要加入更进一步的前景提取。本方法采用寻找图像中物体轮廓的策略，轮廓定义为场景中有着自己明确边界的前景，之后记录下每一个轮廓。经过遍历，找到面积最大的轮廓，保存下来并填充轮廓中可能的空洞。最终获得的二值化图，作为前景轮廓检测图。彩色信息加入后可能导致图像出现较大拖影，这是因为单目前景检测算法对光照颜色信息更加敏感，但它也有着画面较为精细的优点。因此本方法在后期加入形态学处理，让vibe算法原有的前景轮廓更加精细化。

有益效果

本发明对比已有技术具有以下创新点：

a)对图像进行膨胀和腐蚀相结合的形态学处理操作，可以有效地去除图像中与主体无关的小杂块，并且可以让前景主体的边界变得平滑但是不会大量改变它的面积，十分适合用来完成对前景图的优化操作。

b)采用将经过单目前景检测算法处理后的二值化图像与经过vibe算法处理后的二值化图像进行交运算，图像更为精细，在pcc上得到提高，整体轮廓更为清晰，并且更加容易分辨。

附图说明

下面结合附图和实施例对本发明进一步说明:

图1是图像形态学处理流程图;

图2是改进后的vibe算法获取前景目标的流程图;

图3是原始的二值化前景图;

图4是形态学处理后的效果图;

图5是采用了码本算法融合以后的二值化前景图。

具体实施方式

下面结合附图，具体说明本发明。本发明所述的一种基于vibe算法的人体动作轮廓提取方法，具体实施步骤如下：

(1).利用c++实现对图像深度图像信息以及彩色信息的提取

(2).分别利用codebook算法和vibe算法得到二值化前景图

(3).将两份二值化图像做相与运算

(4).对与运算之后的二值化前景图做三次膨胀操作，然后再进行5次腐蚀操作。

(5).通过遍历找到最大面积的轮廓，并填充空洞。最终得到人体动作的前景图。

本说明书实施例所述的内容仅仅是对发明的原理及实现形式的举例，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也基于本领域技术人员根据本发明构思所能够想到的等同技术手段。