一种基于背景建模与光流法的录播系统学生起立检测方法与流程

本发明涉及录播设备中目标检测技术领域，特别涉及一种基于背景建模与光流法的智能录播系统学生起立检测方法。

背景技术：

目前在教学监控学生起立发言定位的研究很少，各种运动目标识别方法，类似于帧差法、背景建模法、光流算法等都已经有较成熟的研究成果，所以本文在运动目标识别的基础上继续深入研究，综合运用多种方法，提出一种有效的学生起立检测方法。在课堂教学环境中对监控的对象进行目标识别是一件困难的事情，困难的因素主要来源于监控场景的复杂性，复杂性来源于以下几个方面：①教室内学生人数之多，每个学生都是一个具备运动行为的个体；②教室内光照变化的影响；③学生举手、身体晃动造成的干扰。要在这样的复杂的环境下对起立的学生进行识别，如果只从以往的单一的运动目标识别算法去考虑，会发现很难解决这个问题。

技术实现要素：

本发明的目的是为了克服现有技术中的不足，提供一种基于背景建模与光流法的录播系统学生起立检测方法，本发明结合运动目标检测背景建模法运算速度快和光流法运动目标检测准确度高的特点，提出了背景建模与光流法结合的智能录播系统学生起立检测，创造性地设计了预置直线，克服了学生晃动所造成对起立干扰，有效的减少了误检与漏检，降低行为识别运算量，并且速度上能够上达到实时性。

本发明的目的是通过以下技术方案实现的：

一种基于背景建模与光流法的录播系统学生起立检测方法，包括以下步骤：

步骤1，通过教室黑板正上方全景云台摄像机获取实时学生行为的视频，运行qt程序，对于具体教室环境设置预置信息并保存参数；

步骤2，对采集得到的视频在嵌入式开发板中进行处理，获取运动目标的外接矩形，即目标矩形；

步骤3，用lk光流法找到向上运动的目标矩形；

步骤4，将向上运动的目标矩形的上顶点与步骤1中的预置信息中的预置直线进行比较，高过预置直线，判定为起立目标，输出起立目标中心点的坐标信息；

步骤5，起立目标的坐标信息与预置信息结合得出跟踪此起立目标所需的跟踪云台的角度焦距，串口发送指令给云台，使云台给起立目标特写，达到实时跟踪起立学生的效果。

进一步的，步骤(1)包括：

(101)从显示屏上显示摄像机捕获到的实时的学生区域视频，运行qt程序，根据教室排数拖动5条预置直线，将教室学生区域分为5个区域，每个区域的学生坐下时低于该区域上方最近的预置直线，站起来高于该区域上方最近的预置直线；

(102)教室前方某个位置设置预置位，它在视频图像中坐标记录为posa,调节跟踪摄像机的水平角度，竖直角度和焦距，对该位置站立的学生进行特写，记录此时的水平角度为hanglea和竖直角度vanglea，焦距zooma，同理在教室后方某个位置设置预置位，坐标为posb，水平角度hangleb和竖直角度vangleb，焦距zoomb；

(103)保留预置信息中的各个参数。

进一步的，步骤(2)包括：

(201)对摄像机获取的视频提取灰度信息；

(202)对灰度信息采用混合高斯模型方法处理，获取前景目标；

(203)画出前景目标的轮廓和目标矩形。

进一步的，步骤(3)包括：

(301)用opencv中的goodfeaturestotrack函数检测当前帧目标矩形区域的角点point1；

(302)用opencv中的calcopticalflowpyrlk函数检测灰度下一阵帧目标矩形区域对应于point1的角点point2；

(303)若角点的横坐标变化小于1/3轮廓的外接矩形的宽d，纵坐标变化大于1/3轮廓的外接矩形的长l，即point2[i].y-point1[i].y<1/2d,point2[i].y-point1[i].y>1/3l,判定这一帧运动方向为向上；

(304)连续5帧有向上运动趋势的目标矩形被保存。

进一步的，步骤(4)包括：

(401)确认步骤3中筛选后的目标矩形的中心点在步骤1中所在的划分区域。

(402)找到此区域上方最近的预置直线，若目标矩形的上边高于此预置直线，判定为起立目标，输出此目标矩形的中心点的坐标。

进一步的，步骤(5)包括：

(501)步骤(4)中已经判定的起立目标的中心点的横坐标与纵坐标分别与跟踪云台摄像机的水平角度和垂直角度、焦距成线性关系，计算出特写起立目标时对应云台的角度与摄像机焦距，调整云台，实现对起立目标的跟踪；

(502)为减少横向抖动，下一帧检测到的目标中心点会与上一帧的目标中心点比较，若横向波动较大，但纵向偏差小，则保持当前云台视角，有效增加跟踪的稳定性。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1.本发明方法综合利用了背景建模法、光流法,通过高斯背景建模提取完整的运动目标和目标矩形，用光流法筛选向上运动的目标矩形，减小了坐下的学生左右晃动对起立学生的干扰，减小误检漏检。

2.本发明方法根据具体教室环境，在qt程序界面上设置参数，方便调试。创造性地提出了“预置直线”的方法，把教室分为若干个区域，光流法筛选后的目标矩形的顶点若超过直线所在区域上方最近的直线，此目标矩形被判定为起立目标，可以在教室人数众多的环境下减少干扰，距离摄像机比较远的小目标也可以达到很好的检测效果。针对学生起立时候的晃动问题也做了云台控制优化处理，实现平稳跟踪。

3.本发明方法易于实现，所需硬件简单，只需要两台云台摄像机，一台嵌入式开发板和一台显示器，比起深度学习对于硬件的要求，该算法易于落地，并且可以达到实时检测和跟踪学生起立的效果。

附图说明

图1是本发明方法的实施流程图。

图2是本发明方法的实现仿真图。

图3是通过qt程序进行学生区域划分的图示。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明保护一种基于背景建模与光流法的录播系统学生起立检测方法，如图1所示，包括以下步骤：

步骤1，通过教室黑板正上方云台摄像机获取实时学生行为的yuv视频，通过qt程序，对于具体教室环境设置预置信息并保存参数；

作为本发明的进一步优化，本实施例步骤1中主要包括：

101：从显示屏上显示实时的学生区域画面，运行qt程序，根据教室排数拖动预置直线，如图3所示，把教室中学生所在的位置分为area1......area5等5个区域，每个区域的学生坐下时低于该区域上方最近的预置直线，站起来高于该区域上方的预置直线，5条直线的各个端点分别为p1,p2......p10，斜率分别为k1,k2......k5,各斜率计算公式为：

102：教室前方设置预置位，坐标即为posa,调节跟踪摄像机的水平角度，竖直角度和焦距，对该位置的学生进行特写，分别记录此时的水平角度hanglea和竖直角度vanglea，焦距zooma，同理在教室后方设置预置位，坐标为posb，水平角度hangleb和竖直角度vangleb，焦距zoomb.

步骤2，对采集得到的视频在嵌入式开发板中进行处理，获取运动目标和外接矩形；

作为本发明的进一步优化，本实施例步骤2主要包括：

201：对于获取的yuv视频提取灰度帧。

202：对连续的灰度帧采用高斯背景建模处理，获取前景目标。

203：画出前景目标的轮廓和目标矩形

步骤3，用lk光流法找到向上运动的目标矩形。。

作为本发明的进一步优化，本实例步骤3主要包括：

301：用opencv中的goodfeaturestotrack函数检测当前帧运动区域的角点point1

302：用opencv中的calcopticalflowpyrlk函数检测灰度下一阵帧运动区域对应于point1的角点point2.

303：若角点的横坐标变化小于1/3轮廓的外接矩形的宽d，纵坐标变化大于1/3轮廓的外接矩形的长l，即point2[i].y-point1[i].y<1/2d,point2[i].y-point1[i].y>1/3l,判定这一帧运动方向为起立。

304：连续5帧有向上运动趋势的目标矩形被保存。

步骤4，向上运动的目标矩形的上顶点与步骤1中的预置信息中的预置直线进行比较，高过预置直线，判定为起立目标，输出此目标矩形中心点的坐标p(x,y)。

作为本发明的进一步优化，本实例步骤4主要包括确认步骤3中筛选后的目标矩形的中心点在步骤1中所在的划分区域，找到此区域上方最近的预置直线，若目标矩形的上边高于此预置直线，判定为起立目标，输出此目标矩形的中心点的坐标，具体步骤为：

401根据目标矩形中心点p和步骤1中各预置直线的点pi的坐标依此求出5个判别式z1...z5，计算公式为：

zi＝ki*(p.x-p2i-1.x)+p2i-1.y-p.y(i＝1,2,3,4,5)

402根据判别式z1～z5的值,各预置直线的点pi及各斜率ki和目标矩形中心点p(x,y)求出该目标矩形的作为比较的预置直线的高度height，公式如下：

若目标矩形的上边高于此预置直线，判定为起立目标，输出此目标矩形的中心点的坐标posc。

步骤5：起立目标的坐标信息与步骤1中预置信息中的预置位坐标、焦距、角度进行比较，计算出目标矩形中心点的焦距与角度，串口发送指令给跟踪云台摄像机，跟踪云台摄像机对起立学生进行特写。

作为本发明的进一步优化，本实例5步骤主要包括：

501因为视频图像中的每个目标中心点的横坐标与纵坐标分别与跟踪云台摄像机特写此目标时的水平角度，垂直角度、焦距成线性关系，所以可以根据步骤1中预置信息中的预置位a点与b点的posa、posb,水平角度hanglea和hangleb和竖直角度vanglea和vangleb，焦距zooma和zoomb,步骤4起立目标中心点坐标posc等信息，计算出跟踪此起立目标对应云台的水平角度hanglec和竖直角度vanglec，焦距zoomc，具体计算公式如下：

调整云台，进而实现对起立目标的跟踪。

502为了减少横向抖动，下一帧检测到的目标中心点会与上一帧的目标中心点比较，如果横向波动较大，但是纵向偏差小的话，将不会切换云台视角，有效地增加了跟踪的稳定性。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。