一种用于自动侦测学生起立发言动作的检测方法及其装置与流程

本发明涉及教学课程录制技术领域，特别涉及一种用于自动侦测学生起立发言动作的检测方法及其装置。

背景技术：

随着教育信息化的快速发展，传统人工录播教学课程因为专业人员投入多、操作工作量大，无法满足大量视频教学课件的录制需要，自动录播系统的应用成为教学课程录制的一大趋势。

为了能够录制生动的课件，必须将老师和学生的教学互动过程捕捉下来，特别是当学生起立发言时，需要一种自动检测学生站立或坐下的装置，能够实时准确地侦测并控制摄像机对准学生。例如，当老师点名学生站立回答问题时，需要检测站立学生，测算其空间位置并控制云台摄像机进行特写拍摄；当学生回答完问题坐下后，需要对全体学生进行全景拍摄。

现有的自动检测学生起立的图像装置主要有三种：

第一，在教室前面两侧各装一个摄像机，摄像机安装高度比人坐立时头部高度略高，在摄像机的图像中，设置一条水平触发线。当人站立时，人体高度超过水平触发线，因此检测到人体站立动作。如申请号为201410610741.1的中国发明专利公开了一种基于主从摄像机的学生跟踪定位方法，即采用了上述类似方法。这一方式中，摄像机安装位置通常在教室前面两侧，此位置很多场合都是玻璃窗，难以安装；摄像机安装位置较低，学生容易对其进行随意调整或者破坏，造成检测不准或无法检测。

第二，将两个定位摄像机分别平行安装在检测区域两侧，拍摄范围均可覆盖整个区域。将区域进行网格划分，并使用时间差分方法识别移动目标，然后利用小孔成像原理和三角定理计算目标的空间位置。如申请号为201210405917.0的中国发明专利公开了一种基于图像定位的摄像机自动跟踪系统及跟踪方法，即采用了上述类似方法。这一方式中时间差分法检测移动目标容易受光线和复杂背景等因素干扰，误检率高；两个摄像头分开安装，未进行标定，检测精度较低；需要配合跟踪机进行图像处理，整套系统的安装调试复杂、成本较高。

第三，在学生座位上黏贴图形标签物，当发言者坐下时标签物被遮挡住，而站立时，标签物则显露出来。摄像机根据是否拍摄到标签物，自动判断是否有站立目标。如申请号为201510453651.0的中国发明专利公开了一种基于图像的人体站立行为自动检测方法和装置，即描述了这种方法。这一方式需要在每个座位上贴上醒目的标签物，安装麻烦且容易磨损；为了避免遮挡，对于常规教室(长10米宽8米)需要在天花板上部署3～4个摄像机，成本较高。

技术实现要素：

本发明要解决的技术问题是提供一种用于自动侦测学生起立发言动作的检测方法及其装置，能够可靠检测学生站立和坐下的动作，避免任何身体左右晃动、上下弯腰的影响。

为了解决上述技术问题，具体地，本发明的技术方案如下：

一种用于自动侦测学生起立发言动作的检测方法，包括以下步骤：

S1、利用设置在教室内的双目摄像头实时采集视频数据，经一FPGA逻辑模块处理后获得目标场景的三维空间信息，即每个像素点相对于所述双目摄像头的x，y，z空间坐标；

S2、根据预设的高度检测平面，将场景中高于检测平面的目标全部检测出来并得到目标的空间信息；

S3、将高于检测平面的目标的空间信息发送给控制主机，所述控制主机驱动云台摄像机对目标进行特写。

进一步的，所述FPGA逻辑模块处理过程如下：

S11、利用所述FPGA逻辑模块的ISP图像采集处理单元实时采集所述双目摄像头的视频数据，进行自动白平衡、自动曝光处理后输出两路灰度图像；

S12、所述FPGA逻辑模块的双目校正单元根据离线标定获得的校正系数对双目摄像头的灰度图像进行畸变校正；

S13、校正后的灰度图像由所述FPGA逻辑模块的立体匹配单元计算获得视差图；

S14、所述FPGA逻辑模块的视差优化单元对所述视差图进行视差优化；

S15、所述视差图配合预先设定的双目摄像头的位置参数实时计出目标场景的三维空间信息。

进一步的，所述步骤S2中利用检测平面进行目标定位，具体包括以下步骤：

S21、将视差值d转换为以左摄像机坐标系下的距离值(X,Y,Z)，转换公式如下：

X＝(x-cx)×Tx/d；

Y＝(y-cy)×Tx/d；

Z＝Fx×Tx/d；

其中，x,y为像素点坐标，cx,cy为摄像机光学中心点坐标，Tx为基线距离。

S22、将坐标系绕y轴旋转a角度，转换公式如下：

Xt＝X；

Yt＝Ho-Ycosa-Z sina；

Zt＝Z cosa-Ysina；

其中，Ho为设备安装高度。

S23、将目标坐标(Xt,Yt,Zt)与预设的检测高度、水平检测范围、距离检测范围逐点比较；若目标站立，那么目标处在检测范围内则保留，否则清零；计算得到站立目标的原始二值图。

S24、对站立目标的原始二值图进行形态学变换，剔除孤立噪点，抑制图像碎片化。

S25、对优化后的站立目标的二值图进行连通域求取，剔除过大过小的连通域，得到站立目标的轮廓；获取目标轮廓的外接矩形中心点(x,y)和视差值d，计算目标的空间位置坐标(Xt,Yt,Zt)，完成对目标的定位。

进一步的，所述用于自动侦测学生起立发言动作的检测方法，还包括以下步骤：

S4、在所述目标场景内设置多个三维屏蔽区域(X水平位置，Z距离位置，w宽度，h长度)，当目标(x，y，z)满足以下公式时：

|目标X–屏蔽区域X1|<屏蔽区域w/2；

|目标Z–屏蔽区域Z1|<屏蔽区域h/2；

则将所述目标(x，y，z)丢弃。

基于同一发明构想，为了实现上述用于自动侦测学生起立发言动作的检测方法，本发明还提供了一种用于自动侦测学生起立发言动作的检测装置，包括控制主机、SOC器件、云台摄像机以及双目摄像头，所述双目摄像头安装在教室内黑板位置上方，所述双目摄像头与所述SOC器件连接，所述SOC器件获得目标的空间信息后通过网络接口将所述空间信息传送到所述控制主机，所述控制主机通过所述云台摄像机完成对目标的特写。

进一步的，所述SOC器件包括FPGA模块和HPS模块，所述FPGA模块包括ISP图像采集处理单元、双目校正单元、立体匹配单元以及视差优化单元；所述HPS模块包括目标定位单元和背景抑制单元；所述双目摄像头获取的视频数据依次通过所述ISP图像采集处理单元、所述双目校正单元、所述立体匹配单元、所述视差优化单元、所述目标定位单元以及所述背景抑制单元后传送到所述控制主机。

进一步的，所述检测装置还包括一存储模块，所述存储模块与所述SOC器件连接。

进一步的，所述双目摄像头设置在同一电路板后与所述SOC器件连接。双目摄像头固定在同一块电路板上，出厂前进行标定，相对于使用两个分别安装的摄像头，更方便标定，且标定效果更好；测距检测算法都集成到所述SOC器件中，安装调试方便、体积小、功耗低、成本低。

采用上述技术方案，在一块FPGA芯片上实现了高性能双目立体视觉算法，所输出的深度图像具有长距离(最远12米)、宽视角(水平视场角81度)、高分辨率(960*540)、定位精度高的特点。基于深度图像的三维检测平面目标定位算法，能够可靠检测学生站立和坐下的动作，避免任何身体左右晃动、上下弯腰的影响；目标长时间站立，也可以稳定检测。另外，支持三维屏蔽区域设置，有效避免后墙和侧墙的空调、窗帘摆动、支架等干扰物影响，抗干扰能力强。

附图说明

图1为本发明的用于自动侦测学生起立发言动作的检测方法流程框图；

图2为本发明的FPGA逻辑模块处理过程流程框图；

图3为本发明的用于自动侦测学生起立发言动作的检测装置结构框图；

图4为本发明的SOC器件结构框图；

图5为本发明的检测装置安装状态主视结构图。

图6为本发明的检测装置安装状态俯视结构图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

参考附图1，一种用于自动侦测学生起立发言动作的检测方法，包括以下步骤：

S1、利用设置在教室内的双目摄像头实时采集视频数据，经一FPGA逻辑模块处理后获得目标场景的三维空间信息，即每个像素点相对于所述双目摄像头的x，y，z空间坐标；

S2、根据预设的高度检测平面，将场景中高于检测平面的目标全部检测出来并得到目标的空间信息；

S3、将高于检测平面的目标的空间信息发送给控制主机，所述控制主机驱动云台摄像机对目标进行特写。

参考附图2、5、6，所述FPGA逻辑模块处理过程如下：

S11、利用所述FPGA逻辑模块的ISP图像采集处理单元实时采集所述双目摄像头的视频数据，进行自动白平衡、自动曝光处理后输出两路灰度图像；

S12、所述FPGA逻辑模块的双目校正单元根据离线标定获得的校正系数对双目摄像头的灰度图像进行畸变校正；

S13、校正后的灰度图像由所述FPGA逻辑模块的立体匹配单元计算获得视差图；

S14、所述FPGA逻辑模块的视差优化单元对所述视差图进行视差优化；

S15、所述视差图配合预先设定的双目摄像头的位置参数实时计出目标场景的三维空间信息。

进一步的，所述步骤S2中利用检测平面进行目标定位，具体包括以下步骤：

S21、将视差值d转换为以左摄像机坐标系下的距离值(X,Y,Z)，转换公式如下：

X＝(x-cx)×Tx/d；

Y＝(y-cy)×Tx/d；

Z＝Fx×Tx/d；

其中，x,y为像素点坐标，cx,cy为摄像机光学中心点坐标，Tx为基线距离。

S22、将坐标系绕y轴旋转a角度，转换公式如下：

Xt＝X；

Yt＝Ho-Ycosa-Z sina；

Zt＝Z cosa-Ysina；

其中，Ho为设备安装高度。

S23、将目标坐标(Xt,Yt,Zt)与预设的检测高度(detect_miny,detect_maxy)，水平检测范围(detect_minx,detect_maxx)，距离检测范围(detect_minz,detect_maxz)逐点比较；若目标站立，那么目标处在检测范围内则保留，否则清零；计算得到站立目标的原始二值图。

S24、对站立目标的原始二值图进行形态学变换，剔除孤立噪点，抑制图像碎片化。

S25、对优化后的站立目标的二值图进行连通域求取，剔除过大过小的连通域，得到站立目标的轮廓；获取目标轮廓的外接矩形中心点(x,y)和视差值d，计算目标的空间位置坐标(Xt,Yt,Zt)，完成对目标的定位。

其中，所述用于自动侦测学生起立发言动作的检测方法，还包括以下步骤：

S4、在所述目标场景内设置多个三维屏蔽区域(X水平位置，Z距离位置，w宽度，h长度)，当目标(x，y，z)满足以下公式时：

|目标X–屏蔽区域X1|<屏蔽区域w/2；

|目标Z–屏蔽区域Z1|<屏蔽区域h/2；

则将所述目标(x，y，z)丢弃。

基于同一发明构想，为了实现上述用于自动侦测学生起立发言动作的检测方法，如图3所示，本发明还提供了一种用于自动侦测学生起立发言动作的检测装置，包括控制主机、SOC器件、云台摄像机以及双目摄像头，所述双目摄像头安装在教室内黑板位置上方，所述双目摄像头与所述SOC器件连接，所述SOC器件获得目标的空间信息后通过网络接口将所述空间信息传送到所述控制主机，所述控制主机通过所述云台摄像机完成对目标的特写。

如图4所示，所述SOC器件包括FPGA模块和HPS模块，所述FPGA模块包括ISP图像采集处理单元、双目校正单元、立体匹配单元以及视差优化单元；所述HPS模块包括目标定位单元和背景抑制单元；所述双目摄像头获取的视频数据依次通过所述ISP图像采集处理单元、所述双目校正单元、所述立体匹配单元、所述视差优化单元、所述目标定位单元以及所述背景抑制单元后传送到所述控制主机。

其中，所述检测装置还包括一存储模块，所述存储模块与所述SOC器件连接。

其中，所述双目摄像头设置在同一电路板后与所述SOC器件连接。双目摄像头固定在同一块电路板上，出厂前进行标定，相对于使用两个分别安装的摄像头，更方便标定，且标定效果更好；测距检测算法都集成到所述SOC器件中，安装调试方便、体积小、功耗低、成本低

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。