一种高效识别课堂学生私语行为的方法以及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种高效识别课堂学生私语行为的方法以及装置。


背景技术：

2.当前对课堂内教师/学生的行为分析是行业中的热点，通过行为挖掘更深层次地了解老师和学生的课堂状态，优化教师授课的方法和流程，提高学生的学习积极性。但按照一般的思维方式，需要有高清变焦镜头，在较近的焦距范围内，采取适配的算法模型对学生行为进行识别，这种识别方式可能需要可变焦云台，并且算法复杂、硬件成本高，此外，由于云台移动变焦需要时间，且变焦后可视范围降低，无法对整个教室的所有目标实时检测。因此，如何通过镜头来高效识别学生行为的技术还有待提高。


技术实现要素：

3.本发明的主要目的在于提供一种高效识别课堂学生私语行为的方法以及装置，可以解决现有技术中的通过镜头来识别学生行为的准确度低的问题。
4.为实现上述目的，本发明第一方面提供一种高效识别课堂学生私语行为的方法，所述方法包括：
5.获取课堂学生的预设时长内的录像视频流，识别所述录像视频流中的每一视频帧中脸部与头部之间位置关系、人物对象的身体中心点和头部中心点；所述身体中心点为人物对象的双肩中心位置；所述头部中心点为人物对象的头部中心位置；
6.通过连续视频帧中的同一个人物对象的身体中心点和头部中心点检测所述人物对象的第一移动方向、第二移动方向、第一移动距离以及第二移动距离；所述第一移动方向为身体中心点的移动方向；所述第二移动方向为头部中心点的移动方向；所述第一移动距离为身体中心点移动的距离；所述第二移动距离为头部中心点移动的距离；
7.根据所述脸部与头部之间位置关系、所述第一移动方向、所述第二移动方向、所述第一移动距离以及所述第二移动距离，确定疑似对象；根据所述疑似对象之间的位置关系，确定进行私语行为的目标对象；所述疑似对象为疑似进行私语行为的人物对象。
8.该技术方案中，通过识别到的连续视频帧中的同一个人物对象的身体中心点和头部中心点来检测人物对象的第一移动方向、第二移动方向、第一移动距离以及第二移动距离，并且根据脸部与头部之间位置关系、第一移动方向、第二移动方向、第一移动距离以及第二移动距离，确定疑似对象，最后根据疑似对象之间的位置关系，确定进行私语行为的目标对象。通过识别身体中心点和头部中心点的变化参数来检测人物对象的移动变化，提高了镜头对人物对象的行为姿势检测的精确度，除了根据第一移动方向、第二移动方向、第一移动距离以及第二移动距离，还结合了脸部与头部之间位置关系来确定疑似对象，使得增加了判断依据，减小了判断误差，并且根据疑似对象之间的位置关系，确定进行私语行为的目标对象，保证了目标对象确定的精确度。
9.结合第一方面，在一种可能实现的方式中，上述根据所述第一移动方向、所述第二移动方向、所述第一移动距离以及所述第二移动距离，确定符合疑似对象，包括：当预设时长内脸部在头部的左侧或者右侧、第一移动方向与水平线方向构成的角度小于阈值度数、第一移动距离大于阈值距离以及第二移动方向与第一移动方向一致时，则所述人物对象为第一类疑似对象；当预设时长内脸部在头部的左侧或者右侧、第一移动距离为零、第二移动方向与水平线方向构成的角度小于阈值度数以及第二移动距离大于阈值距离时，则所述人物对象为第二类疑似对象；当预设时长内脸部在头部的左侧或者右侧、第一移动距离与第二移动距离都为零时，则所述人物对象为第三类疑似对象。
10.结合第一方面，在一种可能实现的方式中，上述根据所述疑似对象之间的位置关系，确定进行私语行为的目标对象，包括：遍历第一类疑似对象，将遍历到的第一类疑似对象作为第一目标对象，根据所述第一目标对象与其他剩余疑似对象的位置关系，确定所述第二目标对象；所述第一目标对象为疑似进行私语行为的发起者；所述其他剩余疑似对象包括：第二类疑似对象、第三类疑似对象，及未遍历到的第一类疑似对象；所述第二目标对象为与第一目标对象进行私语行为的响应者。
11.结合第一方面，在一种可能实现的方式中，上述根据所述第一目标对象与其他剩余疑似对象的位置关系，确定所述第二目标对象，包括：从所述其他剩余疑似对象中获取候选疑似对象，所述候选疑似对象为在预设时长内，身体中心点离所述第一目标对象的身体中心点的距离小于预设距离的疑似对象；当所述候选疑似对象为第一类疑似对象时，识别所述候选疑似对象的第一移动方向是否与第一目标对象的第一移动方向相向、所述候选疑似对象的第一移动方向与所述第一目标对象的第一移动方向构成的夹角是否小于第一预设夹角以及所述候选疑似对象的脸部与头部之间的位置关系是否与所述第一目标对象的脸部与头部之间的位置关系相对，若所述候选疑似对象的第一移动方向与第一目标对象的第一移动方向相向、所述候选疑似对象的第一移动方向与所述第一目标对象的第一移动方向构成的夹角小于第一预设夹角以及所述候选疑似对象的脸部与头部之间的位置关系与所述第一目标对象的脸部与头部之间的位置关系相对，则所述候选疑似对象为第二目标对象；当所述候选疑似对象为第二类疑似对象时，识别所述候选疑似对象的第二移动方向是否与第一目标对象的第一移动方向相向、所述候选疑似对象的的第二移动方向与所述第一目标对象的第一移动方向构成的夹角是否小于第二预设夹角以及所述候选疑似对象的脸部与头部之间的位置关系是否与所述第一目标对象的脸部与头部之间的位置关系相对，若所述候选疑似对象的第二移动方向与第一目标对象的第一移动方向相向、所述候选疑似对象的的第二移动方向与所述第一目标对象的第一移动方向构成的夹角小于第二预设夹角以及所述候选疑似对象的脸部与头部之间的位置关系与所述第一目标对象的脸部与头部之间的位置关系相对，则确定所述候选疑似对象为第二目标对象；当所述候选疑似对象为第三类疑似对象时，识别所述候选疑似对象的身体中心点与头部中心点连接的直线与所述第一目标对象的第一移动方向构成的角度是否小于阈值角度以及所述候选疑似对象的脸部与头部之间的位置关系是否与所述第一目标对象的脸部与头部之间的位置关系相对，若所述候选疑似对象的身体中心点与头部中心点连接的直线与所述第一目标对象的第一移动方向构成的角度小于阈值角度以及所述候选疑似对象的脸部与头部之间的位置关系与所述第一目标对象的脸部与头部之间的位置关系相对，则确定所述候选疑似对象为第二目
标对象。
12.结合第一方面，在一种可能实现的方式中，上述通过连续视频帧中的同一个人物对象的身体中心点和头部中心点检测所述人物对象的第一移动方向、第二移动方向，包括：根据同一个人物对象在上一帧视频帧中的身体中心点的图像坐标与下一帧视频帧的身体中心点的图像坐标，计算上一帧视频帧中的身体中心点与下一帧视频帧的身体中心点连接构成的第一直线方程，确定各相邻视频帧确定的各所述第一直线方程的斜率是否处于第一范围内，若处于所述第一范围内，则将所述斜率为中心值的第一直线方程所指向的方向确定为第一移动方向；第一范围为以各所述第一直线方程的斜率的中心值为中心，加减预设数值构成的范围；根据同一个人物对象在上一帧视频帧中的头部中心点的图像坐标与下一帧视频帧的头部中心点的图像坐标，计算上一帧视频帧中的头部中心点与下一帧视频帧的头部中心点连接构成的第二直线方程，确定各相邻视频帧确定的各所述第二直线方程的斜率是否处于第二范围内，若处于所述第二范围内，则将所述斜率为中心值的第二直线方程所指向的方向确定为第二移动方向；第二范围为以各所述第二直线方程的斜率的中心值为中心，加减预设数值构成的范围。
13.结合第一方面，在一种可能实现的方式中，上述通过连续视频帧中的同一个人物对象的身体中心点和头部中心点检测所述人物对象的第一移动距离、第二移动距离，包括：当确定了第一移动方向后，根据同一个人物对象在所述上一帧视频帧中的身体中心点的图像坐标与下一帧视频帧的身体中心点的图像坐标，将根据相邻两帧确定的身体中心点的图像坐标计算相邻两帧确定的身体中心点之间的直线距离进行累加得到所述人物对象的第一移动距离；当确定了第二移动方向后，根据同一个人物对象在所述上一帧视频帧中的头部中心点的图像坐标与下一帧视频帧的头部中心点的图像坐标，将根据相邻两帧确定的头部中心点的图像坐标计算相邻两帧确定的头部中心点之间的直线距离进行累加得到所述人物对象的第二移动距离。
14.结合第一方面，在一种可能实现的方式中，上述确定所述第二目标对象之后，包括：认证所述第一目标对象与所述第二目标对象的学生姓名。
15.为实现上述目的，本发明第二方面提供一种高效识别课堂学生私语行为的装置，所述装置包括：
16.人物参数识别模块：获取课堂学生的预设时长内的录像视频流，识别所述录像视频流中的每一视频帧中脸部与头部之间位置关系、人物对象的身体中心点和头部中心点；
17.移动参数获取模块：通过连续视频帧中的同一个人物对象的身体中心点和头部中心点检测所述人物对象的第一移动方向、第二移动方向、第一移动距离以及第二移动距离；
18.目标对象确定模块：根据所述脸部与头部之间位置关系、所述第一移动方向、所述第二移动方向、所述第一移动距离以及所述第二移动距离，确定疑似对象；根据所述疑似对象之间的位置关系，确定进行私语行为的目标对象。
19.为实现上述目的，本发明第三方面提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
20.获取课堂学生的预设时长内的录像视频流，识别所述录像视频流中的每一视频帧中人物对象的脸部与头部之间位置关系、身体中心点和头部中心点；
21.通过连续视频帧中的同一个人物对象的身体中心点和头部中心点检测所述人物
对象的第一移动方向、第二移动方向、第一移动距离以及第二移动距离；
22.根据所述脸部与头部之间位置关系、所述第一移动方向、所述第二移动方向、所述第一移动距离以及所述第二移动距离，确定疑似对象；根据所述疑似对象之间的位置关系，确定进行私语行为的目标对象。
23.为实现上述目的，本发明第四方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
24.获取课堂学生的预设时长内的录像视频流，识别所述录像视频流中的每一视频帧中人物对象的脸部与头部之间位置关系、身体中心点和头部中心点；
25.通过连续视频帧中的同一个人物对象的身体中心点和头部中心点检测所述人物对象的第一移动方向、第二移动方向、第一移动距离以及第二移动距离；
26.根据所述脸部与头部之间位置关系、所述第一移动方向、所述第二移动方向、所述第一移动距离以及所述第二移动距离，确定疑似对象；根据所述疑似对象之间的位置关系，确定进行私语行为的目标对象。
27.采用本发明实施例，具有如下有益效果：通过识别到的连续视频帧中的同一个人物对象的身体中心点和头部中心点来检测人物对象的第一移动方向、第二移动方向、第一移动距离以及第二移动距离，并且根据脸部与头部之间位置关系、第一移动方向、第二移动方向、第一移动距离以及第二移动距离，确定疑似对象，最后根据疑似对象之间的位置关系，确定进行私语行为的目标对象。通过识别身体中心点和头部中心点的变化参数来检测人物对象的移动变化，提高了镜头对人物对象的行为姿势检测的精确度，除了根据第一移动方向、第二移动方向、第一移动距离以及第二移动距离，还结合了脸部与头部之间位置关系来确定疑似对象，使得增加了判断依据，减小了判断误差，并且根据疑似对象之间的位置关系，确定进行私语行为的目标对象，保证了目标对象确定的精确度。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.其中：
30.图1为本发明实施例中一种高效识别课堂学生私语行为的方法的流程示意图；
31.图2为本发明实施例中一种移动方向确定方法的流程示意图；
32.图3为本发明实施例中一种移动距离检测方法的流程示意图；
33.图4为本发明实施例中一种确定疑似对象的方法的流程示意图；
34.图5为本发明实施例中一种进行私语行为的目标对象确定方法的流程示意图；
35.图6为本发明实施例中高效识别课堂学生私语行为的装置的结构框图；
36.图7为本发明实施例中计算机设备的结构框图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.本技术方案适用于识别课堂学生私语行为的应用场景，具体地，本技术的技术方案可应用于支持录像摄影功能的各种影像设备(比如摄像机)或者与影像设备具有通信连接关系的终端设备(如手机、电脑等)。
39.参照图1，图1为本发明实施例提供的一种高效识别课堂学生私语行为的方法的流程示意图，如图1所示，该方法具体步骤如下：
40.步骤s101、获取课堂学生的预设时长内的录像视频流，识别所述录像视频流中的每一视频帧中人物对象的脸部与头部之间位置关系、身体中心点和头部中心点。
41.步骤s102、通过连续视频帧中的同一个人物对象的身体中心点和头部中心点检测所述人物对象的第一移动方向、第二移动方向、第一移动距离以及第二移动距离。
42.步骤s103、根据所述脸部与头部之间位置关系、所述第一移动方向、所述第二移动方向、所述第一移动距离以及所述第二移动距离，确定疑似对象；根据所述疑似对象之间的位置关系，确定进行私语行为的目标对象。
43.其中，身体中心点为人物对象的双肩中心位置；头部中心点为人物对象的头部中心位置；第一移动方向为身体中心点的移动方向；第二移动方向为头部中心点的移动方向；第一移动距离为身体中心点移动的距离；第二移动距离为头部中心点移动的距离；疑似对象为疑似进行私语行为的人物对象。
44.首先，介绍步骤s101、获取课堂学生的预设时长内的录像视频流，识别所述录像视频流中的每一视频帧中人物对象的脸部与头部之间位置关系、身体中心点和头部中心点。
45.为了能够实时对课堂学生的行为进行检测，在本实施例中，可以截取最近一段预设时长内的录像视频流对课堂学生的行为进行检测。比如，将预设时长设为1分钟时，则截取从当前视频帧开始往前1分钟内的历史视频帧所形成的视频流，进一步地，可以间隔预设时长对课堂学生的行为进行检测，使得能够保持视频流检测的连续性以及完成性。其中，该预设时长可以根据用户的要求进行设置。
46.为了能够判断人物对象的移动情况，本实施例中，对人物对象的身体中心点和头部中心点进行识别。具体地，当学生在上课坐在凳子上时，课桌会挡住学生的下部分身体，为了增强识别的有效性，本实施例采用人物对象的双肩中心位置作为身体中心点。在本实施例中，需要获取截取的预设时长内的视频流中的每一视频帧的身体中心点和头部中心点，具体地，可以采用通用模型或者自训练模型，通过检测人的头部轮廓和身体轮廓来获取身体中心点和头部中心点。
47.待获取到身体中心点和头部中心点后，根据身体中心点和头部中心点来确定人物对象的移动情况，即执行步骤s102、通过连续视频帧中的同一个人物对象的身体中心点和头部中心点检测所述人物对象的第一移动方向、第二移动方向、第一移动距离以及第二移动距离。
48.在本实施例中，获取人物对象在连续视频帧中的每一视频帧的身体中心点和头部
中心点，根据该人物对象在连续视频帧中的每一视频帧的身体中心点和头部中心点的变化确定人物对象的移动情况，也就是通过连续视频帧中的同一个人物对象的身体中心点和头部中心点检测人物对象的移动情况。具体地，根据获取人物对象的第一移动方向、第二移动方向、第一移动距离以及第二移动距离来分析人物对象的移动情况。
49.具体如何确定第一移动方向、第二移动方向、第一移动距离以及第二移动距离，参照图2，图2为本发明实施例提供的一种移动方向确定方法的流程示意图，如图2所示，该方法具体步骤如下：
50.步骤s1021、根据同一个人物对象在上一帧视频帧中的身体中心点的图像坐标与下一帧视频帧的身体中心点的图像坐标，计算上一帧视频帧中的身体中心点与下一帧视频帧的身体中心点连接构成的第一直线方程，确定各相邻视频帧确定的各所述第一直线方程的斜率是否处于第一范围内，若处于所述第一范围内，则将所述斜率为中心值的第一直线方程所指向的方向确定为第一移动方向。
51.步骤s1022、根据同一个人物对象在上一帧视频帧中的头部中心点的图像坐标与下一帧视频帧的头部中心点的图像坐标，计算上一帧视频帧中的头部中心点与下一帧视频帧的头部中心点连接构成的第二直线方程，确定各相邻视频帧确定的各所述第二直线方程的斜率是否处于第二范围内，若处于所述第二范围内，则将所述斜率为中心值的第二直线方程所指向的方向确定为第二移动方向。
52.其中，第一范围为以各第一直线方程的斜率的中心值为中心，加减预设数值构成的范围；第二范围为以各第二直线方程的斜率的中心值为中心，加减预设数值构成的范围。
53.若人物对象的身体中心点或者头部中心点朝向一个方向移动，则说明该人物对象有可能在进行私语行为，因此，为了简化检测，本实施例以截取到的预设时长内的视频流为单元，若在预设时长内的视频流中人物对象的身体中心点或者头部中心点朝向一个方向移动，则确定人物对象的移动方向，并对该视频流进行进一步的检测；若在预设时长内的视频流中人物对象的身体中心点或者头部中心点并不朝向一个方向移动，则停止对该视频流中的人物对象进行进一步检测，等待下一个待检测视频流。
54.具体地，在本实施例中，可以通过以下方法检测移动方向：
55.对于身体中心点，获取同一个人物对象在视频流中每一帧视频帧中的身体中心点的图像坐标，根据身体中心点的图像坐标计算上一帧视频帧中的身体中心点与下一帧视频帧的身体中心点连接构成的第一直线方程，并计算各相邻视频帧确定的各第一直线方程的斜率，根据各相邻视频帧确定的各第一直线方程的斜率确定一个斜率中心值，以该斜率中心值为中心，加减预设数值构成一个斜率范围，得到第一范围，识别各第一直线方程的斜率是否都在第一范围以内，若是，则将斜率为中心值的第一直线方程所指向的方向确定为第一移动方向。
56.对于头部中心点，获取同一个人物对象在视频流中每一帧视频帧中的身体中心点的图像坐标，根据头部中心点的图像坐标计算上一帧视频帧中的头部中心点与下一帧视频帧的头部中心点连接构成的第二直线方程，并计算各相邻视频帧确定的各第二直线方程的斜率，根据各相邻视频帧确定的各第二直线方程的斜率确定一个斜率中心值，以该斜率中心值为中心，加减预设数值构成一个斜率范围，得到第二范围，识别各第二直线方程的斜率是否都在第二范围以内，若是，则将斜率为中心值的第二直线方程所指向的方向确定为第
二移动方向。
57.需要说明的是，在一种特殊情况中，当人物对象身体中心点和/或头部中心点没有移动时，则身体中心点和/或头部中心点可能在每一帧视频帧中的位置没有发生变化，则根据上述方法计算出的各第一直线方程的斜率和/或各第二直线方程的斜率都为零，对于此特殊情况也认为具有第一移动方向和/或第二移动方向，只不过第一移动方向和/或第二移动方向的具体方向为无指向。
58.待确定了人物对象的移动方向，则说明人物对象在该预设时长内的视频流中朝向一个方向移动，则进一步检测人物对象的移动距离，参照图3，图3为本发明实施例提供的一种移动距离检测方法的流程示意图，如图3所示，该方法具体如下：
59.步骤s1023、当确定了第一移动方向后，根据同一个人物对象在所述上一帧视频帧中的身体中心点的图像坐标与下一帧视频帧的身体中心点的图像坐标，将根据相邻两帧确定的身体中心点的图像坐标计算相邻两帧确定的身体中心点之间的直线距离进行累加得到所述人物对象的第一移动距离。
60.步骤s1024、当确定了第二移动方向后，根据同一个人物对象在所述上一帧视频帧中的头部中心点的图像坐标与下一帧视频帧的头部中心点的图像坐标，将根据相邻两帧确定的头部中心点的图像坐标计算相邻两帧确定的头部中心点之间的直线距离进行累加得到所述人物对象的第二移动距离。
61.比如说，截取的录像视频流有20帧视频帧，依次对这20帧视频帧编号为1、2、3......20，则获取第1帧视频帧中身体中心点的图像坐标、第2帧视频帧中身体中心点的图像坐标......第20帧视频帧中身体中心点的图像坐标，根据图像坐标依次计算相邻两帧视频帧中身体中心点之间的直线距离，即得到第1帧视频帧中身体中心点的图像坐标与第2帧视频帧中身体中心点的图像坐标之间的直线距离、第2帧视频帧中身体中心点的图像坐标与第3帧视频帧中身体中心点的图像坐标之间的直线距离.....第19帧视频帧中身体中心点的图像坐标与第20帧视频帧中身体中心点的图像坐标之间的直线距离，将计算的所有直线距离相加就可得到人物对象的第一移动距离。
62.待获取到第一移动方向、所述第二移动方向、所述第一移动距离以及所述第二移动距离后，根据所述脸部与头部之间位置关系、所述第一移动方向、所述第二移动方向、所述第一移动距离以及所述第二移动距离，确定疑似对象。其中，疑似对象为疑似进行私语行为的人物对象。参照图4所示，图4为本发明实施例提供的一种确定疑似对象的方法的流程示意图，该方法具体步骤如下：
63.步骤s1031、当预设时长内脸部在头部的左侧或者右侧、第一移动方向与水平线方向构成的角度小于阈值度数、第一移动距离大于阈值距离以及第二移动方向与第一移动方向一致时，则所述人物对象为第一类疑似对象。
64.步骤s1032、当预设时长内脸部在头部的左侧或者右侧、第一移动距离为零、第二移动方向与水平线方向构成的角度小于阈值度数以及第二移动距离大于阈值距离时，则所述人物对象为第二类疑似对象。
65.步骤s1033、当预设时长内脸部在头部的左侧或者右侧、第一移动距离与第二移动距离都为零时，则所述人物对象为第三类疑似对象。
66.由于，当两人在进行私语行为时，通常情况下是面向对方的，因此，本实施例中，除
了根据第一移动方向、第二移动方向、第一移动距离以及第二移动距离来确定疑似对象外，还要结合人物对象的脸部和头部之间的方位关系进行判断，使得提高疑似对象确定的准确性。具体地，在本实施例中可以设置两个摄像镜头，第一镜头用来识别人物对象的脸部，在本实施例中可以通过识别五官来定位人物对象的脸部，第二镜头用来识别人物对象的的头部。在本实施例中使用预设算法根据第一镜头识别的脸部和第二镜头识别的头部来判定脸部和头部之间的方位关系，具体地，在本实施例中可以通过预设算法得到两个图像框来确定，根据第一镜头识别的脸部图像框与第二镜头识别的头部图像框之间的相对位置来确定脸部和头部之间的方位关系，比如，当脸部图像框在头部图像框的左边时，则确定人物对象的脸部在头部的左边；当脸部图像框在头部图像框的右边时，则确定人物对象的脸部在头部的右边。
67.因此，在本实施例中，有三类情况可能是疑似对象，具体如下：
68.当预设时长内脸部在头部的左侧或者右侧、第一移动方向与水平线方向构成的角度小于阈值度数、第一移动距离大于阈值距离以及第二移动方向与第一移动方向一致时，则人物对象为第一类疑似对象；
69.当预设时长内脸部在头部的左侧或者右侧、第一移动距离为零、第二移动方向与水平线方向构成的角度小于阈值度数以及第二移动距离大于阈值距离时，则人物对象为第二类疑似对象；
70.当预设时长内脸部在头部的左侧或者右侧、第一移动距离与第二移动距离都为零时，则人物对象为第三类疑似对象。
71.其中，阈值度数与阈值距离可以根据需求设置，阈值度数与摄像机安装位置的视角高度差有关。
72.在本实施例中，至少确定两个互相响应的疑似对象，才算进行了私语行为。参照图5所示，图5为本发明实施例提供的一种进行私语行为的目标对象确定方法的流程示意图，该方法包括如下步骤：
73.步骤s1034、遍历第一类疑似对象，将遍历到的第一类疑似对象作为第一目标对象，根据所述第一目标对象与其他剩余疑似对象的位置关系，确定所述第二目标对象。
74.其中，第一目标对象为疑似进行私语行为的发起者；其他剩余疑似对象包括：第二类疑似对象、第三类疑似对象，及未遍历到的第一类疑似对象；第二目标对象为与第一目标对象进行私语行为的响应者。
75.为了找出两个互相响应的目标对象，本实施例中，将第一类疑似对象作为疑似进行私语行为的发起者的第一目标对象，利用第一目标对象与其他剩余疑似对象的位置关系，确定响应第一目标对象私语行为的第二目标对象。而当将第一类疑似对象作为第一目标对象，一一检测每一个第一目标对象所对应的第二目标对象时，可能会对第一类疑似对象重复进行检测，则本实施例中，遍历第一类疑似对象，识别第一目标对象与第二类疑似对象、第三类疑似对象，及未遍历到的第一类疑似对象之间的位置关系，对于已经遍历过的第一类疑似对象不会重新识别其对应的第二目标对象。
76.下面介绍如何根据第一目标对象与其他剩余疑似对象的位置关系，确定第二目标对象，本发明实施例提供的一种第二目标对象确定方法，该方法具体步骤如下：
77.步骤s10341、从所述其他剩余疑似对象中获取候选疑似对象，所述候选疑似对象
为在预设时长内，身体中心点离所述第一目标对象的身体中心点的距离小于预设距离的疑似对象。
78.步骤s10342、当所述候选疑似对象为第一类疑似对象时，识别所述候选疑似对象的第一移动方向是否与第一目标对象的第一移动方向相向、所述候选疑似对象的第一移动方向与所述第一目标对象的第一移动方向构成的夹角是否小于第一预设夹角以及所述候选疑似对象的脸部与头部之间的位置关系是否与所述第一目标对象的脸部与头部之间的位置关系相对，若所述候选疑似对象的第一移动方向与第一目标对象的第一移动方向相向、所述候选疑似对象的第一移动方向与所述第一目标对象的第一移动方向构成的夹角小于第一预设夹角以及所述候选疑似对象的脸部与头部之间的位置关系与所述第一目标对象的脸部与头部之间的位置关系相对，则所述候选疑似对象为第二目标对象。
79.步骤s10343、当所述候选疑似对象为第二类疑似对象时，识别所述候选疑似对象的第二移动方向是否与第一目标对象的第一移动方向相向、所述候选疑似对象的的第二移动方向与所述第一目标对象的第一移动方向构成的夹角是否小于第二预设夹角以及所述候选疑似对象的脸部与头部之间的位置关系是否与所述第一目标对象的脸部与头部之间的位置关系相对，若所述候选疑似对象的第二移动方向与第一目标对象的第一移动方向相向、所述候选疑似对象的的第二移动方向与所述第一目标对象的第一移动方向构成的夹角小于第二预设夹角以及所述候选疑似对象的脸部与头部之间的位置关系与所述第一目标对象的脸部与头部之间的位置关系相对，则确定所述候选疑似对象为第二目标对象。
80.步骤s10344、当所述候选疑似对象为第三类疑似对象时，识别所述候选疑似对象的身体中心点与头部中心点连接的直线与所述第一目标对象的第一移动方向构成的角度是否小于阈值角度以及所述候选疑似对象的脸部与头部之间的位置关系是否与所述第一目标对象的脸部与头部之间的位置关系相对，若所述候选疑似对象的身体中心点与头部中心点连接的直线与所述第一目标对象的第一移动方向构成的角度小于阈值角度以及所述候选疑似对象的脸部与头部之间的位置关系与所述第一目标对象的脸部与头部之间的位置关系相对，则确定所述候选疑似对象为第二目标对象。
81.首先，获取可能响应第一目标对象私语行为的候选疑似对象，具体地，将在预设时长内，身体中心点离第一目标对象的身体中心点的距离小于预设距离的疑似对象作为候选疑似对象，也就是说在预设时长内，当疑似对象的身体中心点离第一目标对象的身体中心点的距离小于预设距离，则说明该疑似对象有可能为响应第一目标对象私语行为的第二目标对象。其中，在本实施例中，预设距离可以由教室内三维目标在摄像机中二维映射自适应，并由内部算法计算。
82.而具体如何进行确定是否真的为第二目标对象，则根据第一目标对象与候选疑似对象之间的位置关系是否符合预设规则来确定。而由于候选疑似对象可能为第一类疑似对象、第二类疑似对象以及第三类疑似对象中的任意一种，在本实施例中，针对不同类型的候选疑似对象，采用不同的预设规则进行确定。
83.具体为：
84.当候选疑似对象为第一类疑似对象时，识别候选疑似对象的第一移动方向是否与第一目标对象的第一移动方向相向、候选疑似对象的第一移动方向与第一目标对象的第一移动方向构成的夹角是否小于第一预设夹角以及候选疑似对象的脸部与头部之间的位置
关系是否与第一目标对象的脸部与头部之间的位置关系相对，若候选疑似对象的第一移动方向与第一目标对象的第一移动方向相向、候选疑似对象的第一移动方向与第一目标对象的第一移动方向构成的夹角小于第一预设夹角以及候选疑似对象的脸部与头部之间的位置关系与第一目标对象的脸部与头部之间的位置关系相对，则所述候选疑似对象为第二目标对象。
85.当候选疑似对象为第二类疑似对象时，识别候选疑似对象的第二移动方向是否与第一目标对象的第一移动方向相向、候选疑似对象的的第二移动方向与第一目标对象的第一移动方向构成的夹角是否小于第二预设夹角以及候选疑似对象的脸部与头部之间的位置关系是否与第一目标对象的脸部与头部之间的位置关系相对，若候选疑似对象的第二移动方向与第一目标对象的第一移动方向相向、候选疑似对象的的第二移动方向与第一目标对象的第一移动方向构成的夹角小于第二预设夹角以及候选疑似对象的脸部与头部之间的位置关系与第一目标对象的脸部与头部之间的位置关系相对，则确定候选疑似对象为第二目标对象。
86.当候选疑似对象为第三类疑似对象时，识别候选疑似对象的身体中心点与头部中心点连接的直线与第一目标对象的第一移动方向构成的角度是否小于阈值角度以及候选疑似对象的脸部与头部之间的位置关系是否与第一目标对象的脸部与头部之间的位置关系相对，若候选疑似对象的身体中心点与头部中心点连接的直线与第一目标对象的第一移动方向构成的角度小于阈值角度以及候选疑似对象的脸部与头部之间的位置关系与第一目标对象的脸部与头部之间的位置关系相对，则确定候选疑似对象为第二目标对象。
87.其中，预设夹角可根据需求进行设置。需要说明的是，本实施例中的相向可以理解为以不同移动方向为指向延伸的两条直线存在交点，比如说，当以候选疑似对象的第一移动方向为指向延伸的直线与以第一目标对象的第一移动方向为指向延伸的直线存在交点，则认为候选疑似对象的第一移动方向与第一目标对象的第一移动方向相向。此外，本实施例中位置关系相对可以理解为如下，比如：当候选疑似对象的脸部与头部之间的位置关系为脸部在头部的左边，而第一目标对象的脸部与头部之间的位置关系为脸部在头部的右边，则认为候选疑似对象的脸部与头部之间的位置关系与第一目标对象的脸部与头部之间的位置关系相对。
88.进一步地，确定了第二目标对象之后，可以认证第一目标对象与第二目标对象的学生姓名。具体地，可以在识别所述录像视频流中的每一视频帧中人物对象的身体中心点和头部中心点之前，对每个视频帧中的人物对象进行标记，待获取了第一目标对象与第二目标对象之后，则根据标记编号确定人物对象的名字。
89.上述介绍了本技术的方法，为了更好地实施本技术的方法，接下来介绍本技术的高效识别课堂学生私语行为装置。
90.参见图6，图6为本技术实施例提供的一种高效识别课堂学生私语行为装置的结构框图。如图6所示，该高效识别课堂学生私语行为装置60包括：
91.人物参数识别模块601：获取课堂学生的预设时长内的录像视频流，识别所述录像视频流中的每一视频帧中人物对象的脸部与头部之间位置关系、身体中心点和头部中心点。
92.移动参数获取模块602：通过连续视频帧中的同一个人物对象的身体中心点和头
部中心点检测所述人物对象的第一移动方向、第二移动方向、第一移动距离以及第二移动距离。
93.目标对象确定模块603：根据所述脸部与头部之间位置关系、所述第一移动方向、所述第二移动方向、所述第一移动距离以及所述第二移动距离，确定疑似对象；根据所述疑似对象之间的位置关系，确定进行私语行为的目标对象。
94.在一种可能的设计中，上述移动参数获取模块602具体用于：根据同一个人物对象在上一帧视频帧中的身体中心点的图像坐标与下一帧视频帧的身体中心点的图像坐标，计算上一帧视频帧中的身体中心点与下一帧视频帧的身体中心点连接构成的第一直线方程，确定各相邻视频帧确定的各所述第一直线方程的斜率是否处于第一范围内，若处于所述第一范围内，则将所述斜率为中心值的第一直线方程所指向的方向确定为第一移动方向；第一范围为以各所述第一直线方程的斜率的中心值为中心，加减预设数值构成的范围；根据同一个人物对象在上一帧视频帧中的头部中心点的图像坐标与下一帧视频帧的头部中心点的图像坐标，计算上一帧视频帧中的头部中心点与下一帧视频帧的头部中心点连接构成的第二直线方程，确定各相邻视频帧确定的各所述第二直线方程的斜率是否处于第二范围内，若处于所述第二范围内，则将所述斜率为中心值的第二直线方程所指向的方向确定为第二移动方向；第二范围为以各所述第二直线方程的斜率的中心值为中心，加减预设数值构成的范围。
95.在一种可能的设计中，上述移动参数获取模块602具体用于：当确定了第一移动方向后，根据同一个人物对象在所述上一帧视频帧中的身体中心点的图像坐标与下一帧视频帧的身体中心点的图像坐标，将根据相邻两帧确定的身体中心点的图像坐标计算相邻两帧确定的身体中心点之间的直线距离进行累加得到所述人物对象的第一移动距离；当确定了第二移动方向后，根据同一个人物对象在所述上一帧视频帧中的头部中心点的图像坐标与下一帧视频帧的头部中心点的图像坐标，将根据相邻两帧确定的头部中心点的图像坐标计算相邻两帧确定的头部中心点之间的直线距离进行累加得到所述人物对象的第二移动距离。
96.在一种可能的设计中，上述目标对象确定模块603具体用于：当预设时长内脸部在头部的左侧或者右侧、第一移动方向与水平线方向构成的角度小于阈值度数、第一移动距离大于阈值距离以及第二移动方向与第一移动方向一致时，则所述人物对象为第一类疑似对象；当预设时长内脸部在头部的左侧或者右侧、第一移动距离为零、第二移动方向与水平线方向构成的角度小于阈值度数以及第二移动距离大于阈值距离时，则所述人物对象为第二类疑似对象；当预设时长内脸部在头部的左侧或者右侧、第一移动距离与第二移动距离都为零时，则所述人物对象为第三类疑似对象。
97.在一种可能的设计中，上述目标对象确定模块603具体用于：遍历第一类疑似对象，将遍历到的第一类疑似对象作为第一目标对象，根据所述第一目标对象与其他剩余疑似对象的位置关系，确定所述第二目标对象；所述第一目标对象为疑似进行私语行为的发起者；所述其他剩余疑似对象包括：第二类疑似对象、第三类疑似对象，及未遍历到的第一类疑似对象；所述第二目标对象为与第一目标对象进行私语行为的响应者。
98.在一种可能的设计中，上述目标对象确定模块603具体用于：从所述其他剩余疑似对象中获取候选疑似对象，所述候选疑似对象为在预设时长内，身体中心点离所述第一目
标对象的身体中心点的距离小于预设距离的疑似对象；当所述候选疑似对象为第一类疑似对象时，识别所述候选疑似对象的第一移动方向是否与第一目标对象的第一移动方向相向、所述候选疑似对象的第一移动方向与所述第一目标对象的第一移动方向构成的夹角是否小于第一预设夹角以及所述候选疑似对象的脸部与头部之间的位置关系是否与所述第一目标对象的脸部与头部之间的位置关系相对，若所述候选疑似对象的第一移动方向与第一目标对象的第一移动方向相向、所述候选疑似对象的第一移动方向与所述第一目标对象的第一移动方向构成的夹角小于第一预设夹角以及所述候选疑似对象的脸部与头部之间的位置关系与所述第一目标对象的脸部与头部之间的位置关系相对，则所述候选疑似对象为第二目标对象；当所述候选疑似对象为第二类疑似对象时，识别所述候选疑似对象的第二移动方向是否与第一目标对象的第一移动方向相向、所述候选疑似对象的的第二移动方向与所述第一目标对象的第一移动方向构成的夹角是否小于第二预设夹角以及所述候选疑似对象的脸部与头部之间的位置关系是否与所述第一目标对象的脸部与头部之间的位置关系相对，若所述候选疑似对象的第二移动方向与第一目标对象的第一移动方向相向、所述候选疑似对象的的第二移动方向与所述第一目标对象的第一移动方向构成的夹角小于第二预设夹角以及所述候选疑似对象的脸部与头部之间的位置关系与所述第一目标对象的脸部与头部之间的位置关系相对，则确定所述候选疑似对象为第二目标对象；当所述候选疑似对象为第三类疑似对象时，识别所述候选疑似对象的身体中心点与头部中心点连接的直线与所述第一目标对象的第一移动方向构成的角度是否小于阈值角度以及所述候选疑似对象的脸部与头部之间的位置关系是否与所述第一目标对象的脸部与头部之间的位置关系相对，若所述候选疑似对象的身体中心点与头部中心点连接的直线与所述第一目标对象的第一移动方向构成的角度小于阈值角度以及所述候选疑似对象的脸部与头部之间的位置关系与所述第一目标对象的脸部与头部之间的位置关系相对，则确定所述候选疑似对象为第二目标对象。
99.在上述设备中，通过识别到的连续视频帧中的同一个人物对象的身体中心点和头部中心点来检测人物对象的第一移动方向、第二移动方向、第一移动距离以及第二移动距离，并且根据脸部与头部之间位置关系、第一移动方向、第二移动方向、第一移动距离以及第二移动距离，确定疑似对象，最后根据疑似对象之间的位置关系，确定进行私语行为的目标对象。通过识别身体中心点和头部中心点的变化参数来检测人物对象的移动变化，提高了镜头对人物对象的行为姿势检测的精确度，除了根据第一移动方向、第二移动方向、第一移动距离以及第二移动距离，还结合了脸部与头部之间位置关系来确定疑似对象，使得增加了判断依据，减小了判断误差，并且根据疑似对象之间的位置关系，确定进行私语行为的目标对象，保证了目标对象确定的精确度。
100.图7示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图7所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法实施例中的各个步骤。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法实施例中的各个步骤。本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本申
请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
101.在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
102.获取课堂学生的预设时长内的录像视频流，识别所述录像视频流中的每一视频帧中人物对象的脸部与头部之间位置关系、身体中心点和头部中心点。
103.通过连续视频帧中的同一个人物对象的身体中心点和头部中心点检测所述人物对象的第一移动方向、第二移动方向、第一移动距离以及第二移动距离。
104.根据所述脸部与头部之间位置关系、所述第一移动方向、所述第二移动方向、所述第一移动距离以及所述第二移动距离，确定疑似对象；根据所述疑似对象之间的位置关系，确定进行私语行为的目标对象。
105.在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
106.获取课堂学生的预设时长内的录像视频流，识别所述录像视频流中的每一视频帧中人物对象的脸部与头部之间位置关系、身体中心点和头部中心点。
107.通过连续视频帧中的同一个人物对象的身体中心点和头部中心点检测所述人物对象的第一移动方向、第二移动方向、第一移动距离以及第二移动距离。
108.根据所述脸部与头部之间位置关系、所述第一移动方向、所述第二移动方向、所述第一移动距离以及所述第二移动距离，确定疑似对象；根据所述疑似对象之间的位置关系，确定进行私语行为的目标对象。
109.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
110.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
111.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。