一种结合座位信息和机器视觉的离开座位行为检测方法和存储设备与流程

1.本发明涉及数据处理技术领域，特别涉及一种结合座位信息和机器视觉的离开座位行为检测方法和存储设备。


背景技术：

2.智慧教室系统是智慧校园的重要场景。该场景中使用人工智能深度学习的方法，通过对教室摄像头拍摄下来的实时课堂图像数据进行检测识别。再对检测识别的结果进行计算统计分析，得到评估课堂听课质量的各个指标。使用智慧教室系统不仅减轻了教师负担，而且还可以为教学过程提供持续的质量评估，辅助学校改进教学质量。其中对上课中被检测对象离开座位情况的检测识别，是课堂实时数据检测的重要一环，是统计分析指标的前提之一。
3.解决此类问题的常用方法有背景建模和深度学习目标检测加轨迹跟踪方法。
4.背景建模的方法是：通过背景建模，区分出前景目标(运动的被检测对象)和背景信息(静止的场景)，从而分析出被检测对象在进行移动。该方法存在如下问题：当被检测对象在座位上出现较大的肢体动作时，肢体动作被误检判断为前景(运动的被检测对象)，错误的识别为被检测对象上课中走动。
5.深度学习目标检测加轨迹跟踪方法是：使用深度学习的目标检测，检测人体或者人脸目标，并进行目标追踪。该方法存在以下问题：目标检测人体/人脸目标，无法区分出教师和学生，也就无法区分出学生离座还是教师的走动。


技术实现要素：

6.为此，本文提供一种结合座位信息和机器视觉的离开座位行为检测方法，用以解决现有方法在检测被检测对象离座上，误检和漏检率高的问题。具体技术方案如下：
7.一种结合座位信息和机器视觉的离开座位行为检测方法，包括步骤：
8.通过预先建立的深度学习模型对目标视频流数据进行目标检测得第一检测结果和第二检测结果，所述第一检测结果包括：每个被检测对象的行人属性检测框，所述行人属性检测框包括：行人框，所述第二检测结果包括：被检测对象的轨迹表；
9.对所述第一检测结果执行第一预设操作建立一个初始化座位表，所述初始化座位表包括至少一个备选位置框；
10.对所述第二检测结果进行分析，根据分析结果对初始化座位表中的备选位置框进行更新操作，所述更新操作包括：将现有的初始化座位表中的备选位置框更新得到真实位置框，和/或添加新的位置信息至初始化座位表；
11.判断被检测对象的轨迹表的起始点姿态是否为坐姿且判断所述起始点是否落在所述真实位置框中，若被检测对象的轨迹表的起始点姿态为坐姿且所述起始点落在所述真实位置框中，则进而判断轨迹表中当前时刻的行人框与其对应的真实位置框之间的大小关
系是否符合预设条件，若符合预设条件，则判定该被检测对象为离座状态。
12.进一步的，所述“对所述第一检测结果执行第一预设操作建立一个初始化座位表”，具体还包括步骤：
13.所述行人属性检测框还包括：人头框和/或人脸框；
14.计算人头框与行人框比例值和/或人脸框与行人框比例值，根据所述比例值筛选出姿态为坐姿的行人框,并确认初始化座位表。
15.进一步的，所述“对所述第二检测结果进行分析，根据分析结果对初始化座位表中的备选位置框进行更新操作，所述更新操作包括：将现有的初始化座位表中的备选位置框更新得到真实位置框，和/或添加新的位置信息至初始化座位表”，具体还包括步骤：
16.所述轨迹表存储的内容包括但不限于：每个被检测对象的行人属性检测框和姿态，所述行人属性检测框包括但不限于：行人框、人头框、人脸框；
17.筛选出姿态为坐姿的表元素，用所述表元素对应的行人框与初始化座位表中的备选位置框做iou计算，当某个初始化座位表中的备选位置框与所述表元素对应的行人框的iou大于等于预设值，则所述某个初始化座位表中的备选位置框对应的人头和人脸数都累加1，
18.若某个初始化座位表中的备选位置框与所述表元素对应的行人框的iou小于预设值，则将所述表元素对应的行人框作为新的备选位置框添加至初始化座位表；
19.当备选位置框对应的人头和人脸的数目都累计到预设数量，则标志该备选位置框为真实位置框。
20.进一步的，还包括步骤：
21.当所述真实位置框对应的某一人脸的数目累积到预设数量时，则判定所述真实位置框对应为该人的真实位置框。
22.进一步的，所述“判断被检测对象的轨迹表的起始点姿态是否为坐姿且判断所述起始点是否落在所述真实位置框中”，具体还包括步骤：
23.对被检测对象的轨迹表的起始点对应的行人框和初始化座位表中的真实位置框进行iou计算，根据计算结果和起始点存储的信息判断所述起始点是否落在真实位置框中及判断被检测对象位于起始点时的姿态是否为坐姿。
24.进一步的，所述“则进而判断轨迹表中当前时刻的行人框与其对应的真实位置框之间的大小关系是否符合预设条件，若符合预设条件，则判定该被检测对象为离座状态”，具体还包括步骤：
25.对轨迹表中当前时刻的行人框与匹配到的真实位置框进行iou计算，判断iou值是否满足预设阈值，若满足预设阈值，则判定该被检测对象为离座状态。
26.进一步的，还包括步骤：
27.重复步骤“对所述第二检测结果进行分析，根据分析结果对初始化座位表中的备选位置框进行更新操作，所述更新操作包括：将现有的初始化座位表中的备选位置框更新得到真实位置框，和/或添加新的位置信息至初始化座位表；
28.判断被检测对象的轨迹表的起始点姿态是否为坐姿且判断所述起始点是否落在所述真实位置框中，若被检测对象的轨迹表的起始点姿态为坐姿且所述起始点落在所述真实位置框中，则进而判断轨迹表中当前时刻的行人框与其对应的真实位置框之间的大小关
系是否符合预设条件，若符合预设条件，则判定该被检测对象为离座状态”，直至达到预设时间。
29.进一步的，还包括步骤：
30.若轨迹表中当前时刻的行人框与匹配到的真实位置框的大小关系不符合预设条件，则删除该轨迹缓存，并重新对该检测对象进行轨迹跟踪。
31.进一步的，所述初始化座位表用于记录：备选位置框、备选位置框累积出现的人头和/或人脸次数。
32.为解决上述技术问题，还提供了一种存储设备，具体技术方案如下：
33.一种存储设备，其中存储有指令集，所述指令集用于执行权利要求上述所提及的一种结合座位信息和机器视觉的离开座位行为检测方法中的任意步骤。
34.本发明的有益效果是：一种结合座位信息和机器视觉的离开座位行为检测方法，包括步骤：通过预先建立的深度学习模型对目标视频流数据进行目标检测得第一检测结果和第二检测结果，所述第一检测结果包括：每个被检测对象的行人属性检测框，所述行人属性检测框包括：行人框，所述第二检测结果包括：被检测对象的轨迹表；对所述第一检测结果执行第一预设操作建立一个初始化座位表，所述初始化座位表包括至少一个备选位置框；对所述第二检测结果进行分析，根据分析结果对初始化座位表中的备选位置框进行更新操作，所述更新操作包括：将现有的初始化座位表中的备选位置框更新得到真实位置框，和/或添加新的位置信息至初始化座位表；判断被检测对象的轨迹表的起始点姿态是否为坐姿且判断所述起始点是否落在所述真实位置框中，若被检测对象的轨迹表的起始点姿态为坐姿且所述起始点落在所述真实位置框中，则进而判断轨迹表中当前时刻的行人框与其对应的真实位置框之间的大小关系是否符合预设条件，若符合预设条件，则判定该被检测对象为离座状态。以上方法中，因不检测课桌，而是由目标检测反推课桌，则有效解决了课桌检测受场景和目标外形变化导致检测不到课桌的问题，同时采用该方法，即便当被检测对象在座位上出现较大肢体动作时，其仍会被识别为姿态为坐姿，并不会将其错误识别为被检测对象在上课中走动。很好地解决了现有技术中存在的种种问题。
35.进一步的，通过设定人头和人脸数两个参数，来对备选位置框进行更新，当备选位置框对应的人头和人脸的数目都累计到预设数量，才将备选位置框标志位真实位置框，可有效地过滤掉教师在讲台上的位置，及其它误被识别为位置的地方。至于如何有效地过滤掉教师在讲台上的位置，以下实施例会进一步展开说明。
附图说明
36.图1为具体实施方式所述一种结合座位信息和机器视觉的离开座位行为检测方法的流程图；
37.图2为具体实施方式所述一种存储设备的模块示意图。
38.附图标记说明：
39.200、存储设备。
具体实施方式
40.为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实
施例并配合附图详予说明。
41.首先对本技术的核心技术思想进行说明：本技术中没有对课桌做检测，而是通过目标检测(主要是人头框或者人脸框与行人框的比值计算)来去反算出课桌的备选位置框，然后会对这些备选位置框进行一个优化来确定真实位置框。确定好后，会通过对每个被检测对象的轨迹数据进行分析，筛选出轨迹起始点满足姿态为坐姿且坐在真实位置上的被检测对象，然后判断该被检测对象在接下来的轨迹时刻里面，是否有哪个时刻是离开座位的，如果有，则判定离开。因本技术不检测课桌，而是由目标检测反推课桌，则有效解决了当有的被检测对象发生比较大的肢体动作，比如身体歪出课桌的情况时，则被误检为离座的情况。此外如果是检测课桌的话，不同场景中，课桌是不同的，则还涉及到每次都需要重新调整课桌检测算法，较为麻烦，而本技术则完全不需要。很好地解决了现有技术中存在的种种问题。
42.以下具体展开说明：
43.请参阅图1，在本实施方式中，一种结合座位信息和机器视觉的离开座位行为检测方法可应用在存储设备上，所述存储设备包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端等。
44.在本实施方式中，实际场景可为在一间教室中，用于获取目标视频流的摄像头设置于教室讲台那侧。当教师正常坐在讲台位置上面对台下的学生时，只能捕获到其人头的后脑勺，而无法捕获到人脸。故此在本技术中当对备选位置框进行更新操作时，是同时计算人头框和人脸框两个的值，只有这两者的值都各自累积到一定数目时，才将该备选位置框设置为真实位置框。因为本技术是通过人头框与行人框的比例值，或者人脸框与行人框的比例值来确定备选位置框的，那么只要教师坐在位置上，其就会被识别为备选位置框，但本技术的目的是对学生是否离开位置进行检测，故此在后续的轨迹表中，会去计算姿态为坐姿的被检测对象的人头数目和人脸数目，因为教师在上课的过程中即便将人脸转向讲台，其也不可能整节课都会将人脸转向讲台，故此其人头和人脸数必然与学生的不同，则可以通过设定人头和人脸的预设数量来很好地将教师的位置筛选掉。无需通过人脸识别，即可很好地区分教师和学生。而当教师走到学生当中时，因其姿态不为坐姿，则直接筛除掉。
45.以下再具体展开说明：
46.步骤s101：通过预先建立的深度学习模型对目标视频流数据进行目标检测得第一检测结果和第二检测结果，所述第一检测结果包括：每个被检测对象的行人属性检测框，所述行人属性检测框包括：行人框，所述第二检测结果包括：被检测对象的轨迹表。所述的深度学习模型可直接使用现有的深度学习模型，如：yolov5或mobilenet
‑
ssd。在本实施方式中，优选的被检测对象为学生，以下以在智慧教室中的应用来进行展开说明，但需要说明的是，除了应用在智慧教室中对学生进行检测外，该方法还可应用在任何其他场所中对被检测对象是否离座的检测，比如在工厂中工人是否离座，在办公场所中工作人员是否离座等等。
47.本实施方式中，目标视频流来自智慧教室中摄像头拍摄的实时视频数据。优选为当上课开始后进行拍摄。
48.步骤s102：对所述第一检测结果执行第一预设操作建立一个初始化座位表，所述初始化座位表包括至少一个备选位置框。具体还包括步骤：所述行人属性检测框还包括：人
头框和/或人脸框；计算人头框与行人框比例值和/或人脸框与行人框比例值，根据所述比例值筛选出姿态为坐姿的行人框进而确认初始化座位表。比如设定人头框的高与行人框的高的比值小于1.8，则判定其姿态为坐姿，对应地判断该行人框所在的位置为备选位置框，所述初始化座位表中的备选位置框所框选的位置可能是教师的座位或者其它假的位置，比如一个学生可能只是在某个场景中站着做了个弯腰的操作，而被误识别为其所在位置有一个备选位置，但实际其实不存在。故在以下的步骤s103中还会对所述初始化座位表进行更新操作，来确定真实位置框。
49.步骤s103：对所述第二检测结果进行分析，根据分析结果对初始化座位表中的备选位置框进行更新操作，所述更新操作包括：将现有的初始化座位表中的备选位置框更新得到真实位置框，和/或添加新的位置信息至初始化座位表。具体可如下：所述轨迹表存储的内容包括但不限于：每个被检测对象的行人属性检测框和姿态，所述行人属性检测框包括但不限于：行人框、人头框、人脸框；筛选出姿态为坐姿的表元素，用所述表元素对应的行人框与初始化座位表中的备选位置框做iou计算，当某个初始化座位表中的备选位置框与所述表元素对应的行人框的iou大于等于预设值，则所述某个初始化座位表中的备选位置框对应的人头和人脸数都累加1，若某个初始化座位表中的备选位置框与所述表元素对应的行人框的iou小于预设值，则将所述表元素对应的行人框作为新的备选位置框添加至初始化座位表；当备选位置框对应的人头和人脸的数目都累计到预设数量，则标志该备选位置框为真实位置框。iou计算具体指的是计算行人框和真实位置框的交集的面积除以行人框和位置框的并集的面积，得到一个交集并集比。
50.以上方法中只要确定备选位置框是真实位置框即可，无需确定这个真实位置框上面坐的是谁，这样的好处是计算量低；另一种可能为了更精准地定位到是哪个人离座的，则除了确定备选位置框是真实位置框外，还进一步确定这个真实位置框上对应的是哪个人，这样的好处是还可以具体定位到是哪个被检测对象经常离座。则进一步的，还包括步骤：当所述真实位置框对应的某一人脸的数目累积到预设数量时，则判定所述真实位置框对应为该人的真实位置框。
51.如：步骤s102中建立的初始化座位表中包含了a1、a2、a3、a4、a5五个备选位置框，经过对被检测对象的轨迹表进行处理得姿态为坐姿的人头和人脸数目，判断这五个备选位置框是不是经常有人头和人脸出现且达到了预设数量，若是，则说明这是一个真实的位置框。而在这个真实位置框上是不是经常出现某个人脸，若是，则说明这个真实位置框是这个人的座位。
52.步骤s104：被检测对象的轨迹表的起始点姿态是否为坐姿且判断所述起始点是否落在所述真实位置框中？具体还包括步骤：对被检测对象的轨迹表的起始点对应的行人框和初始化座位表中的真实位置框进行iou计算，根据计算结果和起始点存储的信息判断所述起始点是否落在真实位置框中及判断被检测对象位于起始点时的姿态是否为坐姿。
53.在本实施方式中可设置一个阈值，当得出被检测对象的轨迹表的起始点对应的行人框和初始化座位表中的真实位置框的iou值大于这个阈值时，则可判定被检测对象的轨迹表的起始点落在所述真实位置框中。并进一步执行以下步骤s105。
54.步骤s105：轨迹表中当前时刻的行人框与其对应的真实位置框之间的大小关系是否符合预设条件？如符合预设条件，则执行步骤s106：判定该被检测对象为离座状态。具体
可如下：对轨迹表中当前时刻的行人框与匹配到的真实位置框进行iou计算，判断iou值是否满足预设阈值，若满足预设阈值，则判定该被检测对象离开座位。在本实施方式中，该预设阈值可设置为0。在其它实施方式中，亦可以根据实际需要，将该预设阈值设定为一个较小的值。
55.若轨迹表中当前时刻的行人框与匹配到的真实位置框的大小关系不符合预设条件，则删除该轨迹缓存，并重新对该检测对象进行轨迹跟踪。
56.以上所述的初始化座位表用于记录：备选位置框、备选位置框累积出现的人头和/或人脸次数。
57.在整个课堂过程中，可一直重复步骤s103至步骤s106直至达到预设时间，如直到下课为止。
58.一种结合座位信息和机器视觉的离开座位行为检测方法，包括步骤：通过预先建立的深度学习模型对目标视频流数据进行目标检测得第一检测结果和第二检测结果，所述第一检测结果包括：每个被检测对象的行人属性检测框，所述行人属性检测框包括：行人框，所述第二检测结果包括：被检测对象的轨迹表；对所述第一检测结果执行第一预设操作建立一个初始化座位表，所述初始化座位表包括至少一个备选位置框；对所述第二检测结果进行分析，根据分析结果对初始化座位表中的备选位置框进行更新操作，所述更新操作包括：将现有的初始化座位表中的备选位置框更新得到真实位置框，和/或添加新的位置信息至初始化座位表；判断被检测对象的轨迹表的起始点姿态是否为坐姿且判断所述起始点是否落在所述真实位置框中，若被检测对象的轨迹表的起始点姿态为坐姿且所述起始点落在所述真实位置框中，则进而判断轨迹表中当前时刻的行人框与其对应的真实位置框之间的大小关系是否符合预设条件，若符合预设条件，则判定该被检测对象为离座状态。以上方法中，因不检测课桌，而是由目标检测反推课桌，则有效解决了课桌检测受场景和目标外形变化导致检测不到课桌的问题，同时采用该方法，即便当被检测对象在座位上出现较大肢体动作时，其仍会被识别为姿态为坐姿，并不会将其错误识别为被检测对象在上课中走动。很好地解决了现有技术中存在的种种问题。
59.进一步的，通过设定人头和人脸数两个参数，来对备选位置框进行更新，当备选位置框对应的人头和人脸的数目都累计到预设数量，才将备选位置框标志位真实位置框，可有效地过滤掉教师在讲台上的位置，及其它误被识别为位置的地方。如此有效地将教师和学生区分开。
60.请参阅图2，在本实施方式中，一种存储设备200的具体实施方式如下：
61.一种存储设备200，其中存储有指令集，所述指令集用于执行权利要求上述所提及的一种结合座位信息和机器视觉的离开座位行为检测方法中的任意步骤。
62.需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。