一种视频分析方法、教学质量评估方法及系统、计算机可读存储介质与流程

文档序号:16309829发布日期:2018-12-19 05:14阅读:154来源:国知局
一种视频分析方法、教学质量评估方法及系统、计算机可读存储介质与流程

本发明涉及视频分析处理领域,特别涉及一种视频分析方法、教学质量评估方法及系统、计算机可读存储介质。

背景技术

教育行业中教学质量评估是学校建设、改革、发展以及提高教育教学质量的有效手段。评估中客观指标将直观的展示课堂效果和学生课堂积极性。例如课堂出勤率,迟到早退人数等客观数据是教师教学水平的重要反映。

但目前,评估中上述的客观标准和数据往往由人为登记,主观性比较大,无客观数据支持。这不仅有可能会导致评估的不准确,更会导致一些消极的教学情况不能及时的被解决和改进。

如何提供一种教学质量评估方法,能够实现教学质量评估,使教学情况能够得到及时反馈和改进,是目前亟待解决的问题。



技术实现要素:

鉴于以上所述现有技术的缺点,本发明的目的在于提供一种视频分析方法、教学质量评估方法及系统、计算机可读存储介质,从教学视频中提取学生上课出勤率、迟到早退人数以及上课行为的客观数据并加以分析,根据各项客观指标达标情况来反映老师的教学水平,并客观地评价课堂教学质量。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。

根据本发明的第一方面,提供了一种视频分析方法。

在一些可选实施例中,所述视频分析方法包括:对获取的视频流进行采样;对于每一帧需要分析的原图像,将原图像通过滑动窗口进行切分,得到子图片;将所述子图片输入到ssd(singleshotmultiboxdetector)目标检测算法中进行检测,获取相应的检测框,并记录检测框相对于该子图片的坐标系,最后将所述原图像中所有检测框相对应的子图片的坐标转换成相对于原图像整张图坐标系的坐标;将经过ssd目标检测算法处理后的子图片合成到原始分辨率的原图像上,将记录的检测框的个数作为该原图像中检测到的人数。

采用上述可选实施例,将记录的检测框的个数作为该图像中检测到的人数,可以得到较为精确的人数统计数据,实现了图像中人数的智能识别与统计。

可选地,所述视频分析方法还包括:所述ssd目标检测算法采用多尺度特征图进行检测。

采用上述可选实施例,对于教室中检测的目标即人头具有目标和尺度较小的特点,ssd目标检测算法采用较大的特征图用来检测相对较小的目标,而较小的特征图用来检测相对较大目标,对不同大小的目标都实现精确检测。

可选地,所述视频分析方法还包括:在所述ssd目标检测算法加入非极大值抑制(nms,nonmaximumsuppression)算法,所述非极大值抑制算法包括:首先,将所有检测框的得分排序,选中最高分及其对应的检测框;然后,遍历其余的检测框,如果有检测框和当前最高分检测框的重叠面积大于一定阈值,就将该最高分检测框删除;接下来,从未处理的检测框中继续选一个得分最高的,重复上述过程。

采用上述可选实施例,将ssd算法与nms算法结合起来做进一步优化,nms算法的使用是在ssd目标检测算法对图片检测完之后再进行优化,将同一个目标检测到的多个冗余的检测框去除,得到属于该目标的唯一的置信度最高的检测框,使得最后的检测数据更准确。

可选地,所述视频分析方法还包括:在对获取的视频流进行采样之前,先根据需要分析处理的视频通道数和当前的计算资源,计算出满足实时性分析要求的视频采样频率,以此采样频率为基础,对获取的视频流进行动态频率采样分析;视频采样频率=h*计算能力/视频通道数,其中,h为调整系数。

采用上述可选实施例,以此采样频率为基础,对获取的视频流进行动态频率采样分析,动态频率采样分析可以使得该方法在不同配置的电脑上都能流畅的运行,提高该方法对运行环境配置的普适性。

根据本发明的第二方面,提供了一种计算机可读存储介质。

在一些可选实施例中,所述计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被处理器执行时实现上述任一可选实施例中所述的视频分析方法。

根据本发明的第三方面,提供了一种教学质量评估方法。

在一些可选实施例中,所述教学质量评估方法包括:获取教学的视频流;还包括采用上述任一可选实施例中所述的视频分析方法对所述视频流进行分析。

采用上述可选实施例,将记录的检测框的个数作为该图像中检测到的人数,可以得到较为精确的人数统计数据,实现了图像中人数的智能识别与统计,得到客观的教学质量评估结果。

可选地,所述教学质量评估方法,还包括:对ssd目标检测算法检测的目标类别进行细分,划分成两个类别:抬头和低头;将标注好的数据重新使用ssd目标检测算法训练;最后将抬头的检测框进行统计计数,作为学生上课注意力集中的评价指标,将低头的检测框进行统计计数,作为学生上课注意力分散的评价指标。

采用上述可选实施例,可以精确地检测出学生抬头和低头的行为,根据这两种行为来评价学生上课注意力的集中情况,因此,可以对学生上课注意力进行客观地评估。

可选地,所述教学质量评估方法,还包括:采用所述ssd目标检测算法对就座分布进行统计,根据座位排列的结构化信息,ssd目标检测算法检测到目标的座位就判断为被占用,没有检测到目标的座位就判断为空。

采用上述可选实施例,由于教室中座位的分布是很整齐的,所述ssd目标检测算法利用这种结构化的信息来提取学生在教室的就座分布情况,可以对学生上课积极性进行客观地评估。

根据本发明的第四方面,提供了一种计算机可读存储介质。

在一些可选实施例中,所述计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被处理器执行时实现上述任一可选实施例中所述的教学质量评估方法。

根据本发明的第五方面,提供了一种教学质量评估系统。

在一些可选实施例中,所述教学质量评估系统包括:教学视频获取模块和教学检测分析模块;所述教学视频获取模块用于获取课堂教学情况的视频信息,将视频数据传递给教学检测分析模块;所述教学检测分析模块采用上述任一可选实施例所述的视频分析方法对所述教学视频获取模块采集到的视频数据进行分析处理。

采用上述可选实施例,可以根据检测分析数据客观地进行教学评估,实现自动化的智能分析,降低人工的劳动强度以及人为因素对客观数据的影响。

可选地,所述教学检测分析模块还用于对ssd目标检测算法检测的目标类别进行细分,划分成两个类别:抬头和低头;将标注好的数据重新使用ssd目标检测算法训练;最后将抬头的检测框进行统计计数,作为学生上课注意力集中的评价指标,低头的检测框进行统计计数,作为学生上课注意力分散的评价指标。

采用上述可选实施例,可以精确地检测出学生抬头和低头的行为,可以对学生上课注意力进行客观地评估。

可选地,所述教学检测分析模块还用于采用所述ssd目标检测算法对就座分布进行统计,根据座位排列的结构化信息,ssd目标检测算法检测到目标的座位就判断为被占用,没有检测到目标的座位就判断为空。

采用上述可选实施例,可以精确地检测出学生在教室的就座分布情况,可以对学生上课积极性进行客观地评估。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。

图1是视频分析方法的一个可选实施流程示意图;

图2是教学质量评估方法的一个可选实施流程示意图;

图3是教学质量评估系统的一个可选实施结构示意图;

图4是教学质量评估系统的另一个可选实施结构示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。在本文中,各实施方案可以被单独地或总地用术语“发明”来表示,这仅仅是为了方便,并且如果事实上公开了超过一个的发明,不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中,诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来,而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言,由于其与实施例公开的方法部分相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

图1示出了所述视频分析方法的一个可选实施例。

该可选实施例中,所述视频分析方法包括:步骤(a1),对获取的视频流进行采样;步骤(a2),对于每一帧需要分析的原图像,将原图像通过滑动窗口进行切分,得到子图片;步骤(a3),将所述子图片输入到ssd(singleshotmultiboxdetector)目标检测算法中进行检测,获取相应的检测框,并记录检测框相对于该子图片的坐标系,最后将所述原图像中所有检测框相对应的子图片的坐标转换成相对于原图像整张图坐标系的坐标;步骤(a4),将经过ssd目标检测算法处理后的子图片合成到原始分辨率图像上,将记录的检测框的个数作为该图像中检测到的人数。

采用该实施例,将记录的检测框的个数作为该图像中检测到的人数,可以得到较为精确的人数统计数据,实现了图像中人数的智能识别与统计。而且,对原图像以滑动窗口进行切分,对切分的图像经过后续的分析处理后再合成到原始分辨率图像上,避免了由于原图像分辨率高而造成图像预处理时目标的特征丢失的问题,切分成小图之后进行检测能使得检测到的目标更准确。

采用该实施例,可以应用到教学质量评估中,用来统计上课人数,将上课时间段内记录的相应人数进行排序,选取相应的计算方法计算出出勤人数,例如,选取中值作为该课程上课时间段的出勤人数,能够实现教学出勤人数的智能识别与自动统计。

可选地,所述步骤(a2)中,对于每一帧需要分析的高分辨率图像,为了保证后续分析的准确性,对原图像以分辨率400*400、步长为200像素的滑动窗口进行切分,对切分的图像经过后续的分析处理后再合成到原始分辨率图像上。因为如果对整帧图像做分析,由于原图像分辨率高,通常为300*300,进行检测时做的图像预处理会使得图像中的目标的特征丢失,切分成小图之后进行检测能使得检测到目标更准确。由于以分辨率400*400像素、步长为200像素的滑动窗口进行切分,因此,所述子图片的像素为400*400。当然,上述原图像的分辨率为300*300像素,以及以分辨率400*400像素、步长为200像素的滑动窗口进行切分,仅为示意性的,本领域技术人员可以根据原图像的分辨率选取与该分辨率相匹配的滑动窗口进行切分。原始的ssd目标检测算法输入的是不同尺度的图像,然后重新归一化成300*300像素的图像进行检测,该实施例中,为了防止高分辨率图像中目标信息丢失,先将原图像的整张大图切成400*400像素的小图,然后采用ssd目标检测算法进行检测,这样,小图归一化之后将有利于检测的准确度。

可选地,所述步骤(a3)中,所述ssd目标检测算法采用多尺度特征图用于检测,即采用大小不同的特征图进行检测,前面的特征图较大,后面逐渐采用卷积和池化降低特征图大小,较大的特征图用来检测相对较小的目标,而较小的特征图用来检测相对较大目标,类别划分时将背景作为一个单独的类别。对于教室中检测的目标即人头具有目标和尺度较小的特点,采用该实施例中的ssd目标检测算法非常适合该场景的检测,即较大的特征图用来检测相对较小的目标,而较小的特征图用来检测相对较大目标,对于不同大小的目标都能实现精确检测。

在另一个可选实施例中,为了防止同一个人出现在多个检测框,造成后续出勤率统计出现错误,所述视频分析方法还包括:在所述ssd目标检测算法中加入非极大值抑制(nms,nonmaximumsuppression)算法,提高检测的准确性,最终将记录检测框的个数作为该图像中检测到的人数。所述nms算法是一个迭代-遍历-消除的过程,包括:首先将所有检测框的得分排序,选中最高分及其对应的检测框;然后遍历其余的检测框,如果有检测框和当前最高分检测框的重叠面积大于一定阈值,就将该最高分检测框删除;接下来,从未处理的检测框中继续选一个得分最高的,重复上述过程。采用该实施例,将ssd算法与nms算法结合起来做进一步优化,nms算法的使用是在ssd目标检测算法对图片检测完之后再进行优化,将同一个目标检测到的多个冗余的检测框去除,得到属于该目标的唯一的置信度最高的检测框,使得最后的检测数据更准确。

在另一个可选实施例中,所述视频分析方法还包括:在对获取的视频流进行采样之前,先根据需要分析处理的视频通道数和当前的计算资源,计算出满足实时性分析要求的视频采样频率。视频采样频率=h*计算能力/视频通道数,h为调整系数。程序自动计算运行该方法的电脑的cpu的解码能力和gpu的计算能力,计算能力越低,视频采样的频率就越低,但是为了保证检测数据的准确性,采样频率有个最低值,即一定的通道数需要有最低的计算能力要求,以此采样频率为基础,对获取的视频流进行动态频率采样分析,动态频率采样分析可以使得该方法在不同配置的电脑上都能流畅的运行,提高该方法对运行环境配置的普适性。

图2示出了所述教学质量评估方法的一个可选实施例。

该实施例中,所述教学质量评估方法包括:步骤(a0),获取教学的视频流;步骤(a1),对获取的视频流进行采样;步骤(a2),对于每一帧需要分析的原图像,将原图像通过滑动窗口进行切分,得到子图片;步骤(a3),将所述子图片输入到ssd(singleshotmultiboxdetector)目标检测算法中进行检测,获取相应的检测框,并记录检测框相对于该子图片的坐标系,最后将所述原图像中所有检测框相对应的子图片的坐标转换成相对于原图像整张图坐标系的坐标;步骤(a4),将经过ssd目标检测算法处理后的子图片合成到原始分辨率图像上,将记录的检测框的个数作为该图像中检测到的人数。

采用该实施例,对原图像以滑动窗口进行切分,对切分的图像经过后续的分析处理后再合成到原始分辨率图像上,避免了由于原图像分辨率高而造成图像预处理时目标的特征丢失的问题,切分成小图之后进行检测能使得检测到的目标更准确。而且,将记录检测框的个数作为该图像中检测到的人数,可以得到较为精确的人数统计数据,实现了图像中人数的智能识别与统计,能够得到精确的出勤人数统计。

采用该实施例,可以用来统计上课人数,将上课时间段内记录的相应人数进行排序,选取相应的计算方法计算出出勤人数,例如,选取中值作为该课程上课时间段的出勤人数,能够实现教学出勤人数的智能识别与自动统计,得到客观地教学质量评估结果。

所述教学视频获取模块用于获取课堂教学情况的视频信息,进行转码等处理,实时显示于系统界面,同时将视频数据传递给教学检测分析模块。所述教学视频获取模块包括:远程摄像头、云台、云台控制器、以及网络连接器。远程摄像头与云台相连接,云台通过网络连接器与远程云台控制器相连接,所述云台控制器对远程影音设备进行实时调整以及对设备故障等突发情况进行监察和有效处理。

可选地,所述步骤(a2)中,对于每一帧需要分析的高分辨率图像,为了保证后续分析的准确性,对原图像以分辨率400*400像素、步长为200像素的滑动窗口进行切分,对切分的图像经过后续的分析处理后再合成到原始分辨率图像上。因为如果对整帧图像做分析,由于原图像分辨率高,通常为300*300像素,进行检测时做的图像预处理会使得图像中的目标的特征丢失,切分成小图之后进行检测能使得检测到目标更准确。由于以分辨率400*400像素、步长为200像素的滑动窗口进行切分,因此,所述子图片的像素为400*400。当然,上述原图像的分辨率为300*300像素,以及以分辨率400*400像素、步长为200像素的滑动窗口进行切分,仅为示意性的,本领域技术人员可以根据原图像的分辨率选取与该分辨率相匹配的滑动窗口进行切分。原始的ssd目标检测算法输入的是不同尺度的图像,然后重新归一化成300*300像素的图像进行检测,该实施例中,为了防止高分辨率图像中目标信息丢失,先将原图像的整张大图切成400*400像素的小图,然后采用ssd目标检测算法进行检测,这样,小图归一化之后将有利于检测的准确度。

可选地,所述步骤(a3)中,所述ssd目标检测算法采用多尺度特征图用于检测,即采用大小不同的特征图进行检测,前面的特征图较大,后面逐渐采用卷积和池化降低特征图大小,较大的特征图用来检测相对较小的目标,而较小的特征图用来检测相对较大目标,类别划分时将背景作为一个单独的类别。对于教室中检测的目标即人头具有目标和尺度较小的特点,采用该实施例中的ssd目标检测算法非常适合该场景的检测,即较大的特征图用来检测相对较小的目标,而较小的特征图用来检测相对较大目标,精确检测不同大小的目标。

在另一个可选实施例中,为了防止同一个人出现多个检测框,造成后续出勤率统计出现错误,所述教学质量评估方法还包括:在所述ssd目标检测算法中加入非极大值抑制(nms,nonmaximumsuppression)算法,提高检测的准确性,最终将记录检测框的个数作为该图像中检测到的人数。所述nms算法是一个迭代-遍历-消除的过程,包括:首先将所有检测框的得分排序,选中最高分及其对应的检测框;然后遍历其余的检测框,如果有检测框和当前最高分检测框的重叠面积大于一定阈值,就将该最高分检测框删除;接下来,从未处理的检测框中继续选一个得分最高的,重复上述过程。采用该实施例,将ssd算法与nms算法结合起来做进一步优化,nms算法的使用是在ssd目标检测算法对图片检测完之后再进行优化,将同一个目标检测到的多个冗余的检测框去除,得到属于该目标的唯一的置信度最高的检测框,使得最后的检测数据更准确。

在另一个可选实施例中,所述教学质量评估方法还包括:在对获取的视频流进行采样之前,先根据需要分析处理的视频通道数和当前的计算资源,计算出满足实时性分析要求的视频采样频率,视频采样频率=h*计算能力/视频通道数,h为调整系数。程序自动计算运行该方法的电脑的cpu的解码能力和gpu的计算能力,计算能力越低,视频采样的频率就越低,但是为了保证检测数据的准确性,采样频率有个最低值,即一定的通道数需要有最低的计算能力要求,以此采样频率为基础,对获取的视频流进行动态频率采样分析,动态频率采样分析可以使得该方法在不同配置的电脑上都能流畅的运行,提高该方法对运行环境配置的普适性。

在另一个可选实施例中,所述教学质量评估方法还包括:对ssd目标检测算法检测的目标(即人头)类别进行细分,划分成两个类别:抬头和低头;将标注好的数据重新使用ssd目标检测算法训练;最后将抬头的检测框进行统计计数,作为学生上课注意力集中的评价指标,将低头的检测框进行统计计数,作为学生上课注意力分散的评价指标。

采用该实施例,可以精确地检测出学生抬头和低头的行为,根据这两种行为来评价学生上课注意力的集中情况,因此,可以对学生上课注意力进行客观地评估。

在另一个可选实施例中,所述教学质量评估方法还包括:采用所述ssd目标检测算法对就座分布进行统计,根据座位排列的结构化信息,ssd目标检测算法检测到目标的座位就判断为被占用,没有检测到目标的座位就判断为空,这样在空间上就能统计到学生所在的分布。若学生座位的分布集中在前几排,则可判断为学生上课积极性高;若学生座位比较分散,并且后几排座位学生分布较多,则判断为学生上课积极性不高。

采用该实施例,由于教室中座位的分布是很整齐的,所述ssd目标检测算法利用这种结构化的信息来提取学生在教室的就座分布情况,可以对学生上课积极性进行客观地评估。

在另一个可选实施例中,所述教学质量评估方法还包括导入教学课表信息的步骤,所述教学课表信息包括:课程名称、课程教室、应到人数等,所述教学质量评估方法用于根据所述教学课表信息确定每个教室各个上课时段应到的人数。

在另一个可选实施例中,所述教学质量评估方法还包括系统信息存储的步骤,用于对分析得到的各项数据以及导入的教学课表信息进行结合,并存储于本地服务器和云存储服务器。

在另一个可选实施例中,所述教学质量评估方法还包括系统信息检索与导出步骤,用于实现评估数据的本地查询和远程查询,以提高查阅目标信息的方便性和时间效率为目的,可通过时间、课程名称和教学地点等检索要素缩小查询的教学信息范围,而且可以将查阅的评估数据以表格等方式导出。例如,在所述系统信息检索与导出步骤中,可以快捷选择本周、近两周、本月、本学期等各门课程的上课情况,通过选择某一门课程,可以显示相应的视频帧和人数统计结果,并且可以将检索结果以excel的形式导出。

在另一个可选实施例中,所述教学质量评估方法还包括教学紧急情况报警步骤,用于对突发的教学情况进行实时报警,例如,若教学地点发生设备故障影响教学时,可以及时进行报警或者将报警信息远程推送给教学管理人员处理。可选地,所述教学紧急情况报警步骤包括:教学管理人员通过关注并绑定微信公众号,当上课时间段出现上课情况异常时,将报警信息通过微信公众号平台推送给教学管理人员,推送信息包括课程名、任课教师、上课地点、应到人数、实到人数以及实时的监控图片等。

采用上述可选实施例,所述教学质量评估方法可以根据听课者的状态客观公正地评估教学效果,并定期推送评估信息给相关人员,相关人员也可以通过远程检索获得评估信息,不仅有利于教学管理人员对教学情况的管理,同时,通过所述教学质量评估方法,教师可以及时、准确地了解听课者的状态,及时做出相应地调整,提高备课效率,更有利提升教学效果。

图3示出了所述教学质量评估系统的一个可选实施例。

该实施例中,所述教学质量评估系统包括:教学视频获取模块10和教学检测分析模块20。

所述教学视频获取模块用于获取课堂教学情况的视频信息,进行转码等处理,实时显示于系统界面,同时将视频数据传递给教学检测分析模块。所述教学视频获取模块包括:远程摄像头、云台、云台控制器、以及网络连接器。远程摄像头与云台相连接,云台通过网络连接器与远程云台控制器相连接,所述云台控制器对远程影音设备进行实时调整以及对设备故障等突发情况进行监察和有效处理。

所述教学检测分析模块采用前文任一可选实施例所述的视频分析方法对视频获取模块采集到的视频数据进行分析处理,根据检测分析数据客观地进行教学评估,实现自动化的智能分析,降低人工的劳动强度以及人为因素对客观数据的影响。

所述教学检测分析模块对视频数据进行分析处理的过程,包括:步骤(a1),对获取的视频流进行采样;步骤(a2),对于每一帧需要分析的原图像,将原图像以滑动窗口进行切分,得到子图片;步骤(a3),将所述子图片输入到ssd(singleshotmultiboxdetector)目标检测算法中进行检测,获取相应的检测框,并记录检测框相对于该子图片的坐标系,最后将所述原图像中所有检测框相对应的子图片的坐标转换成相对于原图像整张图坐标系的坐标;步骤(a4),将经过ssd目标检测算法处理后的子图片合成到原始分辨率图像上,将记录的检测框的个数作为该图像中检测到的人数。

采用该实施例,对原图像以滑动窗口进行切分,对切分的图像经过后续的分析处理后再合成到原始分辨率图像上,避免了由于原图像分辨率高而造成图像预处理时目标的特征丢失的问题,切分成小图之后进行检测能使得检测到的目标更准确。而且,将记录检测框的个数作为该图像中检测到的人数,可以得到较为精确的人数统计数据,实现了图像中人数的智能识别与统计,能够得到精确的出勤人数统计。

采用该实施例,可以用来统计上课人数,将上课时间段内记录的相应人数进行排序,选取相应的计算方法计算出出勤人数,例如,选取中值作为该课程上课时间段的出勤人数,能够实现教学出勤人数的智能识别与自动统计。

可选地,所述步骤(a2)中,对于每一帧需要分析的高分辨率图像,为了保证后续分析的准确性,对原图像以分辨率400*400像素、步长为200像素的滑动窗口进行切分,对切分的图像经过后续的分析处理后再合成到原始分辨率图像上。因为如果对整帧图像做分析,由于原图像分辨率高,通常为300*300像素,进行检测时做的图像预处理会使得图像中的目标的特征丢失,切分成小图之后进行检测能使得检测到目标更准确。由于以分辨率400*400像素、步长为200像素的滑动窗口进行切分,因此,所述子图片的像素为400*400。当然,上述原图像的分辨率为300*300像素,以及以分辨率400*400像素、步长为200像素的滑动窗口进行切分,仅为示意性的,本领域技术人员可以根据原图像的分辨率选取与该分辨率相匹配的滑动窗口进行切分。原始的ssd目标检测算法输入的是不同尺度的图像,然后重新归一化成300*300像素的图像进行检测,该实施例中,为了防止高分辨率图像中目标信息丢失,先将原图像的整张大图切成400*400像素的小图,然后采用ssd目标检测算法进行检测,这样,小图归一化之后将有利于检测的准确度。

可选地,所述步骤(a3)中,所述ssd目标检测算法采用多尺度特征图用于检测,即采用大小不同的特征图进行检测,前面的特征图较大,后面逐渐采用卷积和池化降低特征图大小,较大的特征图用来检测相对较小的目标,而较小的特征图用来检测相对较大目标,类别划分时将背景作为一个单独的类别。对于教室中检测的目标即人头具有目标和尺度较小的特点,采用该实施例中的ssd目标检测算法非常适合该场景的检测,即较大的特征图用来检测相对较小的目标,而较小的特征图用来检测相对较大目标,精确检测不同大小的目标。

在另一个可选实施例中,为了防止同一个人出现多个检测框,造成后续出勤率统计出现错误,所述教学检测分析模块还包括:在所述ssd目标检测算法中加入非极大值抑制(nms,nonmaximumsuppression)算法,提高检测的准确性,最终将记录检测框的个数作为该图像中检测到的人数。所述nms算法是一个迭代-遍历-消除的过程,包括:首先将所有检测框的得分排序,选中最高分及其对应的检测框;然后遍历其余的检测框,如果有检测框和当前最高分检测框的重叠面积大于一定阈值,就将该最高分检测框删除;接下来,从未处理的检测框中继续选一个得分最高的,重复上述过程。采用该实施例,将ssd算法与nms算法结合起来做进一步优化,nms算法的使用是在ssd目标检测算法对图片检测完之后再进行优化,将同一个目标检测到的多个冗余的检测框去除,得到属于该目标的唯一的置信度最高的检测框,使得最后的检测数据更准确。

在另一个可选实施例中,所述教学质量评估系统还包括视频采样频率计算模块,所述视频采样频率计算模块用于在对获取的视频流进行采样之前,先根据需要分析处理的视频通道数和当前的计算资源,计算出满足实时性分析要求的视频采样频率,视频采样频率=h*计算能力/视频通道数,h为调整系数。程序自动计算运行该系统的电脑的cpu的解码能力和gpu的计算能力,计算能力越低,视频采样的频率就越低,但是为了保证检测数据的准确性,采样频率有个最低值,即一定的通道数需要有最低的计算能力要求,以此采样频率为基础,对获取的视频流进行动态频率采样分析,动态频率采样分析可以使得该系统在不同配置的电脑上都能流畅的运行,提高该系统对运行环境配置的普适性。

可选地,所述教学检测分析模块还用于对ssd目标检测算法检测的目标(即人头)类别进行细分,划分成两个类别:抬头和低头;将标注好的数据重新使用ssd目标检测算法训练;最后将抬头的检测框进行统计计数,作为学生上课注意力集中的评价指标,将低头的检测框进行统计计数,作为学生上课注意力分散的评价指标。

采用该实施例,所述教学检测分析模块可以精确地检测出学生抬头和低头的行为,根据这两种行为来评价学生上课注意力的集中情况,因此,可以对学生上课注意力进行客观地评估。

可选地,所述教学检测分析模块还用于采用所述ssd目标检测算法对就座分布进行统计,根据座位排列的结构化信息,ssd目标检测算法检测到目标的座位就判断为被占用,没有检测到目标的座位就判断为空,这样在空间上就能统计到学生所在的分布。若学生座位的分布集中在前几排,则可判断为学生上课积极性高;若学生座位比较分散,并且后几排座位学生分布较多,则判断为学生上课积极性不高。

采用该实施例,由于教室中座位的分布是很整齐的,所述教学检测分析模块采用所述ssd目标检测算法,利用这种结构化的信息来提取学生在教室的就座分布情况,可以对学生上课积极性进行客观地评估。

在另一个可选实施例中,所述教学质量评估系统还包括教学课表信息导入模块,用于向所述教学检测分析模块导入教学课表信息,所述教学课表信息包括:课程名称、课程教室、应到人数等,所述教学检测分析模块根据所述教学课表信息确定每个教室各个上课时段应到的人数。可选地,所述教学课表导入模块还包括单双周设置和上课时间调整设置。

在另一个可选实施例中,所述教学质量评估系统还包括系统信息存储模块,用于对所述教学检测分析模块分析得到的各项数据以及导入的教学课表信息进行结合,并存储于本地服务器和云存储服务器。

在另一个可选实施例中,所述教学质量评估系统还包括系统信息检索与导出模块,所述系统信息检索与导出模块用于实现评估数据的本地查询和远程查询,该模块以提高查阅目标信息的方便性和时间效率为目的,可通过时间、课程名称和教学地点等检索要素缩小查询的教学信息范围,而且可以将查阅的评估数据以表格等方式导出。例如,通过系统信息检索与导出模块可以快捷选择本周、近两周、本月、本学期等各门课程的上课情况,通过选择某一门课程,可以显示相应的视频帧和人数统计结果,并且可以将检索结果以excel的形式导出。

在另一个可选实施例中,所述教学质量评估系统还包括教学紧急情况报警模块,所述教学紧急情况报警模块用于对突发的教学情况进行实时报警,例如,若教学地点发生设备故障影响教学时,所述教学紧急情况报警模块可以及时通过系统进行报警或者将报警信息远程推送给教学管理人员处理。可选地,所述教学紧急情况报警模块包括微信公众号,教学管理人员通过关注并绑定所述微信公众号,当上课时间段出现上课情况异常时,系统会将报警信息通过微信公众号平台推送给教学管理人员,推送信息包括课程名、任课教师、上课地点、应到人数、实到人数以及实时的监控图片等。

采用上述可选实施例,所述教学质量评估系统可以根据听课者的状态客观公正地评估教学效果,并定期推送评估信息给相关人员,相关人员也可以通过远程检索获得评估信息,不仅有利于教学管理人员对教学情况的管理,同时,通过所述教学质量评估系统,教师可以及时、准确地了解听课者的状态,及时做出相应地调整,提高备课效率,更有利提升教学效果。

图4示出了所述教学质量评估系统的另一个可选实施例。

该可选实施例中,所述教学质量评估系统包括:教学视频获取模块、云台控制器、教学课表信息导入模块、教学检测分析模块、系统信息存储模块、系统信息检索与导出模块、教学紧急情况报警模块。

可选地,前文所述的教学质量评估系统可以在网络侧服务器中实现,或者,也可以在移动终端中实现,或者,在专用的控制设备中实现。

在一个可选实施例中,提出一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被处理器执行时实现如前文所述的视频分析方法。上述计算机可读存储介质可以是只读存储器(readonlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁带和光存储设备等。

在一个可选实施例中,提出一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被处理器执行时实现如前文所述的教学质量评估方法。上述计算机可读存储介质可以是只读存储器(readonlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁带和光存储设备等。

本文所披露的可选实施例中,应该理解到,所揭露的方法、产品(包括但不限于装置、设备等),可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

应当理解的是,本发明并不局限于上面已经描述并在附图中示出的流程及结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1