基于视频分析的课堂学生注意力获取方法、装置及介质与流程

本发明涉及智能教室技术领域，尤其涉及一种基于视频分析的课堂学生注意力获取方法、装置及介质。

背景技术：

课堂是教育教学实施的主要阵地，是教师专业技能发挥的重要场所，也是教师评价一个学生的重要途径。课堂教学分析能让教师对自己教学方式有客观的自我认知，对学生上课情况有客观评价，因此课堂教学分析在提高教师课堂教学能力方面具有不可替代的作用。

传统的教学分析方法是通过观看视频来进行人工分析，这种方法既费时又费力，同时还带有主观的不确定性，因此在如今智慧校园、智慧教育的背景下已经逐渐被淘汰，取而代之的是计算机自动化的分析方法，其中视频分析是适用性最广的一种方法。

教学分析有许多分析内容，其中学生注意力分析是课堂教学分析的一项关键内容；通过分析学生在上课期间的注意力变化，可以有效地为教师提供教学的指导意见。

技术实现要素：

本发明针对背景技术的问题提供一种基于视频分析的课堂学生注意力获取方法、装置及介质，可以通过分析学生上课的视频，实时地检测出学生的注意力，从而得到上课期间学生注意力的变化曲线，有效地为教师提供教学的指导意见。

为了实现上述目的，本发明提出一种基于视频分析的课堂学生注意力获取方法，包括：

s10、提取视频流中的采样帧图像，通过检测多帧图像中的学生人数，统计出勤人数；

s20、提取视频流中的一帧图像，对该帧图像中的正脸和侧脸进行检测，获得正脸个数；

s30、根据所获正脸个数及出勤人数，获得一个用于表示该帧图像中学生注意力的占比；

s40、通过求取多帧图像占比平均值的方式，实时获得课堂学生的注意力。

优选地，步骤s10所述的提取视频流中的采样帧图像，通过检测多帧图像中的学生人数，统计出勤人数，具体包括：

s101、提取视频流中的一帧图像；

s102、对所提取的图像进行学生人数检测，获得该帧图像中的学生人数；

s103、返回执行步骤s101以获取多帧图像中的学生人数；

s104、通过求平均值的方式统计学生出勤人数。

优选地，步骤s101之前，还包括：

s100、设置采样时间间隔。

优选地，步骤s102所述的对所提取的图像进行学生人数检测，具体为：采用adaboost训练后的级联分类器对所提取的图像进行学生人数检测。

优选地，步骤s20所述的对该帧图像中的正脸和侧脸进行检测，具体为：采用adaboost训练后的级联分类器对该帧图像中的正脸和侧脸进行检测。

优选地，步骤s30所述的根据所获正脸个数及出勤人数，获得一个用于表示该帧图像中学生注意力的占比，具体为：正脸个数除以出勤人数所获比值。

优选地，步骤s40所述的通过求取多帧图像占比平均值的方式，实时获得课堂学生的注意力，具体包括：

s401、建立一个缓冲容器；

s402、按采样先后顺序，依次将多帧图像对应的占比插入所建立的缓冲容器中；

s403、通过求取缓冲容器中占比平均值的方式，获得此时学生的注意力值；

s404、当下一次采样获得新的图像占比时，移除缓冲容器中队头数据，将新的图像占比插入队尾；

s405、返回执行步骤s403以实时获得课堂学生的注意力。

优选地，步骤s402与步骤s403之间，还包括：

s406、移除缓冲容器中的最高值与最低值。

本发明还提出一种基于视频分析的课堂学生注意力获取装置，包括：

处理器；

存储器，耦合至所述的处理器并存储有指令，所述的指令在由所述处理器执行实现所述的基于视频分析的课堂学生注意力获取方法的步骤。

本发明还提出一种计算机可读取存储介质，所述计算机可读取存储介质存储有基于视频分析的课堂学生注意力获取方法的应用程序，所述应用程序实现如所述的基于视频分析的课堂学生注意力获取方法的步骤。

本发明提出一种基于视频分析的课堂学生注意力获取方法、装置及介质，采用了视频分析的方法，可以自动化地检测出课堂学生的注意力；可以实时地对视频进行注意力检测，得到上课期间学生的注意力变化曲线，从而为教室的教学质量提供指导意见；相比传统的人工检测或传感器检测，该方法具有效率高，设备简单，部署方便的优点；检测算法采用了机器学习和科学的数据统计，保证了检测结果的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明第一优选实施例中基于视频分析的课堂学生注意力获取方法流程图；

图2为本发明第一优选实施例中步骤s10方法流程图；

图3为本发明第一优选实施例中级联分类器训练方法流程图；

图4为本发明第二优选实施例中基于视频分析的课堂学生注意力获取方法流程图；

图5为本发明第三优选实施例中基于视频分析的课堂学生注意力获取装置结构示意图；

图6为本发明第四优选实施例中计算机可读取存储介质结构示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提出一种基于视频分析的课堂学生注意力获取方法；

本发明第一优选实施例中，如图1所示，包括：

s10、提取视频流中的采样帧图像，通过检测多帧图像中的学生人数，统计出勤人数；如图2所示，具体包括：

s100、设置采样时间间隔；

本发明实施例中，时间间隔的取值需要根据实际需要和性能限制来设定，时间间隔设定得越小，检测准确性越高，但是对性能的要求也越高；因此需要综合考虑衡量来设定；本实施例中设定时间间隔τ＝100ms，即每隔τ＝100ms，

s101、提取视频流中的一帧图像ii；

s102、对所提取的图像ii进行学生人数检测，获得该帧图像ii中的学生人数；

本发明实施例中，采用adaboost训练后的级联分类器，对图像ii进行人头检测，检测出来的人头数量即为当前帧图像ii的学生人数ci，该值存在着一定的误差，有一定的漏检与误检；

本发明实施例中，如图3所示，级联分类器的训练方法如下：

s1021、采集10000张人头正样本图片和20000张非人头负样本图片，并将这些图片的分辨率归一为20*20；

s1022、对样本图片进行基于haar特征或lbp特征的adaboost训练，获得训练后的分类器；

s1023、对训练后的分类器进行验证，如果检测效果达不到要求，则需要重新设置训练参数或修改样本数据，然后重复步骤s1022；

s103、返回执行步骤s101以获取多帧图像中的学生人数；

本发明实施例中，最大检测帧数设定得越大，出勤人数检测结果越准确，但是检测时间也会越久。因此要根据实际情况来进行衡量；本实施例中设定一个最大的检测帧数n＝50，即重复步骤s101直至循环50次，检测了50帧图像中的学生人数；

s104、通过求平均值的方式统计学生出勤人数n表示最大的检测帧数，即n＝50；

s20、提取视频流中的一帧图像i，采用adaboost训练后的级联分类器对该帧图像i中的正脸和侧脸进行检测，获得正脸个数f；

本发明实施例中，采用adaboost训练后的级联分类器对该帧图像中的正脸和侧脸进行检测过程与步骤s102中过程相似，此处不再复述；

s30、根据所获正脸个数f及出勤人数n，获得一个用于表示该帧图像中学生注意力的占比δ;

本发明实施例中，计算脸部个数f与学生出勤人数n的占比用于表示该帧图像中学生的注意力情况；

s40、通过求取多帧图像占比δ平均值的方式，实时获得课堂学生的注意力β。

本发明第二优选实施例中，在第一优选实施例的基础上进一步限定，如图4所示，包括：

s10、提取视频流中的采样帧图像，通过检测多帧图像中的学生人数，统计出勤人数；具体包括：

s100、设置采样时间间隔；

本发明实施例中，时间间隔的取值需要根据实际需要和性能限制来设定，时间间隔设定得越小，检测准确性越高，但是对性能的要求也越高；因此需要综合考虑衡量来设定；本实施例中设定时间间隔τ＝100ms，即每隔τ＝100ms，

s101、提取视频流中的一帧图像ii；

s102、对所提取的图像ii进行学生人数检测，获得该帧图像ii中的学生人数；

本发明实施例中，采用adaboost训练后的级联分类器，对图像ii进行人头检测，检测出来的人头数量即为当前帧图像ii的学生人数ci，该值存在着一定的误差，有一定的漏检与误检；

本发明实施例中，级联分类器的训练方法如下：

s1021、采集10000张人头正样本图片和20000张非人头负样本图片，并将这些图片的分辨率归一为20*20；

s1022、对样本图片进行基于haar特征或lbp特征的adaboost训练，获得训练后的分类器；

s1023、对训练后的分类器进行验证，如果检测效果达不到要求，则需要重新设置训练参数或修改样本数据，然后重复步骤s1022；

s103、返回执行步骤s101以获取多帧图像中的学生人数；

本发明实施例中，最大检测帧数设定得越大，出勤人数检测结果越准确，但是检测时间也会越久。因此要根据实际情况来进行衡量；本实施例中设定一个最大的检测帧数n＝50，即重复步骤s101直至循环50次，检测了50帧图像中的学生人数；

s104、通过求平均值的方式统计学生出勤人数n表示最大的检测帧数，即n＝50；

s20、提取视频流中的一帧图像i，采用adaboost训练后的级联分类器对该帧图像i中的正脸和侧脸进行检测，获得正脸个数f；

本发明实施例中，采用adaboost训练后的级联分类器对该帧图像中的正脸和侧脸进行检测，过程与步骤s102中过程相似，此处不再复述；

s30、根据所获正脸个数f及出勤人数n，获得一个用于表示该帧图像中学生注意力的占比δ；

本发明实施例中，计算脸部个数f与学生出勤人数n的占比用于表示该帧图像中学生的注意力情况；

s40、通过求取多帧图像占比δ平均值的方式，实时获得课堂学生的注意力β，具体包括：

s401、建立一个缓冲容器d＝{δ1，δ2...δ10}；

本发明实施例中，所述的缓冲容器的长度取10；

s402、按采样先后顺序，依次将多帧图像对应的占比插入所建立的缓冲容器中；

本发明实施例中，缓冲容器d是一个长度为10的先进先出的队列，每当有一个新值插入时，会先移除队头成员，再将新值插入队尾；

s406、移除缓冲容器中的最高值与最低值；

本发明实施例中，对缓冲容器d进行统计分析，移除掉缓冲容器d中的最高值和最低值，通过移除最高值与最低值的方式，使计算结果更准去，排除一些异常的干扰项；

s403、通过求取缓冲容器中占比平均值的方式，获得此时学生的注意力值；

本发明实施例中，对缓冲容器d中剩下的成员进行算术平均值计算，计算结果即为学生注意力β，计算公式为此时，n为去除最高值和最低值后剩下成员的个数，本实施例即为8个；

s404、当下一次采样获得新的图像占比时，移除缓冲容器中队头数据，将新的图像占比插入队尾；

s405、返回执行步骤s403以实时获得课堂学生的注意力。

本发明实施例中，通过按照设置的采样时间间隔对视频进行采样，按采样的先后顺序循环采集图像并对图像进行处理，实现了实时地对学生的上课视频进行分析，获取学生注意力的变化曲线，通过该变化曲线，可以为教师的教学质量提出指导意见；

本发明还提出一种基于视频分析的课堂学生注意力获取装置；

本发明第三优选实施例中，如图5所示，包括：

处理器;

存储器，耦合至所述的处理器并存储有指令，所述的指令在由所述处理器执行实现所述的基于视频分析的课堂学生注意力获取方法的步骤，例如：

s10、提取视频流中的采样帧图像，通过检测多帧图像中的学生人数，统计出勤人数；

s20、提取视频流中的一帧图像，对该帧图像中的正脸和侧脸进行检测，获得正脸个数；

s30、根据所获正脸个数及出勤人数，获得一个用于表示该帧图像中学生注意力的占比；

s40、通过求取多帧图像占比平均值的方式，实时获得课堂学生的注意力。

本发明实施例中，具体的实施细节在上文中已经阐述，此处不再复述；

本发明实施例中，所述的基于视频分析的课堂学生注意力获取装置内置处理器，可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(centralprocessingunit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器利用各种接口和线路连接取各个部件，通过运行或执行存储在存储器内的程序或者单元，以及调用存储在存储器内的数据，以执行基于视频分析的课堂学生注意力获取的各种功能和处理数据；

存储器用于存储程序代码和各种数据，安装在基于视频分析的课堂学生注意力获取装置中，并在运行过程中实现高速、自动地完成程序或数据的存取。所述存储器包括只读存储器(read-onlymemory，rom)、随机存储器(randomaccessmemory，ram)、可编程只读存储器(programmableread-onlymemory，prom)、可擦除可编程只读存储器(erasableprogrammableread-onlymemory，eprom)、一次可编程只读存储器(one-timeprogrammableread-onlymemory，otprom)、电子擦除式可复写只读存储器(electrically-erasableprogrammableread-onlymemory，eeprom)、只读光盘(compactdiscread-onlymemory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

本发明还提出一种计算机可读取存储介质；

本发明第四优选实施例中，如图6所示，所述计算机可读取存储介质存储有基于视频分析的课堂学生注意力获取方法的应用程序，所述应用程序实现如所述的基于视频分析的课堂学生注意力获取方法的步骤，例如：

s10、提取视频流中的采样帧图像，通过检测多帧图像中的学生人数，统计出勤人数；

s20、提取视频流中的一帧图像，对该帧图像中的正脸和侧脸进行检测，获得正脸个数；

s30、根据所获正脸个数及出勤人数，获得一个用于表示该帧图像中学生注意力的占比；

s40、通过求取多帧图像占比平均值的方式，实时获得课堂学生的注意力。

本发明实施例中，具体的实施细节在上文中已经阐述，此处不再复述；

在本发明的实施方式的描述中，需要说明的是，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读取介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdr0m)。另外，计算机可读取介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。