在线课堂的精彩图片筛选方法、装置及系统与流程

本发明涉及在线教育技术领域，具体涉及一种在线课堂的精彩图片筛选方法、装置及系统。

背景技术：

在在线教育领域中，对于判断学生是否认真上课，经常需要去筛选出学生客户端桌面截图上是否包含精彩内容，如判断截图上是否包含视频，浏览器网页或者一些与课堂内容无关的窗口等等。但现有工作基本上都是依靠人工去筛选。这种方法不仅花费大量的人力和时间成本，而且由于图像上的精彩瞬间经常出现在一个较小的区域中，持续的人工筛选工作也很容易出现一些漏检的情况。

技术实现要素：

本发明实施例的目的在于提供一种在线课堂的精彩图片筛选方法、装置及系统，以提高在线课堂精彩图片筛选的效率及准确率，并且不需要人工筛选，节省人力财力，同时可有效地提高学生上课的认真度以及老师的工作效率。

为实现上述目的，第一方面，本发明实施例提供了一种在线课堂的精彩图片筛选方法，包括：

获取学生客户端的待处理课堂截图图片；

对所述待处理课堂截图图片进行预处理、滤波和向量转换处理以得到输入数据，所述输入数据包括图像特征向量；

将所述图像特征向量输入分类器模型进行预测识别，以得到识别结果；

将所述识别结果推送至教师客户端。

作为本申请一种具体的实施方式，获取学生客户端的待处理课堂截图图片之前，所述方法还包括：

获取样本图片；

根据所述样本图片对所述分类器模型进行训练，以得到所述分类器模型的最佳权重参数；

保存所述最佳权重参数。

作为本申请一种具体的实施方式，根据所述样本图片对所述分类器模型进行训练，以得到所述分类器模型的最佳权重参数，具体包括：

通过人工标注方式对所述样本图片进行标注；

对标注后的所述样本图片进行归一化处理，以得到归一化图片；

采用卷积神经网络的卷积层对所述归一化图片进行特征提取，以得到图像卷积特征图；

对所述图像卷积特征图进行转换处理，以得到样本图像特征向量；

将所述样本图像特征向量输入所述分类器模型以实现对所述分类器模型的训练，得到多个权重参数；

从多个权重参数中筛选得出所述最佳权重参数。

作为本申请一种具体的实施方式，对所述待处理课堂截图图片进行预处理、滤波和向量转换处理以得到输入数据，具体包括：

对所述待处理课堂截图图片进行归一化处理；

采用卷积神经网络的卷积层对归一化处理后的所述待处理课堂截图图片进行特征提取，以得到待处理图像卷积特征图；

对所述待处理图像卷积特征图进行转换处理，以得到所述图像特征向量。

作为本申请一种具体的实施方式，将所述图像特征向量输入分类器模型进行预测识别，以得到识别结果，具体包括：

读取并加载所述最佳权重参数至所述分类器中；

采用加载所述最佳权重参数后的所述分类器对所述图像特征向量进行预测识别，以得到所述识别结果。

作为本申请一种具体的实施方式，获取学生客户端的待处理课堂截图图片，具体包括：

通过云存储服务的下载链接获取学生客户端的待处理课堂截图图片。

第二方面，本发明实施例还提供了一种在线课堂的精彩图片筛选装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。

第三方面，本发明实施例还提供了另一种在线课堂的精彩图片筛选装置，包括：

获取模块，用于获取学生客户端的待处理课堂截图图片；

处理模块，用于对所述待处理课堂截图图片进行预处理、滤波和向量转换处理以得到输入数据，所述输入数据包括图像特征向量；

预测识别模块，用于将所述图像特征向量输入分类器模型进行预测识别，以得到识别结果；

推送模块，用于将所述识别结果推送至教师客户端。

进一步地，所述在线课堂的精彩图片筛选装置还包括：

训练模块，用于对所述分类器模型进行训练，具体包括：

获取样本图片；

根据所述样本图片对所述分类器模型进行训练，以得到所述分类器模型的最佳权重参数；

保存所述最佳权重参数。

第四方面，本发明实施例还提供了一种在线课堂的精彩图片筛选系统，包括学生客户端、教师客户端、云存储服务端及在线课堂的精彩图片筛选装置，所述学生客户端、教师客户端和所述在线课堂的精彩图片筛选装置均与所述云存储服务端进行通信，且所述在线课堂的精彩图片筛选装置如上述第二方面或第三方面所述。

实施本发明实施例所提供的在线课堂的精彩图片筛选方法、在线课堂的精彩图片筛选装置及系统，采用计算机视觉和大数据技术，可实时地、准确地对在线课堂精彩图片进行筛选，提高了在线课堂精彩图片筛选的效率，并且不需要人工筛选，节省了人力物力。当其用于在线课堂教育时，可有效的提高学生上课的认真度以及老师的工作效率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1是本发明实施例提供的在线课堂的精彩图片筛选方法的示意流程图；

图2是在线课堂的精彩图片筛选方法的另一示意流程图；

图3是本发明实施例提供的在线课堂的精彩图片筛选系统的结构示意图；

图4是图3中筛选装置的一种结构示意图；

图5是图3中筛选装置的另一种结构示意图；

图6是执行本发明中在线课堂的精彩图片筛选方法的系统架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参考图1和图2，是本发明实施例提供的在线课堂的精彩图片筛选方法，执行该筛选方法的硬件可描述成一种在线课堂的精彩图片筛选装置。如图所示，该精彩图片筛选方法可以包括以下步骤：

s101，对分类器模型进行训练。

需要说明的是，对分类器模型进行训练可理解为模型学习阶段，而后续步骤s102至s104可理解为预测识别阶段。

具体地，步骤s101包括：

(1)获取样本图片

在线课堂的精彩图片筛选装置可以是一台具备数据处理能力的计算机，其通过云存储服务的下载链接获得多张课堂截图以作为样本图片。关于下载链接的生成将在后续实施例中描述，在此不再赘述。

(2)通过人工标注方式对样本图片进行标注

通过人工标注一定规模数量的课堂截图作为模型学习的训练数据集，标注的标签分为两种类别，分别是正常课堂截图和含有精彩瞬间的课堂截图。其中，属于精彩瞬间的课堂截图的标准为截图中含有一系列与上课内容无关的应用窗口，或者一些遮挡住课件内容的广告弹窗

(3)对标注后的样本图片进行归一化处理，以得到归一化图片

图像预处理：对标注后的样本图片进行尺寸归一化，图像的尺寸统一变换到224*224像素大小。

(4)采用卷积神经网络的卷积层对归一化图片进行特征提取，以得到图像卷积特征图

图像滤波：采用大规模图像训练集训练后的卷积神经网络作为本发明实施例的图像特征提取方法。其中，仅使用卷积神经网络的卷积层作为图像滤波器，通过多层卷积计算后可得到一张单通道的图像卷积特征图，该特征图则包含丰富的图像高级特征信息。

(5)对图像卷积特征图进行转换处理，以得到样本图像特征向量

图像特征向量描述：将上述得到的图像卷积特征图转换为特征向量，用来作为该图像的特征向量描述，即得到样本图像特征向量以作为后续输入。

(6)将样本图像特征向量输入分类器模型以实现对分类器模型的训练，得到多个权重参数

(7)从多个权重参数中筛选得出最佳权重参数

(8)保存最佳权重参数

步骤(6)至(8)可做如下描述和说明：

训练分类器模型：将上述生成的特征向量输入到分类器模型中用来训练模型。其中，本发明采用的是一种由多个弱分类器组合成的boosting分类器模型，通过更多的弱分类器可更准确的达到预定的分类效果。

进一步地，判断是否满足指定的迭代次数，例如指定迭代次数为20个epoch，1个epoch指代所有的数据送入模型中并完成模型权重参数调整，当模型的训练没有达到设定迭代次数时，继续输入图像特征调整模型权重参数，如果达到设定的迭代次数则停止训练。模型停止训练后，会根据计算每个epoch的识别准确率的结果筛选出最佳权重参数，并且将最佳权重参数保存到文件中。

s102，获取学生客户端的待处理课堂截图图片。

在线课堂的精彩图片筛选装置通过云存储服务的下载链接获得多张课堂截图图片，将其作为待处理(识别)课堂截图图片。

s103，对待处理课堂截图图片进行预处理滤波和向量转换处理以得到输入数据。其中，输入数据包括图像特征向量。

具体地，在线课堂的精彩图片筛选装置采用步骤s101中的图片归一化、图像滤波和图像特征描述等步骤对待待处理课堂截图图片进行处理以得到输入数据。

s104，将图像图像特征向量输入分类器模型进行预测识别，以得到识别结果。

该步骤采用的是步骤s101中分类器模型，但分类器模型的权重参数不需要再次通过训练调整，而是通过读取上述输出的最佳权重参数文件后，加载到分类器模型中(如图2所示)，以用来预测输入图像的类别。即，将图像图像特征向量输入分类器模型进行预测识别，以得到识别结果。需要说明的是，该步骤输出的图像类别信息是包含精彩内容的预测概率，可以根据预测概率构造一个推荐分数指标用来划分精彩内容图片等级，本发明将预测概率最终映射到了0-5的推荐分数，分数越低则表明越可能是精彩瞬间图片，即在该课堂中就越可能出现学生不认真学习的情况。

进一步地，将上述识别结果通过后端接口更新到数据库中，以便后续客户端显示或者统计筛选结果。

s105，将识别结果推送至教师客户端。

具体地，在线课堂的精彩图片筛选装置将识别结果推送至教师客户端，用来协助教师判定学生是否在认真上课。

实施本实施例中的在线课堂的精彩图片筛选方法，采用计算机视觉和大数据技术，可实时地、准确地对在线课堂精彩图片进行筛选，提高了在线课堂精彩图片筛选的效率，并且不需要人工筛选，节省了人力物力。当其用于在线课堂教育时，可有效的提高学生上课的认真度以及老师的工作效率。

基于相同的发明构思，本发明实施例提供了一种在线课堂的精彩图片筛选系统。如图3所示，该系统包括学生客户端100、教师客户端200、云存储服务端300及在线课堂的精彩图片筛选装置400。所述学生客户端100、教师客户端200和所述在线课堂的精彩图片筛选装置400均与所述云存储服务端300进行通信。需要说明的是，上述学生客户端100和教师客户端200可以但不仅限于是平板电脑或个人电脑等。

进一步地，作为本申请一种具体的实施方式，如图4所示，在线课堂的精彩图片筛选装置400可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述方法实施例部分的方法，在此不再赘述。

应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(centralprocessingunit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备102可以包括键盘等，输出设备103可以包括显示器(lcd等)、扬声器等。

该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。

具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的基于电子报表的数据分析方法的实施例中所描述的实现方式，在此不再赘述。

作为本申请另一种具体的实施方式，如图5所示，在线课堂的精彩图片筛选装置包括：

训练模块10，用于对分类器模型进行训练；

获取模块11，用于获取学生客户端的待处理课堂截图图片；

处理模块12，用于对所述待处理课堂截图图片进行预处理、滤波和向量转换处理以得到输入数据，所述输入数据包括图像特征向量；

预测识别模块13，用于将所述图像特征向量输入分类器模型进行预测识别，以得到识别结果；

推送模块14，用于将所述识别结果推送至教师客户端.

具体地，训练模块10具体用于：

获取样本图片；

根据所述样本图片对所述分类器模型进行训练，以得到所述分类器模型的最佳权重参数；

保存所述最佳权重参数。

进一步地，根据所述样本图片对所述分类器模型进行训练，以得到所述分类器模型的最佳权重参数，具体包括：

通过人工标注方式对所述样本图片进行标注；

对标注后的所述样本图片进行归一化处理，以得到归一化图片；

采用卷积神经网络的卷积层对所述归一化图片进行特征提取，以得到图像卷积特征图；

对所述图像卷积特征图进行转换处理，以得到样本图像特征向量；

将所述样本图像特征向量输入所述分类器模型以实现对所述分类器模型的训练，得到多个权重参数；

从多个权重参数中筛选得出所述最佳权重参数。

具体地，处理模块12具体用于：

对所述待处理课堂截图图片进行归一化处理；

采用卷积神经网络的卷积层对归一化处理后的所述待处理课堂截图图片进行特征提取，以得到待处理图像卷积特征图；

对所述待处理图像卷积特征图进行转换处理，以得到所述图像特征向量。

具体地，预测识别模块13具体用于：

读取并加载所述最佳权重参数至所述分类器中；

采用加载所述最佳权重参数后的所述分类器对所述图像特征向量进行预测识别，以得到所述识别结果。

再请参考图6，作为本申请的另一种实施方式，执行前述方法流程的硬件系统可以包括截图识别任务消息队列管理模块、截图识别任务调度模块和截图数据的用户交互模块三个部分。

其中，截图识别任务消息队列管理模块如下步骤：

首先，客户端定时截图，后台上传截图到对象存储服务器并生成下载地址链接；

其次，将生成的下载链接结合课堂其他相关信息写入到截图信息数据库；

最后，通过mq消息队列系统的生产者发布该课堂的截图类别识别请求消息。

截图识别任务调度模块如下步骤：

首先，通过mq消息队列系统的消费者接受该课堂的截图类别识别请求消息；

进一步地，将接受到的任务请求消息合理的分配到各个任务执行单元中；由于本发明实施例每秒钟需要处理的并发任务较多，因此需要采用分布式异步的任务调度机制去实现任务的实时性，而且部署的每个任务执行单元又都支持多个并发任务的执行；

进一步地，图6中给出了每个任务执行单元执行一个任务时的流程，包含以下几个步骤：

首先，根据任务消息进队顺序初始化实时任务集中的各任务，并确定当前任务队列，选择队列首个任务作为当前需要处理的任务；

进一步地，调用图2中所示精彩瞬间图像识别模型的预测模块，用来识别截图是否包含精彩瞬间内容，并以处理器最高速率执行当前任务，任务的最终执行结果会更新到数据库中；

进一步地，判断当前任务是否结束或者当前任务的截止时间是否到达，如果结果为否，就继续等待当前任务执行完成；反之，就释放当前任务，进一步地，继续判断该任务是否为任务队列的结尾，如果结果为否，就在任务队列中删除当前任务，并选取队列中首个未被执行的任务继续执行；反之，则该任务执行单元的任务调度结束。

截图数据的用户交互模块如下步骤：

首先，通过后台服务接口创建截图数据查询请求；

进一步地，查询到的结果可以显示在当堂课程教师的客户端中，以判断该学生是否存在不认真上课的行为，以便及时督促学生认真学习；

进一步地，查询的结果也可以导入大数据管理平台中，用于前端显示或者生成数据统计报表，以供课程质量监督人员等使用。

需要说明的是，本实施例所提供的筛选系统及其筛选装置的具体工作流程请参考前述方法实施例部分，在此不再赘述。

实施本发明实施例所提供的在线课堂的精彩图片筛选装置及系统，采用计算机视觉和大数据技术，可实时地、准确地对在线课堂精彩图片进行筛选，提高了在线课堂精彩图片筛选的效率，并且不需要人工筛选，节省了人力物力。当其用于在线课堂教育时，可有效的提高学生上课的认真度以及老师的工作效率。且，本申请中通过采用分布式异步计算系统，能够实时处理课堂截图，并且将识别结果返回给客户端，用来判定学生是否在认真上课。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。