本发明实施例涉及在线教育领域，尤其涉及一种在线学习分析系统及方法。
背景技术：
在线学习是指在由通讯技术、微电脑技术、计算机技术、人工智能、网络技术和多媒体技术等所构成的电子环境中进行的学习，是基于技术的学习。由于在线学习具有不受时间，地点，空间的限制，并且可以实现和现实当中一样的互动，因此应用越来越广泛。
现有的在线学习系统，通过让学生观看直播、回放等方式实现教学，但不具备监督学生学习过程的功能，学生完全可以在直播课的时候做其他的事情，或者在电脑前溜号走神。
让学生在课程中间输入验证码，可以在一定程度上解决学生走神的问题，但是仍然没法实施掌握学生课堂上的学习状态，从而影响了在线学习的学习质量。
因此，如何提高在线学习的学习质量，成为亟需解决的技术问题。
技术实现要素：
本发明实施例解决的技术问题是提供一种在线学习系统和方法，以提高在线学习过程中的学习质量。
为解决上述问题，本发明实施例提供一种在线学习分析系统，包括：
图像采集装置，适于采集用户的图像；
图像处理装置，适于对图像进行处理，获得图像内的用户表情类别中的实际种类，筛选出实际种类为疑惑表情的图像；
疑惑时段确定装置，适于根据疑惑表情的图像，确定疑惑时段；
课程视频确定装置，适于根据疑惑时段，确定疑问课程视频；
信息推送装置，适于将所述疑问课程视频的内容推送至所述用户。
可选地，所述图像处理装置包括：
尺寸调整单元，适于对所述图像进行尺寸调整处理，得到尺寸调整处理后的特征图。
可选地，所述尺寸调整单元利用卷积神经网络对所述图像进行尺寸调整处理。
可选地，所述卷积神经网络通过底层特征图的尺寸和相邻两层间感受野的尺寸逐层累积计算得到所述尺寸调整处理后的特征图的尺寸，确定所述卷积神经网络的层数。
可选地，所述尺寸调整处理后的特征图的尺寸最小为46×46像素点。
可选地，所述底层特征图的尺寸为1×1像素点或者3×3像素点，所述感受野的尺寸为45×45或15×15，所述卷积神经网络的层数为17层-24层。
可选地，所述图像处理装置包括：
人脸关键点检测单元，适于利用关键点检测算法对所述尺寸调整处理后的特征图进行识别，获得人脸关键点坐标和人脸关键点坐标差值；
表情分析单元，适于利用表情识别算法对所述人脸关键点坐标差值和所述尺寸调整处理后的特征图二者中的至少一者进行识别，获得所述用户表情类别中的实际种类。
可选地，所述人脸关键点包括眼部关键点和嘴部关键点。
可选地，所述图像处理装置还包括：
灰度图像获取单元，适于利用灰度处理算法对所述尺寸调整处理后的特征图进行灰度处理，得到灰度图像；
所述人脸关键点检测单元，适于利用所述关键点检测算法对所述灰度图像进行检测，获得人脸关键点坐标和人脸关键点坐标差值；
所述表情分析单元，适于利用所述表情识别算法对所述人脸关键点坐标差值和所述灰度图像二者中的至少一者进行算法识别，获得所述用户表情类别中的实际种类。
可选地，所述图像处理装置还包括：
人脸轮廓检测单元，适于用人脸检测算法对所述尺寸调整处理后的特征图进行检测，得到人脸外接矩形坐标，并根据所述外接矩形坐标得到人脸矩形图像；
所述人脸关键点检测单元，适于利用关键点检测算法对所述人脸矩形图像进行识别，获得人脸关键点坐标和人脸关键点坐标差值；
所述表情分析单元，适于利用表情识别算法对所述人脸关键点坐标差值和所述人脸矩形图像二者中的至少一者进行算法识别，获得所述用户表情类别中的实际种类。
可选地，所述图像处理装置还包括：
瞳孔位置计算单元，适于根据所述人脸关键点的眼部关键点的坐标计算瞳孔中心与眼球中心的相对位置，得到瞳孔位置；
表情验证单元，适于根据所述瞳孔位置，验证所述疑惑表情的图像，得到验证后的疑惑表情的图像；
所述疑惑时段确定装置，适于根据所述验证后的疑惑表情的图像的时刻，确定疑惑时段。
可选地，还包括：
文本解析装置，适于对所述课程视频确定装置所得到的所述疑问课程视频进行解析，得到疑问解析文本；
所述信息推送装置，适于将所述疑问解析文本作为所述疑问课程视频的内容推送至所述用户。
可选地，所述文本解析装置包括：
课程视频图像采集单元，适于采集所述疑问课程视频图像，得到疑问课程图像；
信息解析单元，适于利用预设的字符识别算法解析所述疑问课程图像，得到所述疑问解析文本。
可选地，还包括：
去重装置，适于对所述文本解析装置所得到的所述疑问解析文本中的重复信息进行去重处理；
所述信息推送装置，适于将去重处理后的疑问解析文本作为所述疑问课程视频的内容推送至所述用户。
可选地，还包括：
关联知识收集装置，适于根据所述课程视频确定装置所得到的所述疑问课程视频，收集关联知识；
所述信息推送装置，适于将所述关联知识推送至所述用户。
可选地，所述疑惑时段确定装置，适于统计时间阈值内各表情类别的实际种类的图像数量，并在统计到所述疑惑表情的数量高于其他各实际种类的图像数量时，将所述时间阈值作为疑惑时段。
为解决所述问题，本发明还提供一种在线学习分析方法，包括：
采集用户的图像；
对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，筛选出所述实际种类为疑惑表情的图像；
根据所述疑惑表情的图像的时刻，确定疑惑时段；
根据所述疑惑时段，确定疑问课程视频；
将所述疑问课程视频的内容推送至所述用户。
可选地，所述对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，包括：
对所述图像进行尺寸调整处理，得到尺寸调整处理后的特征图。
可选地，对所述图像进行尺寸调整处理，包括利用卷积神经网络对所述图像进行尺寸调整处理。
可选地，所述卷积神经网络通过底层特征图的尺寸和相邻两层间感受野的尺寸逐层累积计算得到所述尺寸调整处理后的特征图的尺寸，确定所述卷积神经网络的层数。
可选地，所述尺寸调整处理后的特征图的尺寸最小为46×46像素点。
可选地，所述底层特征图的尺寸为1×1像素点或者3×3像素点，所述感受野的尺寸为45×45或15×15，所述卷积神经网络的层数为17层-24层。可选地，对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，还包括：
利用关键点检测算法对所述尺寸调整处理后的特征图进行识别，获得人脸关键点坐标和人脸关键点坐标差值；
利用表情识别算法对所述人脸关键点坐标差值和所述尺寸调整处理后的特征图二者中的至少一者进行识别，获得所述用户表情类别中的实际种类。
可选地，所述人脸关键点包括眼部关键点和嘴部关键点。
可选地，所述关键点检测算法为关键点检测深度学习算法。
可选地，所述关键点检测深度学习算法的激活函数为双曲正切函数加绝对值函数。
可选地，所述表情识别算法为表情识别深度学习算法。
可选地，所述对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，还包括：
利用灰度处理算法对所述尺寸调整处理后的特征图进行灰度处理，得到灰度图像；
所述利用关键点检测算法对所述尺寸调整处理后的特征图进行识别，获得人脸关键点坐标和人脸关键点坐标差值，包括利用关键点检测算法对所述灰度图像进行检测，获得人脸关键点坐标和人脸关键点坐标差值；
所述利用表情识别算法对所述人脸关键点坐标差值和所述尺寸调整处理后的特征图二者中的至少一者进行识别，获得所述用户表情类别中的实际种类，包括利用表情识别算法对所述人脸关键点坐标差值和所述灰度图像二者中的至少一者进行算法识别，获得所述用户表情类别中的实际种类。
可选地，所述对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，还包括：
利用人脸检测算法对所述尺寸调整处理后的特征图进行检测，得到人脸外接矩形坐标，并根据所述外接矩形坐标得到人脸矩形图像；
所述利用关键点检测算法对所述尺寸调整处理后的特征图进行识别，获得人脸关键点坐标和人脸关键点坐标差值，包括利用关键点检测算法对所述人脸矩形图像进行识别，获得人脸关键点坐标和人脸关键点坐标差值；
所述利用表情识别算法对所述人脸关键点坐标差值和所述尺寸调整处理后的特征图二者中的至少一者进行识别，获得所述用户表情类别中的实际种类，包括利用表情识别算法对所述人脸关键点坐标差值和所述人脸矩形图像二者中的至少一者进行算法识别，获得所述用户表情类别中的实际种类。
可选地，所述人脸检测算法为深度学习人脸检测算法。
可选地，所述深度学习人脸检测算法为全卷积网络。
可选地，所述对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，还包括：
根据所述人脸关键点的眼部关键点的坐标计算瞳孔中心与眼球中心的相对位置，得到瞳孔位置；
根据所述瞳孔位置，验证所述疑惑表情的图像，得到验证后的所述疑惑表情的图像；
所述根据所述疑惑表情的图像的时刻，确定疑惑时段，包括根据所述验证后的疑惑表情的图像的时刻，确定疑惑时段。
可选地，在将所述疑问课程视频的内容推送至所述用户之前，还包括：对所确定的所述疑问课程视频进行解析，得到疑问解析文本；
将所述疑问解析文本作为所述疑问课程视频的内容推送至所述用户。
可选地，所述确定疑问解析文本步骤包括：
采集所述疑问课程视频的图像，得到疑问课程图像；
利用预设的字符识别算法解析所述疑问课程图像，得到所述疑问解析文本。
可选地，所述预设的字符识别算法为深度学习光学字符识别算法。
可选地，在将所述疑问课程视频的内容推送至所述用户之前，还包括：
对所述疑问解析文本中的重复信息进行去重处理，
将所述疑问解析文本作为所述疑问课程视频的内容推送至所述用户包括，将去重处理后的疑问解析文本作为所述疑问课程视频的内容推送至所述用户。
可选地，还包括：根据所确定的所述疑问课程视频，收集关联知识，将所述关联知识推送至所述用户。
可选地，所述根据所述疑惑表情的图像的时刻，确定疑惑时段，包括：统计时间阈值时段内各表情类别的实际种类的图像数量，并在统计到所述疑惑表情的数量高于其他各实际种类的图像数量时，将所述时间阈值作为疑惑时段。
与现有技术相比，本发明的技术方案具有以下优点：
采用本发明实施例所提供的在线学习分析系统及方法，在在线学习进行的过程中不断采集用户的图像，并对采集的用户图像进行处理，获取图像中的用户表情类别中的实际种类，从中能够得到实际种类为疑惑表情的图像，进而可以根据疑惑表情的图像来确定疑惑时段，对应所得到的疑惑时段，可以确定疑问课程视频，进而可以将疑问课程视频的相关内容推送给用户。其中，对图像的处理，得到采集的图像中的用户表情类别中的实际种类，筛选出其中实际种类为疑惑表情的图像，也就是在上述图像的采集时刻，用户对所学知识存在疑惑的可能，对应图像的时间就可以得到疑问课程视频的内容，再将疑问课程视频的内容推送给相应的用户，从而不仅可以了解到用户在在线学习期间的学习状态，而且能够准确找到用户疑问的知识点，并将疑问的知识点以推送的方式提供给用户，以保证用户能够在课堂后有针对性的学习，进而提高了在线学习的学习质量。
可选方案中，卷积神经网络通过底层特征图的尺寸和感受野的尺寸逐层累积计算得到尺寸调整处理后的特征图的尺寸，进而确定卷积神经网络的层数，通过感受野倒推的方式确定所需要的卷积神经网络的层数，避免了在获得尺寸调整处理后的特征图时进行过多的运算，提高了处理效率，同时也在满足识别要求的基础上，尽可能减小特征图的尺寸，提高了图像处理的速率，并且可以在同样计算量的情况下，获得最准确的处理效果。
附图说明
图1是本发明实施例一种在线学习分析系统的结构示意图；
图2是本发明实施例另一种在线学习分析系统的结构示意图；
图3是本发明实施例另一种在线学习分析系统的结构示意图；
图4是本发明实施例另一种在线学习分析系统的结构示意图；
图5是本发明实施例另一种在线学习分析系统的结构示意图；
图6是本发明实施例另一种在线学习分析系统的结构示意图；
图7是本发明实施例另一种在线学习分析系统的结构示意图；
图8是本发明实施例另一种在线学习分析系统的结构示意图；
图9是本发明实施例另一种在线学习分析系统的结构示意图；
图10是本发明实施例一种在线学习分析方法的流程图；
图11是本发明实施例另一种在线学习分析方法的流程图；
图12是是本发明实施例另一种在线学习分析方法的流程图；
图13是本发明实施例又一种在线学习分析方法的流程图；
图14是本发明实施例再一种在线学习分析方法的流程图；
图15是本发明实施例另一种在线学习分析方法的流程图；
图16是本发明实施例另一种在线学习分析方法的流程图；
图17是本发明实施例另一种在线学习分析方法的流程图；
图18是本发明实施例另一种在线学习分析方法的流程图。
具体实施方式
由背景技术可知，现有技术的在线学习系统，不能很好地把握用户的课堂状态，也难以保证在线学习的学习质量。
为了能够提高在线学习的学习质量，本发明提供了一种在线学习分析系统和方法，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例中一种在线学习分析系统的结构示意图。如图1所示，本发明实施例所提供的在线学习分析系统，包括图像采集装置11、图像处理装置12、疑惑时段确定装置13、课程视频确定装置14和信息推送装置15，其中：图像采集装置11，适于采集用户的图像；图像处理装置12，适于对所述图像进行处理，获得所述图像内的用户表情类别中的实际种类，筛选出所述实际种类为疑惑表情的图像；疑惑时段确定装置13，适于根据所述疑惑表情的图像的时刻，确定疑惑时段；课程视频确定装置14，适于根据所述疑惑时段，确定疑问课程视频；信息推送装置15，适于将所述疑问课程视频的内容推送至所述用户。
在用户进行在线学习时，图像采集装置11可以实时采集用户的图像，然后将采集到的图像传输至图像处理装置12，以对图像进行处理，获取图像中用户表情类别(比如无表情、开心、疑惑、愤怒等)中的实际种类，当得到图像中用户表情类别中的实际种类为疑惑表情时，将该图像筛选出来，疑惑时段确定装置13根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置14就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，信息推送装置15再将与疑问课程视频相关的内容推送到对应的用户。
在具体实施中，图像采集装置11可以是安装于用户端的设备(比如手机、电脑等)上的摄像头等。
在具体实施中，图像采集装置11具体采集频率可以根据需要设定，比如1秒/次。在本发明一实施例中，可以选择图像采集装置11的采集频率为1秒/次至5秒/次之间的频率。在该频率范围内采集，不仅能够满足图像分析的需要，而且图片数量适中，降低在线学习分析系统的运算量，当然，其他采集频率或者可变的采集频率，只要能够保证分析需要，都是可以的。
可以理解的是，信息推送装置15所推送的疑问课程视频的内容可以有多种形式，例如可以为所摘取的对应时段的视频、视频相关图像、视频解析文本或者与视频所讲述内容相关的其他资料文件。另外，推送至用户的具体方式可以是发送至用户的邮箱，也可以通过相应的客户端或用户界面推送。
以下通过一具体应用场景说明本发明实施例的在线学习系统的工作原理：
在线学习的时间为45分钟，从在线学习系统的开启开始计时，同时，图像采集装置11开始实时采集用户的图像，并传输至图像处理装置12进行分析处理，由图像处理装置12确定图像中的用户表情类别中的实际种类，若有图像经分析得到其中用户表情的实际种类为疑惑表情，则进一步由疑惑时段确定装置13确定该图像的拍摄时间，假设为从计时开始的第5分35秒至第10分所拍摄的多张图像均为疑惑表情图像，则把该时间信息传输至课程视频确定装置14，课程视频确定装置14根据所得到的时间，从全部课程视频中，确定出从计时开始的第5分35秒至第10分的视频，即疑问课程视频，然后信息推送装置15将与疑问课程视频的内容推送给相应用户。
可见，采用本发明实施例的在线学习分析系统，通过对图像进行处理，获得图像内用户表情类别中的实际种类，筛选出实际种类为疑惑表情的图像，进而得到图像的采集时刻，并由采集时刻得到对应的课程视频内容，再将其进行推送，从而不仅可以了解到用户在在线学习期间的学习状态，对学习过程有一个了解和把握，而且能够准确找到用户疑问的知识点，并将有疑问的疑问课程视频以推送的方式提供给用户，以保证用户能够在课堂后进行针对性的学习，进而提高在线学习的学习质量。
请参考图2-图5，图2是本发明实施例中另一种在线学习分析系统的结构示意图；图3是本发明实施例中另一种在线学习分析系统的结构示意图；图4是本发明实施例中另一种在线学习分析系统的结构示意图；图5是本发明实施例中另一种在线学习分析系统的结构示意图。
如图2所示，在一种具体实施例中，图像处理装置包括尺寸调整单元227，适于对图像进行尺寸调整处理，得到尺寸调整处理后的特征图，后续仅需要对尺寸调整处理后的特征图进行相关处理，获取图像内的用户表情类别中的实际种类，进而得出实际种类为疑惑表情的图像。通过对图像的尺寸处理，可以提高后续运算的效率。
具体地，本发明通过卷积神经网络实现对图像的尺寸调整处理，以在满足识别要求的基础上，尽可能减小特征图的尺寸，提高图像处理的速率，并且可以在同样计算量的情况下，获得最准确的处理效果。
经运算得知，尺寸调整处理后的特征图的尺寸最小为46×46像素点，再大也可以，但会造成一定程度的运算量的增加，如果再小，则会影响图像后续检测识别的效果。
具体地，卷积神经网络的层数是通过感受野倒推的方式获得的，也就是首先确定底层特征图的尺寸和相邻两层间感受野的尺寸，然后通过逐层累积的方式，计算得到所要的尺寸调整处理后的特征图的尺寸，这样就可以知道对图像进行处理，要得到尺寸调整处理后的特征图的尺寸，所需要的卷积神经网络的层数，避免了在获得尺寸调整处理后的特征图时进行过多的运算，提高了处理效率。本文所述的感受野是指卷积神经网络每一层输出的特征图(featuremap)上的像素点在原始图像上映射的区域大小。
具体地，可以设定底层特征图的尺寸为1×1像素点或者3×3像素点，感受野的尺寸为45×45或15×15，所述卷积神经网络的层数为17层-24层，以获得较低的运算量。
当然，尺寸调整处理后的特征图的尺寸为46×46像素点也可以通过其他的方式得到，并不限于上文所述的感受野倒推的方式。
具体地，本发明实施例所提供的在线学习分析系统的图像处理装置22还包括人脸关键点检测单元221和表情分析单元222，关键点检测单元221接收尺寸调整单元处理后的尺寸调整处理后的特征图，然后利用关键点检测算法对图像进行识别，获得人脸关键点坐标，并对人脸关键点坐标进行差值运算，得到人脸关键点坐标差值；表情分析单元222利用表情识别算法对人脸关键点坐标差值(比如眼睛上下边缘差值、两嘴角差值)和尺寸调整处理后的特征图中的至少一者进行识别，获得用户表情类别中的实际种类。
从而，图像采集装置21采集图像，经图像处理装置22处理后，得到图像中用户表情类别中的实际种类，并筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置23根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置24就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，信息推送装置25再将与疑问课程视频相关的内容推送到对应的用户。
这样，通过对人脸关键点坐标差值或者尺寸调整处理后的特征图本身二者中至少一者的识别，可以提高识别的准确性，另一方面，在识别过程中，对人脸关键点坐标差值的计算量也大大小于对人脸关键点的计算量，且准确性更高。
在具体实施例中，人脸关键点可以包括眼部关键点和嘴部关键点。在不同表情类别下，人的嘴部(比如：嘴角、上下唇边)和眼部(比如：眼球、眼眶、眉毛)的位置变化明显，对这些关键点的检测和分析能大大提高分析结果的准确性，当然人脸关键点也可以包括人脸其他部位的关键点。
在具体实施例中，所采用的关键点检测算法可以为关键点检测深度学习算法，表情识别算法为表情识别深度学习算法，二者均可以提高分析的准确性。
另一方面，请参考图3，为了提高图像处理的运算速率，本发明所提供的在线学习分析系统的图像处理装置32还包括灰度图像获取单元328，接收尺寸调整单元327输出的尺寸调整处理后的特征图，利用灰度处理算法对尺寸调整处理后的特征图进行灰度处理，得到灰度图像；人脸关键点检测单元321，利用关键点检测算法对灰度图像进行检测，获得人脸关键点坐标和人脸关键点坐标差值；表情分析单元322，利用表情识别算法对人脸关键点坐标差值和灰度图像二者中的至少一者进行算法识别，获得用户表情类别中的实际种类。使用灰度图像进行运算去掉了很多颜色噪声，同时灰度图像只有一个通道，这样大大降低了计算量，使模型运行的速度更快。
从而，图像采集装置31采集图像，经图像处理装置32处理后，得到图像中用户表情类别中的实际种类，并筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置33根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置34就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，信息推送装置35再将与疑问课程视频相关的内容推送到对应的用户。
如图4所示，为提高图片分析的准确性，图像处理装置42还可以包括人脸轮廓检测单元423，以用人脸检测算法对图像采集装置41采集的图像进行检测，得到人脸外接矩形坐标，并根据外接矩形坐标得到人脸矩形图像，进而人脸关键点检测单元421利用关键点检测算法对人脸轮廓检测单元423获得的人脸矩形图像进行识别，获得人脸关键点坐标和人脸关键点坐标差值，而表情分析单元422则利用表情识别算法对人脸关键点坐标差值和人脸矩形图像中的至少一者进行算法识别，获得用户表情类别中的实际种类，在对图像进行处理时，先利用人脸轮廓检测单元423获得人脸矩形图像，然后再对人脸矩形图像进行后续处理，去除了不必要的背景噪声。
图像采集装置41采集的图像，经图像处理装置42处理后，得到图像中用户表情类别中的实际种类，并筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置43根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置44就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，信息推送装置45再将与疑问课程视频相关的内容推送到对应的用户。
为提高检测准确性，人脸检测算法可以为深度学习人脸检测算法，比如卷积神经网络算法。
前述的图像处理的结果都是对图像中用户的表情类别的实际种类的识别，而并没有判断图像中的用户表情是不是用户对在线学习的内容做出的反应，这样如果用户在看到别的信息后表现出了疑惑表情，也会被认为是对学习内容的疑惑，为获取这部分数据，如图5所示，在具体实施中，图像处理装置52还可以包括瞳孔位置计算单元525，接收经过尺寸调整单元527、人脸关键点检测单元521处理得到的人脸关键点的眼部关键点的坐标，计算瞳孔中心与眼球中心的相对位置，得到瞳孔位置，然后表情验证单元526会结合瞳孔位置，验证表情分析单元522所得到的疑惑表情的图像中的疑惑表情是否由于在线学习的内容引起的，得到验证后的疑惑表情的图像，从而进一步提高了判断的准确性，而疑惑时段确定装置53则根据验证后的疑惑表情的图像的时刻确定疑惑时段。
这样，图像采集装置51采集的图像，经图像处理装置52处理后，得到图像中用户表情类别中的实际种类，并筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置53根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置54就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，信息推送装置55再将与疑问课程视频相关的内容推送到对应的用户。
当然前述各个对于图像进行处理的单元，可以在一个在线学习分析系统中根据需要进行组合设置，以满足图像处理的需要。
请参考图6和图7，图6是本发明实施例中另一种在线学习分析系统的结构示意图；图7是本发明实施例中另一种在线学习分析系统的结构示意图。
在具体实施中，本发明实施例中的在线学习分析系统还可以包括：文本解析装置66，将课程视频确定装置64所得到的疑问课程视频进行解析，得到疑问解析文本。
图像采集装置61采集的图像，经图像处理装置62处理后，筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置63根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置64就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，文本解析装置66将疑问课程视频进行解析，得到疑问解析文本，信息推送装置65将所得到的疑问解析文本推送至对应的用户。
采用文本解析装置66将疑问课程视频文件进行解析得到相应文本，并将所得到的疑问解析文本作为疑问课程视频内容推送至用户，可以节约传输资源。
在本发明一实施例中，如图7所示，文本解析装置76可以包括课程视频图像采集单元761和信息解析单元762。其中，课程视频图像采集单元761，适于采集疑问课程视频图像，得到疑问课程图像，信息解析单元762，适于利用预设的字符识别算法解析疑问课程图像，得到疑问解析文本。
图像采集装置71采集的图像，经图像处理装置72处理后，筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置73根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置74就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，文本解析装置76将疑问课程视频进行解析，得到疑问解析文本，信息推送装置75将所得到的疑问解析文本推送至对应的用户。
在具体实施中，可以对确定好的疑问课程视频按照一定的频率采集图像，然后再对图像进行字符识别得到疑问解析文本，通过将视频分解为多个图像的方式进行解析，从而可以大大降低了视频解析的难度。
在具体实施中，预设的字符识别算法可以为光学字符识别(opticalcharacterrecognition，ocr)算法。例如，可以为深度学习ocr算法，该识别算法进一步提高解析文本的准确性。
请参考图8，图8是本发明实施例中另一种在线学习分析系统的结构示意图。
由于经过解析后的文本，可能所涉及的具体知识有重复的，这将直接影响用户的参考感受，亦造成传输资源浪费。为此，在本发明一实施例中，在线学习分析系统还包括去重装置87，以对文本解析装置86所得到的疑问解析文本中的重复信息进行去重处理；信息推送装置85则将去重处理后的疑问解析文本推送至用户。
图像采集装置81采集的图像，经图像处理装置82处理后，筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置83根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置84就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，文本解析装置86将疑问课程视频进行解析，得到疑问解析文本，去重装置87对疑问解析文本中的重复信息进行去重处理，信息推送装置75将去重处理后的疑问解析文本推送至用户。
需要说明的是，本文所述的去重处理可以包含除了简单的去重以外的提炼、归纳等处理，以提高所得到的疑问解析文本的质量。
在具体实施中，除了将疑问课程视频或者疑问解析文本推送至用户，还可以将其他与疑问课程视频所涵盖的知识点相关的其他资料推送至用户，如图9所示，图9是本发明实施例中再一种在线学习分析系统的结构示意图，在本发明一实施例中，在线学习分析系统还包括关联知识收集装置98，适于根据课程视频确定装置94所得到的疑问课程视频，收集关联知识；进而将关联知识推送至用户，这样用户可以得到更多的经过筛选的与用户所欠缺的知识相对应的资料，从而可以进一步提高学习质量。
图像采集装置91采集的图像，经图像处理装置92处理后，筛选出用户表情类别为疑惑表情的图像，疑惑时段确定装置93根据疑惑表情的图像的时刻，确定出用户对课程视频内容的疑惑时段，进而课程视频确定装置94就可以根据疑惑时段，有针对性的确定对用户来讲存在疑问的疑问课程视频，关联知识收集装置98疑问课程视频，收集关联知识，信息推送装置95将关联知识推送至用户。
具体，关联知识的推送可以与疑问课程视频的内容一同推送，也可以分别推送，分别推送时，先后顺序也可以根据需要自行调整。
可以理解的是，文本解析装置、去重装置以及关联知识收集装置98等其中至少两个可以同时设置在在线学习分析系统中。
在具体实施中，为了提高对于疑惑时段确定的准确性，可以确定一个时间阈值，相应地，疑惑时段确定装置93，统计时间阈值内各表情实际种类的图像数量，将进行各实际种类的比较，当疑惑表情的数量高于其他各个实际种类的图像数量时，将该时间阈值作为疑惑时段。
比如，可以设置时间阈值为5分钟，那么随着时间的推移分别对每个5分钟内的各表情的实际种类的图像进行统计，如果疑惑表情的图像数量最高，则将其定为疑惑时段，最终确定下哪几个时间阈值为疑惑时段。
由于统计的是时间阈值内的多个图像中的表情的实际种类，这就大大降低了单个图像所带来的偏差而造成的误差，从而提高了识别的准确性，并且随着时间的推移，不断进行时间阈值范围内的数据的更新，各个图像进行了多次统计，可以降低统计偏差，进一步提高准确性。
除了上述在线学习分析系统，为解决所述问题，本发明实施例还提供了相应的在线学习分析方法。为使本领域技术人员更好地理解和实现，以下参照附图进行详细说明。
图10是本发明实施例中一种在线学习分析方法的流程图。
如图10所示，本发明实施例的在线学习方法可以包括以下步骤：
步骤s11：采集用户的图像。
采集用户的图像，可以为后续的图像处理等步骤提供初始材料，具体采集用户图像的装置可以是安装于用户端的设备(比如手机、电脑等)上的摄像头等等，此步骤随着在线学习的开启而开启。
具体采集频率可以根据需要设定，比如1秒/次，具体可以选择1秒/次至5秒/次之间的频率，在该频率范围内采集，不仅能够满足图像分析的需要，而且图片数量适中，降低在线学习分析系统的运算量，当然，其他采集频率或者可变的采集频率，只要能够保证分析需要，都是可以的。
步骤s12：对图像进行处理，获得图像内的用户表情类别中的实际种类，筛选出实际种类为疑惑表情的图像。
在得到用户的图像后，对图像进行处理，获取图像中用户表情是用户表情类别(比如无表情、开心、疑惑、愤怒等)中的哪一种，得到实际种类，并筛选得到实际种类为疑惑表情的图像。
步骤s13：根据疑惑表情的图像，确定疑惑时段。
基于前述步骤所得到的疑惑表情的图像，确定去疑惑时段。
为了提高对于疑惑时段确定的准确性，具体地，可以确定一个时间阈值，统计时间阈值内各表情实际种类的图像数量，将进行各实际种类的比较，当疑惑表情的数量高于其他各个实际种类的图像数量时，将该时间阈值作为疑惑时段。
比如，可以设置时间阈值为5分钟，那么随着时间的推移分别对每个5分钟内的各表情的实际种类的图像进行统计，如果疑惑表情的图像数量最高，则将其定为疑惑时段，最终确定下哪几个时间阈值为疑惑时段。
由于统计的是时间阈值内的多个图像中的表情的实际种类，这就大大降低了单个图像所带来的偏差而造成的误差，从而提高了识别的准确性，并且随着时间的推移，不断进行时间阈值范围内的数据的更新，各个图像进行了多次统计，可以降低统计偏差，进一步提高准确性。
步骤s14：根据疑惑时段，确定疑问课程视频。
对应疑惑时段，找出课程视频中的疑问课程视频。
步骤s15：将疑问课程视频的内容推送至用户。
推送至用户的具体方式可以是发送至用户的邮箱等方式，具体疑问课程视频的内容可以为对应时段的视频摘取、视频相关图像、视频解析文本或者与视频所讲述内容相关的其他资料文件。
可以看出，本发明所提供的在线学习分析方法，通过对图像的处理，得到用户表情的实际种类为疑惑表情的图像，进而得到图像的拍摄时刻，并由拍摄时刻得到对应的知识内容，再将其进行推送，从而不仅可以了解到用户在在线学习期间的学习状态，对学习过程有一个了解和把握，而且能够准确找到用户疑问的知识点，并将有疑问的知识点以推送的方式提供给用户，以保证用户能够在课堂后进行针对性的学习，进而提高在线学习的学习质量。
图像处理有多种实现方式，在此进行详细说明，其他步骤与前述方法类似，在此不再赘述。
请参考图11-14，图11是本发明实施例另一种在线学习分析方法的流程图；图12是本发明实施例另一种在线学习分析方法的流程图；图13是本发明实施例另一种在线学习分析方法的流程图；图14是本发明实施例另一种在线学习分析方法的流程图。
如图11所示，本发明所提供的在线学习分析方法，经步骤s21：采集用户的图像后，在步骤s22中，对图像进行处理，获得图像内的用户表情类别中的实际种类具体包括以下步骤：
步骤s227：对图像进行尺寸调整处理，得到尺寸调整处理后的特征图。
这样，后续仅需要对尺寸调整处理后的特征图进行相关处理，获取图像内的用户表情类别中的实际种类，进而得出实际种类为疑惑表情的图像。通过对图像的尺寸处理，可以提高后续运算的效率。
具体地，本发明通过卷积神经网络实现对图像的尺寸调整处理，以在满足识别要求的基础上，尽可能减小特征图的尺寸，提高图像处理的速率，并且可以在同样计算量的情况下，获得最准确的处理效果。
经运算得知，尺寸调整处理后的特征图的尺寸最小为46×46像素点，再大也可以，但会造成一定程度的运算量的增加，如果再小，则会影响图像后续检测识别的效果。
具体地，卷积神经网络的层数是通过感受野倒推的方式获得的，也就是首先确定底层特征图的尺寸和相邻两层间感受野的尺寸，然后通过逐层累积的方式，计算得到所要的尺寸调整处理后的特征图的尺寸，这样就可以知道对图像进行处理，要得到尺寸调整处理后的特征图的尺寸，所需要的卷积神经网络的层数，避免了在获得尺寸调整处理后的特征图时进行过多的运算，提高了处理效率。可以设定底层特征图的尺寸为1×1像素点或者3×3像素点，感受野的尺寸为45×45或15×15，所述卷积神经网络的层数为17层-24层，以获得较低的运算量。
当然，尺寸调整处理后的特征图的尺寸为46×46像素点也可以通过其他的方式得到，并不限于上文所述的感受野倒推的方式。
在另一种具体实施例中，本发明所提供的在线学习分析方法，对图像进行处理，获得图像内的用户表情类别中的实际种类具体包括以下步骤：
步骤s221：利用关键点检测算法对图像进行识别，获得人脸关键点坐标，并对人脸关键点坐标进行差值运算，得到人脸关键点坐标差值；
具体地，人脸关键点可以包括眼部关键点和嘴部关键点，这是因为，在不同表情类别下，人的嘴部(比如：嘴角、上下唇边)和眼部(比如：眼球、眼眶、眉毛)的位置变化明显，对这些关键点的检测和分析能大大提高分析结果的准确性，当然人脸关键点也可以包括人脸其他部位的关键点。
步骤s222：利用表情识别算法对人脸关键点坐标差值(比如眼睛上下边缘差值、两嘴角差值)和尺寸调整处理后的特征图二者中的至少一者进行识别，获得用户表情类别中的实际种类。
然后进行疑惑表情的图像筛选，以及执行以下步骤：
步骤s23：根据疑惑表情的图像，确定疑惑时段。
步骤s24：根据疑惑时段，确定疑问课程视频。
步骤s25：将疑问课程视频的内容推送至用户。
完成在线学习的分析和处理。
当然了，所采用的关键点检测算法可以为关键点检测深度学习算法，表情识别算法为表情识别深度学习算法，二者均可以提高分析的准确性。关键点检测深度学习算法的激活函数为双曲正切函数加绝对值函数，这样利于关键点检测深度学习算法对结果进行处理。
这样，通过对人脸关键点坐标差值或者图像本身二者中至少一者的识别，可以提高识别的准确性，另一方面，在识别过程中，对人脸关键点坐标差值的计算量也大大小于对人脸关键点的计算量，且准确性更高。
另一方面，为了提高图像处理的运算速率，本发明所提供的在线学习分析方法，执行完步骤s31采集用户图像后，执行步骤s32中对图像进行处理，获得图像内的用户表情类别中的实际种类的步骤，如图12所示，除包括步骤s327，对所述图像进行尺寸调整处理，得到尺寸调整处理后的特征图，还包括：
步骤s328，利用灰度处理算法对尺寸调整处理后的特征图进行灰度处理，得到灰度图像；
步骤s321，利用关键点检测算法对灰度图像进行检测，获得人脸关键点坐标和人脸关键点坐标差值；
步骤s322，利用表情识别算法对人脸关键点坐标差值和灰度图像二者中的至少一者进行算法识别，获得用户表情类别中的实际种类。
然后进行疑惑表情的图像筛选，以及执行以下步骤：
步骤s33：根据疑惑表情的图像，确定疑惑时段。
步骤s34：根据疑惑时段，确定疑问课程视频。
步骤s35：将疑问课程视频的内容推送至用户。
完成在线学习的分析和处理。
使用灰度图像进行运算去掉了很多颜色噪声，同时灰度图像只有一个通道，这样大大降低了计算量，使模型运行的速度更快。
如图13所示，为提高图片分析的准确性，图像处理步骤s42在接收到经过步骤s41采集用户的图像得到的图像后，并经过步骤s427，对图像进行图像尺寸调整处理，得到尺寸调整处理后的特征图后，再执行：
步骤s423，用人脸检测算法对尺寸调整后的特征图进行检测，得到人脸外接矩形坐标，并根据外接矩形坐标得到人脸矩形图像。
在此种情况下，步骤s421则为：利用关键点检测算法对步骤s423获得的人脸矩形图像进行识别，进而获得人脸关键点坐标和人脸关键点坐标差值，而步骤s422为：利用表情识别算法对人脸关键点坐标差值和人脸矩形图像中的至少一者进行算法识别，获得用户表情类别中的实际种类。
然后进行疑惑表情的图像筛选，以及执行以下步骤：
步骤s43：根据疑惑表情的图像，确定疑惑时段。
步骤s44：根据疑惑时段，确定疑问课程视频。
步骤s45：将疑问课程视频的内容推送至用户。
完成在线学习的分析和处理。
这样，在对图像进行处理时，先获得人脸矩形图像，然后再对人脸矩形图像进行后续处理，去除了不必要的背景噪声。
具体人脸检测算法可以为深度学习人脸检测算法，比如全卷积网络。
但是，前述的图像处理的结果都是对图像中用户的表情类别的实际种类的识别，而并没有判断图像中的用户表情是不是用户对在线学习的内容做出的反应，这样如果用户在看到别的信息后表现出了疑惑表情，也会被认为是对学习内容的疑惑，为获取这部分数据，如图14所示，本发明所提供的在线学习分析方法，经过步骤s51采集用户的图像得到的图像；步骤s527，对图像进行图像尺寸调整处理，得到尺寸调整处理后的特征图，以及步骤s521：利用关键点检测算法对图像进行识别，获得人脸关键点坐标，并对人脸关键点坐标进行差值运算，得到人脸关键点坐标差值后，还执行：
步骤s525：根据人脸关键点的眼部关键点的坐标计算瞳孔中心与眼球中心的相对位置，得到瞳孔位置；
步骤s522：利用表情识别算法对人脸关键点坐标差值和尺寸调整处理后的特征图二者中的至少一者进行识别，获得用户表情类别中的实际种类，并筛选出疑惑表情的图像；
接下来，执行步骤s526：根据瞳孔位置，验证疑惑表情的图像，得到验证后的疑惑表情的图像。
然后进行疑惑表情的图像筛选，以及执行以下步骤：
步骤s53：根据疑惑表情的图像，确定疑惑时段。
步骤s54：根据疑惑时段，确定疑问课程视频。
步骤s55：将疑问课程视频的内容推送至用户。
完成在线学习的分析和处理。
经过该步骤，进一步提高了判断的准确性。
请参考图15和图16，图15是本发明实施例另一种在线学习分析方法的流程图；图16是是本发明实施例另一种在线学习分析方法的流程图。
在另一种具体实施方式中，本发明所提供的在线学习分析方法除了以下步骤：
步骤s61，采集用户的图像；
步骤s62，对图像进行处理，获得图像内用户表情类别中的实际种类，筛选出实际种类为疑惑表情的图像；
步骤s63：根据疑惑表情的图像，确定疑惑时段；
步骤s64：根据疑惑时段，确定疑问课程视频；
还包括：
步骤s66：对根据疑惑时段，确定疑问课程视频步骤s64所得到的疑问课程视频进行解析，得到疑问解析文本：
步骤s65：将疑问解析文本作为疑问课程视频的内容推送至用户。
由于比较简单的推送的方式可以是直接发送至用户的邮箱，而直接得到的视频文件较大，且用户可以在在线学习系统上直接获得课程视频，因此，直接推送视频文件会造成资源的浪费，为此，本发明所提供的在线学习分析方法设置文本解析步骤s66，将疑问课程视频文件进行解析得到相应文本，再将文本推送至用户
具体地，如图16所示，本发明所提供的在线学习分析方法除了以下步骤：
步骤s71，采集用户的图像；
步骤s72，对图像进行处理，获得图像内用户表情类别中的实际种类，筛选出实际种类为疑惑表情的图像；
步骤s73：根据疑惑表情的图像，确定疑惑时段；
步骤s74：根据疑惑时段，确定疑问课程视频；
还包括：文本解析步骤s76；
步骤s65：将疑问解析文本作为疑问课程视频的内容推送至用户。
其中，文本解析步骤s76具体包括：
步骤s761：采集疑问课程视频图像，得到疑问课程图像；
步骤s762：利用预设的字符识别算法解析疑问课程图像，得到疑问解析文本。
即对确定好的疑问课程视频按照一定的频率采集图像，然后再对图像进行字符识别得到疑问解析文本，通过将视频分解为多个图像的方式进行解析，这大大降低了视频解析的难度。
当然，预设的字符识别算法可以为深度学习光学字符识别算法(ocr算法)，该识别算法进一步提高解析文本的准确性。
请参考图17，图17是本发明实施例又一种在线学习分析方法的流程图。
由于经过解析后的文本，可能所涉及的具体知识有重复的，这将直接影响用户的参考感受，为此，本发明所提供的在线学习分析方法，除了以下步骤：
步骤s81，采集用户的图像；
步骤s82，对图像进行处理，获得图像内用户表情类别中的实际种类，筛选出实际种类为疑惑表情的图像；
步骤s83：根据疑惑表情的图像，确定疑惑时段；
步骤s84：根据疑惑时段，确定疑问课程视频；
步骤s86：根据疑问课程视频，确定疑问解析文本；
还包括：
步骤s87：对文本解析步骤s86所得到的疑问解析文本中的重复信息进行去重处理；
此时，信息推送步骤s85则为将去重处理后的疑问解析文本作为疑问课程视频的内容推送至用户。
当然，本文所述的去重处理可以包含除了简单的去重以外的提炼、归纳等处理，以提高所得到的疑问解析文本的质量。
除了将疑问课程视频或者疑问解析文本推送至用户，还可以将其他与疑问课程视频所涵盖的知识点相关的其他资料推送至用户，如图18所示，图18是本发明实施例再一种在线学习分析方法的流程图，本发明所提供的在线学习分析方法，除了包括：
步骤s91，采集用户的图像；
步骤s92，对图像进行处理，获得图像内用户表情类别中的实际种类，筛选出实际种类为疑惑表情的图像；
步骤s93：根据疑惑表情的图像，确定疑惑时段；
步骤s94：根据疑惑时段，确定疑问课程视频；
步骤s95：将所述疑问课程视频的内容推送至所述用户。
还包括步骤s98：根据步骤s94所得到的疑问课程视频，收集关联知识，将关联知识推送至用户，具体推送时可以与疑问课程视频的内容一同推送，也可以分别推送这样用户可以得到更多的经过筛选的，与用户所欠缺的知识相对应的资料，以进一步提高学习质量。
虽然本发明实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。