一种多模态学习过程状态信息压缩记录方法
【技术领域】
[0001]本发明涉及智能在线学习信息记录方法领域，具体涉及一种多模态学习过程状态信息的数据压缩记录方法。
【背景技术】
[0002]模态指的是采集到的动态数据。多模态即为采集到的多种动态数据。在线学习是一种新的学习方式，也是信息时代背景下的必然产物。与传统教学相比，在线学习的优势在于它多利用计算机和网络进行电子教学资源的学习，从而极大地减轻了教学者的教学授课压力。同时网络教学资源更加丰富，学习者可以根据自身的需求进行广泛的选择。然而当前学习者在参与在线学习时，师生时空分离，一定程度上阻碍了教师对学生学习过程的了解，因此需要对学习者的在线学习过程进行数据采集和记录。在线学习记录可以让教师获取和分析学习者的学习过程数据，了解学习者的学习状态，进而可以实现信息的推送、学生的考评等功能。
[0003]在传统的课堂教学中，教师很大程度上只能依赖对学生的面部表情来获得教学反馈信息，这种方式也被引入到当前的在线学习中。教学者通常利用视频来采集在线学习者的相关信息，但是目前这些基于视频中图像识别和表情识别等的技术还不够成熟和完善，这就导致数据分析不够准确，而且这种基于单一信息源的分析方式始终存在一定的片面性和局限性。随着信息化技术手段的日趋成熟和多样化，多模态多信息源的数据采集和数据分析成为一种可能。因此同步采集在线学习过程中学习者的表情、姿态、眼部状态、视线、声音等多种模态的数据，利用多种信息源来判别和评估学习者在线学习过程中的学习状态，这种多模态学习过程状态信息的记录方法势在必行。
[0004]多源数据的采集和记录导致数据量过于庞大。例如我们在实际测试的过程中发现，仅仅针对一位在线学习者，如果同步采集这些多模态的数据，那么在20分钟的学习过程中就产生了 IG的数据量。如果在线学习者数量增加、学习时间延长，那么这个过程中产生的数据量将会呈现出异常高速的增长态势，这就给数据的采集和记录带来了极大的负担。云存储可以有效地解决大数据量的问题，但是目前对云存储过程中的数据压缩还没有很好的解决方法。
[0005]通过对现有成果的调研，不难发现利用技术手段，通过采集记录学习者学习过程中的表情、姿态、眼睛状态、视线、声音等单模态信息进行学习过程的记录是在线学习的一种必然趋势。但是现有方法采集的信息单一化、片面化、局限化，无法完全准确地反映出学习过程中学习者的整个状态。例如，有些学习者坐姿端正，却表情不自然、面部动作异常，如果仅仅通过姿势识别，就容易误判学习者学习状态良好;有些学习者表情认真，却长时间闭目养神，如果仅仅通过表情识别，也非常容易误判该学习者学习状态良好。因此我们需要引入多模态信息进行组合分析，加强学习过程判别的准确性。
【发明内容】
[0006]本发明提供一种多模态学习过程状态信息的数据压缩记录方法，目的在于在网络学习中，采集学习者的表情、姿态、眼睛状态、视线以及声音等学习过程的数据，并实现对这些数据的有效记录和存储。为了检测各种数据，面对云端大量数据的挑战，本系统提出了基于多模态信息的数据采集方法和海量数据的云记录方法。我们在方法实现中引入云存储，并且针对云存储过程中的数据压缩这一技术难题，提出了一种基于特定事件触发性的数据记录方法，对记录的数据进行了有效的压缩。我们通过对多源数据的记录和上传过程加以控制，只选择性地记录那些能反映学习者学习过程状态异常的关键数据，实现了以最有效率的方式来获得最有意义的数据记录结果。
[0007]本发明提出的多模态学习过程状态信息记录，包括如下步骤:
[0008](I)数据采集:采集学习者的表情数据、姿态数据、人眼状态数据、视线数据、语音数据，存储到本地服务器；
[0009](2)启动单模态信息记录，分析表情数据，判断学习者当前的模态;分析姿态数据，判断学习者当前的模态;分析人眼状态数据，判断学习者当前的模态;分析视线数据，判断学习者当前的模态;分析语音数据，判断学习者当前的模态;本发明中，学习者处于认真听课状态时的表情、姿态、人眼状态、视线、语音作为正常模态；
[0010](3)启动多模态信息记录，将姿势识别与表情识别组合、表情识别与人眼状态识别组合、人眼状态检测与眼动跟踪组合、声音识别与表情识别组合、声音识别与人眼状态检测组合;判别前述五种组合，是否存在任一组的两种模态均为异常，是则转步骤(4)，否则转步骤⑴；
[0011](4)将步骤(3)中组合判别异常时的全部五种模态数据上传至云存储服务器，转步骤⑴。
[0012]进一步的，所述的信息记录方法中，分析表情数据采用的是表情识别方法;分析姿态数据，采用的是姿势识别方法;分析人眼状态数据，采用的是人眼状态识别方法，分析视线数据，采用的是眼动跟踪方法;分析语音数据，采用的是语音分析方法。
[0013]进一步的，所述的信息记录方法中，步骤(3)中包括如下子步骤:
[0014]步骤(3)中包括如下子步骤:
[0015](3.1)姿势识别与表情识别组合，判断姿势识别与表情识别获取的模态是否同时异常;是则转步骤(4)，否则转步骤(3.2);
[0016](3.2)表情识别与人眼状态识别组合，判断表情识别与人眼状态检测获取的模态是否同时异常;是则转步骤(4)，否则转步骤(3.3);
[0017](3.3)人眼状态检测与眼动跟踪组合，判断人眼状态检测与眼动跟踪检测方法获取的模态是否同时异常;是则转步骤(4)，否则转步骤(3.4);
[0018](3.4)声音识别与表情识别组合，判断声音识别与表情识别获取的模态是否同时异常;是则转步骤(4)，否则转步骤(3.5);
[0019](3.5)声音识别与人眼状态检测组合，判断语音特征识别和人眼状态检测获取的模态是否同时异常;是则转步骤(4)，否则转步骤(I)。
[0020]进一步的，所述的信息记录方法中，所述的五种多模态组合识别的顺序是可以交换的，即姿势识别与表情识别组合、表情识别与人眼状态识别组合、人眼状态检测与眼动跟踪组合、声音识别与表情识别组合、声音识别与人眼状态检测组合是不分先后的。
[0021]本发明采集的学习者多模态信息包括:表情数据、姿态数据、人眼状态数据、视线数据、声音数据。本发明中可触发云数据记录的特定事件的判别方法为多模态信息的组合校正方法，包括姿势识别与表情识别组合、表情识别与人眼状态检测组合、人眼状态检测与眼动跟踪组合、声音识别与表情识别组合、声音识别与人眼状态检测组合，只有在上述组合事件发生后，才对相关数据进行传输和记录，有效地减少了误触发，压缩了数据传输带宽和存储空间。本发明实现了一种多模态信息的数据压缩传输方法。需要上传至云的数据采用基于事件触发的选择性记录方法，即根据特定的事件响应来触发是否将该时刻的数据上传至云存储，只需要在云端记录有意义的数据，而并非记录并上传整个学习过程中采集到的所有数据。这样做可以有效地压缩云端记录、传输和存储的数据量。
[0022]相对于现有技术中的方案，本发明的优点是:
[0023]1.本发明中的数据采集采用多模态多数据源的方式进行，数据类型广泛。
[0024]2.本发明中的云数据记录采用基于特定事件触发的选择性记录方法，根据特定的响应来触发数据的云记录，有效地压缩了云记录的数据量，实现了一种多模态信息的压缩传输方法。
[0025]3.本发明中同时结合单模态信息的判别方法和多模态信息的组合校正方法，极大地提高了学习者学习状态判别的准确度和可靠性。
【附图说明】
[0026]图1为本发明的多模态学习过程状态信息记录方法的总体流程示意图；
[0027]图2为本发明的多模态学习过程状态信息记录方法的多模态数据采集示意图；
[0028]图3为本发明的多模态学习过程状态信息记录方法中数据触发条件的判别示意图。
【具体实施方式】
[0029]以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。
[0030]实施例:
[0031]图1为本发明的多模态学习过程状态信息记录方法总体流程示意图。具体方法所需硬件方面，多模态数据采集装置采用摄像头、Tobi1、Kinect、麦克风等，其中Tobii是一种可以检测人眼状态、视线、注视点等的眼动仪器，Kinect是一种可以检测人体姿态、动作等的体感仪器。这些设备的输出端与信息处理装置的输入端连接，数据采集装置安装在显示屏的正上方，以可拍摄到学习者面对显示屏时的正面人脸图像为安装的基准;数据记录装置采用计算机、服务器(本地服务器和云服务器)、局域网等，将采集到的原始数据和格式化后的数据在本地进行分类记录和存储;学习状态的判别依靠编写的程序对数据进行处理和分析来完成;基于特定事件触发所记录的数据上传至云服务器。
[0032]图2为本发明的多模态学习过程状态信息记录方法中多模态数据采集示意图。其中摄像头采集表情数据，Kinect采集姿态数据，Tobii采集眼睛状态数据和视线数据，麦克风采集声音数据。
[0033]图3为本发明的多模态学习过程状态信息记录方法中数据云记录触发条件的判别示意图。通过对采集到的多种信息进行处理，完成表情识别、姿态识别、眼睛睁闭状态识别、视线跟踪识别、声音模型识别等;然后将多模态信息