行为识别分析方法和系统、计算机可读存储介质与流程

本发明涉及行为识别技术领域，具体而言，涉及一种行为识别分析方法、一种行为识别分析系统和一种计算机可读存储介质。

背景技术：

在相关技术中，为了提高课堂教学质量，有必要对课堂中学生的投入度进行把控，从而使教师可以根据学生的投入度有针对性的调整教学方式和教学速度，最终达到提高课堂效率的目的。而如何掌握课堂中学生的投入度，是当前亟待解决的技术问题。

技术实现要素：

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的第一方面提出一种行为识别分析方法。

本发明的第二方面提出一种行为识别分析系统。

本发明的第三方面提出一种计算机可读存储介质。

有鉴于此，本发明的第一方面提供了一种行为识别分析方法，包括：获取视频信息，将视频信息转换为连续的帧图像；提取帧图像中任一帧图像的图像信息，并通过预设算法确定图像信息中行为人的特征信息；通过gcn算法对图像信息中的特征信息进行分析，以得到行为人的行为信息，并确定行为信息中目标行为信息所占的比例；若目标行为信息比例低于目标行为信息阈值，向预设终端发送提示信息。

在该技术方案中，将视频信息转换为连续的帧图像，并提取帧图像的图像信息。根据图像信息获取图像信息内包含的行为人的行为信息，并根据行为信息中目标行为信息所占的比例判断行为人对目标行为的投入度是否过低，当目标行为信息的比例低于目标行为信息阈值时，则判断行为人投入度过低，相预设终端发送对应的提示信息。

具体地，以应用场景为教室，行为人为学生为例，通过教室内设置的摄像头录制教室内学生上课时的视频，并将视频转换为图像信息。通过机械学习训练的神经网络算法提取图片信息中，每个学生的特征信息，并将特征信息输入到gcn(graphconvolutionalnetwork，图卷积神经网络)算法中，通过算法得到学生的行为信息，gcn算法还可根据每种行为信息的特征信息对其进行分类，得到多种行为模型，并计算每个学生在课堂上每种行为所占的时间比例，进而确定每个学生的学习专注度。如果学生的学习专注度较低，则向教师终端发出对应的提示信息，帮助教师针对学生专注度下降的情况指定教学计划，有针对性的调整教学方式和教学速度，最终达到提高课堂效率的目的。

其中，目标行为可以包括看书、看黑板、书写笔记等，非目标行为可以包括伏案睡觉、玩手机、溜号(长时间看向课本、黑板之外的地方)等。通过分析目标行为在总行为中所占的比例，即可准确得到学生在课堂上的投入度。

本发明通过根据图像信息确定行为人的行为信息，并进一步确定行为信息中特定行为所占的比例，进而对行为人的行为信息进行标记提示，实现了高效的行为识别分析。

另外，本发明提供的上述技术方案中的识别分析方法还可以具有如下附加技术特征：

在上述技术方案中，预设算法包括yolov3算法和hourglass算法，特征信息包括人脸信息、位置信息和骨骼数据；通过预设算法确定图像信息中行为人的特征信息的步骤，具体包括：通过yolov3算法确定图像信息中行为人的人脸信息和位置信息；通过hourglass算法确定行为人的第一骨骼数据。

在该技术方案中，预设算法包括yolov3(一种目标检测算法)算法和hourglass算法，其中，利用yolov3对图像进行目标检测，检测得到各个学生的深层次的特征信息，如人脸信息，以及每个学生在图片中的位置，然后利用hourglass算法一种卷积神经网络的网络结构)的卷积神经网络提取每个学生的第一骨骼数据，结合学生的特征信息和第一骨骼数据对每个学生的行为进行分类，进而得到该学生的行为信息。

在上述任一技术方案中，通过gcn算法对图像信息中的特征信息进行分析的步骤，具体包括：根据位置信息和人脸信息生成身份信息，并通过身份信息标记对应的行为人；将行为人对应的第一骨骼数据输入至gcn算法，以得到行为人的个人行为信息；获取与任一帧图像相邻的相邻帧图像，并确定每一个行为人在相邻帧图像中的第二骨骼数据；将第二骨骼数据输入至gcn算法，以得到全部行为人之间的交互行为信息。

在该技术方案中，通过gcn算法对单帧图像进行分析，可以得到每个行为人的个人行为信息。通过检测每个行为人(学生)的个人行为信息，可有效地获取到不同行为人的个性数据，进而有利于针对不同的行为人特点指定不同的应对方案，如针对不同的学生分别指定不同的教学方案，可有效地提高通过行为分析改善教学质量的效率。而对于复数行为人之间的交互行为，本发明通过hourglass在原图像上进一步提取每一个学生的骨骼。然后将当前图像中的骨骼图与其他相邻帧的骨骼图一起输入到gcn当中，利用gcn对连续图像的骨骼数据进行计算，以预测多个学生之间的交互行为，最终输出全部行为人(学生)之间的交互行为信息。

具体地，以教室场景为例，通过获取的教室图像信息提取每个学生的骨骼数据，并确定学生之间的交互行为，进而通过交互行为对教室内全部学生群体的集体目标行为进行识别。其中，通过交互行为确定的集体行为大致可以分为：课业相关类和与课业无关类。与课业相关的交互行为可以包括：讨论课题、相互请教、借用或共用书籍笔记等，与课业无关的交互行为可以包括：交头接耳、相互打闹等。通过集体目标行为信息所占的比例，可以对课堂中全部出席学生的整体投入度进行准确分析，有利于制定或修改整体教学计划。

在上述任一技术方案中，若个人目标行为信息所占的比例低于第一目标行为信息阈值，和/或集体目标行为信息所占的比例低于第二目标行为信息阈值，确定目标行为信息比例低于目标行为信息阈值。

在该技术方案中，当某个行为人的个人目标行为信息所占的比例低于第一目标行为信息阈值，即某个行为人自身投入度较低，和/或行为人群体的集体目标行为信息比例，即行为人群体投入度较低时，认定符合目标行为信息比例低于目标行为信息阈值，向目标终端发出提示信息进行。

具体地，当发现教室内某个学生的投入度较低，和/或该教室内学生的整体投入度较低时，向任课教师和主任教师持有的终端发出提示信息，提示任课教师或主任教师针对个别学生，或针对学生整体该进教学内容，或做出纪律管理。

在上述任一技术方案中，向预设终端发送提示信息的步骤，具体包括：根据身份信息确定与身份信息对应的目标终端；向目标终端发送身份信息和身份信息对应的提示信息。

在该技术方案中，若某行为人的参与度较低，则根据该行为人的身份信息确定与该行为人相关的目标终端，向目标终端发送与该行为人身份信息对应的提示信息，以实现精准提示。

具体地，以教室中某学生的课堂参与度较低为例，首先确认该学生的身份信息(如姓名、班级、学号等)，并确定该学生对应的目标终端(家长手机、负责办主任的终端)，将该学生的身份信息和参与度数据进行整合，得到与身份信息对应的提示信息(如学生xx，于课堂yy中出现参与度下降的问题)，并发送至家长和负责教师的终端，便于家长和教师掌握学生状态，并针对学生状态指定有针对性的教学方案。

本发明第二方面提供了一种行为识别分析系统，获取单元，用于获取视频信息，将视频信息转换为连续的帧图像；计算单元，用于提取帧图像中任一帧图像的图像信息，并通过预设算法确定图像信息中行为人的特征信息；以及通过gcn算法对图像信息中的特征信息进行分析，以得到行为人的行为信息，并确定行为信息中目标行为信息所占的比例；提示单元，用于若目标行为信息比例低于目标行为信息阈值，向预设终端发送提示信息。在该技术方案中，将视频信息转换为连续的帧图像，并提取帧图像的图像信息。根据图像信息获取图像信息内包含的行为人的行为信息，并根据行为信息中目标行为信息所占的比例判断行为人对目标行为的投入度是否过低，当目标行为信息的比例低于目标行为信息阈值时，则判断行为人投入度过低，相预设终端发送对应的提示信息。

具体地，以应用场景为教室，行为人为学生为例，通过教室内设置的摄像头录制教室内学生上课时的视频，并将视频转换为图像信息。通过机械学习训练的神经网络算法提取图片信息中，每个学生的特征信息，并将特征信息输入到gcn(graphconvolutionalnetwork，图卷积神经网络)算法中，通过算法得到学生的行为信息，gcn算法还可根据每种行为信息的特征信息对其进行分类，得到多种行为模型，并计算每个学生在课堂上每种行为所占的时间比例，进而确定每个学生的学习专注度。如果学生的学习专注度较低，则向教师终端发出对应的提示信息，帮助教师针对学生专注度下降的情况指定教学计划，有针对性的调整教学方式和教学速度，最终达到提高课堂效率的目的。

其中，目标行为可以包括看书、看黑板、书写笔记等，非目标行为可以包括伏案睡觉、玩手机、溜号(长时间看向课本、黑板之外的地方)等。通过分析目标行为在总行为中所占的比例，即可准确得到学生在课堂上的投入度。

在上述技术方案中，预设算法包括yolov3算法和hourglass算法，特征信息包括人脸信息、位置信息和骨骼数据；计算单元具体用于：通过yolov3算法确定图像信息中行为人的人脸信息和位置信息；通过hourglass算法确定行为人的第一骨骼数据。

在该技术方案中，预设算法包括yolov3(一种目标检测算法)算法和hourglass算法，其中，利用yolov3对图像进行目标检测，检测得到各个学生的深层次的特征信息，如人脸信息，以及每个学生在图片中的位置，然后利用hourglass算法一种卷积神经网络的网络结构)的卷积神经网络提取每个学生的第一骨骼数据，结合学生的特征信息和第一骨骼数据对每个学生的行为进行分类，进而得到该学生的行为信息。

在上述任一技术方案中，计算单元用于：根据位置信息和人脸信息生成身份信息，并通过身份信息标记对应的行为人；将行为人对应的第一骨骼数据输入至gcn算法，以得到行为人的个人行为信息；获取与任一帧图像相邻的相邻帧图像，并确定每一个行为人在相邻帧图像中的第二骨骼数据；将第二骨骼数据输入至gcn算法，以得到全部行为人之间的交互行为信息。

在该技术方案中，通过gcn算法对单帧图像进行分析，可以得到每个行为人的个人行为信息。通过检测每个行为人(学生)的个人行为信息，可有效地获取到不同行为人的个性数据，进而有利于针对不同的行为人特点指定不同的应对方案，如针对不同的学生分别指定不同的教学方案，可有效地提高通过行为分析改善教学质量的效率。而对于复数行为人之间的交互行为，本发明通过hourglass在原图像上进一步提取每一个学生的骨骼。然后将当前图像中的骨骼图与其他相邻帧的骨骼图一起输入到gcn当中，利用gcn对连续图像的骨骼数据进行计算，以预测多个学生之间的交互行为，最终输出全部行为人(学生)之间的交互行为信息。

具体地，以教室场景为例，通过获取的教室图像信息提取每个学生的骨骼数据，并确定学生之间的交互行为，进而通过交互行为对教室内全部学生群体的集体目标行为进行识别。其中，通过交互行为确定的集体行为大致可以分为：课业相关类和与课业无关类。与课业相关的交互行为可以包括：讨论课题、相互请教、借用或共用书籍笔记等，与课业无关的交互行为可以包括：交头接耳、相互打闹等。通过集体目标行为信息所占的比例，可以对课堂中全部出席学生的整体投入度进行准确分析，有利于制定或修改整体教学计划。

在上述任一技术方案中，提示单元具体用于：若个人目标行为信息所占的比例低于第一目标行为信息阈值，和/或集体目标行为信息所占的比例低于第二目标行为信息阈值，确定目标行为信息比例低于目标行为信息阈值；以及根据身份信息确定与身份信息对应的目标终端；向目标终端发送身份信息和身份信息对应的提示信息。

在该技术方案中，当某个行为人的个人目标行为信息所占的比例低于第一目标行为信息阈值，即某个行为人自身投入度较低，和/或行为人群体的集体目标行为信息比例，即行为人群体投入度较低时，认定符合目标行为信息比例低于目标行为信息阈值，向目标终端发出提示信息进行。

若某行为人的参与度较低，则根据该行为人的身份信息确定与该行为人相关的目标终端，向目标终端发送与该行为人身份信息对应的提示信息，以实现精准提示。

具体地，当发现教室内某个学生的投入度较低，和/或该教室内学生的整体投入度较低时，向任课教师和主任教师持有的终端发出提示信息，提示任课教师或主任教师针对个别学生，或针对学生整体该进教学内容，或做出纪律管理。

以教室中某学生的课堂参与度较低为例，首先确认该学生的身份信息(如姓名、班级、学号等)，并确定该学生对应的目标终端(家长手机、负责办主任的终端)，将该学生的身份信息和参与度数据进行整合，得到与身份信息对应的提示信息(如学生xx，于课堂yy中出现参与度下降的问题)，并发送至家长和负责教师的终端，便于家长和教师掌握学生状态，并针对学生状态指定有针对性的教学方案。

本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一技术方案中提供的行为识别分析方法。因此，该计算机可读存储介质包括如上述任一技术方案中提供的行为识别分析方法的全部有益效果，在此不再赘述。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了根据本发明的一个实施例的行为识别分析方法的流程图；

图2示出了根据本发明的一个实施例的行为识别分析方法的另一个流程图；

图3示出了根据本发明的一个实施例的行为识别分析方法的再一个流程图；

图4示出了根据本发明的一个实施例的行为识别分析方法的又一个流程图；

图5示出了根据本发明的一个实施例的行为识别分析方法的又一个流程图；

图6示出了根据本发明的一个实施例的行为识别分析系统的结构框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

下面参照图1至图6描述根据本发明一些实施例所述行为识别分析方法、行为识别分析系统和计算机可读存储介质。

实施例一：

如图1所示，在本发明的一个实施例中，提供了一种行为识别分析方法，包括：

步骤s102，获取视频信息，将视频信息转换为连续的帧图像；

步骤s104，提取帧图像中任一帧图像的图像信息，并通过预设算法确定图像信息中行为人的特征信息；

步骤s106，通过gcn算法对图像信息中的特征信息进行分析，以得到行为人的行为信息，并确定行为信息中目标行为信息所占的比例；

步骤s108，若目标行为信息比例低于目标行为信息阈值，向预设终端发送提示信息。

在该实施例中，将视频信息转换为连续的帧图像，并提取帧图像的图像信息。根据图像信息获取图像信息内包含的行为人的行为信息，并根据行为信息中目标行为信息所占的比例判断行为人对目标行为的投入度是否过低，当目标行为信息的比例低于目标行为信息阈值时，则判断行为人投入度过低，相预设终端发送对应的提示信息。

具体地，以应用场景为教室，行为人为学生为例，通过教室内设置的摄像头录制教室内学生上课时的视频，并将视频转换为图像信息。通过机械学习训练的神经网络算法提取图片信息中，每个学生的特征信息，并将特征信息输入到gcn(graphconvolutionalnetwork，图卷积神经网络)算法中，通过算法得到学生的行为信息，gcn算法还可根据每种行为信息的特征信息对其进行分类，得到多种行为模型，并计算每个学生在课堂上每种行为所占的时间比例，进而确定每个学生的学习专注度。如果学生的学习专注度较低，则向教师终端发出对应的提示信息，帮助教师针对学生专注度下降的情况指定教学计划，有针对性的调整教学方式和教学速度，最终达到提高课堂效率的目的。

其中，目标行为可以包括看书、看黑板、书写笔记等，非目标行为可以包括伏案睡觉、玩手机、溜号(长时间看向课本、黑板之外的地方)等。通过分析目标行为在总行为中所占的比例，即可准确得到学生在课堂上的投入度。

本申请通过根据图像信息确定行为人的行为信息，并进一步确定行为信息中特定行为所占的比例，进而对行为人的行为信息进行标记提示，实现了高效的行为识别分析。

在本发明的一个实施例中，预设算法包括yolov3算法和hourglass算法，特征信息包括人脸信息、位置信息和骨骼数据；如图2所示，通过预设算法确定图像信息中行为人的特征信息的步骤，具体包括：

步骤s202，通过yolov3算法确定图像信息中行为人的人脸信息和位置信息；

步骤s204，通过hourglass算法确定行为人的第一骨骼数据。

在该实施例中，预设算法包括yolov3(一种目标检测算法)算法和hourglass算法，其中，利用yolov3对图像进行目标检测，检测得到各个学生的深层次的特征信息，如人脸信息，以及每个学生在图片中的位置，然后利用hourglass算法一种卷积神经网络的网络结构)的卷积神经网络提取每个学生的第一骨骼数据，结合学生的特征信息和第一骨骼数据对每个学生的行为进行分类，进而得到该学生的行为信息。

在本发明的一个实施例中，如图3所示，通过gcn算法对图像信息中的特征信息进行分析的步骤，具体包括：

步骤s302，根据位置信息和人脸信息生成身份信息，并通过身份信息标记对应的行为人；

步骤s304，将行为人对应的第一骨骼数据输入至gcn算法，以得到行为人的个人行为信息；

步骤s306，获取与任一帧图像相邻的相邻帧图像，并确定每一个行为人在相邻帧图像中的第二骨骼数据；

步骤s308，将第二骨骼数据输入至gcn算法，以得到全部行为人之间的交互行为信息。

在该技术方案中，通过gcn算法对单帧图像进行分析，可以得到每个行为人的个人行为信息。通过检测每个行为人(学生)的个人行为信息，可有效地获取到不同行为人的个性数据，进而有利于针对不同的行为人特点指定不同的应对方案，如针对不同的学生分别指定不同的教学方案，可有效地提高通过行为分析改善教学质量的效率。

而对于复数行为人之间的交互行为，本发明通过hourglass在原图像上进一步提取每一个学生的骨骼。然后将当前图像中的骨骼图与其他相邻帧的骨骼图一起输入到gcn当中，利用gcn对连续图像的骨骼数据进行计算，以预测多个学生之间的交互行为，最终输出全部行为人(学生)之间的交互行为信息。

具体地，以教室场景为例，通过获取的教室图像信息提取每个学生的骨骼数据，并确定学生之间的交互行为，进而通过交互行为对教室内全部学生群体的集体目标行为进行识别。其中，通过交互行为确定的集体行为大致可以分为：课业相关类和与课业无关类。与课业相关的交互行为可以包括：讨论课题、相互请教、借用或共用书籍笔记等，与课业无关的交互行为可以包括：交头接耳、相互打闹等。通过集体目标行为信息所占的比例，可以对课堂中全部出席学生的整体投入度进行准确分析，有利于制定或修改整体教学计划。

在本发明的一个实施例中，若个人目标行为信息所占的比例低于第一目标行为信息阈值，和/或集体目标行为信息所占的比例低于第二目标行为信息阈值，确定目标行为信息比例低于目标行为信息阈值。

在该实施例中，当某个行为人的个人目标行为信息所占的比例低于第一目标行为信息阈值，即某个行为人自身投入度较低，和/或行为人群体的集体目标行为信息比例，即行为人群体投入度较低时，认定符合目标行为信息比例低于目标行为信息阈值，向目标终端发出提示信息进行。

具体地，当发现教室内某个学生的投入度较低，和/或该教室内学生的整体投入度较低时，向任课教师和主任教师持有的终端发出提示信息，提示任课教师或主任教师针对个别学生，或针对学生整体该进教学内容，或做出纪律管理。

在本发明的一个实施例中，如图4所示，向预设终端发送提示信息的步骤，具体包括：

步骤s502，根据身份信息确定与身份信息对应的目标终端；

步骤s504，向目标终端发送身份信息和身份信息对应的提示信息。

在该实施例中，若某行为人的参与度较低，则根据该行为人的身份信息确定与该行为人相关的目标终端，向目标终端发送与该行为人身份信息对应的提示信息，以实现精准提示。

具体地，以教室中某学生的课堂参与度较低为例，首先确认该学生的身份信息(如姓名、班级、学号等)，并确定该学生对应的目标终端(家长手机、负责办主任的终端)，将该学生的身份信息和参与度数据进行整合，得到与身份信息对应的提示信息(如学生xx，于课堂yy中出现参与度下降的问题)，并发送至家长和负责教师的终端，便于家长和教师掌握学生状态，并针对学生状态指定有针对性的教学方案。

实施例二：

在本发明的一个实施例中，以应用场景为课堂进行举例，对本发明实施例的行为识别分析方法进行说明。

具体地，由摄像头采集大量的上课视频，将视频转换为大量的连续图像。选取其中的任意一张图像，利用yolov3对图像进行目标检测，检测得到各个学生的深层次的特征以及每个学生在图片中的位置，然后利用提取到的深层次学生特征对每个学生的行为进行分类。与此同时，利用提取到的学生位置信息、图像等得到学生的身份信息以及当前图像中每个学生的骨骼图，然后利用gcn对从当前帧及相邻帧的图像中提取到的骨骼进行计算得到基于时序信息对各个学生行为的分类。其次综合学生的身份信息、通过yolov3获得的学生分类及位置、通过gcn计算得到的学生行为，得到每个学生在课堂上各种行为的时间。然后通过对每个学生在课堂上各种行为的时间进行统计计算，得到学生在上课时的专注度。最后当学生的专注度低于阈值或者整体学生的平均专注度低于阈值时，将学生信息或课程信息发送给家长或老师。

该流程主要包含以下三部分：

第一、通过检测网络提取出课堂上学生的位置及行为类别。

卷积神经网络能够很好的提取出图像的各种特征，并且卷积神经网络的深度越深，就能够提取到越深层次的特征。由此可以将图像中的学生信息从包含课桌等背景信息的图像中提取出来，从而得到每个学生的位置以及其特征，并利用提取到的特征能够预测出每个学生的行为。

yolov3网络模型首先利用一个深层的卷积神经网络提取出图像中的特征，然后利用提取出的深层次特征输入到多尺度的卷积网络中，计算出在图像中不同位置、不同大小的每个学生位置以及每个位置学生当前的行为类别。

第二、通过卷积神经网络提取每个学生的骨骼，并利用gcn进行分类。

通过yolov3能够提取到图像中学生的信息以及其特征，并对每个学生的个人行为进行较为精确的分类。由于yolov3只利用了单帧图像的信息进行检测及分类，因此对于学生的某些行为的检测会有些偏差，而且难以检测出学生间互动的行为，例如：小组讨论、交头接耳等等。为了解决这一问题，本实施例通过hourglass在原图像上进一步提取每一个学生的骨骼。然后将当前图像中的骨骼图与其他相邻帧的骨骼图一起输入到gcn当中，最终输出每个学生当前动作的分类。

第三、识别出每个位置学生的身份信息。

通过yolov3、hourglass以及gcn等网络能够准确地确定每个学生的具体位置以及其当前行为的类别。为了更直观、更方便利用这些检测得到的数据，需要确定每个学生的身份。本实施例通过人脸检测、位置匹配、动作识别等方式来识别出每个学生的身份。本方法首先定位每个学生的位置，然后利用人脸检测进行身份识别，若无法检测到该学生的脸，那么就利用学生的位置信息及行为与数据库中的学生信息进行匹配，从而得到该位置学生的信息。

第四、整合数据，计算投入度。

为了老师以及家长能够更方便的制定一个标准，进而识别出每个学生有没有在课堂上认真听课，本实施例将每个学生的身份信息、行为分类进行整合，并计算出每个学生在课堂上的投入度。当某个学生在课堂上的投入度小于阈值时，本方法就认为该学生在当堂课上没有非常认真的进行听课，当课堂上所有学生投入度的平均值低于阈值时，本方法就认为当堂课的学习质量不达标。当发生这两种情况的时候，本方法会将没有认真听课的学生信息以及课程信息发送给班主任或家长，方便其有针对性的制定学生的学习计划。

具体的流程如图5所示：

步骤s602，通过摄像头采集课堂视频，并转换为图片；

步骤s604，通过目标检测网络提取同相中学生的位置和特征；

步骤s606，识别每个学生的位置；

步骤s608，根据学生特征得到每个学生的单独行为；

步骤s610，通过卷积神经网络提取每个学生的骨骼；

步骤s612，利用gcn根据连续图像中的骨骼预测学生间的交互行为；

步骤s614，整合得到每个学生在课堂上各种行为所占用的时间；

步骤s616，计算出每个学生在课堂上的投入度；

步骤s618，当学生的投入度低于第一阈值，或学生整体的投入度低于第二阈值时，将学生信息及课程信息发送给老师和家长。

在一些实施方式中，利用hourglass来提取图像中学生的骨骼，然后利用gcn对当前帧的学生骨骼以及相邻帧的学生进行计算从而得到学生行为的分类。

在另一些实施方式中，还可以运用openpose(一种人体姿态识别算法)来提取图像中学生的骨骼，然后利用lstm(longshort-termmemory，长期记录网络)对相邻帧中学生的骨骼信息进行行为分类。

经实验发现，openpose的最终学生骨骼检测效果相对于hourglass来说较差。这是因为hourglass是先进行学生位置定位，然后对学生位置的区域的图像进行骨骼提取，受干扰较小，而openpose是直接从原图像中提取学生的骨骼，受到背景等信息的影响较大，因此其检测效果相对差一些。

对于直接采用人脸检测来识别每个学生的身份信息的实施方式，由于其忽略了学生低头写字的情况以及回头小组讨论等情况，在这些情况下，无法检测到人脸，也就无法检测到学生的身份信息。针对这一问题，本实施例在识别学生身份信息时，不仅利用了人脸检测，而且利用了学生的位置以及行为信息，从而能够准确地检测出各种情况下学生的身份信息。

为了检测学生的行为，对于利用openpose在当前帧图像上提取出学生的骨骼，然后直接利用提取到的骨骼进行学生行为的分类的实施方式，这种方法不仅提取骨骼的准确度相对较低，而且并没有利用视频中前后帧的信息，因此难以准确地对学生的行为进行分类。

而本实施例优选通过yolov3进行学生位置的定位集动作分类，其次通过hourglass提取学生的骨骼，然后利用gcn对相邻帧中的骨骼进行动作分类，最后综合yolov3以及gcn中的学生动作信息从而得到对学生行为的分类，这让能够使得对学生行为类型的识别准确度大大提高。

实施例三：

如图6所示，在本发明的一个实施例中，提供了一种行为识别分析系统700，包括获取单元702、计算单元704和提示单元706。获取单元702用于获取视频信息，将视频信息转换为连续的帧图像；计算单元704用于提取帧图像中任一帧图像的图像信息，并通过预设算法确定图像信息中行为人的特征信息；以及通过gcn算法对图像信息中的特征信息进行分析，以得到行为人的行为信息，并确定行为信息中目标行为信息所占的比例；提示单元706用于若目标行为信息比例低于目标行为信息阈值，向预设终端发送提示信息。

在该实施例中，将视频信息转换为连续的帧图像，并提取帧图像的图像信息。根据图像信息获取图像信息内包含的行为人的行为信息，并根据行为信息中目标行为信息所占的比例判断行为人对目标行为的投入度是否过低，当目标行为信息的比例低于目标行为信息阈值时，则判断行为人投入度过低，相预设终端发送对应的提示信息。

具体地，以应用场景为教室，行为人为学生为例，通过教室内设置的摄像头录制教室内学生上课时的视频，并将视频转换为图像信息。通过机械学习训练的神经网络算法提取图片信息中，每个学生的特征信息，并将特征信息输入到gcn(graphconvolutionalnetwork，图卷积神经网络)算法中，通过算法得到学生的行为信息，gcn算法还可根据每种行为信息的特征信息对其进行分类，得到多种行为模型，并计算每个学生在课堂上每种行为所占的时间比例，进而确定每个学生的学习专注度。如果学生的学习专注度较低，则向教师终端发出对应的提示信息，帮助教师针对学生专注度下降的情况指定教学计划，有针对性的调整教学方式和教学速度，最终达到提高课堂效率的目的。

其中，目标行为可以包括看书、看黑板、书写笔记等，非目标行为可以包括伏案睡觉、玩手机、溜号(长时间看向课本、黑板之外的地方)等。通过分析目标行为在总行为中所占的比例，即可准确得到学生在课堂上的投入度。

在本发明的一个实施例中，预设算法包括yolov3算法和hourglass算法，特征信息包括人脸信息、位置信息和骨骼数据；计算单元704具体用于：通过yolov3算法确定图像信息中行为人的人脸信息和位置信息；通过hourglass算法确定行为人的第一骨骼数据。

在该实施例中，预设算法包括yolov3(一种目标检测算法)算法和hourglass算法，其中，利用yolov3对图像进行目标检测，检测得到各个学生的深层次的特征信息，如人脸信息，以及每个学生在图片中的位置，然后利用hourglass算法一种卷积神经网络的网络结构)的卷积神经网络提取每个学生的第一骨骼数据，结合学生的特征信息和第一骨骼数据对每个学生的行为进行分类，进而得到该学生的行为信息。

在本发明的一个实施例中，计算单元704用于：根据位置信息和人脸信息生成身份信息，并通过身份信息标记对应的行为人；将行为人对应的第一骨骼数据输入至gcn算法，以得到行为人的个人行为信息；获取与任一帧图像相邻的相邻帧图像，并确定每一个行为人在相邻帧图像中的第二骨骼数据；将第二骨骼数据输入至gcn算法，以得到全部行为人之间的交互行为信息。

在该实施例中，通过gcn算法对单帧图像进行分析，可以得到每个行为人的个人行为信息。通过检测每个行为人(学生)的个人行为信息，可有效地获取到不同行为人的个性数据，进而有利于针对不同的行为人特点指定不同的应对方案，如针对不同的学生分别指定不同的教学方案，可有效地提高通过行为分析改善教学质量的效率。而对于复数行为人之间的交互行为，本发明通过hourglass在原图像上进一步提取每一个学生的骨骼。然后将当前图像中的骨骼图与其他相邻帧的骨骼图一起输入到gcn当中，利用gcn对连续图像的骨骼数据进行计算，以预测多个学生之间的交互行为，最终输出全部行为人(学生)之间的交互行为信息。

具体地，以教室场景为例，通过获取的教室图像信息提取每个学生的骨骼数据，并确定学生之间的交互行为，进而通过交互行为对教室内全部学生群体的集体目标行为进行识别。其中，通过交互行为确定的集体行为大致可以分为：课业相关类和与课业无关类。与课业相关的交互行为可以包括：讨论课题、相互请教、借用或共用书籍笔记等，与课业无关的交互行为可以包括：交头接耳、相互打闹等。通过集体目标行为信息所占的比例，可以对课堂中全部出席学生的整体投入度进行准确分析，有利于制定或修改整体教学计划。

在本发明的一个实施例中，提示单元706具体用于：若个人目标行为信息所占的比例低于第一目标行为信息阈值，和/或集体目标行为信息所占的比例低于第二目标行为信息阈值，确定目标行为信息比例低于目标行为信息阈值；以及根据身份信息确定与身份信息对应的目标终端；向目标终端发送身份信息和身份信息对应的提示信息。

在该实施例中，当某个行为人的个人目标行为信息所占的比例低于第一目标行为信息阈值，即某个行为人自身投入度较低，和/或行为人群体的集体目标行为信息比例，即行为人群体投入度较低时，认定符合目标行为信息比例低于目标行为信息阈值，向目标终端发出提示信息进行。

若某行为人的参与度较低，则根据该行为人的身份信息确定与该行为人相关的目标终端，向目标终端发送与该行为人身份信息对应的提示信息，以实现精准提示。

具体地，当发现教室内某个学生的投入度较低，和/或该教室内学生的整体投入度较低时，向任课教师和主任教师持有的终端发出提示信息，提示任课教师或主任教师针对个别学生，或针对学生整体该进教学内容，或做出纪律管理。

以教室中某学生的课堂参与度较低为例，首先确认该学生的身份信息(如姓名、班级、学号等)，并确定该学生对应的目标终端(家长手机、负责办主任的终端)，将该学生的身份信息和参与度数据进行整合，得到与身份信息对应的提示信息(如学生xx，于课堂yy中出现参与度下降的问题)，并发送至家长和负责教师的终端，便于家长和教师掌握学生状态，并针对学生状态指定有针对性的教学方案。

实施例四：

在本发明的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例中提供的行为识别分析方法。因此，该计算机可读存储介质包括如上述任一实施例中提供的行为识别分析方法的全部有益效果，在此不再赘述。

本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所述的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本发明中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。