用户在线状态的识别方法、装置、服务器及存储介质与流程

1.本技术实施例属于计算机视觉技术领域，特别是涉及一种用户在线状态的识别方法、装置、服务器及存储介质。


背景技术：

2.信息技术的发展使得工作、生活、学习中的诸多事务可以通过在线的方式来实现。例如，在线教育、在线会议等等。
3.以在线教育为例，最常见的在线教育形式即是授课老师通过网络向网络另一端的学生讲授课程。这种在线教育形式也被称为“上网课”或“线上授课”。相较于线下课堂中老师和学生面对面时，老师可以快速地观察到每个学生的表情状态从而判断学生是否在认真听讲，在线上授课的时候，由于每个学生的视频窗口存在着较大的差异，如光线明亮程度不同、摄像头分辨率高低有别等等，线上授课的老师无法在较短的时间内准确地判断各个学生的听课状态。
4.现有技术中，部分在线教育软件可以提取学生在听课过程中的面部信息，通过识别该学生当前的表情状态来判断其是否在认真听课。但是，由于个体之间的差异，单一的表情状态根本无法准确地判断学生是否在认真听课，其结果存在较大的误差，这也严重影响了网上授课的效果。


技术实现要素：

5.有鉴于此，本技术实施例提供了一种用户在线状态的识别方法、装置、服务器及存储介质，可以准确地识别用户的在线状态，保证线上活动的实施效果。
6.本技术实施例的第一方面提供了一种用户在线状态的识别方法，应用于服务器，所述方法包括：
7.接收第一用户端的摄像装置对第一用户连续地进行图像采集形成的视频流；
8.从所述视频流中抽取多帧图像帧；
9.针对任一所述图像帧，从所述图像帧中提取包含所述第一用户的双眼图像的图像框，并根据所述图像框对所述第一用户的在线状态进行分类，得到与所述图像帧对应的在线状态分类结果；
10.根据多帧所述图像帧对应的多个在线状态分类结果，确定所述第一用户当前的在线状态。
11.本技术实施例的第二方面提供了一种用户在线状态的识别装置，应用于服务器，所述装置包括：
12.视频流接收模块，用于接收第一用户端的摄像装置对第一用户连续地进行图像采集形成的视频流；
13.图像帧抽取模块，用于从所述视频流中抽取多帧图像帧；
14.图像框提取模块，用于针对任一所述图像帧，从所述图像帧中提取包含所述第一
用户的双眼图像的图像框；
15.分类结果识别模块，用于根据所述图像框对所述第一用户的在线状态进行分类，得到与所述图像帧对应的在线状态分类结果；
16.在线状态确定模块，用于根据多帧所述图像帧对应的多个在线状态分类结果，确定所述第一用户当前的在线状态。
17.本技术实施例的第三方面提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的用户在线状态的识别方法。
18.本技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的用户在线状态的识别方法。
19.本技术实施例的第五方面提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面所述的用户在线状态的识别方法。
20.与现有技术相比，本技术实施例具有以下优点：
21.本技术实施例，在接收到第一用户端的摄像装置对第一用户连续地进行图像采集形成的视频流后，通过从视频流中抽取多帧图像帧，可以针对任一图像帧，从该图像帧中提取出包含第一用户的双眼图像的图像框，从而根据图像框对第一用户的在线状态进行分类，得到与该图像帧对应的在线状态分类结果。然后，根据多帧图像帧对应的多个在线状态分类结果，可以准确地确定第一用户当前的在线状态。本技术实施例基于眼睛提供的丰富的状态信息来对第一用户的在线状态进行识别，相较于现有技术中使用人脸表情的方式进行判断，准确率更高。其次，本技术实施例通过使用在一定时间内抽取的多帧图像帧综合地进行状态识别，相较于使用单一的图像帧进行判断，其结果更有说服力，更具代表性；综合多帧图像帧输出的最终结果也使得出现随机误差的概率大大地降低了。第三，针对第一用户使用的摄像装置之间的差异，直接对图像帧进行处理可能会因为模糊等情况影响识别结果的准确性，本技术实施例通过使用超分辨率重建的方式，能够最大程度地还原第一学生真实的在线状态。
附图说明
22.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是本技术实施例提供的一种用户在线状态的识别方法的示意图；
24.图2是本技术实施例提供的一种用户在线状态的识别方法所适用于的系统架构的示意图；
25.图3是本技术实施例提供的一种用户在线状态的识别方法中s102的一种实现方式的示意图；
26.图4是本技术实施例提供的一种用户在线状态的识别方法中s103的一种实现方式的示意图；
27.图5是本技术实施例提供的一种用户在线状态的识别方法中s105的一种实现方式的示意图；
28.图6是本技术实施例提供的一种用户在线状态的识别方法中对于目标状态的处理方式的示意图；
29.图7是本技术实施例提供的一种用户在线状态的识别装置的示意图；
30.图8是本技术实施例提供的一种服务器的示意图。
具体实施方式
31.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本技术。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
32.下面通过具体实施例来说明本技术的技术方案。
33.参照图1，示出了本技术实施例提供的一种用户在线状态的识别方法的示意图，该方法具体可以包括如下步骤：
34.s101、接收第一用户端的摄像装置对第一用户连续地进行图像采集形成的视频流。
35.本方法可以应用于服务器，即本技术实施例的执行主体可以是服务器。如图2所示，是本技术实施例提供的一种用户在线状态的识别方法所适用于的系统架构的示意图。在图2所示的系统架构中可以包括第一用户端201、第二用户端202以及服务器203。其中，第一用户端201可以包括多个终端设备，例如图2中所示的终端设备201a、终端设备201b、
……
终端设备201n，等等。第二用户端202通常可以仅包括一个终端设备，即图2中所示的终端设备202a。当然，在实际应用中，个别情况下第二用户端202也可以包括多个终端设备，本技术实施例对此不作限定。
36.基于图2所示的系统架构，本方法可以应用于不同的场景中。例如，在线教育场景、在线会议场景等等。在在线教育场景中，第一用户端201可以是听课的学生端，图2中所示的终端设备201a、终端设备201b、
……
终端设备201n可以是多个学生分别使用的用于听课的终端设备，第二用户端202可以是授课的老师端，图2中所示的终端设备202a可以是老师授课时使用的终端设备。在在线会议场景中，第一用户端201可以是参加会议的用户端，图2中所示的终端设备201a、终端设备201b、
……
终端设备201n可以是多个用户出席会议时使用到的终端设备，第二用户端202可以是主持会议的用户端，图2中所示的终端设备202a可以是会议主持者使用的终端设备，本技术实施例对此均不作限定。
37.为了方便理解，本技术实施例以第二用户端202仅包括单个终端设备202a、应用场景为在线教育场景为例进行后续的说明。
38.在在线教育场景中，第一用户端为学生端，第二用户端为老师端。因此，本技术实施例中的第一用户为学生，第二用户为老师。作为第二用户的老师在为第一用户的学生上课时，双方使用的终端设备均需要具备摄像装置。这样，学生才能从第一用户端的终端设备中看到老师授课的全过程，老师也能够从第二用户端的终端设备中看到各个学生听课时的状态。
39.在本技术实施例中，第一用户端的视频流与第二用户端的视频流可以通过服务器实现交互。其中，服务器可以将第二用户端的视频流分发至第一用户端的各个终端设备，第一用户端的每个终端设备所看到的视频图像可以是相同的，即每个学生所看到的视频图像都可以是相同的老师授课的视频图像。服务器在将第一用户端的视频流发送至第二用户端的终端设备时，由于第一用户端的终端设备包括多个，服务器可以将第一用户端的多个终端设备采集的视频流处理成一个视频流，然后显示在第二用户端的终端设备上。本技术实施例所提供的用户在线状态的识别方法即是对服务器对第一用户端的多个视频流的处理方法。
40.在本技术实施例中，第一用户端的摄像装置可以对第一用户进行连续的视频采集形成视频流，第一用户端的终端设备可以将视频流传输至服务器进行处理。例如，学生在听课过程中可以全程开启终端设备的摄像头等摄像装置进行视频拍摄，摄像装置采集得到的视频流将会实时地被传输至服务器。
41.s102、从所述视频流中抽取多帧图像帧。
42.通常，视频流是由连续采集得到的图像帧形成的。在本技术实施例中，为了对第一用户的在线状态进行识别，可以通过对第一用户端采集的视频流进行处理，从中抽取部分图像帧，识别这些图像帧中第一用户的在线状态。在在线教育场景中，第一用户的在线状态可以是学生听课时的状态；在在线会议场景中，第一用户的在线状态可以是参会人参加会议过程中的状态。
43.为了保证在线状态识别的准确性，从视频流中抽取的图像帧不应该只有单独的一帧，而是可以抽取多帧图像帧；并且，各帧图像帧应当具有一定的时间间隔。
44.在本技术实施例的一种可能的实现方式中，如图3所示，s102中从视频流中抽取多帧图像帧具体可以包括如下子步骤s1021-s1022：
45.s1021、从所述视频流中获取预设时长的待抽取视频流。
46.在本技术实施例中，预设时长可以是能够准确评估第一用户的在线状态的一个时长。通常，该时长不宜过短。基于过短的时长内评估得到的在线状态可能并不准确。以在线教育场景为例，根据学生上课时的常规习惯，学生不会短暂地处于一种状态。例如，在学生进入走神的状态后，这种状态基本上会维持1秒钟以上的时间。另一方面，该时长也不宜过长。过长的时间内，第一用户的在线状态可能已经发生了变化。
47.因此，在本技术实施例中，预设时长可以是5秒钟的时长，服务器可以针对每5秒钟的视频流进行处理。
48.s1022、按照预设时间间隔，从所述待抽取视频流中连续抽取多帧所述图像帧。
49.在本技术实施例中，预设时间间隔可以是200ms(毫秒)的间隔，即每200ms抽取一帧图像帧。这样，在5秒钟的时间内，服务器可以从中抽取出25帧图像帧。基于这25帧图像帧，基本能够准确地评估出第一用户当前的在线状态。
50.当然，上述示例是以相等的时间间隔来抽取图像帧。在一些实施例中，服务器从视频流中抽取图像帧也可以按照不等的时间间隔。例如，在前2秒内按照150ms的时间间隔进行抽取，而在后3秒钟按照300ms的时间间隔进行抽取，本技术实施例对此不作限定。
51.通常，由于第一用户的数量众多，多个第一用户使用的终端设备存在差异，且每个第一用户所处的环境也会影响采集到的视频流的图像质量。例如，部分学生使用的终端设
备可以采集到比较清晰的视频流，而部分学生使用的终端设备采集的视频流则比较模糊。
52.为了解决因为视频流质量差异对在线状态识别带来的影响，本技术实施例在从视频流中抽取出多帧图像帧后，还可以分别对多帧图像帧进行超分辨率重建，得到重建后的图像帧。
53.超分辨率重建是指从观测到的低分辨率图像重建出相应的高分辨率图像，超分辨率重建可以通过硬件或软件的方法提高原有图像的分辨率。这样，重建后的图像帧的清晰度可以大于重建前的图像帧的清晰度，有助于服务器准确地对图像帧中的图像进行识别。
54.s103、针对任一所述图像帧，从所述图像帧中提取包含所述第一用户的双眼图像的图像框。
55.通常，眼睛具有丰富的状态信息。在对第一用户的在线状态进行识别时，通过对第一用户的眼睛进行分析，其准确率相较于现有技术中基于第一用户的人脸状态来进行分析，结果可以更准确。
56.因此，在本技术实施例中，可以针对每一帧图像帧分别进行处理，从每一帧图像帧中提取出包含第一用户的双眼图像的图像框。具体地，服务器可以通过图像识别的方式识别出每一帧中第一用户的双眼图像，然后使用图像框框定该双眼图像。
57.在本技术实施例的一种可能的实现方式中，如图4所示，s103中针对任一图像帧，从该图像帧中提取包含第一用户的双眼图像的图像框具体可以包括如下子步骤s1031-s1033：
58.s1031、针对任一重建后的所述图像帧，对所述图像帧进行特征提取，得到所述图像帧的特征图。
59.在本技术实施例中，服务器对图像帧进行特征提取可以是在对图像帧进行超分辨率重建之后，即服务器可以针对超分辨率重建后的图像帧进行特征提取，得到相应的特征图。这样，相较于直接对原始的图像帧进行特征提取，可以避免由于图像模糊而导致的特征提取不准确或不完整的问题。
60.在具体实现中，服务器可以使用检测模块来实现上述特征提取以及后续的双眼图像框的裁剪。
61.在本技术实施例的一种示例中，服务器可以使用yolo检测模型来提取图像帧中的特征。yolo检测模型是一种端到端的目标检测模块，其运行速度快，能够满足本技术实施例中各应用场景下的实时性需求。
62.yolo检测模型的resnet50网络结构可以用于对输入的图片进行特征提取。因此，可以通过在服务器中部署yolo检测模型，在完成对抽取出的图像帧的超分辨率重建后，将重建后的图像帧传输给yolo检测模型，由模型中的resnet50网络结构对图像帧进行特征提取，得到该图像帧的特征图。
63.s1032、在所述特征图中进行双眼目标框预测，得到所述第一用户的双眼坐标。
64.在本技术实施例中，对于提取出的特征图，yolo检测模型可以在特征图中进行双眼目标框预测。这样，可以得到图像帧中的双眼坐标。
65.s1033、根据所述双眼坐标从所述图像帧中裁剪出包含所述第一用户的双眼图像的图像框。
66.yolo检测模型可以基于预测出的双眼坐标，在图像帧中进行抠图处理，从而裁剪
出包含第一用户的双眼图像的图像框。相较于直接对图像帧进行处理，本技术实施例通过裁剪出双眼图像框，可以使得后续的处理仅针对第一用户的双眼图像来进行，降低了其他区域图像对于识别带来的影响。
67.s104、根据所述图像框对所述第一用户的在线状态进行分类，得到与所述图像帧对应的在线状态分类结果。
68.在本技术实施例中，服务器可以根据眼睛包含丰富的状态信息，基于前一步骤裁剪出的双眼图像框进行处理，识别出在采集到该图像帧时，第一用户当前的状态，即在线状态分类结果。
69.在本技术实施例的一种可能的实现方式中，根据图像框对第一用户的在线状态进行分类可以通过多分类模型来实现。该多分类模型可以是通过对多帧样本图像帧进行有监督的分类训练得到的，上述多帧样本图像帧标注有对应的在线分类结果。
70.示例性地，可以预先采集多帧样本图像帧，每帧样本图像帧中均可以包括有人的双眼图像，基于样本图像帧中的双眼图像，可以将其标注为不同的在线分类结果。例如，学生在听课时的不同状态，如走神状态、专心状态、犯困状态等等。然后，服务器可以使用深度学习的方法，对标注有在线分类结果的多帧样本图像帧进行训练，从而得到上述多分类模型。
71.这样，在根据图像框对第一用户的在线状态进行分类时，服务器可以首先将前一步骤裁剪出的图像框转换为矩阵形式的一维向量；然后将该一维向量输入至预先训练的多分类模型，由多分类模型输出与该图像帧对应的在线状态分类结果。
72.在本技术实施例的一种可能的实现方式中，多分类模型可以为由多棵决策树组成的梯度提升决策树(gradient boosting decision tree，gbdt)模型。gbdt是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来作为最终答案。
73.因此，在基于上述梯度提升决策树模型输出图像帧对应的在线状态分类结果时，可以将一维向量输入至该梯度提升决策树模型，得到梯度提升决策树模型中每棵决策树针对图像帧对应的在线状态分类结果的投票结果。其中，每棵决策树对图像帧进行投票的过程与每棵决策树对多帧样本图像帧进行分类训练的过程相同。
74.这样，每棵决策树都可以获得一个投票结果，该投票结果即表示该棵决策树预测的图像帧的在线状态分类结果。可以将得票率最高的投票结果作为该图像帧对应的在线状态分类结果。例如，若梯度提升决策树模型由500棵决策树组成，在对某一图像帧进行投票时，其中100棵决策树投票该图像帧显示的第一用户的状态为犯困状态，另400棵决策树投票该图像帧显示的第一用户的状态为走神状态，由于走神状态的得票率更高，因此梯度提升决策树模型可以将走神状态输出作为该图像帧对应的在线状态分类结果。
75.需要说明的是，服务器从视频流中抽取出的图像帧包括多帧，因此，每一帧图像帧均可以对应有一个在线状态分类结果。
76.s105、根据多帧所述图像帧对应的多个在线状态分类结果，确定所述第一用户当前的在线状态。
77.在本技术实施例中，每帧图像帧对应的在线状态分类结果仅表示第一用户在采集到该图像帧的那个时刻的在线状态，无法准确地反映在一段时间内该第一用户的在线状态。因此，可以根据多帧图像帧对应的多个在线状态分类结果，来确定该第一用户在一段时
间内的在线状态，也就是当前的在线状态。
78.在本技术实施例的一种可能的实现方式中，如图5所示，s105中根据多帧图像帧对应的多个在线状态分类结果，确定第一用户当前的在线状态具体可以包括如下子步骤s1051-s1052：
79.s1051、统计各个类型的所述在线状态分类结果的个数。
80.s1052、将所述个数的最大值对应的所述在线状态分类结果，确定为所述第一用户当前的在线状态。
81.在具体实现中，可以根据不同的在线状态分类结果的个数，来确定第一用户的当前的在线状态。因此，可以首先统计各个类型的在线状态分类结果的个数。
82.例如，对于采集得到的视频流，若从5秒钟内抽取出25帧图像帧，经处理后若有25个在线状态分类结果，每个在线状态分类结果可以具有相应的类型，如走神状态、专心状态、犯困状态等等，可以分别统计每个类型的在线状态分类结果的个数，即统计25帧图像帧中处于走神状态、专心状态和犯困状态的图像帧的个数各有多少。
83.然后，可以将个数最大值对应的在线状态分类结果，确定为第一用户当前的在线状态。
84.例如，在上述示例中，若25帧图像帧中处于走神状态的图像帧的个数为13帧，处于专心状态的图像帧的个数为5帧，处于犯困状态的图像帧的个数为7帧，由于处于走神状态的图像帧数量最多，则可以据此确定第一用户当前的在线状态为走神状态。
85.在本技术实施例的一种可能的实现方式中，如图6所示，在根据多帧图像帧对应的多个在线状态分类结果，确定第一用户当前的在线状态之后，本方法还可以包括如下步骤s106-s107：
86.s106、若所述第一用户当前的在线状态为目标状态，则将所述第一用户的所述目标状态的信息推送至第二用户端的终端设备。
87.在本技术实施例中，目标状态可以是与当前的在线场景不匹配的在线状态。例如，在在线教育场景中，作为学生的第一用户应当保持认真听课的状态，其在线状态应当保持为专心状态，与之不匹配的其他状态均可以被认为是目标状态。例如，走神状态、犯困状态，等等。如果第一用户当前的在线状态为上述目标状态，则有必要告知作为第二用户的老师，由老师来提醒学生认真听课。
88.因此，若第一用户当前的在线状态为目标状态，则服务器可以将第一用户的上述目标状态的信息推送至第二用户端的终端设备。例如，将学生的在线状态推送至老师使用的终端设备。
89.s107、在所述终端设备的显示界面中突出显示所述第一用户的所述目标状态。
90.通常，第二用户使用的终端设备的显示界面中可以显示有各个第一用户的在线图像。
91.例如，老师使用的终端设备中显示有全部学生或部分学生听课的画面。但由于第一用户的人数众多，当第一用户出现前述与当前的在线场景不匹配的在线状态时，老师无法及时地知道该第一用户的状态变化。
92.为了解决该问题，服务器在将第一用户的目标状态的信息推送至第二用户端的终端设备后，可以通过在第二用户端的终端设备中突出显示该第一用户的目标状态的方式，
来提醒第二用户。
93.例如，对于某个听课走神的学生，服务器在识别出该学生的走神状态并将该走神状态的信息推送至老师使用的终端设备后，可以在老师使用的终端设备中以放大该学生的图像画面或其他类似的方式，告知老师该学生当前未认真听课。为了保证学习质量，老师可以基于上述信息，提醒该学生认真听课。
94.在本技术实施例中，在接收到第一用户端的摄像装置传输的视频流后，通过从视频流中抽取多帧图像帧，可以针对任一图像帧，从该图像帧中提取出包含第一用户的双眼图像的图像框，从而根据图像框对第一用户的在线状态进行分类，得到与该图像帧对应的在线状态分类结果。然后，根据多帧图像帧对应的多个在线状态分类结果，可以准确地确定第一用户当前的在线状态。本技术实施例基于眼睛提供的丰富的状态信息来对第一用户的在线状态进行识别，相较于现有技术中使用人脸表情的方式进行判断，准确率更高。其次，本技术实施例通过使用在一定时间内抽取的多帧图像帧综合地进行状态识别，相较于使用单一的图像帧进行判断，其结果更有说服力，更具代表性；综合多帧图像帧输出的最终结果也使得出现随机误差的概率大大地降低了。第三，针对第一用户使用的摄像装置之间的差异，直接对图像帧进行处理可能会因为模糊等情况影响识别结果的准确性，本技术实施例通过使用超分辨率重建的方式，能够最大程度地还原第一学生真实的在线状态。
95.需要说明的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
96.参照图7，示出了本技术实施例提供的一种用户在线状态的识别装置的示意图，该装置具体可以包括视频流接收模块701、图像帧抽取模块702、图像框提取模块703、分类结果识别模块704和在线状态确定模块705，其中：
97.视频流接收模块701，用于接收第一用户端的摄像装置对第一用户连续地进行图像采集形成的视频流；
98.图像帧抽取模块702，用于从所述视频流中抽取多帧图像帧；
99.图像框提取模块703，用于针对任一所述图像帧，从所述图像帧中提取包含所述第一用户的双眼图像的图像框；
100.分类结果识别模块704，用于根据所述图像框对所述第一用户的在线状态进行分类，得到与所述图像帧对应的在线状态分类结果；
101.在线状态确定模块705，用于根据多帧所述图像帧对应的多个在线状态分类结果，确定所述第一用户当前的在线状态。
102.在本技术实施例中，所述图像帧抽取模块702具体可以用于：从所述视频流中获取预设时长的待抽取视频流；按照预设时间间隔，从所述待抽取视频流中连续抽取多帧所述图像帧。
103.在本技术实施例中，所述装置还可以包括超分辨率重建模块，所述超分辨率重建模块具体可以用于：分别对多帧所述图像帧进行超分辨率重建，得到重建后的所述图像帧；其中，重建后的所述图像帧的清晰度大于重建前的所述图像帧的清晰度。
104.在本技术实施例中，所述图像框提取模块703具体可以用于：针对任一重建后的所述图像帧，对所述图像帧进行特征提取，得到所述图像帧的特征图；在所述特征图中进行双
眼目标框预测，得到所述第一用户的双眼坐标；根据所述双眼坐标从所述图像帧中裁剪出包含所述第一用户的双眼图像的图像框。
105.在本技术实施例中，所述分类结果识别模块704具体可以用于：将所述图像框转换为矩阵形式的一维向量；将所述一维向量输入至预先训练的多分类模型，得到由所述多分类模型输出的与所述图像帧对应的在线状态分类结果；其中，所述多分类模型可以通过对多帧样本图像帧进行有监督的分类训练得到，多帧所述样本图像帧标注有对应的所述在线分类结果。
106.在本技术实施例中，所述在线状态确定模块705具体可以用于：统计各个类型的所述在线状态分类结果的个数；将所述个数的最大值对应的所述在线状态分类结果，确定为所述第一用户当前的在线状态。
107.在本技术实施例中，所述装置还可以包括目标状态推送模块和目标状态显示模块，其中：
108.所述目标状态推送模块可以用于：若所述第一用户当前的在线状态为目标状态，则将所述第一用户的所述目标状态的信息推送至第二用户端的终端设备；
109.目标状态显示模块可以用于：在所述终端设备的显示界面中突出显示所述第一用户的所述目标状态；其中，所述目标状态为与当前的在线场景不匹配的在线状态。
110.对于装置实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例部分的说明即可。
111.参照图8，示出了本技术实施例提供的一种服务器的示意图。如图8所示，本技术实施例中的服务器800包括：处理器810、存储器820以及存储在所述存储器820中并可在所述处理器810上运行的计算机程序821。所述处理器810执行所述计算机程序821时实现上述用户在线状态的识别方法各个实施例中的步骤，例如图1所示的步骤s101至s105。或者，所述处理器810执行所述计算机程序821时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块701至705的功能。
112.示例性的，所述计算机程序821可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器820中，并由所述处理器810执行，以完成本技术。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段可以用于描述所述计算机程序821在所述服务器800中的执行过程。例如，所述计算机程序821可以被分割成视频流接收模块、图像帧抽取模块、图像框提取模块、分类结果识别模块和在线状态确定模块，各模块具体功能如下：
113.视频流接收模块，用于接收第一用户端的摄像装置对第一用户连续地进行图像采集形成的视频流；
114.图像帧抽取模块，用于从所述视频流中抽取多帧图像帧；
115.图像框提取模块，用于针对任一所述图像帧，从所述图像帧中提取包含所述第一用户的双眼图像的图像框；
116.分类结果识别模块，用于根据所述图像框对所述第一用户的在线状态进行分类，得到与所述图像帧对应的在线状态分类结果；
117.在线状态确定模块，用于根据多帧所述图像帧对应的多个在线状态分类结果，确定所述第一用户当前的在线状态。
118.所述服务器800可以是前述各个实施例中的服务器，该服务器800可以是云端服务器等计算设备。所述服务器800可包括，但不仅限于，处理器810、存储器820。本领域技术人员可以理解，图8仅仅是服务器800的一种示例，并不构成对服务器800的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器800还可以包括输入输出设备、网络接入设备、总线等。
119.所述处理器810可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
120.所述存储器820可以是所述服务器800的内部存储单元，例如服务器800的硬盘或内存。所述存储器820也可以是所述服务器800的外部存储设备，例如所述服务器800上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等等。进一步地，所述存储器820还可以既包括所述服务器800的内部存储单元也包括外部存储设备。所述存储器820用于存储所述计算机程序821以及所述服务器800所需的其他程序和数据。所述存储器820还可以用于暂时地存储已经输出或者将要输出的数据。
121.本技术实施例还公开了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述各个实施例所述的用户在线状态的识别方法。
122.本技术实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前述各个实施例所述的用户在线状态的识别方法。
123.本技术实施例还公开了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行前述各个实施例所述的用户在线状态的识别方法。
124.本技术实施例中服务器所实现的各项功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述方法实施例中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到装置/服务器的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
125.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其他实施例的相关描述。
126.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
127.在本技术所提供的实施例中，应该理解到，所揭露的装置/服务器和方法，可以通过其他的方式实现。例如，以上所描述的装置/服务器实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
128.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
129.以上所述实施例仅用以说明本技术的技术方案，而非对其限制。尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。