一种直播教学中用户信息确定与反馈的方法及装置与流程

本申请实施例涉及电子设备技术领域，尤其涉及一种直播教学中用户信息确定与反馈的方法及装置。

背景技术：

在现有的直播教学中，通过教师端获取老师的实时画面并将老师的实时画面发送至云端服务器，云端服务器再将接收到的老师的实时画面发送至各个学生端以使得所有的学生均可观看老师的直播画面，进而实现直播教学。

目前存在的直播方案，一般是单向沟通，都是通过老师不断的输出信息至各个学生端以完成教学任务，学生如果进行问题的反馈只能通过留言板等方式来进行问题反馈。在这样的条件下，使得教师不能实时了解到学生在直播教学下的学习状态，也不能够实现有效、及时的进行信息沟通与交流，使得教师与学生之间的沟通效率大大折扣，从而降低了直播教学的效果。

技术实现要素：

本申请实施例提供一种直播教学中用户信息确定与反馈的方法、装置、电子设备及存储介质，其能够使得教师端实时接收学生的用户画面数据以及桌面画面数据，并根据用户画面数据以及桌面画面数据提供反馈信息至学生端，大大提升了老师与学生之间的沟通效率。

在第一方面，本申请实施例提供了一种直播教学中用户信息确定与反馈的方法，包括：

接收第一摄像头采集的用户画面数据；

接收第二摄像头采集的桌面画面数据，根据桌面画面数据确定用户指出的待反馈题目；

将用户画面数据以及待反馈题目发送至教师端，用于教师端生成反馈信息，反馈信息包括用户提示信息和/或题目解析信息；

接收教师端发送的反馈信息并进行显示。

进一步的，根据桌面画面数据确定用户指出的待反馈题目，包括：

对桌面画面数据进行图像识别，确定用户手部位置；

根据用户手部位置确定框选区域；

对框选区域进行光学字符识别确定待反馈题目。

进一步的，教师端生成反馈信息，包括：

教师端根据检测到的屏幕信息录入数据生成题目解析信息。

进一步的，教师端生成反馈信息，包括：

教师端接收教师语音数据，根据教师语音数据生成用户提示信息；或，教师端接收屏幕点击指令，根据屏幕点击指令生成用户提示信息。

进一步的，用户画面数据包括用户头部画面，在接收第二摄像头采集的桌面画面数据之前，还包括：

根据用户头部画面确定用户是否满足预设动作，如果是，则控制开启第二摄像头进行数据采集，如果否，则控制第二摄像头处于待机状态。

进一步的，根据用户头部画面确定用户是否满足预设动作，包括：

将用户头部画面和预设动作模型进行比对，确定用户是否满足预设动作；或，

根据用户头部画面确定用户头部的倾斜角度，根据倾斜角度确定用户是否满足预设动作；或，

根据用户头部画面确定用户视线方位，根据视线方位确定用户是否满足预设动作。

进一步的，第一摄像头与第二摄像头以不同拍摄角度设置于电子设备中，在接收第一摄像头采集的用户画面数据之前，还包括：

当检测到课程辅导模块被触发时，控制开启第一摄像头和第二摄像头；

根据接收到的课程内容操作指令查找并显示对应的课程直播内容。

在第二方面，本申请实施例提供了一种直播教学中用户信息确定与反馈的装置，包括：

第一接收模块：用于接收第一摄像头采集的用户画面数据；

第二接收模块：用于接收第二摄像头采集的桌面画面数据，根据桌面画面数据确定用户指出的待反馈题目；

反馈模块：用于将用户画面数据以及待反馈题目发送至教师端，用于教师端生成反馈信息，反馈信息包括用户提示信息和/或题目解析信息；

显示模块：用于接收教师端发送的反馈信息并进行显示。

在第三方面，本申请实施例提供了一种电子设备，包括：

存储器以及一个或多个处理器；

存储器，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面的一种直播教学中用户信息确定与反馈的方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行如第一方面的一种直播教学中用户信息确定与反馈的方法。

本申请实施例通过将双摄像头采集处理得到用户画面数据和待反馈题目，将其发送至教师端，并接收教师端根据用户画面数据和待反馈题目生成的反馈信息，实现了学生与教师之间的沟通互动，并且也实现了在监督学生学习状态的同时完成作业、难题的实时辅导，进一步提升直播学习的效果。

附图说明

图1是本申请实施例提供的一种直播教学中用户信息确定与反馈的方法的流程图；

图2是本申请实施例提供的用户画面数据的显示示意图；

图3是本申请实施例提供的头部倾斜的示意图；

图4是本申请实施例提供的视线倾斜的示意图；

图5是本申请实施例提供的桌面画面数据的显示示意图；

图6是本申请实施例提供的根据桌面画面数据确定用户指出的待反馈题目的流程图；

图7是本申请实施例提供的根据用户手部位置确定框选区域的示意图；

图8是本申请实施例提供的教师端的显示界面示意图；

图9是本申请实施例提供的摄像头开启的流程图；

图10是本申请实施例提供的直播教学中用户信息确定与反馈的装置的结构示意图；

图11是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

本申请提供的直播教学中用户信息确定与反馈的方法通过采用双摄像头的设计，使得在能够了解到用户面部及动作行为的同时，通过另一摄像头捕捉到学生通过手指或者笔在桌面上的操作，并将采集处理后的信息发送至教师端以使得教师端针对上述信息进行反馈。大大提升了教师端与学生端的沟通效率，提高直播效果。而为了进行教师端与学生端的沟通交互，目前大多数的做法是提供弹幕或者通过留言板进行留言的方式，这种方式没有办法做到实时监控与沟通；且大多数情况下，都是需要老师课后收集学生在留言板或者弹幕上弹出的信息然后在下一堂课进行讲解；从某种程度上来说，增加了教师端的压力，因为其需要课后进行数据收集，也使得学生没有能够在第一时间将自己的疑惑进行解答，不利于直播教学效果。并且在一般的直播中，学生可以看到老师，但是老师并没有办法直接观察到学生在直播中的表现；即使学生注意力不集中，老师也没有办法及时提醒。基于此，提供本申请实施例的直播教学中用户信息确定与反馈的方法，来提升直播教学过程中，学生与老师之间实时沟通互动的问题，提升了直播教学的效果。

图1是本申请实施例提供的一种直播教学中用户信息确定与反馈的方法的流程图，本实施例中提供的一种直播教学中用户信息确定与反馈的方法可以由一种直播教学中用户信息确定与反馈的设备执行，该一种直播教学中用户信息确定与反馈的设备可以通过软件和/或硬件的方式实现，该一种直播教学中用户信息确定与反馈的设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该一种直播教学中用户信息确定与反馈的设备可以是电脑，手机，平板等。

下述以平板为执行一种直播教学中用户信息确定与反馈的方法的设备为例，进行描述。参照图1，该一种直播教学中用户信息确定与反馈的方法具体包括：

s101：接收第一摄像头采集的用户画面数据。

本申请实施例的直播教学中用户信息确定与反馈的方法主要用于直播教学中用户信息确定与反馈的设备中，该设备为学生的平板，通过平板处设置的第一摄像头采集用户画面数据，如图2所示，图2是本申请实施例提供的用户画面数据的显示示意图，用户画面数据包括学生的面部表情、坐姿以及头部动作等信息；通过第一摄像头可以使得老师观察到学生实时的听课状态。比如在直播听课过程中，如果遇到相对较难的题目，学生会出现皱眉沉思的表情；当出现不理解的点时，学生会出现疑惑的表情；当遇到这样的场景时，老师可以根据情况调整自己的讲课内容与节奏。当学生一直低着头或者头一直扭向别处时或者并没有观看直播画面时，可以知晓，该学生没有认真听课，则需要老师提醒对应的学生认真听课。通过实时采集学生的画面信息，能够了解到在直播讲课过程中的学生实时动态，然后与学生进行实时交互提醒。

进一步的，根据用户头部画面确定用户是否满足预设动作，如果是，则控制开启第二摄像头进行数据采集，如果否，则控制第二摄像头处于待机状态。因为如果两个摄像头一直处于开启状态，则会提高设备的耗电量，并且由于第二摄像头会进行相应的姿态识别，那么则会产生一定数量的信息误传。比如，当在听课过程中，学生指向桌面上的课本只是为了便于自己进行信息定位，然后进行阅读，而并不是因为有疑问来提出问题；如果此时，将该动作识别为学生有疑问，并识别对应课本显示的内容，那么会上传大量的无效的内容，这样的话，一方面增加了上传时间，另一方面使得老师需要处理的内容增加，增加了老师的信息处理压力，进而降低了互动效率。故而，在本实施例中通过识别特定的动作来判断是否真的需要获取对应的桌面画面数据，当时判断为是时，则控制开启第二摄像头进行数据采集，降低功耗的同时提高数据收集的准确性。

图3是本申请实施例提供的的头部倾斜的示意图，图4是本申请实施例提供的视线倾斜的示意图。示例性的，根据用户头部画面确定用户是否满足预设动作，包括：将用户头部画面和预设动作模型进行比对，确定用户是否满足预设动作；或，如图4所示，根据用户头部画面确定用户头部的倾斜角度，根据倾斜角度确定用户是否满足预设动作；或，如图5所示，根据用户头部画面确定用户视线方位，根据视线方位确定用户是否满足预设动作。上述动作具体的体现方式为低头看向桌面或者眼睛看向桌面，当识别到上述动作时，表示学生有疑问的概率大大增加，这时候，则可以控制开启第二摄像头来获取桌面画面数据。除了上述动作识别之外，还可以是将其与时间组合或者是与其他动作组合来进行识别组合来提高识别准确性，比如当学生低头且持续的时间超过3秒时，则可以明确表示学生有疑问；或者当学生出现皱眉头沉思之后，再看向桌面；最后将手指指向特定的题目，当依照次序识别出现上述多种特征组合时，则可以明确知晓，学生此时对某个问题存在疑问，希望得到老师的解答；此时，控制开启第二摄像头并将识别到的信息传输至教师端。

s102：接收第二摄像头采集的桌面画面数据，根据桌面画面数据确定用户指出的待反馈题目。

图5是本申请实施例提供的桌面画面数据的显示示意图，本步骤是为了获取到具体的桌面画面信息，如图5所示，具体也即是学生指出的题目信息，待反馈题目可以以多种形式传输至教师端，其可以是直接截取到的部分图片信息，也可以是文字信息，甚至于可以是语音信息等；在本实施例中优选的，采用文字信息进行传输的方式来进行描述。

图6是本申请实施例提供的根据桌面画面数据确定用户指出的待反馈题目的流程图，具体的如图6所示，包括：

s1021：对桌面画面数据进行图像识别，确定用户手部位置。

s1022：根据用户手部位置确定框选区域。

在一个实施例中，预先构建有手部模型，通过手部模型以及桌面画面数据查找到用户的手部位置，当识别到用户手部的位置后，确定出用户的手指所指区域，该区域即为框选区域，示例性的，以手指所在位置为基准点将预设大小的矩形框框选的区域确定为框选区域，该框选区域也即用户的疑问区域，该矩形框大小可以是2cm*10cm；如图7所示，图7是本申请实施例提供的根据用户手部位置确定框选区域的示意图，图中显示的矩阵方框即为确定出的框选区域，即用户的疑问区域。

s1023：对框选区域进行光学字符识别确定待反馈题目。

采用光学字符识别的一个原因是，当图形出现畸变时，可以通过ocr技术来对图形进行二值化、噪声去除以及倾斜纠正等操作进行纠偏，进而提高最终识别到的题目信息的准确性。通过光学字符识别的方式对框选区域的内容进行识别以得到对应的待反馈题目，其中，该待反馈题目可以是整个题目对应的文字内容也可以题目的序号等。

除了上述识别信息的方式外，还存在另一种识别方式，通过定位手指在对应页面的位置进而与预先存储的课本信息进行比对，从而找到对应的题目。具体的，数据库中首先需要存储有相应的课本信息，课本信息包括有课本页面以及课本页码。在进行识别时，先通过识别对应页面找到页码，如图7所示，通过图像识别得知该页面的页码为53同时识别手指在课本上的相对位置；然后将该相对位置以及页码信息与预先存储的课本信息进行比对，即可查找到对应的题目，然后将查找到的题目发送至教师端。

s103：将用户画面数据以及待反馈题目发送至教师端，用于教师端生成反馈信息，反馈信息包括用户提示信息和/或题目解析信息。

图8是本申请实施例提供的教师端的显示界面示意图，本步骤中传输的信息主要包括两方面：第一是学生的状态信息；第二是学生指出的题目信息；同样的针对不同的信息，老师也会反馈不同的内容。如图8所示，在教师端显示的不止一个学生的状态信息及指出的题目信息，也可以显示多个学生的状态信息及指出的题目信息；当需要对多个学生的信息进行展示时，需要对对应显示框进行编号或者命名以便于老师将问题与学生对应。

示例性的，教师端生成反馈信息的方式包括：

教师端接收教师语音数据，根据教师语音数据生成用户提示信息；或，教师端接收屏幕点击指令，根据屏幕点击指令生成用户提示信息。上述反馈则是直接通过语音或者指令提醒特定的学生用户注意上课认真听讲。比如当甲同学并没有关注课堂本身的内容时，教师端接收老师的“甲同学，请认真听讲。”这样的语音信息，并将其发送至甲同学的平板端来对甲同学进行提醒。也可以在教师端设置对应的提醒按钮，当有同学没有认真听讲时，老师通过直接按下提醒按钮，则可以发送提醒信息至对应的同学平板处，这样的提醒操作可以是窗口震动或者语音提醒。

除了上述的反馈信息生成以外，还有一种自动的反馈信息生成方式；因为在直播过程中，如果老师直接进行语音提醒，会存在一个问题是，影响到其他的同学直播听讲。故而，在本实施例中通过设置自动生成反馈信息来提醒用户注意听讲，当识别到用户上课发呆时，则发送提醒信息至对应的学生端处，这样既影响到老师讲课的进程，也不会对打扰到其他的同学。

上述的反馈信息针对的是第一摄像头采集到的信息，除了针对第一摄像头采集到的信息，教师端还会针对第二摄像头采集到的信息生成对应的反馈信息。示例性的，教师端生成反馈信息，包括：

教师端根据检测到的屏幕信息录入数据生成题目解析信息。也即是当识别到学生题目后，老师可以采用直接语音讲解的方式，也可以采用上述通过屏幕进行信息录入的方式进行讲解；当采用信息录入的方式进行讲解时，会将检测到的老师输入的解析信息发送至对应的学生端处，以使得学生可以接收到相关解析信息。

s104：接收教师端发送的反馈信息并进行显示。

在本步骤是将所有接收到的反馈信息进行显示，比如将老师解析后的内容直接在用户的平板端进行显示以使得用户能够了解到相关解析答案。需要说明的是，除了对反馈信息进行显示的交互方式外，还可以采用语音播报的方式进行反馈信息的交互，如播放教师的题目解析语音。

在本实施例的方案中，第一摄像头与第二摄像头可以是分立设置的，也可以是以不同拍摄角度设置于电子设备中，因为两个摄像头是要获取不同的画面信息，故而其拍摄角度需要存在差异，否则，拍到的是同样的画面信息，则无法产生预期的效果。

图9是本申请实施例提供的摄像头开启的流程图，如图9所示，在步骤s101之前，还包括：

s101a：当检测到课程辅导模块被触发时，控制开启第一摄像头和第二摄像头。

s101b：根据接收到的课程内容操作指令查找并显示对应的课程直播内容。上述内容针对的是第一摄像头与第二摄像头启动前的操作，当用户没有进行课程辅导前，两个摄像头均是处于关闭状态或者处于不具备打开权限的状态，当点击进入课程辅导模块之后，则开启双摄权限，使得两个摄像头均可工作；并向学生的平板端投放对应的直播内容。

本申请的方案通过前置双摄在平板中的应用，针对直播作业辅导场景：通过第一摄像头，老师可以看到学生听课时的实时状态，监督孩子学习状态同时与学生进行互动；通过第二摄像头对桌面画面进行的捕捉，可实现作业、难题的实时辅导。通过双摄的不同应用，提升学习效果。

本申请实施例通过将双摄像头采集处理得到用户画面数据和待反馈题目，将其发送至教师端，并接收教师端根据用户画面数据和待反馈题目生成的反馈信息，实现了学生与教师之间的沟通互动，并且也实现了在监督学生学习状态的同时完成作业、难题的实时辅导，进一步提升直播学习效果。

在上述实施例的基础上，图10为本申请实施例提供的一种直播教学中用户信息确定与反馈的装置的结构示意图。参考图10，本实施例提供的一种直播教学中用户信息确定与反馈的装置具体包括：

第一接收模块21：用于接收第一摄像头采集的用户画面数据；

第二接收模块22：用于接收第二摄像头采集的桌面画面数据，根据桌面画面数据确定用户指出的待反馈题目；

反馈模块23：用于将用户画面数据以及待反馈题目发送至教师端，用于教师端生成反馈信息，反馈信息包括用户提示信息和/或题目解析信息；

显示模块24：用于接收教师端发送的反馈信息并进行显示。

上述，通过将双摄像头采集处理得到用户画面数据和待反馈题目，将其发送至教师端，并接收教师端根据用户画面数据和待反馈题目生成的反馈信息，实现了学生与教师之间的沟通互动，并且也实现了在监督学生学习状态的同时完成作业、难题的实时辅导，进一步提升直播学习效果。

具体的，根据桌面画面数据确定用户指出的待反馈题目，包括：

图像识别模块：对桌面画面数据进行图像识别，确定用户手部位置；

框选模块：根据用户手部位置确定框选区域；

文字识别模块：对框选区域进行光学字符识别确定待反馈题目。

具体的，用户画面数据包括用户头部画面，在接收第二摄像头采集的桌面画面数据之前，还包括：

判断模块：用于根据用户头部画面确定用户是否满足预设动作，如果是，则控制开启第二摄像头进行数据采集，如果否，则控制第二摄像头处于待机状态。

具体的，第一摄像头与第二摄像头以不同拍摄角度设置于电子设备中，在接收第一摄像头采集的用户画面数据之前，还包括：

触发模块：用于当检测到课程辅导模块被触发时，控制开启第一摄像头和第二摄像头；

查找模块：用于根据接收到的课程内容操作指令查找并显示对应的课程直播内容。

本申请实施例提供的一种直播教学中用户信息确定与反馈的装置可以用于执行上述实施例提供的一种直播教学中用户信息确定与反馈的方法，具备相应的功能和有益效果。

本申请实施例提供了一种电子设备，参照图11，图11是本申请实施例提供的一种电子设备的结构示意图，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器31的数量可以是一个或者多个，该电子设备中的存储器32的数量可以是一个或者多个。该电子设备的处理器31、存储器32、通信模块33、输入装置34及输出装置35可以通过总线或者其他方式连接。

存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例的一种直播教学中用户信息确定与反馈的方法对应的程序指令/模块(例如，一种直播教学中用户信息确定与反馈的装置中的第一接收模块、第二接收模块、反馈模块和显示模块)。存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器32件。在一些实例中，存储器32可进一步包括相对于处理器31远程设置的存储器32，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块33用于进行数据传输。

处理器31通过运行存储在存储器32中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的一种直播教学中用户信息确定与反馈的方法。

输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。

上述提供的电子设备可用于执行上述实施例提供的一种直播教学中用户信息确定与反馈的方法，具备相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种直播教学中用户信息确定与反馈的方法，该一种直播教学中用户信息确定与反馈的方法包括：接收第一摄像头采集的用户画面数据；接收第二摄像头采集的桌面画面数据，根据桌面画面数据确定用户指出的待反馈题目；将用户画面数据以及待反馈题目发送至教师端，用于教师端生成反馈信息，反馈信息包括用户提示信息和/或题目解析信息；接收教师端发送的反馈信息并进行显示。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddrram、sram、edoram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的一种直播教学中用户信息确定与反馈的方法，还可以执行本申请任意实施例所提供的一种直播教学中用户信息确定与反馈的方法中的相关操作。

上述实施例中提供的一种直播教学中用户信息确定与反馈的装置、存储介质及电子设备可执行本申请任意实施例所提供的一种直播教学中用户信息确定与反馈的方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的一种直播教学中用户信息确定与反馈的方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。