一种进度自动监测方法、电子设备及存储介质与流程

本发明涉及图像识别技术领域，尤其涉及一种进度自动监测方法、电子设备及存储介质。

背景技术：

信息化的时代，计算机的应用普及到各行各业，在各级院校的人才培养中，上机实验实训的教学活动比重越来越高，利用机房环境用来完成教学成为学校最为普遍的教学场景。由此也带来一系列教学管理难题，其中最大的一个问题是：教师无法准确、即时的获知到学生实验做到具体到哪个任务环节，教师也就没有办法去做必要的干预，有时候由于电脑操作环境的故障等等问题，导致了实验进展的阻碍，到最后下课时，学生无法按照既定课时完成实验教学任务的隐患非常大，不能很好的达到预期的教学效果，最后只能迫于无奈，不了了之下课了。

目前普遍的做法是，要求学生在不同节点利用截屏工具主动截取界面图片，或者让教师设定时间间隔发起随堂小测试进行确认，这些方式既不精准，也增加了教师、学生额外工作量，这不是信息化赋能教学改革应该有的面貌。

因此，设计一种能够实现精准展现每个学生的实验进展的方案成为本领域技术人员亟待解决的技术问题。

技术实现要素：

为了克服现有技术的不足，本发明的目的之一在于提供一种进度自动监测方法，其能实现对学生上机进度的精准监测。

本发明的目的之二在于提供一种电子设备，其能实现对学生上机进度的精准监测。

本发明的目的之三在于提供计算机可读存储介质，其能实现对学生上机进度的精准监测。

本发明的目的之一采用如下技术方案实现：

一种进度自动监测方法，包括如下步骤：

获取步骤：获取各学生电脑端发送的界面截图；

比对步骤：将接收到的界面截图与所有的标的图进行比对以得比对结果；

进度确定步骤：根据比对结果确定对应学生当前的上机进度。

进一步地，所述标的图通过如下步骤获取得到：

接收步骤：接收上机实操中触发的控制指令，并根据触发的控制指令实现对应上机操作结果；

截图步骤：对实操过程中各个节点进行图像截取，并将截图得到的图像作为标的图。

进一步地，所述截图步骤中，所述对实操过程中各个节点进行图像截取为对每个实操结果进行图像截取。

进一步地，在所述进度确定步骤之后还包括进度显示步骤：对学生当前的上机进度在教师端进行显示。

进一步地，所述界面截图具体为每隔预设时间进行一次界面截图，且界面截图的范围为完整的电脑显示页面。

进一步地，在获取步骤之前还包括预处理步骤：对界面截图依照统一规格进行处理，并将处理之后的界面截图共享至图片服务器；

在获取步骤之前还包括检测步骤：当达到预设时间节点时，在学生电脑端执行界面截图操作或者当接收到截图触发操作时，在学生电脑端执行界面截图操作。

进一步地，所述共享至图片服务器通过如下步骤实现：

通过网络服务器接收上传的界面截图；

将界面截图拷贝至共享目录下以使得通过网络文件系统挂载多台图片服务器能够访问上传的界面截图。

进一步地，所述比对步骤包括以下子步骤：

将对应图片与所有的标的图进行比对；

计算相似度值，并对相似度值进行排列；

将相似度值最高的作为比对结果；

在比对步骤之后，还包括删除步骤：当完成所有比对时，删除图片服务器里未匹配的图片。

本发明的目的之二采用如下技术方案实现：

一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明目的之一中任意一项所述的一种进度自动监测方法。

本发明的目的之三采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明目的之一中任意一项所述的一种进度自动监测方法。

相比现有技术，本发明的有益效果在于：

本发明的进度自动监测方法通过采用图像智能识别处理的方式，来实现系统自动时时精准展现每个学生的实验进展，使得学生上机实验过程更加透明，增强教师对于上机实验教学质量的掌控。

附图说明

图1为实施例一的进度自动监测方法的流程图；

图2为实施例一的图片共享的原理图；

图3为实施例一中nginx的自动hash架构图；

图4为实施例一中的在教师电脑端操作的界面截图；

图5为实施例一中的在学生电脑端操作的界面截图；

图6为实施例一中图片服务器的具体架构图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例一

如图1所示，本实施例提供了一种进度自动监测方法，包括如下步骤：

s0：当达到预设时间节点时，在学生电脑端执行界面截图操作或者当接收到截图触发操作时，在学生电脑端执行界面截图操作；这一步主要是为了设置不同的触发操作，除了基于时间的触发截图之外，还可以设置基于事件的触发操作，在本实施例中，触发操作主要是安装于学生电脑端，因为本实施例的方法主要是针对于学生的上机操作。在进行时间设置时，其还可以设置每隔10s进行一次界面截图。

s1：获取各学生电脑端发送的界面截图；主要是接收从学生电脑端截取的图像信息，这个图像是后续进行比对的基础。

更为优选地，所述界面截图具体为每隔预设时间进行一次界面截图，且界面截图的范围为完整的电脑显示页面。由于是在学校机房进行上机操作，且其更多是运行在虚拟桌面上，所以在进行数据比对时，干扰项比较少；即是所有的界面均有相同的图标排列组合。如图5所示，电脑桌面上的各个应用程序图标的位置以及图案均相同，所以在本实施例中可以采用整体界面截图来进行比对。除了进行整体界面截图的方式之外，还可以通过找寻具体的页面框来进行数据比对；具体如图5中，界面中央的显示框，通过直接截取这部分图像来进行数据比对。

s2：将接收到的界面截图与所有的标的图进行比对以得比对结果；

本实施例中的标的图通过如下步骤获取得到：接收上机实操中触发的控制指令，并根据触发的控制指令实现对应上机操作结果；

对实操过程中各个节点进行图像截取，并将截图得到的图像作为标的图。如图4所示，其为在教师电脑端操作的界面截图，也即是标的图中的一幅。在后续数据比对时，主要是通过对图4和图5来进行数据比对以实现进度的确定。

更为优选地，所述对实操过程中各个节点进行图像截取为对每个实操结果进行图像截取。在标的图的获取过程中，主要是通过教师对其进行试讲、备课、标的等一系列操作来实现的，通过教师对实际操作过程进行演示，进而保存各个阶段的正确结果，然后再去进行数据比对。

s3：根据比对结果确定对应学生当前的上机进度。也即是当比对得到最接近的图片时，然后通过定位该图片所处的实操过程中的节点来判断其所处位置，进而确定对应学生当前的上机进度。

所述步骤s3步骤包括以下子步骤：

将对应图片与所有的标的图进行比对；

计算相似度值，并对相似度值进行排列；

将相似度值最高的作为比对结果进行输出，根据该图片所属的操作流程节点来确定其当前进度。具体的，定时进行图片的对比，比如0.5秒一次，找出和老师截图相似的图片，原则上任何2张图片都有相似度，只不过分值有高低，应用时可结合检索返回的相关性分数score(取值范围0-1，越接近1代表相似度越高)进行筛选，如选取score大于0.9，则表示两张图片为匹配的图片，结束对比。

s4：对学生当前的上机进度在教师端进行显示。将所有学生的上机进度实时展示在教师端，使得老师能够实时了解进度。这样当面对一些进度较慢的学生时，其可以进一步针对其指导以赶上实操进度，便于老师把握上机进程。

在本实施例中，更为优选地，当执行完界面截图之后，需要对界面截图依照统一规格进行处理，并将处理之后的界面截图共享至图片服务器。对界面截图进行同一规格处理，使得在后期进行比对时，能够更方便快捷的得到对应的比对结果。由于在进行界面监控时，往往针对的不只是一个学生，而是针对于一个班级的学生，故而将图片做统一规格处理，保存到上课时段临时处理的图片服务器空间，把上传请求加入到rabbitmq队列里面，异步上传，并按照每个学生分目录保存。这样便于针对于特定学生进行进度显示。

除了上述功能之外，本实施例的方案还可以通过结合进度异常的判断做选择性录屏来完全还原学生实操的过程，更加便于对学生具体实操过程中的内容进行监控，达到了更精准的还原问题的效果。

在本实施例中，所述共享至图片服务器通过如下步骤实现：

通过网络服务器接收上传的界面截图；

将界面截图拷贝至共享目录下以使得通过网络文件系统挂载多台图片服务器能够访问上传的界面截图。在本实施例中，通过设置图片服务器分担web服务器的i/o负载-将耗费资源的图片服务分离出来，提高服务器的性能和稳定性，能够专门对图片服务器进行优化-为图片服务设置有针对性的缓存方案，减少带宽成本，提高访问速度；提高网站的可扩展性-通过增加图片服务器，提高图片吞吐能力。

如图6所示，其为图片服务器的具体架构，通过采用多台squid或nginx服务器，在前端添加f5或lvs负载均衡(同时还可开启缓存功能)，提升访问的并发量，可以根据情况随时调配服务器。当然此时也存在一定的瑕疵，那就是可能在多台squid上存在同一张图片，因为访问图片时可能第一次分到squid1，在f5过期后第二次访问到squid2或者别的，当然相对并发问题的解决，此种少量的冗余完全在我们的允许范围之内。最后，再对图片服务器做下cdn，提升图片访问质量。

由于本系统基于云端部署，需要在资源池先独立创建一台虚拟服务器，用户图片架构搭建，虚拟服务器继承虚拟资源池的高可用特性；

采用独立域名，同一域名下浏览器的并发连接数有限制，一般在2-6之间这样我们如果给图片服务器配置独立的域名，那么在一个页面中加载图片时，就可以突破浏览器连接数的限制，理论上，增加一个独立域名，并发连接数加倍。

由于不想在每台图片服务器同步所有图片，故而采用nfs分布式的客户机/服务器文件系统，nfs的实质在于用户间计算机的共享，用户可以联结到共享计算机并像访问本地硬盘一样访问共享计算机上的文件。

如图2所示，具体实现方式如下：web服务器通过nfs(网络文件系统)挂载多台图片服务器export出来的目录，用户先将图片上传到web服务器，然后将上传的图片通过程序拷贝到这个mount目录中去，这样那几台图片服务器就也能访问到刚上传的图片了(注意，只是共享了，并没有真正拷贝到图片服务器)。这种方式基本不会有因同步造成的延时，但需要依赖nfs，nfs挂掉会影响web服务器。

本实施例中图片服务器的特点一是访问量很大，二是容量也很大，通过简单的负载均衡，可以解决访问量大的问题，但是容量的问题并没有改善。所以会造成容灾问题。

容灾问题：系统某个时间段被访问的数据严重超出缓存集群中最小单机的容纳容量就会造成容灾，容灾会使大量单一链接穿透，直接对后台的io性能影响很大。虽然可以通过增加缓存容量的配置来解决容灾问题，但是内存总是有限的，为每一台机器增加超大内存成本上也开销很大，另外在squid中也不宜配置很大的磁盘缓存，否则squid中的hash表会很大，性能很差。

故而在本实施例中通过采用hash架构，可以充分利用缓存集群的内存，容灾问题就不再取决于缓存集群中最小单机的容纳容量，而是缓存集群中所有机器的容纳容量之和。

如图3所示，其为搭建nginx的自动hash架构；其为一种新的缓存架构，由nginx作为最前端，代理到缓存机器；nginx后面为缓存组，由nginx经过urlhash后将请求分到缓存机器；这个架构方便纯squid缓存升级，可以在squid的机器上加装nginx；nginx有缓存的功能，可以将一些访问量特大的链接直接缓存在nginx上，就不用经过多一次代理的请求。比如favicon.ico和网站的logo。

nginx的自动hash架构具有如下优点：高性能；使用方便，与后台关联不大；有很高的可用性；缓存架构，分流方便；可直接在nginx代理缓存部分链接。

在本实施例中，具体的调用程序实例如下：

其中，返回参数：

返回示例

在本实施例中，核心算法，也即是均值哈希算法实现相似图片分析的过程具体如下：

1、把图片转为byte数组，具体实现如下：

2、缩放图像到指定尺寸，具体实现如下：

3、计算byte数组的相似度，具体实现如下：

在提供给教师教学系统中，通过提供教学进度窗口，展示每一个学生实际进展到哪一个实验步骤，每秒自动刷新，进而实现进度监控的目的。增强教师对整个实验进程的精准掌控，更有效率的完成课堂教学；更可以通过积累的实验学习进度数据作分析，应用于做更多的教学质量提升价值，比如分析耗时超出预期的共性环节，提升教学任务设计的合理性。

实施例二

实施例二公开了一种电子设备，该电子设备包括处理器、存储器以及程序，其中处理器和存储器均可采用一个或多个，程序被存储在存储器中，并且被配置成由处理器执行，处理器执行该程序时，实现实施例一的一种进度自动监测方法。该电子设备可以是手机、电脑、平板电脑等等一系列的电子设备。

实施例三

实施例三公开了一种计算机可读存储介质，该存储介质用于存储程序，并且该程序被处理器执行时，实现实施例一的一种进度自动监测方法。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述基于内容更新通知装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。