一种基于面部识别的网络教学方法及系统的制作方法

一种基于面部识别的网络教学方法及系统的制作方法
【专利摘要】本发明涉及一种基于面部识别的网络教学方法及系统，提供学员在整个学习课件期间实时进行脸部特征识别，使网络教学能够达到与面对面的教学一样的效果；同时允许一定次数的失败，则能为学员在被实时监控时，提供稳定而流畅的学习环境，不因检测失败或其他原因而影响学员的学习；本系统还提供表情管理，更方便教师了解学员在学习课件时的反映，使网络教学环境趋近于面对面教学；本系统提供的离线学习功能，使学员能够在任何场合环境下进行学习，同时还能达到被实时监控的目的；同时由于系统还提供的日志管理模块，使学员在用户使用移动终端进行学习时，不因系统的实时监测而增加更多的网络流量，降低学习成本。
【专利说明】一种基于面部识别的网络教学方法及系统

【技术领域】
[0001] 本发明涉及网络教学领域，并且特别地，涉及一种具有实时监测功能和教学反馈 的基于面部识别的网络教学方法及系统。

【背景技术】
[0002] 网络教学，是指在由通讯技术、微电脑技术、计算机技术、人工智能、网络技术和多 媒体技术等所构成的电子环境中进行的学习，是基于技术的学习。
[0003] 网络教学的概念一般包含三个主要部分：以多种媒体格式表现的内容；学习过程 的管理环境；以及由学习者、内容开发者和专家组成的网络化社区。在当今快节奏的文化 氛围中，企业通过实施网络教学具有的优势：灵活、便捷，员工可以在任何时间、任何地点进 行；通过消除空间障碍，切实降低成本；提高了学习者之间的协作和交互能力。但是我们也 要看到在实施网络教学的过程中存在局限性和应该注意的问题。
[0004] 网络教学的局限性：缺乏人性化的沟通、教师和学员之间没有互动；对于学员的 学习过程，现有的网络教学系统是无法监控的。学员在课件的播放过程中是否还在电脑前 学习，或者是否是他人代替学员本人在学习，或者学员是否在进行与学习无关的活动，如打 瞌睡等，对于这些情况现有的网络教学系统是无法监控的。
[0005] 这就造成了很多企业、组织通过网络教学系统进行培训、授课时效果不佳，并且由 于无法有效地监控学员是否真正地学习。对于很多重要内容的培训，如安全生产相关的培 训，如果学员不认真学习，那么带来的后果就会非常严重。
[0006] 现在很多网络教学系统希望通过课后作业的方式提高学员的学习参与程度，但是 无法避免上述问题的发生，鉴于此提出本发明。


【发明内容】

[0007] 本发明的目的在于提供一种基于脸部识别的网络教学方法及系统，所述的网络教 学能够实时的监测学员是否为本人在学，提供的表情管理能帮助教师了解学员是否认真的 在学，提供的日志管理能监测学员是否将应该学习的内容全部学习完成，因此本网络教学 是在整个教学过程中实时进行身份的识别和验证，避免了学习过程中的缺勤或替代等现 象，同时，使网络教学能够达到与面对面的教学一样的效果。
[0008] 本发明的另一目的在于，提供一种在对阅读者进行实时检测的情况下，能够稳定 而流畅的提供学习的环境，不因检测失败或其他原因而影响学员的学习。
[0009] 本发明还有一目的在于，能够在任何场合环境下进行学习，同时还能达到被实时 监控的目的。
[0010] 本发明提供的网络教学系统还能够在用户使用移动终端进行学习时，不因系统的 实时监测而增加更多的网络流量，降低学习成本。
[0011] 而人脸识别技术因具有不可复制、采集方便、不需要被拍者的配合而深受欢迎，因 此本发明结合人脸识别技术与网络教学相结合提供一种具有面部识别功能的网络教学方 法：使用网络教学的用户包括：系统管理员、教师和学员，其中，
[0012] 系统管理员，负责维护一个以上的对比规则，在这些对比规则内设置最大失败次 数，这里的最大失败次数是大于〇的整数，可以是3-5任意的数值，也可以是其它数值；
[0013] 教师，负责制作课件，同时为所述课件指定相似度阈值和对比规则，这里相似度阈 值可以是60%以上的任意数值，当然阈值不能大于98%，大于98%则有可能检测到的当前 用户的脸部图像可能来源于照片；
[0014] 学员，可以下载课件，同时在学员学习所述课件的整个期间，实时读取该学员当前 的脸部特征码，并与所述学员预先存储的脸部特征码进行对比，如果二者的相似度大于教 师为该课件指定的阈值，则对比成功；反之对比失败，当对比失败后，读取教师为该课件指 定的对比规则，根据该对比规则确定学员是否可以继续学习该课件。
[0015] 一般学生学习的课件都需要一个相对比较长的时间，在这一个期间内，学员可能 因为中途喝水或者拿东西，导致当时的脸部特征对比失败，因此，与现有技术相比，本发明 允许在学生学习课件的期间出现对比失败，而不进行任何处理，因此设置了最大失败次数 为3-5次，但是进一步的，在实时进行脸部特征对比时，一般采用每秒或者每两秒验证一次 的频率，因此设置3-5次的允许失败次数可能达不到使学员流畅的学习课件的目的，但是 要是将允许失败的次数设置的太大，又达不到实时监测的目的，因此本发明允许对累计的 失败次数清零，比如每验证5-10次后（既5-20秒之间），如果期间进行脸部特征对比失败 累计的次数没有大于系统预先设置的最大失败次数，就认为验证的5-10次内都是该注册 用户本人在学习；或者也可以是实时进行的脸部特征对比，连续成功5-10次（既5-20秒之 间）都死该注册用户本人在学习，此时系统也允许之前累计的，并且没达到最大失败次数 清〇。
[0016] 同样的，系统还提供其他的清零规则，例如可以以时间长度来计量，即一个时间长 度内，对比失败次数未达到最大值，可以清零等等，只要是能达到实施对比，又不会影响用 户学习课件的规则都涵盖在本发明内。
[0017] 本发明还提供了一套网络教学系统，包括：用户登录模块、教学管理模块、面部特 征对比规则设置模块、面部识别模块，其中
[0018] 1.用户登录模块，用于提供用户登录网络教学系统，并识别用户身份以及用户的 基本信息。可用于设定各种用户，如：教师、学生以及系统管理员等，并为该用户分配权限； 同时还可以管理该用户的基本信息，例如：可以设置教师信息、教师的课件、该教师的答疑 时间以及定义学员信息、该学员选择的教学领域、该学生提问的时间。
[0019] 2.教学管理模块：供用户在网络教学系统内实现，课程的制作、学习以及答疑的 功能。由课件管理模块和视频答疑模块组成，其中，
[0020] 1)课件管理模块：课件（courseware)是由教学目标确定，教学内容和任务分析， 教学活动结构及界面设计等环节，而加以制作的课程软件。它与课程内容有着直接联系。在 本发明中，课件管理提供教师维护，提供学员下载的功能，并且本发明的课件只能通过本发 明提供的网络教学系统编辑和学习。
[0021] 2)视频答疑模块：由教师和学员参与的，支持学生提问、教师回答，所述视频答疑 模块由所述网络教学系统打开。
[0022] 3.面部特征对比规则设置模块：供系统管理员设置至少一个面部特征对比规则， 所述特征对比规则能设置最大失败次数>〇,优选2-5,并且在学员开始学习课件时，最大失 败次数清零；在学员学习时，为所述最大失败次数设置清零时机，所述清零时机为下面的任 意一种情况：
[0023] 1)当执行面部特征对比5-10次后，所述最大失败次数清零；
[0024] 2)当执行面部特征对比，并且所述面部特征对比连续成功3-5后，所述最大失败 次数清零。
[0025] 4.面部识别模块：供学员在下载和学习所述课件的整个期间，实时读取该学员当 前的脸部特征码，并与所述学员预先存储的脸部特征码进行对比，如果二者的相似度大于 教师为该课件指定的阈值，则对比成功；反之对比失败，当对比失败后，读取所述教师为所 述课件指定的对比规则，根据所述对比规则确定所述学员是否可以继续学习所述课件。
[0026] 本发明提供的网络教学系统中的，面部识别模块还包括影像处理器，连接影像处 理器的摄像装置，影像处理器包括影像处理单元，摄像装置定期或连续摄取用户的面部影 像并传输至影像处理单元，通过计算，得到面部特征码，面部识别模块将面部特征码与用户 登录模块中预存的该用户的面部特征码进行对比，这里，面部特征码为二进制码。
[0027] 优选的，本发明所述特征对比规则设置，包括清零规则设置，所述清零规则设置 为，在开始执行所述阅读内容管理模块时，将累计失败次数清零，同时，在以下情况之一时， 将累计失败次数清零：
[0028] 1)当执行面部特征对比5-10次后，并且所述累计失败次数小于所述最大失败次 数时；
[0029] 2)当执行面部特征对比，连续成功3-5后，并且所述累计失败次数小于所述最大 失败次数时。
[0030] 优选的，本发明还包括日志管理系统，包括：
[0031] 1)在执行脸部特征对比的各步骤时，记录日志数据，所述日志数据包括：序号、当 前阅读内容、当前阅读用户、当前阅读时间、对比情况、相似度、脸部特征码以及提示信息；
[0032] 2)日志数据上传功能，即将所述日志数据上传至服务器，包括：自动上传和手工 上传，
[0033] 所述自动上传功能：由所述内容管理模块调用，当所述内容阅读完成后，所述内容 管理模块执行日志上传功能；
[0034] 所述手工上传功能：在日志管理模块中，用户选择所述手工上传日志功能，将所述 日志数据上传至服务器；
[0035] 3)所述日志管理还包括：对日志数据统计分析模块，即提供，为对所述日志数据 汇总查询功能，包括：用户信息、阅读内容信息、阅读时间、中断次数、成功次数、失败次数、 相似度。
[0036] 优选的，本发明还包括表情识别功能，所述的表情识别功能包括：
[0037] 1)提供提取所述用户的脸部表情的功能；
[0038] 2)提供将用户当前的脸部表情与表情符号相对应的功能；
[0039] 3)将所述表情符号存储在所述日志管理模块中的功能。
[0040] 优选的，本发明所述用户管理模块包括：用户设置模块、训练库管理和规则设置模 块，其中
[0041] 1)用户设置模块，提供设置用户的基本信息，包括：登录名、用户名、权限、对应的 对比规则；
[0042] 2)训练库管理，提供用户与脸部特征码的对应关系，一个用户对应多个脸部特征 码，在进行脸部特征对比时，系统读取用户的实时脸部特征码与存储在所述训练库中的所 述特征码进行相似度对比；
[0043] 3)规则设置模块，提供用户、课件和对比规则的对应关系设置。
[0044] 优选的，本发明所述阅读内容模块包括：课件管理模块和视频答疑模块，
[0045] 所述课件管理模块，包括开课申请、课件制作、学员选课和问题库等；
[0046] 所述视频答疑模块，包括，系统管理员为所述视频答疑指定对比规则并提供日志 管理。
[0047] 优选的，本发明还包括客户端软件，所述网络教学软件的客户端软件提供：课件上 传、下载，提供在客户端打开所述教学管理模块，提供在所述客户端使用所述面部识别系统 监控所述整个网络教学客户端的执行过程，所述客户端安装在有摄像头的计算机或者移动 存储设备上如：计算机、手机、iPad等。
[0048] 本发明的客户端软件包括：
[0049] 1)登录系统，用于用户登网络教学软件，使用户可以在系统中实现离线的学习和 监控。
[0050] 2)用户管理模块，管理登陆用户；
[0051] 3)人脸识别模块，阅读时进行本地对比，因此还需要有本地的训练库，在本地进行 对比时，只对当前用户与本地训练库存储的脸部特征码进行比对，这样可以节约流量，同时 方便用户在任何时间、任何地点进行网络的教与学。
[0052] 4)日志管理模块，记录用户在本地使用网络教学系统时，进行脸部特征对比产生 的数据信息，在使用完所述教学管理模块后，系统自动将所述日志数据上传至服务器，当 然，用户也可以在日志管理模块中选择上传日志数据。
[0053] 本发明提供的网络教学模块还提供：公告管理模块、开课申请模块、课件制作模 块、留言板、公告牌、教师管理模块、学员管理模块等等其他跟网络教学相关的模块，由于这 些是现有技术，因此本发明不再论述。
[0054] 整个过程无需人为干预，完全实现系统自动化管理。
[0055] 优选的，本系统还支持脸部表情处理，当用户登录系统，在进行实时的人脸检测 时，可加入表情识别功能，根据每次检测到的用户表情，可以得到用户当前学习时的情况， 例如：当学员认真学习时，表情很专注；当学员认为所学课件很有趣味时，表情会很愉悦； 当学员认为所学课件很难时，表情会很严肃；当学员没有专注于学习时，表情会有些茫然。 当然本发明提供的表情处理功能，还可以以一种图形的形式表示学员当前的状态，例如： 腾讯QQ、MSN等聊天系统中的表情图释。这些实时取得的脸部表情可以随日志数据一同反 馈给制作该课件的教师，教师在查看日志数据时，可以形象直观的了解到学员实时的学习 情况，更好的模拟教师在课堂教学的效果，而采用表情图释实时取得学员的脸部表情同日 志一同反馈给教师的优点是：经过统计的数据可以帮助教师高效、便捷的了解学员学习情 况，同时节约了数据传输的流量，并使人机交互更加友好、亲切。
[0056] 本发明的网络教学系统，监控学员学习的整个过程，保证学员本人完成整个课件 的学习，防止教师制作的课件被滥用的情况，同时保证学员在学习过程中不会因为增加了 实时监控功能而影响学习的效率实现教师授课，整个过程无需人为干预，完全实现系统自 动化管理。同时本系统提供离线学习，学员可将所学课件下载到适合学员自身学习的设备 上，方便学员随时随地学习，同时节约流量，降低学员学习的时间成本和金钱成本；同时在 学习完成后，将学习过程以统计数据的形式反馈给教师，便于教师掌握学员的学习情况，在 企业管理中，便于教师为下一步的教学计划提供参考。进一步的，本发明提供的互动答疑提 高了教学质量，加深了学员对所学课件的理解。
[0057] 下面结合附图对本发明的【具体实施方式】作进一步详细的描述。

【专利附图】

【附图说明】
[0058] 图1 :本发明的网络教学系统流程示意图；
[0059] 图2 :根据本发明实施例的基于面部识别的网络教学系统框图。

【具体实施方式】
[0060] 下面结合附图及实施例对本发明做进一步的详细说明。
[0061] 如图1流程图所示，本发明提供的网络教学方法为：当学员登录到网络教学系统 时，系统首先读取训练库中的该学员的脸部特征码，在学员开始学习课件的时候，调用该学 员学习该课件的对比规则，然后系统调用影像处理器实时得到学员的脸部特征码并与该学 员训练库中的脸部特征码对比，如果二者的相似度未达到阈值，则累计失败次数+1，延时一 段时间后进行下一次的脸部特征对比；反之直接延时一段时间后进行下一次的脸部特征对 比，
[0062] 当累计失败次数大于系统设置的最大失败次数时，系统中止当前正在学习的课 件，等待注册学员重新登录。注册学员重新登录，有两种情况：
[0063] 第一种是，系统停止执行特征对比，等待学员重新登录系统；
[0064] 第二种是，系统不停止执行特征对比，当检测到学员正确的脸部特征后，同时系统 也达到清零策略的设置，将失败次数清零后，系统自动登录，再次进行对比。
[0065] 3)清零规则，在特征对比规则设置中还包括清零规则，清零规则就是定义累计失 败次数可以清零，以及累计次数何时清零，当达到清零规则的设置时，系统将累计失败次数 清零，
[0066] 可以是，每执行一定次数的脸部特征对比后，累计失败次数清零，这里的一定次 数，优选为5-10次之间的任一值；
[0067] 也可以是，执行脸部特征对比连续成功一定次数后，累计失败次数清零，这里的一 定次数，优选为3-10次之间的任一值；
[0068] 还可以是，每执行一定时间的脸部特征对比后，累计失败次数清零，这里的一定时 间，优选为5-10秒之间的任一值；
[0069] 也可以是，执行脸部特征对比连续成功一定时间后，累计失败次数清零，这里的一 定时间，优选为3-10秒之间的任一值。
[0070] 举例来说，在执行第一种清零规则时，设置的清零规则为每秒执行一次对比，执行 6次对比时将累计失败次数清零，同时允许在6次对比中，有2相似度低于阈值，S卩：当学员 开始学习课件时，先将累计失败次数清零，当执行了 6次对比后有4次对比成功，此时再次 将累计失败次数清零，继续执行脸部特征对比。
[0071] 在这个例子中，本发明提供的6秒执行了 6次对比，其中成功了 4次，允许两次失 败的方法，与系统在6秒内执行4次对比，要求成功4次对比都要成功的方法相比，优点为： 系统在满足实时监测的条件下，最大可能的提高了验证成功率，使学员能够更流畅的使用 本发明提供的网络教学系统。
[0072] 在本发明中，不限于实施例中提供的累计失败次数清零的方法，还可以包含其他 允许脸部特征对比失败，而不影响学员学习课件的情况。
[0073] 本发明还供了一种基于面部识别的网络教学系统。如图2所示本发明提供的网 络教学系统，包括：用户登录模块、训练库、规则管理模块、课件管理模块、视频答疑、日志管 理、面部特征对比规则设置及面部识别模块和论坛、教学领域设置等，其中
[0074] 1.用户登录模块，供用户登录所述面部识别系统，包括：用户管理、训练库以及规 则设置等。其中
[0075] 1)用户管理模块，提供用户的基本信息，例如：登录名、用户名、权限、对应的对比 规则等内容，例如：

【权利要求】
1. 一种基于面部识别的网络教学方法，其特征在于，所述网络教学方法提供可供阅读 的内容，所述内容被有权限的用户阅读，同时在所述用户阅读所述内容的整个期间，实时读 取所述用户的脸部特征码，并与所述用户预先存储的脸部特征码进行对比，如果二者的相 似度大于阈值，则对比成功；反之对比失败，当对比失败后，根据所述用户和所述内容对应 的对比规则，判断所述用户是否可以阅读所述内容。
2. 根据权利要求1所述的一种基于面部识别的网络教学方法，其特征在于，在所述对 比规则中设置最大失败次数，所述最大失败次数>0,优选2-5。
3. 根据权利要求2所述的一种基于面部识别的网络教学方法，其特征在于，所述对比 规则为： 1) 首先，检测所述内容是否已完成，如果所述内容已经完成，结束所述内容；反之，实 时读取的所述用户当前的脸部特征码，并将实时读取到的所述用户的脸部特征码，与所述 用户预先存储的脸部特征码，进行对比； 2) 当两者的相似度大于或等于所述相似度阈值时，所述面部特征对比成功，此时执行 步骤3)，反之，所述面部特征对比失败，此时执行步骤4); 3) 当所述面部特征对比成功时，延时一段时间，执行步骤1); 4) 当所述面部特征对比失败时，累计失败次数+1 ; 5) 此时，检测累计失败次数是否达到最大失败次数，未达到所述失败最大次数时，延时 一段时间，执行步骤1);反之，中止所述内容，等待用户重新登录。
4. 根据权利要求3所述的一种基于面部识别的网络教学方法，其特征在于，所述对比 规则包括清零规则，在所述内容开始阅读时，所述累计失败次数清零；在用户阅读内容的整 个期间，当满足下列条件之一，对所述累计失败次数清零： 1) 当执行面部特征对比5-10次后，并且所述累计失败次数小于所述最大失败次数时； 2) 当执行面部特征对比，连续成功3-5后，并且所述累计失败次数小于所述最大失败 次数时。
5. 根据权利要求1-4所述的任意一种基于面部识别的网络教学方法，其特征在于，还 包括日志管理，所述日志管理为： 1) 在执行脸部特征对比的各步骤时，记录与特征对比的相关的数据，所述的与特征对 比相关的数据为日志数据，所述日志数据包括：序号、当前阅读内容、当前阅读用户、当前阅 读时间、对比情况、相似度、脸部特征码以及提示信息； 2) 当所述内容完成后，自动将所述用户的日志数据上传至服务器，或者，当所述内容完 成后，所述用户将所述日志数据上传至服务器； 3) 所述日志管理还包括：对所述日志数据进行统计处理，所述统计处理结果包括：用 户信息、阅读内容信息、阅读时间、中断次数、成功次数、失败次数、相似度。
6. 根据权利要求1-5所述的任意一种基于面部识别的网络教学方法，其特征在于，还 有包括表情识别功能，所述的表情识别功能包括： 1) 在实时进行脸部特征比对时，当取得所述用户的脸部特征码的同时提取所述用户的 脸部表情； 2) 在所述日志管理中，将所述用户当前的脸部表情对应的表情符号存储在所述日志数 据中。
7. 根据权利要求1-6所述的任意一种基于面部识别的网络教学方法，其特征在于，所 述用户包括：系统管理员、教师和学员，所述阅读内容包括：课件和视频答疑， 所述系统管理员设置一个以上的对比规则； 所述教师制作所述课件，同时为所述课件指定对比规则和所述相似度对比阈值，所述 阈值大于60%并且小于98%，优选77% ; 所述学员下载所述课件； 所述教师和学员同时使用所述视频答疑，系统管理员为所述视频答疑指定对比规则。
8. 根据权利要求1所述的一种基于面部识别的网络教学方法，其特征在于，所述网络 教学方法可在有摄像头的计算机或者移动存储设备上使用。
9. 一种根据权利要求1-8所述的任意一种基于面部识别的网络教学方法的一种基于 面部识别的网络教学系统，其特征在于，包括：教学管理、用户管理模块、特征对比规则设置 模块、脸部特征码、相似度阈值，其中 所述教学管理提供对阅读内容的管理，由所述网络教学系统调用； 所述用户管理模块，供用户登录所述网络教学系统，并识别用户身份以及用户的基本 信息； 所述特征对比规则设置模块，提供设置至少一种脸部特征对比规则，并供所述阅读内 容管理模块调用； 所述脸部特征码，以二进制码存储的所述用户的脸部信息； 所述相似度阈值大于60 %，优选77 %。
10. 根据权利要求9所述的一种基于面部识别的网络教学系统，其特征在于，所述脸部 特征对比规则为： 1) 设置所述脸部特征对比允许的最大失败次数的值； 2) 在使用阅读管理模块的整个期间，累计实时脸部特征对比失败次数； 3) 当所述脸部特征对比累积失败次数大于或等于所述最大失败次数时，停止所述阅读 内容，等待用户重新登录；反之，继续进行脸部特征对比。
【文档编号】G06Q50/20GK104299178SQ201410332064
【公开日】2015年1月21日 申请日期:2014年7月11日 优先权日:2014年7月11日
【发明者】谢灿豪, 周济济 申请人:北京神州智联科技有限公司