一种参会人员投入度评价系统及其评价方法与流程

本发明涉及会议效果评估技术领域，尤其是一种基于智能视觉追踪的参会人员投入度评价方法及系统。

背景技术：

会议是在具体的时间和空间内举行的，各种因素对会议效果的影响是一个持续的过程。会议效果的评估方法，以及会议议题不同阶段的效果评估一直是业内研究方向。一场成功的会议，从会议开始到结束都应注意各种因素的影响。为了更好地保护积极因素，排除消极因素，有必要对影响会议效果的各种因素加以评估，从而建立取舍标准，以提高会议效率；与此同时，对参会者的投入度进行甄别和统计，以提升其工作效率。然而，会议进程中，影响会议效果的因素是极其复杂的，例如外界干扰、参会者精神状态、无需参会者参会、主持者准备材料不充足、少数人垄断会议、与会者之间交头接耳、与会者隐藏真正感受或意见、与会者之间争论、视听器材故障、与会者欠缺热心等都可能成为影响会议效果的因素。

以学术会议为例，现有学术会议的目标评价一般采用实证调查法，发放调查卡供参会者填写并打分，引入以目标评价为特点的平衡计分卡理论，运用基于平衡计分卡模型的学术会议效果评价指标体系来评价会议效果。在此评价过程中，没有涉及参会者投入度的研究及其评价方法，如何对众多参会者的投入度进行评价，以提高会议主持者和参与者的工作效率是当前的行业难题。

随着智能视觉追踪技术的发展，使得为多个对象同时提供量化评价成为可能。量化评价的特点是逻辑性强，标准化和精确化程度较高，能对多个对象与现象的因果关系作出精确分析，结论也更为客观和科学。例如，在体育运动领域，参与人数众多的足球或篮球比赛均可通过智能视觉追踪技术实现诸如奔跑距离、短程冲刺速度、冲刺频率、对抗成功/失败数、跑动范围等复杂数据的量化，使得评价者可以从不同的评价视角对每一位运动员进行量化评价。

技术实现要素：

针对现有会议效果评估方案存在的不足之处，本发明提供一种基于智能视觉追踪的参会人员投入度评价方法及系统，能够高效快速地同时对多个参会人员进行会议投入度评价。

本发明保护一种基于智能视觉追踪的参会人员投入度评价系统，包括设置于会场内朝向座位区的高清摄像头、与所述高清摄像头网络连接的后台服务器；所述高清摄像头用于采集会场内座位分布图像、参会人员人脸图像和参会人员状态图像；所述服务器用于将所述高清摄像头采集到的参会人员人脸图像与预存的参会人员姓名及人脸图像进行匹配，结合会场内座位分布图像生成参会人员就座图；用于根据定时采集的参会人员状态图像，按照既定标准对参会人员状态进行评分，并汇总出每位参会人员的全程状态总评分。

进一步的，系统还包括与所述后台服务器网络连接的移动终端，所述移动终端由会场工作人员手持，用于根据不同的会议环节切换不同的评分标准，以及临时参会人员的姓名及人脸图像导入。

本发明还保护基于上述参会人员投入度评价系统的参会人员投入度评价方法，包括以下步骤：

步骤1，高清摄像头采集会场内座位分布图像，生成会场座位分布图；

步骤2，高清摄像头按预设会议开始时间或在会场工作人员通过手持移动终端开启会议评估进程后，开始获取参会人员就座后的面部图像信息连续包fig0；

步骤3，服务器通过人脸识别技术从图像信息连续包fig0中识别出n个参会人员f1、f2、...、fn，与预存的参会人员姓名与人脸图像p1、p2、...、pn进行匹配，结合会场内座位分布图像生成参会人员就座图h0；

步骤4，会场工作人员巡视会场对参会人员就座图h0进行确认，形成确认后的参会人员就座图h1；

步骤5，高清摄像头按预设时间间隔获取参会人员就座后的状态图像信息包fig1、fig2、...、figu,服务器通过第i个时间点的状态图像信息包figi智能识别出n个参会人员的状态图像fi1、fi2、fi3、...、figin，并从状态图像识别出参会人员的不同状态；

步骤6，会场工作人员在会议进程中，根据会议主持者临时发布的不同环节，切换不同的评分标准，会议结束后，服务器按照既定标准对每个时间点的参会人员状态进行评分，汇总出每位参会人员不同时间点的状态评分统计，以及全程状态总评分统计。

进一步的，所述步骤3中的人脸识别技术包括以大三角识别为基础，结合小三角识别、六间距识别、交叉比例识别中的基于几何特征的人脸识别、基于相关匹配的方法、基于子空间的方法、基于统计的识别方法、弹性图匹配法中的一种或多种的任意组合。

进一步的，对于已成功匹配的参会人员，其姓名显示在会场内座位分布图像的对应座位上，未匹配的参会人员显示在移动终端的未识别区，会场工作人员巡视会场对参会人员就座图h0进行确认时，若发现服务器存在漏判或误判，可通过拖动参会人员姓名的方式进行修正，修正行为包括：将漏判的参会人员姓名拖入其对应的座位，将误判的参会人员姓名拖至其对应的座位，确认完毕后形成参会人员就座图h1。

进一步的，参会人员就座后的状态图像信息包的采集时间间隔为0.05-600s，按照预设均匀分布或自动随机分布。

进一步的，所述步骤5中，从参会人员的状态图像识别出参会人员的不同状态，包括但不限于抬头听会、会议互动、会议笔记、查阅资料、与会讨论、低头异常、交头接耳、手机亮屏、缺席；所述步骤6中，会议的不同环节包括但不限于普通会议环节、讨论环节，普通会议环节中标记为“交头接耳”的状态图像在讨论环节中标记为“会议互动”；评分标准中，不同状态对应不同的分数值；全程状态总评分为每位参会人员在每个参会人员状态图像采集时间点上的得分加权和。

进一步的，会场工作人员通过移动终端对评分结果进行人工审核确认。

本发明基于智能视觉追踪技术，利用高清摄像头获取会场内座位分布信息和参会人员人脸信息，实现参会人员的定位；在会议进行过程中，按预设时间间隔获取参会人员的状态图像，并从状态图像识别出参会人员的不同状态，诸如抬头听会、会议互动、会议笔记、查阅资料、与会讨论、低头异常、交头接耳、手机亮屏、缺席等，然后对这些状态进行评分定义；本发明能够高效快速地同时对多个参会人员进行会议投入度评价，并以图表形式展示，同时实现对参会人员会议状态的量化分析，作为会议效果评估的重要组成之一，提高会议效果评估的准确性。

附图说明

图1是本发明系统结构框图；

图2是会场座位图；

图3是参会人员就座图h0；

图4是参会人员就座图h1；

图5是参会人员在不同时间点的状态评分样条图；

图6是参会人员在不同时间点的状态评分统计饼状图；

图7是参会人员分数显示示意图；

图8是参会人员全程状态总评分样条图；

图9是参会人员全程状态总评分统计饼状图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种基于智能视觉追踪的参会人员投入度评价系统，如图1所示，包括设置于会场内朝向座位区的高清摄像头、与所述高清摄像头网络连接的后台服务器。

所述高清摄像头用于采集会场内座位分布图像、参会人员人脸图像和参会人员状态图像；所述服务器用于将所述高清摄像头采集到的参会人员人脸图像与预存的参会人员姓名及人脸图像进行匹配，结合会场内座位分布图像生成参会人员就座图；用于根据定时采集的参会人员状态图像，按照既定标准对参会人员状态进行评分，并汇总出每位参会人员的全程状态总评分，实现参会人员会议投入度发自动评估。

由于会议进程中，还存在不同的环节，除了常规的会议支持者演说环节外，还可能包括讨论环节、休息环节等。为此，系统还包括与所述后台服务器网络连接的移动终端，所述移动终端由会场工作人员手持，用于根据不同的会议环节切换不同的评分标准。与此同时，会场工作人员还可以通过移动终端实现临时参会人员的姓名及人脸图像导入(临时参会人员的姓名和人脸图像未预存)。

下面举例说明上述参会人员投入度评价系统的参会人员投入度评价方法：

一、准备工作阶段

会议开始前，高清摄像头在会场空无一人的情况下采集会场内座位分布图像，获取会场座位信息，生成会场座位图(参照图2)，高清摄像头朝向座位区布置，数量和角度以全覆盖所有座位区为准则；向服务器预存32位参会人员的姓名及人脸信息。

二、参会人员匹配阶段

1、高清摄像头按预设会议开始时间或在会场工作人员通过手持移动终端开启会议评估进程后，开始获取参会人员就座后的面部图像信息连续包fig0。

2、服务器通过人脸识别技术从面部图像信息连续包fig0中识别出n个参会人员f1、f2、...、fn(n≤32)，与预存的参会人员姓名与人脸图像p1、p2、...、p32进行匹配，结合会场内座位分布图像生成参会人员就座图h0。

人脸识别技术是当代信息技术领域发展极为迅速的重要技术之一，发展较为成熟。本实施例中，人脸识别技术可以采用以大三角识别为基础，结合小三角识别、六间距识别、交叉比例识别中的基于几何特征的人脸识别、基于相关匹配的方法、基于子空间的方法、基于统计的识别方法、弹性图匹配法中的一种或多种的任意组合。

3、工作人员用手持平板显示设备3确认参会人员就座图h0。对于已成功匹配的参会人员，其姓名显示在会场内座位分布图像的对应座位上，未匹配的参会人员显示在移动终端的未识别区，如图3所示。

会场工作人员巡视会场对参会人员就座图h0进行确认时，若发现服务器存在漏判或误判，可通过拖动参会人员姓名的方式进行修正，修正行为包括：将漏判的参会人员姓名拖入其对应的座位，将误判的参会人员姓名拖至其对应的座位，确认完毕后形成参会人员就座图h1，如图4所示。

三、参会人员状态获取阶段

1、高清摄像头按预设8min时间间隔获取参会人员就座后的状态图像信息包fig1、fig2、...、fig19,服务器通过第i个时间点的状态图像信息包figi智能识别出n个参会人员的状态图像fi1、fi2、fi3、...、figin，并从状态图像识别出参会人员的不同状态。

此处的时间间隔可以按照预设均匀分布或自动随机分布，本实施例中选择固定的8min。

2、会场工作人员在会议进程中，根据会议主持者临时发布的不同环节，切换不同的评分标准，会议结束后，服务器按照既定标准对每个时间点的参会人员状态进行评分，汇总出每位参会人员不同时间点的状态评分统计(参照图5)及其饼状图(参照图6)，并将分数显示在其对应的座位上(参照图7)，以及全程状态总评分统计(参照图8)及其饼状图(参照图9)，其中全程状态总评分为每位参会人员在每个参会人员状态图像采集时间点上的得分加权和，权重根据实际情况进行设置。

从参会人员的状态图像识别出参会人员的不同状态，包括但不限于抬头听会、会议互动、会议笔记、查阅资料、与会讨论、低头异常、交头接耳、手机亮屏、缺席；会议的不同环节包括但不限于普通会议环节、讨论环节，普通会议环节中标记为“交头接耳”的状态图像在讨论环节中标记为“会议互动”。

例如，将会议主持者发布9:10-9:30为讨论环节，则落入该时间段的参会人员的状态图像按照讨论环节参会人员的状态图像进行判别。

评分标准中，不同状态对应不同的分数值。本实施例中，普通会议环节各状态评分定义为，抬头听会100、会议笔记100、查阅资料100、低头异常80、交头接耳60、手机亮屏20、缺席0；讨论环节各状态评分定义为，抬头听会90、会议互动100、与会讨论100、会议笔记90、查阅资料90、低头异常70、手机亮屏10、缺席0。

针对未按时到场的参会人员，高清摄像头在参会人员匹配阶段未识别到其人，会场工作人员可以在其就座后，通过移动终端手动匹配该参会人员的座位。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。