一种视频会议中的人脸识别方法及装置的制造方法
【专利摘要】本发明实施例提供一种视频会议中的人脸识别方法及装置，用以解决现有视频会议过程中用户不能识别与会者身份的问题，提高视频会议效率，提升用户体验。所述视频会议中的人脸识别方法，包括：在建立视频连接之后，从视频页面中获取与会者的头像信息；根据所述与会者的头像信息，计算所述与会者的面部特征数据，并将所述与会者的面部特征数据与预先建立的面部特征数据库中的面部特征数据进行匹配，当确定所述与会者的面部特征数据与所述面部特征数据库中的任一面部特征数据匹配成功时，获取所述面部特征数据库中该面部特征数据对应的身份信息，将所述身份信息呈现在视频页面中所述与会者所在的分屏界面。
【专利说明】
一种视频会议中的人脸识别方法及装置
技术领域
[0001]本发明实施例涉及视频会议技术领域，尤其涉及一种视频会议中的人脸识别方法及装置。
【背景技术】
[0002]视频会议系统，包括软件视频会议系统和硬件视频会议系统，是指两个或两个以上不同地方的个人或群体，通过现有的各种电信通讯传输媒体，将人物的静、动态图像、语音、文字、图片等多种资料分送到各个用户的计算机上，使得在地理上分散的用户可以共聚一处，通过图形、声音等多种方式交流信息，增加双方对内容的理解能力。
[0003]在多方视频会议过程中，接入视频会议的用户可能来自同一公司不同地区的分部，或者来自不同的公司，参加视频会议的多方之间可能彼此并不熟悉，若逐一的进行介绍，必然浪费视频会议的时间，降低视频会议的效率，而在视频会议过程中，若用户不能识别出所有的与会者身份，也不便于沟通交流。
[0004]综上所述，现有视频会议过程中，用户可能不能识别出所有的与会者身份，不便于沟通交流。
【发明内容】
[0005]本发明实施例提供一种视频会议中的人脸识别方法及装置，用以解决现有视频会议过程中用户不能识别与会者身份的问题，提高视频会议效率，提升用户体验。
[0006]本发明实施例提供一种视频会议中的人脸识别方法，该方法包括:在建立视频连接之后，从视频页面中获取与会者的头像信息;根据所述与会者的头像信息，计算所述与会者的面部特征数据，并将所述与会者的面部特征数据与预先建立的面部特征数据库中的面部特征数据进行匹配，其中，所述面部特征数据库中存储每个人的面部特征数据与身份信息的对应关系；当确定所述与会者的面部特征数据与所述面部特征数据库中的任一面部特征数据匹配成功时，获取所述面部特征数据库中该面部特征数据对应的身份信息，将所述身份信息呈现在视频页面中所述与会者所在的分屏界面。
[0007]本发明实施例提供一种视频会议中的人脸识别装置，该装置包括:图像获取单元，用于在建立视频连接之后，从视频页面中获取与会者的头像信息;第一处理单元，用于根据所述与会者的头像信息，计算所述与会者的面部特征数据，并将所述与会者的面部特征数据与预先建立的面部特征数据库中的面部特征数据进行匹配，其中，所述面部特征数据库中存储每个人的面部特征数据与身份信息的对应关系；第二处理单元，用于当确定所述与会者的面部特征数据与所述面部特征数据库中的任一面部特征数据匹配成功时，获取所述面部特征数据库中该面部特征数据对应的身份信息，将所述身份信息呈现在视频页面中所述与会者所在的分屏界面。
[0008]本发明实施例提供的一种视频会议中的人脸识别方法及装置，在建立视频连接之后，从视频页面中获取与会者的头像信息，根据与会者的头像信息，计算与会者的面部特征数据，并将与会者的面部特征数据与预先建立的面部特征数据库中的面部特征数据进行匹配，当确定与会者的面部特征数据与面部特征数据库中的任一面部特征数据匹配成功时，获取面部特征数据库中该面部特征数据对应的身份信息，将身份信息呈现在视频页面中与会者所在的分屏界面，使得用户能够及时获知每一与会者的身份信息，与现有视频会议过程中，用户可能不能识别出所有的与会者身份，不便于沟通交流相比，将与会者的身份信息呈现在视频页面中与会者所在的分屏界面，使得用户能够及时获知每一与会者的身份信息，提高了视频会议的效率，同时提升了用户体验。
【附图说明】
[0009]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0010]图1为本发明实施例提供的一种视频会议中的人脸识别方法的示意流程图；
[0011]图2为本发明实施例提供的一种视频会议中的人脸识别方法的具体流程的示意流程图；
[0012]图3为本发明实施例提供的一种视频会议中的人脸识别装置的结构示意图。
【具体实施方式】
[0013]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0014]本发明实施例提供的一种视频会议中的人脸识别方法，如图1所示，该方法包括:
[0015]步骤11，在建立视频连接之后，从视频页面中获取与会者的头像信息；
[0016]步骤13，根据与会者的头像信息，计算与会者的面部特征数据，并将与会者的面部特征数据与预先建立的面部特征数据库中的面部特征数据进行匹配，其中，面部特征数据库中存储每个人的面部特征数据与身份信息的对应关系；
[0017]步骤15，当确定与会者的面部特征数据与面部特征数据库中的任一面部特征数据匹配成功时，获取面部特征数据库中该面部特征数据对应的身份信息，将身份信息呈现在视频页面中与会者所在的分屏界面。
[0018]本发明实施例提供的方法中，在建立视频连接之后，从视频页面中获取与会者的头像信息，根据与会者的头像信息，计算与会者的面部特征数据，并将与会者的面部特征数据与预先建立的面部特征数据库中的面部特征数据进行匹配，当确定与会者的面部特征数据与面部特征数据库中的任一面部特征数据匹配成功时，获取面部特征数据库中该面部特征数据对应的身份信息，将身份信息呈现在视频页面中与会者所在的分屏界面，使得用户能够及时获知每一与会者的身份信息，与现有视频会议过程中，用户可能不能识别出所有的与会者身份，不便于沟通交流相比，将与会者的身份信息呈现在视频页面中与会者所在的分屏界面，使得用户能够及时获知每一与会者的身份信息，提高了视频会议的效率，同时提升了用户体验。
[0019]具体实施时，由于在视频会议过程中，与会者可能正面面对视频会议系统的图像采集设备，也可能侧面面对视频会议系统的图像采集设备，也即建立视频连接之后，在视频页面中获取到的与会者的头像信息，可能是与会者的正面照片，也可能是与会者的侧面照片，因此，为了更好地匹配与会者的身份信息，在预先建立面部特征数据库时，可以预先针对指定的客户或者公司的员工，从正面、侧面多方位拍摄图像信息，并进行预处理，例如:预先分析每个人的全局特征和局部特征，组成面部特征数据，在面部特征数据库中存储每个人的面部特征数据与身份信息的对应关系。其中，每个人的身份信息，可以包括但不限于:姓名、公司名称、职务等。
[0020]在建立视频连接之后，从视频页面中提取出参加会议的与会者的头像信息，并根据与会者的头像信息计算与会者的面部特征数据，将与会者的面部特征数据与预设的面部特征数据进行匹配，匹配成功后提取出匹配成功的面部特征数据对应的身份信息，在与会者所在分屏界面呈现，例如:在分屏界面的左上角显示，以提示用户与会者的身份。
[0021]值得说明的是，在视频页面显示与会者的身份信息时，可以显示所有与会者的身份信息，也可以仅显示用户所选择的分屏界面中与会者的身份信息，以提高显示与会者身份的速度，当然，若仅显示用户选择的分屏界面中与会者的身份信息，则在建立视频连接之后，从视频页面中获取与会者的头像信息时，获取用户在视频页面所选择的分屏界面中的与会者的头像信息即可。
[0022]当然，若与会者的面部特征数据与面部特征数据库中的所有面部特征数据均未能成功匹配，则表明匹配失败，面部特征数据库中未存储此与会者的面部特征数据，提示用户无此与会者的身份信息，用户可以选择直接在面部特征数据库中增添此与会者的身份信息。
[0023]在一种可能的实施方式中，本发明实施例提供的方法中，根据与会者的头像信息，计算与会者的面部特征数据，包括:根据与会者的头像信息，计算头像信息的局部特征和全局特征，并将局部特征和全局特征组成一个特征向量，将该特征向量作为与会者的面部特征数据。
[0024]在一种可能的实施方式中，本发明实施例提供的方法中，根据与会者的头像信息，计算头像信息的局部特征，包括:将与会者的头像信息与伽柏Gabor函数相卷积，得到与会者头像信息不同空间位置的多个Gabor特征;将多个Gabor特征按照空间位置进行分块，并将每块内的Gabor特征串接成一个Gabor特征向量，得到多个Gabor特征向量，将多个Gabor特征向量中预设数量的Gabor特征向量作为头像信息的局部特征。
[0025]在一种可能的实施方式中，本发明实施例提供的方法中，根据与会者的头像信息，计算头像信息的全局特征，包括:通过二维离散傅里叶变换获取与会者的头像信息中的低频部分作为头像信息的全局特征。
[0026]具体实施时，在面部特征数据库建立过程中，获取到指定客户或者公司员工的照片信息之后，以及在视频会议过程中，获取到与会者头像信息之后，均采用相同的方式计算每个人的面部特征数据，具体来说:
[0027]面部特征数据是由全局特征和局部特征组成的一个特征向量，其中，局部特征的提取采用Gabor特征提取方法，全局特征的提取采用二维离散傅里叶变换的方式。
[0028]作为较为具体的实施例，以建立面部特征数据库过程中，存储公司员工的面部特征数据与身份信息的对应关系为例，在获取员工甲的正面照片、侧面照片之后，以正面照片为例，使用Gabor小波核函数与正面照片相卷积，得到正面照片不同位置的一组Gabor特征，如果把这些Gabor特征串接起来形成一个特征向量，然后再利用主成分分析(PrincipalComponent Analysis，PCA)或线性判别式分析(Linear Discriminant Analysis，LDA)对该特征向量进行降维，那么得到的还是正面照片的全局特征，因为PCA或LDA投影系数的每一维都包含正面照片所有位置的信息。
[0029]为了更好地提取正面照片的局部特征，将得到的正面照片的Gabor特征按照空间位置进行分块，例如:采用四宫格或九宫格的分块方式，每一个块内的Gabor特征被串接成一个特征向量，贝1J可以得到多个Gabor特征向量，称为局部Gabor特征向量(Local GaborFeature Vector，LGFV)。将多个局部Gabor特征向量中预设数量个的局部Gabor特征向量作为正面照片的局部特征，预设数量个的局部Gabor特征向量可以以一定的规则顺序排列，其中，预设数量可以根据人脸中重要的位置进行设置，例如，提取眼睛、鼻子、嘴巴三个部位的局部Gabor特征向量作为局部特征。
[°03°] 提取正面照片的全局特征时，通过二维离散傅里叶变换(Discrete FourierTransform，DFT)提取正面照片的低频部分作为全局特征。
[0031]将正面照片的局部特征和全局特征组合成一个特征向量，即为员工甲正面照片的面部特征数据，以此方法，计算员工甲的侧面照片的面部特征数据，然后将员工甲的面部特征数据与身份信息的对应关系存储在面部特征数据库中。
[0032]下面结合图2，对本发明实施例提供的一种视频会议中的人脸识别方法的具体步骤进行详细说明，如图2所示，包括:
[0033]步骤21，建立视频连接之后，获取与会者的头像信息；
[0034]步骤22，根据与会者的头像信息，计算与会者的面部特征数据；
[0035]步骤23，将与会者的面部特征数据与面部特征数据库中的面部特征数据进行匹配；
[0036]步骤24，确认是否匹配成功，若成功，则执行步骤25，否则，执行步骤26;
[0037]步骤25，若与会者的面部特征数据与面部特征数据库中的任一面部特征数据匹配成功，则提取面部特征数据库中该面部特征数据对应的身份信息，并在视频页面与会者所在分屏界面显示；
[0038]步骤26，若与会者的面部特征数据与面部特征数据库中的面部特征数据未匹配成功，则提示无此与会者的身份信息。
[0039]本发明实施例提供的一种视频会议中的人脸识别装置，如图3所示，该装置包括:图像获取单元31，用于在建立视频连接之后，从视频页面中获取与会者的头像信息;第一处理单元33，用于根据与会者的头像信息，计算与会者的面部特征数据，并将与会者的面部特征数据与预先建立的面部特征数据库中的面部特征数据进行匹配，其中，面部特征数据库中存储每个人的面部特征数据与身份信息的对应关系；第二处理单元35，用于当确定与会者的面部特征数据与面部特征数据库中的任一面部特征数据匹配成功时，获取面部特征数据库中该面部特征数据对应的身份信息，将身份信息呈现在视频页面中与会者所在的分屏界面。
[0040]本发明实施例提供的装置中，在建立视频连接之后，从视频页面中获取与会者的头像信息，根据与会者的头像信息，计算与会者的面部特征数据，并将与会者的面部特征数据与预先建立的面部特征数据库中的面部特征数据进行匹配，当确定与会者的面部特征数据与面部特征数据库中的任一面部特征数据匹配成功时，获取面部特征数据库中该面部特征数据对应的身份信息，将身份信息呈现在视频页面中与会者所在的分屏界面，使得用户能够及时获知每一与会者的身份信息，与现有视频会议过程中，用户可能不能识别出所有的与会者身份，不便于沟通交流相比，将与会者的身份信息呈现在视频页面中与会者所在的分屏界面，使得用户能够及时获知每一与会者的身份信息，提高了视频会议的效率，同时提升了用户体验。
[0041]在一种可能的实施方式中，本发明实施例提供的装置中，第一处理单元33根据与会者的头像信息，计算与会者的面部特征数据，具体用于:根据与会者的头像信息，计算头像信息的局部特征和全局特征，并将局部特征和全局特征组成一个特征向量，将该特征向量作为与会者的面部特征数据。
[0042]在一种可能的实施方式中，本发明实施例提供的装置中，第一处理单元33根据与会者的头像信息，计算头像信息的局部特征，具体用于:将与会者的头像信息与伽柏Gabor函数相卷积，得到与会者头像信息不同空间位置的多个Gabor特征;将多个Gabor特征按照空间位置进行分块，并将每块内的Gabor特征串接成一个Gabor特征向量，得到多个Gabor特征向量，将多个Gabor特征向量中预设数量的Gabor特征向量作为头像信息的局部特征。
[0043]在一种可能的实施方式中，本发明实施例提供的装置中，第一处理单元33根据与会者的头像信息，计算头像信息的全局特征，具体用于:通过二维离散傅里叶变换获取与会者的头像信息中的低频部分作为头像信息的全局特征。
[0044]在一种可能的实施方式中，本发明实施例提供的装置中，图像获取单元31在建立视频连接之后，从视频页面中获取与会者的头像信息，具体用于:在建立视频连接之后，获取用户在视频页面所选择的分屏界面中的与会者的头像信息。
[0045]本发明实施例提供的一种视频会议中的人脸识别装置，可以集成在视频会议系统中，其中，图像获取单元31可以采用摄像头等，第一处理单元33和第二处理单元35均可以采用CPU处理器等。
[0046]本发明实施例提供的一种视频会议中的人脸识别方法及装置，在建立视频连接之后，从视频页面中获取与会者的头像信息，根据与会者的头像信息，计算与会者的面部特征数据，并将与会者的面部特征数据与预先建立的面部特征数据库中的面部特征数据进行匹配，当确定与会者的面部特征数据与面部特征数据库中的任一面部特征数据匹配成功时，获取面部特征数据库中该面部特征数据对应的身份信息，将身份信息呈现在视频页面中与会者所在的分屏界面，使得用户能够及时获知每一与会者的身份信息，使得用户能够及时获知每一与会者的身份信息，提高了视频会议的效率，同时提升了用户体验。
[0047]以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0048]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0049]最后应说明的是:以上实施例仅用以说明本发明的技术方案，而非对其限制;尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【主权项】
1.一种视频会议中的人脸识别方法，其特征在于，该方法包括: 在建立视频连接之后，从视频页面中获取与会者的头像信息； 根据所述与会者的头像信息，计算所述与会者的面部特征数据，并将所述与会者的面部特征数据与预先建立的面部特征数据库中的面部特征数据进行匹配，其中，所述面部特征数据库中存储每个人的面部特征数据与身份信息的对应关系； 当确定所述与会者的面部特征数据与所述面部特征数据库中的任一面部特征数据匹配成功时，获取所述面部特征数据库中该面部特征数据对应的身份信息，将所述身份信息呈现在视频页面中所述与会者所在的分屏界面。2.根据权利要求1所述的方法，其特征在于，根据所述与会者的头像信息，计算所述与会者的面部特征数据，包括: 根据所述与会者的头像信息，计算所述头像信息的局部特征和全局特征，并将所述局部特征和全局特征组成一个特征向量，将该特征向量作为所述与会者的面部特征数据。3.根据权利要求2所述的方法，其特征在于，根据所述与会者的头像信息，计算所述头像信息的局部特征，包括: 将所述与会者的头像信息与伽柏Gabor函数相卷积，得到所述与会者头像信息不同空间位置的多个Gabor特征； 将所述多个Gabor特征按照空间位置进行分块，并将每块内的Gabor特征串接成一个Gabor特征向量，得到多个Gabor特征向量，将所述多个Gabor特征向量中预设数量的Gabor特征向量作为所述头像信息的局部特征。4.根据权利要求2所述的方法，其特征在于，根据所述与会者的头像信息，计算所述头像信息的全局特征，包括: 通过二维离散傅里叶变换获取所述与会者的头像信息中的低频部分作为所述头像信息的全局特征。5.根据权利要求1-4中任一项所述的方法，其特征在于，在建立视频连接之后，从视频页面中获取与会者的头像信息，包括: 在建立视频连接之后，获取用户在视频页面所选择的分屏界面中的与会者的头像信息。6.一种视频会议中的人脸识别装置，其特征在于，该装置包括: 图像获取单元，用于在建立视频连接之后，从视频页面中获取与会者的头像信息； 第一处理单元，用于根据所述与会者的头像信息，计算所述与会者的面部特征数据，并将所述与会者的面部特征数据与预先建立的面部特征数据库中的面部特征数据进行匹配，其中，所述面部特征数据库中存储每个人的面部特征数据与身份信息的对应关系； 第二处理单元，用于当确定所述与会者的面部特征数据与所述面部特征数据库中的任一面部特征数据匹配成功时，获取所述面部特征数据库中该面部特征数据对应的身份信息，将所述身份信息呈现在视频页面中所述与会者所在的分屏界面。7.根据权利要求6所述的装置，其特征在于，所述第一处理单元根据所述与会者的头像信息，计算所述与会者的面部特征数据，具体用于: 根据所述与会者的头像信息，计算所述头像信息的局部特征和全局特征，并将所述局部特征和全局特征组成一个特征向量，将该特征向量作为所述与会者的面部特征数据。8.根据权利要求7所述的装置，其特征在于，所述第一处理单元根据所述与会者的头像信息，计算所述头像信息的局部特征，具体用于: 将所述与会者的头像信息与伽柏Gabor函数相卷积，得到所述与会者头像信息不同空间位置的多个Gabor特征； 将所述多个Gabor特征按照空间位置进行分块，并将每块内的Gabor特征串接成一个Gabor特征向量，得到多个Gabor特征向量，将所述多个Gabor特征向量中预设数量的Gabor特征向量作为所述头像信息的局部特征。9.根据权利要求7所述的装置，其特征在于，所述第一处理单元根据所述与会者的头像信息，计算所述头像信息的全局特征，具体用于: 通过二维离散傅里叶变换获取所述与会者的头像信息中的低频部分作为所述头像信息的全局特征。10.根据权利要求6-9中任一项所述的装置，其特征在于，所述图像获取单元在建立视频连接之后，从视频页面中获取与会者的头像信息，具体用于: 在建立视频连接之后，获取用户在视频页面所选择的分屏界面中的与会者的头像信息。
【文档编号】G06K9/00GK105893948SQ201610189275
【公开日】2016年8月24日
【申请日】2016年3月29日
【发明人】蔡炜
【申请人】乐视控股（北京）有限公司, 乐视致新电子科技（天津）有限公司