一种换脸识别方法、装置、设备和介质与流程

1.本发明实施例涉及人脸识别技术领域，尤其涉及一种换脸识别方法、装置、设备和介质。


背景技术：

2.随着人脸识别技术的发展，逐渐出现了很多视频换脸的技术，该技术可以修改视频里面的人脸图像，一旦使用不当，就会出现数据被恶意修改，从而触犯法律，产生严重的社会影响。
3.现有技术中，通常都是通过采集人脸的“反生理”特征来进行换脸的识别，例如通过判断图像中人的头部比例是否符合正常的比例来判断人脸是否被换过。但是，随着换脸技术的成熟，以及某些视频的人脸中存在换脸只换一部分的情况，现有技术已经满足不了当前换脸的识别需求，存在识别率低、无法准确的确定换脸的具体位置的问题。


技术实现要素：

4.本发明提供一种换脸识别方法、装置、设备和介质，以提高换脸识别的识别率和识别精度。
5.第一方面，本发明实施例提供了一种换脸识别方法，该方法包括：采集第一标准码流文件中第一关键帧的待识别人脸信息，其中，所述第一标准码流文件携带有预设视频信息，所述预设视频信息中记录有所述第一标准码流文件中各关键帧对应的原始人脸信息；
6.从所述预设视频信息中采集所述第一关键帧对应的第一原始人脸信息；
7.根据所述待识别人脸信息与所述第一原始人脸信息之间的重合度，识别所述第一标准码流文件是否经过换脸处理。
8.第二方面，本发明实施例还提供了一种换脸识别装置，该装置包括：
9.待识别人脸信息采集模块，用于采集第一标准码流文件中第一关键帧的待识别人脸信息，其中，所述第一标准码流文件携带有预设视频信息，所述预设视频信息中记录有所述第一标准码流文件中各关键帧对应的原始人脸信息；
10.原始人脸信息提取模块，用于从所述预设视频信息中提取所述第一关键帧对应的第一原始人脸信息；
11.识别模块，用于根据所述待识别人脸信息与所述第一原始人脸信息之间的重合度，识别所述第一标准码流文件是否经过换脸处理。
12.第三方面，本发明实施例还提供了一种设备，该设备包括：
13.一个或多个处理器；
14.存储装置，用于存储一个或多个程序，
15.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的一种换脸识别方法。
16.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机
程序，该程序被处理器执行时实现如本发明实施例中任一所述的一种换脸识别方法。
17.本发明实施例提供的换脸识别方案，通过采集第一标准码流文件中第一关键帧的待识别人脸信息，以及提取预设视频信息中与第一关键帧对应的第一原始人脸信息，进而根据待识别人脸信息与第一原始人脸信息之间的重合度，来识别第一标准码流文件是否经过换脸处理，其中，上述预设视频信息存储在第一标准码流文件中，且该预设视频信息中记录有第一标准码流文件中各关键帧对应的原始人脸信息。本发明实施例通过判断待识别人脸信息与文件中携带的原始人脸信息的重合度来进行换脸识别，相比于现有技术中的方案，能够提高换脸识别的识别效率和识别精度。
附图说明
18.图1为本发明实施例提供的一种换脸识别方法的流程图；
19.图2为本发明实施例提供的另一换脸识别方法的流程图；
20.图3为本发明实施例提供的一种人脸位置信息的示意图；
21.图4为本发明实施例提供的一种换脸识别装置的结构示意图；
22.图5为本发明实施例提供的一种设备的结构示意图。
具体实施方式
23.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
24.图1为本发明实施例提供的一种换脸识别的流程图，本实施例可适用于对视频中的换脸处理进行识别的情况，该方法可以由换脸识别装置来执行，该装置可以由软件和/或硬件的方式实现，并可集成在电子设备中。
25.参见图1，该方法具体包括如下步骤：
26.s110、采集第一标准码流文件中第一关键帧的待识别人脸信息，其中，所述第一标准码流文件携带有预设视频信息，所述预设视频信息中记录有所述第一标准码流文件中各关键帧对应的原始人脸信息。
27.其中，第一标准码流文件为携带有预设视频信息的任一标准码流文件，包含有多个关键帧，第一关键帧可以为第一标准码流文件中的任意一个关键帧。
28.预设视频信息可预先从原始标准码流文件中采集得到，其中，原始标准码流文件为直接通过设备采集得到的原始数据信息。示例性的，原始标准码流文件可为监控设备直接拍摄得到的原始数据信息。通过预先从原始标准码流文件中的各关键帧中采集原始人脸信息，并将采集到的原始人脸信息存储为预设视频信息，进而在原始标准码流文件的基础上，结合预设视频信息可以得到第一标准码流文件。其中，预设视频信息中各关键帧原始人脸信息与第一标准码流文件中各关键帧的待识别人脸信息相对应。
29.可选的，第一标准码流文件为h.264标准码流格式的文件，所述预设视频信息包含于自定义信息字段sei中，h.264标准码流格式的文件所存储的数据信息是不加密不损坏的，适用于任何标准且通用的环境下，保证了方法的通用性。
30.示例性的，对于一段监控摄像头直接采集到的原始标准码流文件，通过人脸识别
算法分别采集该原始标准码流文件中每一个关键帧中的原始人脸信息，并将采集到的原始人脸信息存储为预设视频信息，以生成携带预设视频信息的第一标准码流文件。上述第一标准码流文件在传输或者存储的过程中存在视频被换脸的可能，当需要对第一标准码流文件里的第一关键帧是否经过换脸处理进行识别时，利用人脸识别算法，采集第一标准码流文件中第一关键帧的待识别人脸信息，其中，第一关键帧可以为第一标准码流文件中的任一关键帧。
31.s120、从所述预设视频信息中提取所述第一关键帧对应的第一原始人脸信息。
32.其中，第一原始人脸信息和待识别人脸信息可以包括人脸关键区域的至少一处区域位置信息。其中，人脸关键区域可以包括眉毛、眼睛、鼻子和嘴巴中的至少一处区域位置信息，并且第一原始人脸信息与所述待识别人脸信息中包含相同位置处的位置信息。
33.示例性的，若第一关键帧为第一标准码流文件中第一时刻采集的关键帧，与该第一关键帧对应的第一原始人脸信息是预设视频信息中第一时刻采集的关键帧的人脸信息；若第一原始人脸信息中包括眉毛和眼睛处的位置信息，则待识别人脸信息中也相应的要包括眉毛和眼睛处的位置信息。
34.s130、根据所述待识别人脸信息与所述第一原始人脸信息之间的重合度，识别所述第一标准码流文件是否经过换脸处理。
35.本实施例中，可以分别将第一标准码流文件中各关键帧的待识别人脸信息对应的与预设视频信息中的各关键帧的原始人脸信息进行比对，确定第一标准码流文件是否经过换脸处理。
36.具体的，根据所述待识别人脸信息与所述第一原始人脸信息之间的重合度，识别所述第一标准码流文件是否经过换脸处理，包括：若所述待识别人脸信息与所述第一原始人脸信息的任一对应位置处的区域位置信息之间的重合度不满足重合度阈值，则所述第一标准码流文件经过换脸处理。
37.可选的，当只需要识别某些时刻下的第一标准码流文件是否经过换脸处理，可以对应的采集该时刻下对应的第一标准码流文件中关键帧的待识别人脸信息，以及该时刻下预设视频信息中的对应的原始人脸信息，通过判断二者对应位置处的重合度来识别第一标准码流文件是否经过换脸，即若二者的任一对应位置上的区域位置信息的重合度不满足重合度阈值，则可以判断第一标准码流文件经过换脸操作。
38.示例性的，若待识别人脸信息和第一原始人脸信息中都包含眉毛、眼睛、鼻子以及嘴巴处的位置信息，可以通过比较对应位置之间的重合度，若存在重合度不满足重合度阈值的情况，则可以判断第一标准码流文件经过换脸操作。具体的，可以通过分别建立待识别人脸信息与第一原始人脸信息中不同位置处的曲线方程，通过带入第一原始人脸信息中对应位置处的坐标信息，判断曲线的重合度，若存在对应位置处的曲线重合度不满足重合度阈值的情况，则可以判断第一标准码流文件经过换脸处理；也可以通过分别建立待识别人脸信息与第一原始人脸信息中各不同位置之间的直线方程，通过对比直线方程之间的斜率，来识别第一标准码流文件是否经过换脸处理，具体的，若存在对应位置处的直线方程的斜率不相等，则可以判断第一标准码流文件经过换脸处理。
39.本实施例的技术方案，通过采集第一标准码流文件中第一关键帧的待识别人脸信息，以及提取预设视频信息中与第一关键帧对应的第一原始人脸信息，进而根据待识别人
脸信息与第一原始人脸信息之间的重合度，来识别第一标准码流文件是否经过换脸处理，其中，上述预设视频信息存储在第一标准码流文件中，且该预设视频信息中记录有第一标准码流文件中各关键帧对应的原始人脸信息。本发明实施例通过判断待识别人脸信息与文件中携带的原始人脸信息的重合度来进行换脸识别，相比于现有技术中的方案，能够提高换脸识别的识别效率和识别精度。
40.图2为本发明实施例提供的另一换脸识别方法的流程图，本实施例是在上述各可选实施例的基础上，对s130进行进一步细化，通过根据待识别人脸信息与第一原始人脸信息之间的重合度，来进一步识别第一关键帧中的换脸位置，以获取更加精确的换脸识别结果。参见图2，该方法具体包括：
41.s210、采集第一标准码流文件中第一关键帧的待识别人脸信息，其中，所述第一标准码流文件携带有预设视频信息，所述预设视频信息中记录有所述第一标准码流文件中各关键帧对应的原始人脸信息。
42.s220、从所述预设视频信息中提取所述第一关键帧对应的第一原始人脸信息。
43.s230、根据所述待识别人脸信息与所述第一原始人脸信息之间的重合度，识别所述第一关键帧中的换脸位置。
44.本实施例中，根据待识别人脸信息中与第一原始人脸信息之间不同位置处的重合度，来识别第一关键帧中的换脸位置。
45.具体的，作为一种可选的实施方式，所述根据所述待识别人脸信息与所述第一原始人脸信息之间的重合度，识别所述第一关键帧中的换脸位置，包括：根据所述第一原始人脸信息中包含的区域位置信息，基于牛顿差值法，确定不同位置处的原始曲线方程；根据所述待识别人脸信息中包含的区域位置信息，基于牛顿差值法，确定不同位置处的待识别曲线方程；将所述第一原始人脸信息中包含的不同位置处的区域坐标信息分别带入对应位置处的原始曲线方程和待识别曲线方程，若所述原始曲线方程与所述待识别曲线方程之差为零的个数小于设定阈值，则所述第一关键帧中的对应位置处的人脸被替换过。
46.示例性的，参见图3，待识别人脸信息与第一原始人脸信息分别对应采集的人脸信息如下：眼部的位置信息，按照两条闭合的曲线采集100个点；眉毛的位置信息，按照一个曲线采集50个坐标点；嘴巴的位置信息，按照两条闭合的曲线采集100个坐标点；鼻子中心坐标点和两个眼睛中心坐标点，一共采集三个坐标点，三个坐标点连接可以形成一个三角形。
47.以判断第一关键帧中的眉毛处是否经过换脸处理为例，根据待识别人脸信息中包含的眉毛处的50个坐标点以及第一原始人脸信息中包含的眉毛处的50个坐标点，利用牛顿差值法，可以求得眉毛处的待识别曲线方程f1(x)和原始直线方程f2(x)，两个方程相减得f(x)＝f1(x)-f2(x)，将第一人脸信息中眉毛处的50个坐标点的x轴坐标带入f(x)＝f1(x)-f2(x)，根据上式为零的个数计算待识别人脸信息与原始第一人脸信息之间的重合度。具体的，若存在结果不为零的情况，则说明眉毛处被替换过。
48.作为另一种可选的实施方式，可以通过计算不同位置之间直线的斜率以及不同位置连线所围成的面积来识别第一关键帧中的换脸位置。具体的，所述根据所述待识别人脸信息与所述第一原始人脸信息之间的重合度，识别所述第一关键帧中的换脸位置，包括：根据第一原始人脸信息中包含的区域位置信息，建立不同位置之间的原始直线方程；根据待识别人脸信息中包含的区域位置信息，建立不同位置之间的待识别直线方程；根据所述原
始直线方程以及所述待识别直线方程之间的重合度，确定所述第一关键帧中的换脸位置。
49.其中，所述根据所述原始直线方程以及所述待识别直线方程之间的重合度，确定所述第一关键帧中的换脸位置，包括：若对应位置处的原始直线方程与待识别直线方程之间的斜率不相等，则所述第一关键帧中的对应位置处的人脸被替换过。若对应位置处的原始直线方程与待识别直线方程之间的斜率相等，则继续确定所述原始直线方程围成的多边形的面积与所述待识别直线方程围成的多边形的面积是否相等，若不相等，则所述第一关键帧中的对应位置处的人脸被替换过。
50.示例性的，继续参见图3，可以根据第一原始人脸信息以及待识别人脸信息中包含的鼻子中心坐标点和两个眼睛中心坐标点，分别计算图3所示的三条原始直线方程和三条待识别直线方程，分别判断原始直线方程与对应的待识别直线方程之间的斜率是否相同，来判断第一关键帧中对应位置处的人脸是否被替换过。示例性的，若两个眼睛之间的连线斜率不同，则可以判断第一关键帧中的眼睛被替换过。
51.若对应的三条待识别直线方程和原始直线方程的斜率均相同，则继续判断原始直线方程围成的多边形的面积与所述待识别直线方程围成的多边形的面积是否相等，若不相等，则可以判断第一关键帧中的眼睛或者鼻子处被替换过。
52.在本实施例中，上述两种实施例实施可以组合使用，当采用第一种实施方式进行识别后，可以借助第二种实施方式进行验证；也可以在采用第二种实施方式进行识别后，借助第一种实施方式进行验证和替换位置的精确定位。上述两种实施方式组合使用，可以进一步提高换脸识别的准确性和精度。
53.本实施例的技术方案，根据待识别人脸信息与第一原始人脸信息之间的重合度，可以识别出第一关键帧中的换脸位置，提高了换脸识别的识别精度。
54.图4为本发明实施例提供的一种换脸识别装置的结构示意图，该装置可执行本发明实施例提供的任一所述的换脸识别方法。参见图4，该装置具体包括：
55.采集模块310，用于采集第一标准码流文件中第一关键帧的待识别人脸信息，其中，所述第一标准码流文件携带有预设视频信息，所述预设视频信息中记录有所述第一标准码流文件中各关键帧对应的原始人脸信息。
56.提取模块320，用于从所述预设视频信息中提取所述第一关键帧对应的第一原始人脸信息。
57.识别模块330，用于根据所述待识别人脸信息与所述第一原始人脸信息之间的重合度，识别所述第一标准码流文件是否经过换脸处理。
58.其中，所述第一原始人脸信息和所述待识别人脸信息包括眉毛、眼睛、鼻子和嘴巴中的至少一处位置信息，并且所述第一原始人脸信息与所述待识别人脸信息中包含相同位置处的位置信息。
59.可选的，识别模块330具体用于：若所述待识别人脸信息与所述第一原始人脸信息的任一对应位置处的区域位置信息之间的重合度不满足重合度阈值，则所述第一标准码流文件经过换脸处理。
60.可选的，识别模块330还具体用于：根据所述待识别人脸信息与所述第一原始人脸信息之间的重合度，识别所述第一关键帧中的换脸位置。
61.可选的，识别模块330还具体用于：根据所述第一原始人脸信息中包含的区域位置
信息，基于牛顿差值法，确定不同位置处的原始曲线方程；
62.根据所述待识别人脸信息中包含的区域位置信息，基于牛顿差值法，确定不同位置处的待识别曲线方程；
63.将所述第一原始人脸信息中包含的不同位置处的区域坐标信息分别带入对应位置处的原始曲线方程和待识别曲线方程，若所述原始曲线方程与所述待识别曲线方程之差为零的个数小于设定阈值，则所述第一关键帧中的对应位置处的人脸被替换过。
64.可选的，识别模块330还具体用于：根据第一原始人脸信息中包含的区域位置信息，建立不同位置之间的原始直线方程；
65.根据待识别人脸信息中包含的区域位置信息，建立不同位置之间的待识别直线方程；
66.根据所述原始直线方程以及所述待识别直线方程之间的重合度，确定所述第一关键帧中的换脸位置。
67.可选的，识别模块330还具体用于：所述根据所述原始直线方程以及所述待识别直线方程之间的重合度，确定所述第一关键帧中的换脸位置，包括：
68.若对应位置处的原始直线方程与待识别直线方程之间的斜率不相等，则所述第一关键帧中的对应位置处的人脸被替换过。
69.可选的，识别模块330还具体用于：若对应位置处的原始直线方程与待识别直线方程之间的斜率相等，则继续确定所述原始直线方程围成的多边形的面积与所述待识别直线方程围成的多边形的面积是否相等，若不相等，则所述第一关键帧中的对应位置处的人脸被替换过。
70.其中，所述第一标准码流文件为h.264标准码流格式的文件，所述预设视频信息包含于自定义信息字段sei中。
71.本发明实施例所提供的一种换脸识别装置可执行本发明任意实施例所提供的一种换脸识别方法，具备执行方法相应的功能模块和有益效果，不再进行赘述。
72.图5为本发明实施例提供的一种设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性设备12的框图。图5显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
73.如图5所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
74.总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
75.设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
76.系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动
的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
77.具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
78.设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
79.处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种换脸识别方法。
80.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的一种换脸识别方法，其中，该方法包括：
81.采集第一标准码流文件中第一关键帧的待识别人脸信息，其中，所述第一标准码流文件携带有预设视频信息，所述预设视频信息中记录有所述第一标准码流文件中各关键帧对应的原始人脸信息；
82.从所述预设视频信息中提取所述第一关键帧对应的第一原始人脸信息；
83.根据所述待识别人脸信息与所述第一原始人脸信息之间的重合度，识别所述第一标准码流文件是否经过换脸处理。
84.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
85.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，
其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
86.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
87.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
88.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。