摄像系统以及视频处理方法与流程

本发明涉及人脸识别领域，特别涉及一种摄像系统以及视频处理方法。

背景技术：

人脸识别技术在公安侦查、门禁系统、目标追踪及其他民用安全控制系统等领域均具有较高的发展前景和经济效益。但在人脸识别技术可以成为最得力的安防工具的同时，也可能不利于保护个人隐私。但是现有技术为保护视频中人物隐私时，通常会去除人物的各种特征，或者使得人物特征产生变化，这样会导致该视频数据无法作为商业或者安防数据使用。现有技术无法在保护视频人物隐私的同时，保证视频数据还能作为有效的商业或安防视频数据使用。

技术实现要素：

为了解决现有技术存在的问题，本发明的至少一个实施例提供了一种摄像系统以及视频处理方法，能够在保护视频人物隐私的同时，保证视频数据还能作为有效的商业或安防视频数据使用。

第一方面，本发明实施例提出一种摄像系统，所述系统包括：视频采集模块，其用于获取原始视频影像；人脸关键点特征获取模块，用于提取所述原始视频中各个人物的人脸关键点特征；人脸特征向量获取模块，用于获取所述原始视频中所有人脸区域，并分别提取各个人脸的特征向量；人脸伪造模块，用于根据所述各个人物的人脸关键点特征和所述人脸特征向量形成伪造人脸；视频生成模块，用于将所述人脸伪造模块形成的伪造人脸分别覆盖到所述原始视频的原始人脸上，形成去隐私的视频。

在一些实施例中，所述人脸关键点特征数据至少包括：人脸的姿态，人脸表情。

在一些实施例中，还包括：结构化特征获取模块，用于提取所述原始视频中各个人物的结构化特征，所述人脸伪造模块，用于根据所述各个人物的人脸关键点特征数据、所述人脸特征向量和所述各个人物的结构化特征形成伪造人脸。

在一些实施例中，摄像系统，还包括：加密模块，用于对所述原始视频影像进行加密；或者，对所述去隐私的视频进行加密。

在一些实施例中，解密模块，用于对加密的原始视频影像进行解密，或者，对加密的去隐私的视频进行解密。

在一些实施例中，所述视频采集模块、所述人脸关键点特征获取模块、所述人脸特征向量获取模块、所述人脸伪造模块和所述加密模块封装在一台摄像机中；或者，所述视频采集模块位于一台摄像机中，所述人脸关键点特征获取模块、所述人脸特征向量获取模块、所述人脸伪造模块和所述加密模块位于所述系统的后台。

第二方面，本发明实施例还提供视频处理方法，包括：获取原始视频影像；识别所述原始视频中所有人物区域，提取所述原始视频中各个人物的人脸关键点特征；识别所述原始视频中所有人脸区域，并分别提取人脸的特征向量；根据所述各个人物的人脸关键点特征和所述伪造的人脸特征向量形成伪造人脸；将所述伪造人脸分别覆盖到所述原始视频的原始人脸上，形成去隐私的视频。

在一些实施例中，视频处理方法，还包括：识别所述原始视频中所有人物区域，提取所述原始视频中各个人物的结构化特征，所述根据所述各个人物的人脸关键点特征数据和所述人脸特征向量形成伪造人脸，包括：根据所述各个人物的人脸关键点特征数据、所述原始视频中各个人物的结构化特征和所述人脸特征向量形成伪造人脸。

在一些实施例中，视频处理方法，其中，所述根据各个人物的人脸关键点特征数据和所述人脸特征向量形成伪造人脸，包括：将所述人脸关键点特征数据和所述人脸特征向量一起输入网络进行伪造，形成伪造人脸。

在一些实施例中，视频处理方法，其中，所述根据各个人物的人脸关键点特征数据和所述人脸特征向量形成伪造人脸，包括：对所述人脸的特征向量进行变化运算，形成伪造的人脸特征向量形成中间步骤的伪造人脸；对所述中间步骤的伪造人脸根据所述人脸关键点特征数据进行仿射变换，形成人脸关键点特征与原始人脸关键点特征一直的伪造人脸。

在一些实施例中，视频处理方法，还包括：对所述原始视频影像进行加密；或者，对所述去隐私的视频进行加密。

在一些实施例中，视频处理方法，还包括：对所述加密的原始视频影像进行解密，或者，对所述加密的去隐私的视频进行解密。

在一些实施例中，视频处理方法，所述加密为：对所述原始视频或所述去隐私视频进行逐帧加密；或者，对所述原始视频或所述去隐私视频中预设大小的数据块加密；或者，对所述原始视频或所述去隐私视频整个视频加密。

第三方面，本发明实施例还提供一种视频处理装置，包括：至少一个处理器；与所述至少一个处理器耦合的存储器，所述存储器存储有可执行指令，其中，所述可执行指令在被所述至少一个处理器执行时使得实现如上第二方面的任一项所述所述的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上第二方面的任一项所述的方法。

可见，本发明实施例的至少一个实施例中，根据个人物的人脸关键点特征和人脸特征向量形成伪造人脸，将伪造人脸分别覆盖到所述原始视频的原始人脸上，形成去隐私的视频，这样得到的去隐私视频，还能保留人物的人脸关键点特征，使得能够在保护视频人物隐私的同时，保证视频数据还能作为有效的商业或安防视频数据使用。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的摄像系统的实施例的组成结构示意图；

图2为本发明的视频处理方法的实施例的流程图。

具体实施方案

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

本方案发明人发现，在现有技术中，对视频进行人脸识别去隐私同时，不能保留人脸的姿态特征，如面部表情的喜怒哀乐，抬头或低头等。导致失去许多商业应用价值。本发明实施例提供如下方案：

如图1所示，第一方面，本实施例提供一种摄像系统，该系统包括：

视频采集模块210，其用于获取原始视频影像；

人脸关键点特征获取模块220，用于提取原始视频中各个人物的人脸关键点特征；在原始视频中如果存在多个人物，则分别提取各个人的人脸关键点特征。同时可以对记录的人进行标识，例如，可以记录各个人在视频中对应的位置来标识所记录的某个人。

人脸特征向量获取模块230，用于获取原始视频中所有人脸区域，并分别提取各个人脸的特征向量。在原始视频中如果存在多个人脸，则分别提取各个人脸的特征向量。同时可以记录每个人脸在视频中对应的位置，以便在最终生成去隐私模块时能够将各个伪造的人脸覆盖到对应的原始人脸位置上。

人脸伪造模块240，用于根据各个人物的人脸关键点特征和人脸特征向量形成伪造人脸。例如，根据伪人脸特征向量和人物的人脸关键点特征通过一个基于对抗神经网络的人脸生成算法，如deepfake算法，生成一张新的人脸，此人脸和原始人脸不同，记做伪造人脸。

由于伪造的人脸是根据原始人脸的特征向量和人物的人脸关键点特征共同形成的，因此，基于具有相同特征向量的人脸，在不同的场合，在伪造之后可以形成近似的人脸。可以保证在预设时间内无论在何种情况下，同一个原始人脸形成的伪造人脸近似。即保证了伪造人脸的横向一致性。基于伪造人脸根据原始人物的人脸关键点特征，因此，能保证伪装前后人脸关键点特征一致。可选的，通过人脸人脸关键点算法，提取其姿态、表情等信息，例如，姿态是侧脸还是低着脸，还是仰着脸，表情是大笑还是微笑或者别的。在生成人脸时，通过有条件的人脸生成算法，如conditiongan，stylegan等算法，控制生成的人脸符合原人脸的人脸关键点属性特征。

视频生成模块250，用于将所述人脸伪造模块形成的伪造人脸分别覆盖到所述原始视频的原始人脸上，形成去隐私的视频。

本实施例根据各个人物的人脸关键点特征和所述伪造的人脸特征向量数据共同形成伪造人脸，这样得到的去隐私视频，能够在保护视频人物隐私的同时，保留人物的人脸关键点特征，保证视频数据还能作为有效的商业或安防视频数据使用。

此外，本实施例的摄像系统，还可以包括结构化特征获取模块，用于提取所述原始视频中各个人物的结构化特征，所述人脸伪造模块，用于根据所述各个人物的人脸关键点特征数据、所述人脸特征向量和所述各个人物的结构化特征形成伪造人脸。

此外，本实施例的摄像系统，还可以包括：加密模块，用于对原始视频影像进行加密；或者，对去隐私的视频进行加密。以及，还可以包括：解密模块，用于对加密的原始视频影像进行解密，或者，对加密的去隐私的视频进行解密。加密模块对原始视频或去隐私视频进行逐帧加密；或者，对原始视频或去隐私视频中预设大小的数据块加密；或者，对原始视频或去隐私视频整个视频加密。

具体的，加密模块可以使用例如，rsa加密算法，可以通过一个公钥进行单向加密。具体方法可以是对视频逐帧加密，或者各个一定大小数据块加密，或者整个视频直接加密。加密的视频进行储存，在没有授权私钥情况下无法解密，保证其安全。解密时，同加密方式类似，放过来通过私钥进行解密，获得原始视频。

在一实施例中，摄像系统的视频采集模块、人脸关键点特征获取模块、人脸特征向量获取模块、人脸伪造模块和加密模块封装在一台摄像机中。例如，所有模块封装在一台摄像机中，通过摄像头获得原始视频。通过加密芯片或者通用处理器进行加密运算。通过ai芯片或者通用附属型的处理器（gpu）或者中央处理器（cpu）进行去隐私模块计算。

在此实施例中，封装在摄像机中的芯片模块首先对视频数据进行加密或去隐私处理，再通过有线或无线网络或其结合传输到后台服务器。由于传输的视频数据是已加密或去隐私处理的，能够减少泄密的发生，提高系统的可靠性。

在另一个实施例中，摄像系统的视频采集模块位于一台摄像机中，人脸关键点特征获取模块、人脸特征向量获取模块、人脸伪造模块和加密模块位于系统的后台。例如，将人脸关键点特征获取模块、人脸特征向量获取模块、人脸伪造模块和加密模块抽离出摄像机，放在后台服务器上。前端摄像头只是通用摄像头即可。

在此实施例中，当需要对不同的摄像系统进行加密和去隐私的升级时，可以直接在后台进行系统升级，不需要更换一个一个的摄像机，也不需要对各个摄像机进行分别的升级处理。提高更新换代的效率，降低成本。

如图2所示，第二方面，本实施例提供一种视频处理方法，包括：

310，获取原始视频影像，具体可以通过现有技术或未来技术中的任一种摄像头获得原始视频影像。

320，识别所述原始视频中所有人物区域，提取所述原始视频中各个人物的人脸关键点特征。例如，姿态是侧脸还是低着脸，还是仰着脸，表情是大笑还是微笑或者别的。在原始视频中如果存在多个人物，则分别提取各个人的人脸关键点特征。同时可以对记录的人进行标识，例如，可以记录各个人在视频中对应的位置来标识所记录的某个人。

330，识别原始视频中所有人脸区域，并分别提取人脸的特征向量。原始视频中如果存在多个人脸，则通过识别分别提取各个人脸的特征向量。在原始视频中如果存在多个人脸，则分别提取各个人脸的特征向量。同时可以记录每个人脸在视频中对应的位置，以便在最终生成去隐私模块时能够将各个伪造的人脸覆盖到对应的原始人脸位置上。

340，根据各个人物的人脸关键点特征和人脸特征向量形成伪造人脸。具体的，可以根据人脸特征向量和人物的人脸关键点特征可以通过一个基于对抗神经网络的人脸生成算法，如deepfake算法，生成一张新的人脸，此人脸和原始人脸不同，记做伪造人脸。

可选的，通过人脸人脸关键点算法，提取姿态、表情等信息，在生成人脸时，通过有条件的人脸生成算法，如conditiongan，stylegan等算法，控制生成的人脸符合原人脸的人脸关键点属性特征，例如，原始视频中人是抬着脸表情微笑，则伪造的人脸除了特征向量和原始人脸特征向量相同外，也是具备同样抬着脸微笑的表情。

350，将伪造人脸分别覆盖到原始视频的原始人脸上，形成去隐私的视频。

本实施例中，由于伪造的人脸是根据原始人脸的特征向量和人物的人脸关键点特征共同形成的，因此，基于具有相同特征向量的人脸，在不同的场合，在伪造之后可以形成近似的人脸。可以保证在预设时间内无论在何种情况下，同一个原始人脸形成的伪造人脸近似。即保证了伪造人脸的横向一致性。基于伪造人脸根据原始人物的人脸关键点特征，因此，能保证伪装前后人脸关键点特征一致。

本实施例对所获取的原始视频中所有人脸提取特征向量进行仿造之后，将仿造的人脸分别覆盖到原始视频的人脸上，形成去隐私视频，该去隐私视频中不包含任何一张原视频中的人脸，仍然可以正常的观看，并且可以正常从中分析行人行为和人群分布等信息，而且保持了人物的人脸关键点特征。使得视频在保护隐私的同时，还能作为有效安防或商业数据使用。

另一实施例中，一种视频处理方法，还包括：识别原始视频中所有人物区域，提取所述原始视频中各个人物的结构化特征。例如，性别、年龄、是否佩戴眼镜等信息。

具体的，特征向量变化模块可以通过一单向哈希（hash）算法，如md5算法，或者其他数学方法等，将其变化为新的人脸特征向量，可以记做伪造特征向量。

相应的，根据所述各个人物的人脸关键点特征数据和所述人脸特征向量形成伪造人脸，则具体为：根据各个人物的人脸关键点特征数据、原始视频中各个人物的结构化特征和人脸特征向量形成伪造人脸。

这样形成的伪造人脸，不仅具备和原始视频人脸相同的特征向量，还具备和原始视频人脸同样的结构化特征和关键点特征，更大程度的保留了视频数据的完整性，进一步满足商业和安防需要。

在一个实施例中，一种视频处理方法，根据各个人物的人脸关键点特征数据和所述人脸特征向量形成伪造人脸，具体包括：将所述人脸关键点特征数据和所述人脸特征向量一起输入网络进行伪造，形成伪造人脸。

在一个实施例中，一种视频处理方法，对所述人脸的特征向量进行变化运算，形成伪造的人脸特征向量形成中间步骤的伪造人脸。具体可以通过单向哈希（hash）算法，如md5算法，或者其他数学方法进行变化运算，将其变化为新的人脸特征向量，可以记做伪造特征向量。对所述中间步骤的伪造人脸根据所述人脸关键点特征数据进行仿射变换，形成人脸关键点特征与原始人脸关键点特征一直的伪造人脸。

值得注意的是，这里的仿射变换，是对伪造人脸前后人脸特征向量变换的逆运算。例如，在伪造（fake）之前，原始视频人脸为侧脸，提取人脸特征向量进行伪造之后，可能从侧脸变成正脸。此时做仿射变换的目的就是，将伪造之后得到的正脸变回原先的侧脸。

另一实施例中，一种视频处理方法，还包括：对原始视频影像进行加密；或者，对去隐私的视频进行加密。

以及，在加密之后，还包括：对加密的原始视频影像进行解密，或者，对加密的去隐私的视频进行解密。

具体的，在加密时，可以对原始视频或去隐私视频进行逐帧加密；或者，对原始视频或去隐私视频中预设大小的数据块加密；或者，对原始视频或去隐私视频整个视频加密。

可以理解的是，解密是与加密对应的过程，解密的方法可以适应与加密的方式进行。

在第三方面，本发明还提供一种视频处理装置，包括：

至少一个处理器；与至少一个处理器耦合的存储器，存储器存储有可执行指令，其中，可执行指令在被至少一个处理器执行时使得实现本发明第二方面的方法。

本实施例提供一种视频处理装置，包括：至少一个处理器；与至少一个处理器耦合的存储器。例如，存储器可以包括随机存储器、闪存、只读存储器、可编程只读存储器、非易失性存储器或寄存器等。处理器可以是中央处理器（centralprocessingunit，cpu）等。存储器可以存储可执行指令。处理器可以执行在存储器中存储的可执行指令，从而实现本文描述的各个过程。

可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是rom(read-onlymemory，只读存储器)、prom(programmablerom，可编程只读存储器)、eprom(erasableprom，可擦除可编程只读存储器)、eeprom(electricallyeprom，电可擦除可编程只读存储器)或闪存。易失性存储器可以是ram(randomaccessmemory，随机存取存储器)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如sram(staticram，静态随机存取存储器)、dram(dynamicram，动态随机存取存储器)、sdram(synchronousdram，同步动态随机存取存储器)、ddrsdram(doubledataratesdram，双倍数据速率同步动态随机存取存储器)、esdram(enhancedsdram，增强型同步动态随机存取存储器)、sldram(synchlinkdram，同步连接动态随机存取存储器)和drram(directrambusram，直接内存总线随机存取存储器)。本文描述的存储器42旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器存储了如下的元素，升级包、可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。

其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序中。

在本发明实施例中，处理器通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于执行第二方面所提供的方法步骤。

此外，在第四方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明第二方面的方法的步骤。

例如，机器可读存储介质可以包括但不限于各种已知和未知类型的非易失性存储器。

本领域技术人员可以明白的是，结合本文中所公开的实施例描述的各示例的单元及算法步骤能够以电子硬件、或者软件和电子硬件的结合来实现。这些功能是以硬件还是软件方式来实现，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以针对每个特定的应用，使用不同的方式来实现所描述的功能，但是这种实现并不应认为超出本申请的范围。

在本申请实施例中，所公开的系统、装置和方法可以通过其它方式来实现。例如，单元的划分仅仅为一种逻辑功能划分，在实际实现时还可以有另外的划分方式。例如，多个单元或组件可以进行组合或者可以集成到另一个系统中。另外，各个单元之间的耦合可以是直接耦合或间接耦合。另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是单独的物理存在等等。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在机器可读存储介质中。因此，本申请的技术方案可以以软件产品的形式来体现，该软件产品可以存储在机器可读存储介质中，其可以包括若干指令用以使得电子设备执行本申请实施例所描述的技术方案的全部或部分过程。上述存储介质可以包括rom、ram、可移动盘、硬盘、磁盘或者光盘等各种可以存储程序代码的介质。

以上内容仅为本申请的具体实施方式，本申请的保护范围并不局限于此。本领域技术人员在本申请所公开的技术范围内可以进行变化或替换，这些变化或替换都应当在本申请的保护范围之内。