隐私保护方法、装置、设备及存储介质与流程

本申请涉及新能源隐私保护技术领域，具体而言，涉及隐私保护方法、装置、设备及存储介质。

背景技术：

随着信息技术的不断发展，我们的个人隐私存在被滥用的潜在危险。例如，在某个记者现场采访场地，用户a从该场地路过时，很可能拍摄像头拍摄到，从而使得在直播过程中，用户a的人像被广大用户知晓，从而泄露用户a的隐私信息。为了保护用户的隐私，目前很多隐私保护方法都是通过服务器或pc端等强大计算机来进行处理，而对于嵌入式设备来说，由于嵌入式设备的计算性能较弱，对人脸检测算法来说，运行效率很低，无法达到实时对隐私数据进行监测，导致用户的隐私被泄露。

技术实现要素：

有鉴于此，本申请实施例提供的隐私保护方法、装置、设备及存储介质，能够实时对用户的人脸图像进行遮挡，防止隐私被泄露。

第一方面，本申请实施例提供的一种隐私保护方法，所述方法应用于嵌入式设备，所述方法包括：获取实时视频数据中的每一帧原始图像；检测所述每一帧原始图像中人脸图像的位置；根据所述位置将用于遮挡所述人脸图像的遮挡区域覆盖于所述人脸图像上，生成每一帧修改图像；输出所述每一帧修改图像，其中，输出的前一帧原始图像对应的修改图像的时间早于获取所述前一帧原始图像的下下一帧原始图像的时间。

在上述实现过程中，本申请通过对实时的视频数据中的每一帧原始图像进行监测，并对监测到人脸图像的每一帧原始图像中的人脸图像进行遮挡，以输出遮挡后的修改图像，从而提高对用户的隐私的保护的准确率以及防止隐私被泄露。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，所述检测所述每一帧原始图像中人脸图像的位置，包括：对所述每一帧原始图像进行缩小，得到每一帧缩小图像；检测所述每一帧缩小图像中人脸图像的位置。

在上述实现过程中，通过对每一帧原始图像进行缩小，可以降低数据处理量，进而提高嵌入式设备对人脸图像检测的速度。

结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，所述检测所述每一帧缩小图像中人脸图像的位置，包括：配置神经网络中的候选框的配置参数；根据配置后的所述候选框从所述每一帧缩小图像中提取图像特征；确定所述图像特征为人脸图像；获取所述人脸图像在所述每一帧缩小图像的位置。

在上述实现过程中，通过先配置候选框的配置参数，然后基于配置后的所述候选框从所述每一帧缩小图像中提取图像特征，从而确定人脸图像的位置，可以使得对不同人脸的均能够进行检查，进而避免漏检，提高检测准确性。

结合第一方面中的任意一种实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，所述位置包括所述人脸图像在所述每一帧原始图像中的位置坐标，所述位置坐标包括第一坐标和第二坐标，所述根据所述位置将用于遮挡所述人脸图像的遮挡区域覆盖于所述人脸图像上，生成每一帧修改图像，包括：确定所述第一坐标和所述第二坐标所形成的矩形区域；将所述矩形区域的面积作为所述人脸图像的面积；生成大于或等于所述面积的遮挡区域；将所述遮挡区域覆盖于所述人脸图像上，生成每一帧修改图像。

在上述实现过程中，通过确定所述第一坐标和所述第二坐标所形成的矩形区域；将所述矩形区域的面积作为所述人脸图像的面积；实时生成大于或等于所述面积的遮挡区域；并将所述遮挡区域覆盖于所述人脸图像上，生成每一帧修改图像，从而对每一帧原始图像均进行人脸检测，并对出现人脸的每一帧原始图像进行遮挡，可以有效提高对人脸图像的遮挡的准确率，避免出现目标漏遮现象，进一步防止隐私被泄露。

结合第一方面的第三种可能的实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，所述遮挡区域包括：纯色遮挡图像或马赛克图像。

第二方面，本申请实施例提供的一种隐私保护装置，所述装置包括：获取模块，用于获取实时视频数据中的每一帧原始图像；检测模块，用于检测所述每一帧原始图像中人脸图像的位置；隐私模块，用于根据所述位置将用于遮挡所述人脸图像的遮挡区域覆盖于所述人脸图像上，生成每一帧修改图像；输出模块，用于输出所述每一帧修改图像，其中，输出的前一帧原始图像对应的修改图像的时间早于获取所述前一帧原始图像的下下一帧原始图像的时间。

结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，所述检测模块，还用于：对所述每一帧原始图像进行缩小，得到每一帧缩小图像；检测所述每一帧缩小图像中人脸图像的位置。

结合第二方面的第一种可能的实施方式，本申请实施例提供了第二方面的第二种可能的实施方式，所述检测所述每一帧缩小图像中人脸图像的位置，包括：配置神经网络中的候选框的配置参数；根据配置后的所述候选框从所述每一帧缩小图像中提取图像特征；确定所述图像特征为人脸图像；获取所述人脸图像在所述每一帧缩小图像的位置。

结合第二方面的任意一种实施方式，本申请实施例提供了第二方面的第三种可能的实施方式，所述位置包括所述人脸图像在所述每一帧原始图像中的位置坐标，所述位置坐标包括第一坐标和第二坐标，所述隐私模块，还用于：确定所述第一坐标和所述第二坐标所形成的矩形区域；将所述矩形区域的面积作为所述人脸图像的面积；生成大于或等于所述面积的遮挡区域；将所述遮挡区域覆盖于所述人脸图像上，生成每一帧修改图像。

结合第二方面的第三种可能的实施方式，本申请实施例提供了第二方面的第四种可能的实施方式，所述遮挡区域包括：纯色遮挡图像或马赛克图像。

第三方面，本申请实施例提供的一种嵌入式设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述隐私保护方法的步骤。

第四方面，本申请实施例提供的一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的隐私保护方法。

第五方面，本申请实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一项所述的隐私保护方法。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种隐私保护方法的流程图；

图2为本申请实施例提供的一种隐私保护方法中的矩形框的示意图；

图3为本申请实施例提供的一种隐私保护方法中的一种场景图；

图4为本申请实施例提供的一种隐私保护方法中的另一种场景图；

图5为本申请实施例提供的一种隐私保护装置的结构示意图；

图6为本申请实施例提供的一种嵌入式设备的结构示意图。

具体实施方式

现有技术中存在的上述缺陷，本申请人认为均是申请人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下午中本申请实施例针对上述问题所提出的解决方案，都应该是申请人在本申请过程中对本申请做出的贡献。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，是本申请实施例提供的隐私保护方法的流程图，应理解，图1所示的方法可以通过隐私保护装置执行，该装置可以与下文中的图6所示的设备对应，该设备可以是能够执行该方法的各种嵌入式设备，例如，如个人手机、机顶盒、交换机、智能电视、摄像机等，本申请实施例并不限于此，具体包括如下步骤：

步骤s101，获取实时视频数据中的每一帧原始图像。

可选地，视频数据可以是sdi(serialdigitalinterface，串行数字接口)摄像头所采集后输入的，也可以是hdmi(highdefinitionmultimediainterface，高清晰度多媒体接口)输入的，还可以是h264或h265编码网络摄像机输入的。

举例来说，作为一种应用环境，如图3所述，单片机通过接收多视频源的输入，如sdi摄像头、hdmi和h264或h265编码网络摄像机输入的视频源，然后将实时视频数据发送至如图5所示的隐私保护装置中，以通过隐私保护装置执行如图1所示的隐私保护方法来对每一帧原始图像进行人脸检测，并得到人脸位置，再对人脸图像进行遮挡，输出修改图像至单片机，由单片机将修改图像输出。例如，可以通过hdmi输出或通过网口输出修改图像或修改图像形成的视频。

应理解，上述视频数据源的采集或输入仅为示例而非限定。

作为一种应用场景，在记者访问时或在进行医学手术时，会通过摄像头实时采集视频数据，然后从摄像头中读取实时视频数据。

在上述实现过程中，通过对获取每一帧原始图像，以便对每一帧原始图像进行监测，可以有效避免隔帧监测而导致的输出结果的准确率较低、遮挡不完全、易出现人脸漏遮的现象，进而有效防止隐私被泄露。

步骤s102，检测所述每一帧原始图像中人脸图像的位置。

可选地，检测的帧率为25帧/秒。

可选地，位置是指人脸图像在对应帧的图像中的位置。

可选地，位置包括所述人脸图像在所述每一帧原始图像中的位置坐标，所述位置坐标包括第一坐标和第二坐标。

可选地，第一坐标为人脸图像所在矩形框中的左上点的坐标，第二坐标为人脸图像所在矩形框中的右下点的坐标。例如，如图2所示的矩形框，第一坐标z1(x1，y1)和第二坐标z2(x2，y2)。

作为一种实施方式，步骤s102，包括：对所述每一帧原始图像进行缩小，得到每一帧缩小图像；检测所述每一帧缩小图像中人脸图像的位置。

可选的，缩小图像可以是红(r)、绿(g)、蓝(b)rgb图像。

当然，在实际使用中，缩小图像也可以是黑白图像。在此，不作具体限定。

可选地，人脸图像的最小像素值为30*30。

在上述实现过程中，通过对每一帧原始图像进行缩小，可以降低数据处理量，进而提高嵌入式设备对人脸图像检测的速度。

可选地，检测所述每一帧缩小图像中人脸图像的位置，包括：基于cnn网络(convolutionalneuralnetwork，卷积神经网络)对每一帧缩小图像进行人脸检测，确定所述人脸图像在对应帧中的位置。

可选地，在将每一帧缩小图像送入cnn网络后，cnn网络会在预测层中对预设的每一个候选框anchor进行分类和回归(即判断是否为人脸及人脸位置)，从而得到检测结果，检测结果包括人脸图像的位置。

可选地，检测所述每一帧缩小图像中人脸图像的位置，包括：配置神经网络中的候选框的配置参数；根据配置后的所述候选框从所述每一帧缩小图像中提取图像特征；确定所述图像特征为人脸图像；获取所述人脸图像在所述每一帧缩小图像的位置。

可选地，候选框anchor的配置参数包括anchor的大小参数以及密集度参数。

可选地，候选框anchor的配置参数的设定可以根据应用场景进行设置。例如，可以将anchor的大小设置为较小，以提高对小脸的检测效果。

可选地，为了提高cnn网络的范化能力，应对复杂情况下的人脸检测需求，将anchor设置为相对稠密，即anchor设置的相对现有中的anchor的密集度更加密集。例如，可以设置多个大小不同且密集度较高的anchor。

可选地，cnn网络采用对深度卷积神经网络mobilenet进行了后剪枝处理的网络，以提高网络的运行速度。

可选地，可以基于目标检测算法，如ssd(singleshotmultiboxdetector，探测器)算法对候选框anchor进行分类和回归，从而得到人脸图像的位置。应理解，上述算法仅为示例，而非限定。

在上述实现过程中，通过先配置候选框的配置参数，然后基于配置后的所述候选框从所述每一帧缩小图像中提取图像特征，从而确定人脸图像的位置，可以使得对不同人脸的均能够进行检查，进而避免漏检，提高检测准确性。

步骤s103，根据所述位置将用于遮挡所述人脸图像的遮挡区域覆盖于所述人脸图像上，生成每一帧修改图像。

可选地，由于检测每一帧的原始图像的帧率在25帧/秒，即每一帧检测需要的时间为0.04秒，故每张图像的检测并遮挡的总时间在40毫秒之内，即完成步骤s102与步骤s103的总时间在40毫秒之内。

作为一种实施方式，所述位置包括所述人脸图像在所述每一帧原始图像中的位置坐标，所述位置坐标包括第一坐标和第二坐标，步骤s103，包括：确定所述第一坐标和所述第二坐标所形成的矩形区域；将所述矩形区域的面积作为所述人脸图像的面积；生成大于或等于所述面积的遮挡区域；将所述遮挡区域覆盖于所述人脸图像上，生成每一帧修改图像。

可选地，该矩形区域的大小可以等于候选框的大小。

当然，该矩形区域的大小可以小于候选框的大小。在此，不作具体限定。

继续以上述例子为例，如图2所示，第一坐标z1(x1，y1)和第二坐标z2(x2，y2)可以形成一个矩形区域，通过z1(x1，y1)和z2(x2，y2)可以确定矩形区域的面积，即矩形区域的面积为s＝|x2-x1|*|y1-y2|。然后根据该面积生成一个生成大于或等于所述面积的遮挡区域，再将所述遮挡区域覆盖于所述人脸图像上，生成每一帧修改图像。即每一帧修改图像包括有遮挡区域的图像。

可选的，遮挡区域可以是纯色图像或马赛克图像。

当然，在实际使用中，也可以通过其他图像进行遮挡，如通过彩色图像进行遮挡，或者是使用黑白图像进行遮挡。

可选的，遮挡区域可以是矩形图像，也可以是圆形图像。

当然，在实际使用中，遮挡区域可以是与被遮挡的人脸相同形状的图像，从而完全覆盖人脸图像，且又不遮挡每一帧原始图像中的其他区域。

可选地，生成遮挡区域的方式可以是但不限于基于预设形状与所检测到的人脸的大小形成的纯色图像或马赛克图像。

可选地，预设形状是指预先设定了遮挡区域的形状的样式，如可以是圆形或矩形等。

当然，在实际使用中，遮挡区域可以为预设的，根据人脸图像的大小从预设的遮挡区域中选择与人脸图像匹配的目标遮挡区域。在此，不作具体限定。

在上述实现过程中，通过确定所述第一坐标和所述第二坐标所形成的矩形区域；将所述矩形区域的面积作为所述人脸图像的面积；实时生成大于或等于所述面积的遮挡区域；并将所述遮挡区域覆盖于所述人脸图像上，生成每一帧修改图像，从而对每一帧原始图像均进行人脸检测，并对出现人脸的每一帧原始图像进行遮挡，可以有效提高对人脸图像的遮挡的准确率，避免出现目标漏遮现象，进一步防止隐私被泄露。

步骤s104，输出所述每一帧修改图像。

其中，输出的前一帧原始图像对应的修改图像的时间早于获取所述前一帧原始图像的下下一帧原始图像的时间。

可选地，每获取一帧原始图像都进行上述修改过程，然后修改之后输出修改后的图像。

可选地，下下一帧原始图像是指前一帧原始图像的下一帧原始图像之后的再下一帧原始图像。

可选地，输出的前一帧原始图像对应的修改图像的时间晚于获取所述前一帧原始图像的下一帧原始图像的时间，但是早于获取所述前一帧原始图像的下下一帧原始图像的时间。

举例来说，假设对原始图像帧a修改后得到的修改图像的时间为09：01，而获取a的下一帧原始图像b的时间可能为09：00，获取所述前一帧原始图像的下下一帧原始图像c的时间可能为09：02，也可能获取a的下一帧原始图像b的时间与对原始图像帧a修改后得到的修改图像的时间之间相差零点几毫秒。也可能是在对原始图像帧a修改后得到的修改图像的时间前已获取a的下一帧原始图像b。

应理解，上述举例仅为示例而非限定。

作为一种应用场景，如图4所示，在摄像头采集视频后，通过交换机或路由器将视频数据转发至隐私保护装置，然后通过隐私保护装置执行隐私保护方法，对实时视频数据中的每一帧原始图像中的人脸进行遮挡，将遮挡后的修改图像发送至交换机或路由器，由交换机或路由器将修改图像输出至终端(如pc或服务器)。

本申请实施例所提供的隐私保护方法，通过获取实时视频数据中的每一帧原始图像；检测所述每一帧原始图像中人脸图像的位置；根据所述位置将用于遮挡所述人脸图像的遮挡区域覆盖于所述人脸图像上，生成每一帧修改图像；输出所述每一帧修改图像，其中，输出的前一帧原始图像对应的修改图像的时间早于获取所述前一帧原始图像的下下一帧原始图像的时间，从而实现实时对视频数据中的每一帧原始图像进行监测，并对每一帧原始图像中的人脸图像进行遮挡，从而提高对用户的隐私的保护的准确率，进一步防止隐私被泄露。

请参阅图5，图5示出了采用图1所示的隐私保护方法一一对应的隐私保护装置，应理解，该装置300与上述图1方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置300具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。装置300包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置300的操作系统(operatingsystem，os)中的软件功能模块。具体地，该装置300包括：

获取模块310，用于获取实时视频数据中的每一帧原始图像；

检测模块320，用于检测所述每一帧原始图像中人脸图像的位置；

隐私模块330，用于根据所述位置将用于遮挡所述人脸图像的遮挡区域覆盖于所述人脸图像上，生成每一帧修改图像；

输出模块340，用于输出所述每一帧修改图像，其中，输出的前一帧原始图像对应的修改图像的时间早于获取所述前一帧原始图像的下下一帧原始图像的时间。

可选地，所述检测模块320，还用于：对所述每一帧原始图像进行缩小，得到每一帧缩小图像；检测所述每一帧缩小图像中人脸图像的位置。

可选地，所述检测所述每一帧缩小图像中人脸图像的位置，包括：配置神经网络中的候选框的配置参数；根据配置后的所述候选框从所述每一帧缩小图像中提取图像特征；确定所述图像特征为人脸图像；获取所述人脸图像在所述每一帧缩小图像的位置。

可选地，所述位置包括所述人脸图像在所述每一帧原始图像中的位置坐标，所述位置坐标包括第一坐标和第二坐标，所述隐私模块330，还用于：确定所述第一坐标和所述第二坐标所形成的矩形区域；将所述矩形区域的面积作为所述人脸图像的面积；生成大于或等于所述面积的遮挡区域；将所述遮挡区域覆盖于所述人脸图像上，生成每一帧修改图像。

可选地，所述遮挡区域包括：纯色遮挡图像或马赛克图像。

本申请还提供一种嵌入式设备，图6为本申请实施例中的嵌入式设备500的结构框图，如图6所示。嵌入式设备500可以包括处理器510、通信接口520、存储器530和至少一个通信总线540。其中，通信总线540用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口520用于与其他节点设备进行信令或数据的通信。处理器510可以是一种集成电路芯片，具有信号的处理能力。

上述的处理器510可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器510也可以是任何常规的处理器等。

存储器530可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。存储器530中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器510执行时，嵌入式设备500可以执行上述图1方法实施例涉及的各个步骤。

嵌入式设备500还可以包括存储控制器。

所述存储器530、存储控制器、处理器510各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线540实现电性连接。所述处理器510用于执行存储器530中存储的可执行模块，例如装置300包括的软件功能模块或计算机程序。并且，装置300用于执行下述方法：获取实时视频数据中的每一帧原始图像；检测所述每一帧原始图像中人脸图像的位置；根据所述位置将用于遮挡所述人脸图像的遮挡区域覆盖于所述人脸图像上，生成每一帧修改图像；输出所述每一帧修改图像，其中，输出的前一帧原始图像对应的修改图像的时间早于获取所述前一帧原始图像的下下一帧原始图像的时间。

可选地，嵌入式设备500可以是但不限于个人手机、机顶盒、交换机、智能电视、摄像机等。

可以理解，图6所示的结构仅为示意，所述嵌入式设备500还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例还提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现方法实施例所述的方法，为避免重复，此处不再赘述。

本申请还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景的方法。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。