一种编解码方法、装置及电子设备与流程

1.本技术涉及图像处理技术领域，尤其涉及一种编解码方法、装置及电子设备。


背景技术：

2.目前，随着深度学习等新一代计算机视觉及人工智能技术的兴起，原有的基于指定区域的隐私遮蔽保护方法之外，基于智能化的隐私遮蔽方法也开始广泛应用。这类方法采用计算机视觉等智能手段，将视频图像中检测到的人或车辆区域进行模糊或覆盖处理，防止隐私泄露。
3.由于上述隐私遮蔽通常是不可逆的，而实际应用中会存在高权限用户需要查看隐私遮蔽前的图像数据的需求，因此，如何在实现隐私遮蔽的同时，保证高权限用户的信息获取成为一个亟待解决的技术问题。


技术实现要素：

4.有鉴于此，本技术提供一种编解码方法、装置及电子设备。
5.具体地，本技术是通过如下技术方案实现的：
6.根据本技术实施例的第一方面，提供一种编码方法，包括：
7.获取第一视频图像中待遮蔽区域的位置信息；
8.依据所述位置信息，将所述第一视频图像中所述待遮蔽区域的像素值复制到预设图像，得到第二视频图像；其中，当所述第一视频图像中存在多个待遮蔽区域时，同一所述第一视频图像中的所述多个待遮蔽区域内的像素值复制至同一所述预设图像，得到所述第二视频图像；所述预设图像中各位置的初始值为预设值；
9.对所述第一视频图像中所述待遮蔽区域进行遮蔽，以得到遮蔽图像；
10.对所述遮蔽图像进行编码得到第一码流，对所述第二视频图像进行编码并加密后得到第二码流；
11.将所述第一码流、所述第二码流以及所述待遮蔽区域的位置信息进行封装，得到封装数据流。
12.根据本技术实施例的第二方面，提供一种基于第一方面的编码方法的解码方法，包括：
13.获取封装数据流，并对所述封装数据流进行解封装，得到所述第一码流、第二码流以及所述待遮蔽区域的位置信息；
14.针对去遮蔽权限为第一类型权限级别的访问者，对所述第一码流进行解码，得到遮蔽图像，并对所述遮蔽图像进行显示；其中，所述第一类型权限级别为不具有遮蔽区域查看权限的级别；
15.针对去遮蔽权限为第二类型权限级别的访问者，对所述第一码流进行解码，得到遮蔽图像，以及，对所述第二码流进行解密并解码，得到第二视频图像；依据所述第二视频图像，以及所述待遮蔽区域的位置信息，对所述遮蔽图像中的指定遮蔽区域进行去遮蔽处
理，并对指定遮蔽区域进行去遮蔽处理后的视频图像进行显示；其中，所述第二类型权限级别为具有所述指定遮蔽区域查看权限的级别，所述指定遮蔽区域包括所述遮蔽图像中的至少一个遮蔽区域，所述遮蔽区域为对所述第一视频图像中的待遮蔽区域进行遮蔽后的区域。
16.根据本技术实施例的第三方面，提供一种编码装置，包括：
17.获取单元，用于获取第一视频图像中待遮蔽区域的位置信息；
18.预处理单元，用于依据所述位置信息，将所述第一视频图像中所述待遮蔽区域的像素值复制到预设图像，得到第二视频图像；其中，当所述第一视频图像中存在多个待遮蔽区域时，同一所述第一视频图像中的所述多个待遮蔽区域内的像素值复制至同一所述预设图像，得到所述第二视频图像；所述预设图像中各位置的初始值为预设值；
19.遮蔽单元，用于对所述第一视频图像中所述待遮蔽区域进行遮蔽，以得到遮蔽图像；
20.编码单元，用于对所述遮蔽图像进行编码得到第一码流，对所述第二视频图像进行编码并加密后得到第二码流；
21.封装单元，用于将所述第一码流、所述第二码流以及所述待遮蔽区域的位置信息进行封装，得到封装数据流。
22.根据本技术实施例的第四方面，提供一种解码装置，包括：
23.获取单元，用于获取封装数据流；
24.解封装单元，用于对所述封装数据流进行解封装，得到所述第一码流、第二码流以及所述待遮蔽区域的位置信息；
25.解码单元，用于针对去遮蔽权限为第一类型权限级别的访问者，对所述第一码流进行解码，得到遮蔽图像；其中，所述第一类型权限级别为不具有遮蔽区域查看权限的级别；
26.显示单元，用于对所述遮蔽图像进行显示；
27.所述解码单元，还用于针对去遮蔽权限为第二类型权限级别的访问者，对所述第一码流进行解码，得到遮蔽图像，以及，对所述第二码流进行解密并解码，得到第二视频图像；其中，所述第二类型权限级别为具有指定遮蔽区域查看权限的级别，所述指定遮蔽区域包括所述遮蔽图像中的至少一个遮蔽区域，所述遮蔽区域为对所述第一视频图像中的待遮蔽区域进行遮蔽后的区域；
28.去遮蔽单元，用于依据所述第二视频图像，以及所述待遮蔽区域的位置信息，对所述遮蔽图像中的所述指定遮蔽区域进行去遮蔽处理；
29.所述显示单元，还用于对所述指定遮蔽区域进行去遮蔽处理后的视频图像进行显示。
30.根据本技术实施例的第五方面，提供一种编码端设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现第一方面的编码方法。
31.根据本技术实施例的第六方面，提供一种解码端设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现第二方面的解码方法。
32.本技术实施例的编码方法，通过将第一视频图像中待遮蔽区域的像素值复制到预设图像，得到第二视频图像，通过第二视频图像记录第一视频图像中待遮蔽区域的原始图像数据，当第一视频图像中存在多个待遮蔽区域时，同一第一视频图像中的多个待遮蔽区域内的像素值复制至同一预设图像，降低了待遮蔽区域的图像数据的管理难度，其次，在对同一视频图像中的待遮蔽区域的图像数据进行编码时，可以以单通道编码方式实现，而不需要对不同待遮蔽区域以不同通道进行编码，降低了对待遮蔽区域的图像数据进行编码的性能要求，再者，通过对第二视频图像进行编码并加密，保证了待遮蔽区域的原始图像数据的安全性；最后，通过将第一码流、第二码流以及待遮蔽区域的位置信息封装为封装数据流，保证了在满足条件的情况下的去遮蔽需求。
附图说明
33.图1是本技术一示例性实施例提供的一种编码方法的流程示意图；
34.图2是本技术一示例性实施例提供的一种解码方法的流程示意图；
35.图3a是本技术一示例性实施例提供的一种视频遮蔽处理流程示意图；
36.图3b是本技术一示例性实施例提供的一种遮蔽处理以及去遮蔽处理的效果示意图；
37.图4是本技术一示例性实施例提供的一种编码装置的结构示意图；
38.图5是本技术一示例性实施例提供的一种解码装置的结构示意图；
39.图6是本技术一示例性实施例提供的一种编码端设备的硬件结构示意图；
40.图7是本技术一示例性实施例提供的一种解码端设备的硬件结构示意图。
具体实施方式
41.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
42.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。
43.为了使本领域技术人员更好地理解本技术实施例提供的技术方案，并使本技术实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本技术实施例中技术方案作进一步详细的说明。
44.请参见图1，为本技术实施例提供的一种编码方法的流程示意图，如图1所示，如图1所示，该编码方法可以包括以下步骤：
45.步骤s100、获取第一视频图像中待遮蔽区域的位置信息。
46.本技术实施例中，第一视频图像并不特指某一固定的视频图像，而是可以指代原始视频中任一帧视频图像。
47.示例性的，待遮蔽区域可以包括但不限于通过目标检测方式确定的需要遮蔽的区域和/或预先设定的需要遮蔽的区域。
48.举例来说，以待遮蔽区域包括目标检测方式确定的需要遮蔽的区域和预先设定的需要遮蔽的区域为例。假设监控场景中包括窗口，则可以预先将视频图像中该窗口对应的区域设定为需要遮蔽的区域，从而，在保证遮蔽的全面性的情况下，减少目标检测的工作量。
49.示例性的，通过目标检测方式确定的需要遮蔽的区域可以包括但不限于人脸区域和/或车牌区域等。
50.示例性的，当待遮蔽区域为通过目标检测方式确定的待遮蔽区域时，该待遮蔽区域的位置信息可以通过目标检测方式确定。
51.当待遮蔽区域为预先设定的待遮蔽区域时，该待遮蔽区域的位置信息可以预先设定。
52.需要说明的是，考虑到实际场景中，前端视频采集设备可能会存在移动的情况，如云台相机会随着云台的移动而移动，在该情况下，预先设定的待遮蔽区域在视频图像中的位置会随之发生变化，若编码端在云台移动的情况下，仍以预先设定的待遮蔽区域在视频图像中的位置，确定视频图像中的待遮蔽区域，则会导致遮蔽错位的问题。
53.基于该考虑，本技术实施例中，预先设定的待遮蔽区域的位置信息可以根据实际图像采集情况进行更新，以提高遮蔽的准确性。
54.示例性的，根据实际图像采集情况进行更新预先设定的待遮蔽区域的位置信息可以包括：依据前端视频采集设备的移动，计算该预先设定的待遮蔽区域在视频图形中的实际位置信息。
55.示例性的，待遮蔽区域可以为矩形区域，待遮蔽区域的位置信息可以包括但不限于待遮蔽区域的对角顶点(如左上顶点和右下顶点、右上顶点和左下顶点等)的坐标信息、待遮蔽区域的其中一个顶点的坐标信息以及待遮蔽区域的宽高信息、或待遮蔽区域的中心点的坐标信息以待遮蔽区域的宽高信息等。
56.需要说明的是，在本技术实施例中，对于通过目标检测的方式确定待遮蔽区域的情况，当通过目标检测的方式得到是目标的轮廓时，也可以以目标轮廓的最小外接矩形的位置信息来作为待遮蔽区域的位置信息。
57.此外，在本技术实施例中，所提及的坐标信息均是指代以图像的左上顶点为原点，水平向右为x轴正向，竖直向下为y轴正向的坐标系中的坐标。
58.步骤s110、依据第一视频图像中待遮蔽区域的位置信息，将第一视频图像中待遮蔽区域的像素值复制到预设图像，得到第二视频图像；其中，当第一视频图像中存在多个待遮蔽区域时，同一第一视频图像中的多个待遮蔽区域内的像素值复制至同一预设图像，得到第二视频图像；该预设图像中各位置的初始值为预设值。
59.本技术实施例中，考虑到对视频图像的遮蔽通常是不可逆的，为了在后续流程中实现视频图像的去遮蔽，可以在对待遮蔽区域进行遮蔽处理之前，对待遮蔽区域的原始图像数据进行保存。
60.示例性的，对于同一视频图像中的待遮蔽区域的原始图像数据，可以统一存储到同一预设图像(本文中也可以称为目标存储空间)，即当第一视频图像中存在多个待遮蔽区域时，同一第一视频图像中的该多个待遮蔽区域内的像素值复制至同一预设图像，得到第二视频图像，从而，可以降低待遮蔽区域的图像数据的管理难度。此外，在对同一视频图像
中的待遮蔽区域的图像数据进行编码传输时，也可以以单通道编码传输的方式实现，而不需要对不同待遮蔽区域以不同通道进行编码传输，降低了对待遮蔽区域的图像数据进行编码的性能要求。
61.解码端在进行解码时，对于同一遮蔽图像的多个遮蔽区域的图像数据，可以从同一第二视频图像中获取，而不需要分别从多个不同的图像中，获取同一遮蔽图像中不同的遮蔽区域的图像数据，有利于提升解码端去遮蔽处理的效率。
62.示例性的，预设图像中各位置的初始值可以为预设值。
63.示例性的，该预设值可以为实际图像中较少出现的像素值，从而，在将待遮蔽区域的像素值复制到预设图像得到第二视频图像时，可以依据第二视频图像中各像素位置的像素值差异，确定出待遮蔽区域在第二视频图像中的位置，提高了去遮蔽处理的可靠性。
64.例如，该预设值可以为0、127、128或255。
65.在一个示例中，预设图像中各位置的初始值相同，从而，可以大幅降低对第二视频图像进行编码得到的码流的码率，节省存储空间和传输流量。
66.本技术实施例中，当按照步骤s100中的方式获取到第一视频图像中的待遮蔽区域的位置信息时，可以依据第一视频图像中的待遮蔽区域的位置信息，将第一视频图像中待遮蔽区域的像素值复制到预设图像，得到第二视频图像。
67.步骤s120、对第一视频图像中的待遮蔽区域进行遮蔽处理，得到遮蔽图像。
68.本技术实施例中，当按照步骤s110中将第一视频图像中待遮蔽区域的像素值复制到预设图像之后，可以对第一视频图像中的待遮蔽区域进行遮蔽处理，得到遮蔽后的第一视频图像(本文中称为遮蔽图像)。
69.需要说明的是，对于第一视频图像中任一待遮蔽区域，可以在将第一视频图像中该待遮蔽区域的像素值复制到预设图像之后，对第一视频图像中的该待遮蔽区域进行遮蔽处理；或者，可以在第一视频图像中的全部待遮蔽区域的像素值均复制到预设图像之后，对第一视频图像中待遮蔽区域进行遮蔽处理。
70.示例性的，对第一视频图像中的待遮蔽区域进行遮蔽处理可以采用多抽头滤波方式。
71.例如，可采用多抽头平均滤波并下采样的方式对待遮蔽区域进行遮蔽处理(即对待遮蔽区域进行打马赛克处理)。
72.步骤s130、对遮蔽后的第一视频图像进行编码，得到第一码流，以及，对第二视频图像进行编码并加密，得到第二码流。
73.步骤s140、将第一码流、第二码流以及待遮蔽区域的位置信息进行封装，得到封装数据流。
74.本技术实施例中，当按照上述方式得到第二视频图像以及遮蔽后的第一视频图像时，可以分别对遮蔽图像进行编码，得到第一码流，以及，对第二视频图像进行编码，得到第二码流。
75.示例性的，为了提高第一视频图像中待遮蔽区域的图像数据的安全性，在对第二视频图像进行编码时，还可以对编码得到的码流进行加密。
76.本技术实施例中，编码端可以将第一码流、第二码流以及待遮蔽区域的位置信息进行封装，得到封装数据流。
77.示例性的，对于得到的封装数据流，编码端设备可以发送至解码端进行解码显示，也可以进行存储处理，例如，将封装数据流存储到指定的存储空间。
78.在图1所示方法流程中，通过将第一视频图像中待遮蔽区域的像素值复制到预设图像，得到第二视频图像，通过第二视频图像记录第一视频图像中待遮蔽区域的原始图像数据，当第一视频图像中存在多个待遮蔽区域时，同一第一视频图像中的多个待遮蔽区域内的像素值复制至同一预设图像，降低了待遮蔽区域的图像数据的管理难度，其次，在对同一视频图像中的待遮蔽区域的图像数据进行编码时，可以以单通道编码方式实现，而不需要对不同待遮蔽区域以不同通道进行编码，降低了对待遮蔽区域的图像数据进行编码的性能要求，再者，通过对第二视频图像进行编码并加密，保证了待遮蔽区域的原始图像数据的安全性；最后，通过将第一码流、第二码流以及待遮蔽区域的位置信息封装为封装数据流，保证了在满足条件的情况下的去遮蔽需求。
79.在一些实施例中，待遮蔽区域包括第一类型待遮蔽区域，和/或，第二类型待遮蔽区域。
80.示例性的，第一类型待遮蔽区域通过对第一视频图像进行目标检测方式确定，第二类型待遮蔽区域通过预先设定的方式确定。
81.在一个示例中，当待遮蔽区域包括第一类型待遮蔽区域时，第一类型待遮蔽区域通过对动态目标区域进行边界扩展得到，动态目标区域为通过对第一视频图像进行目标检测方式确定的待遮蔽区域。
82.示例性的，为了优化遮蔽处理的遮蔽效果，对于通过目标检测方式确定的第一视频图像中的待遮蔽区域(本文中称为动态目标区域)，可以对动态目标区域进行边界扩展，得到后续流程中实际进行遮蔽处理的区域(即上述第一类型待遮蔽区域)，以提高第一类型待遮蔽区域的覆盖范围，优化遮蔽处理的遮蔽效果，防止由于待遮蔽区域过小导致的遮蔽图像中被遮蔽目标的信息泄漏。
83.需要说明的是，对于通过预先设定的方式确定的待遮蔽区域，也可以根据需求进行边界扩展处理。
84.在一个示例中，上述对动态目标区域进行边界扩展，可以包括：
85.对动态目标区域的至少一个边界向外扩展n1个像素，n1为正整数。
86.示例性的，在对动态目标区域进行边界扩展时，可以对目标动态区域的至少一个边界向外扩展至少1个像素(本文中即为n1个像素，n1为正整数)，以提高边界扩展的灵活性。
87.作为一种示例，动态目标区域为矩形区域，扩展后的边界到指定边界的距离为2的n2次幂的整数倍；其中，所述指定边界为所述第一视频图像的左边界和上边界中，与所述目标区域进行扩展的边界平行的边界，n2为正整数。
88.示例性的，考虑到在对视频图像进行编码时，通常会将视频图像划分为多个图像块，并分别对各图像块进行编码，而图像块的宽高通常为2的整数次幂。
89.此外，由于待遮蔽区域本身的宽高并不一定是2的整数次幂，因此，扩展整数个待遮蔽区域的宽高并不一定能使扩展后的块的宽高正好是2的整数次幂。此外，即使待遮蔽区域的宽高是2的整数次幂，但是若待遮蔽区域的位置未按照2的整数次幂对齐，则仍然无法使扩展后的边界正好处于2的整数次幂的位置，导致对图像进行图像块划分时，待遮蔽区域出现跨边界的情况。
90.因而，为了减少对视频图像进行图像块划分时，待遮蔽区域出现跨边界的情况，节省编码码流，并简化图像压缩编码时的模式选择，在对目标区域的边界向外进行扩展时，可以使扩展后的边界到指定边界的距离为2的n2次幂的整数倍。
91.示例性的，该指定边界为第一视频图像的左边界和上边界中，与目标区域进行扩展的边界平行的边界。
92.示例性的，n2为正整数。
93.例如，n2可以为大于3小于8的自然数。
94.举例来说，以对目标区域的左边界向外进行扩展(向左进行扩展)为例，可以使扩展后的目标区域的左边界到第一视频图像的左边界的距离为2的n2次幂的整数倍。
95.又举例来说，以对目标区域的上边界向外进行扩展(向上进行扩展)为例，可以使扩展后的目标区域的上边界到第一视频图像的上边界的距离为2的n2次幂的整数倍。
96.在一些实施例中，步骤s110中，依据第一视频图像中待遮蔽区域的位置信息，将第一视频图像中待遮蔽区域的像素值复制到预设图像，可以包括：
97.对于第一视频图像中的任一待遮蔽区域，依据该待遮蔽区域在第一视频图像中的第一位置信息，以及预设位置映射关系，确定该待遮蔽区域在预设图像中的第二位置信息；该预设位置映射关系包括待遮蔽区域在第一视频图像中的位置与在预设图像中的位置的映射关系；
98.将第一视频图像中该待遮蔽区域的像素值，复制到预设图像中的第二位置，第二位置为预设图像中与第二位置信息匹配的位置。
99.示例性的，可以预先设定待遮蔽区域在第一视频图像中的位置与在预设图像中的位置的映射关系(可以称为预设位置映射关系)。
100.当按照步骤s100中的方式获取到第一视频图像中的待遮蔽区域的位置信息时，对于第一视频图像中的任一待遮蔽区域，可以依据该待遮蔽区域在第一视频图像中的位置信息(本文中称为第一位置信息)，以及预设位置映射关系，确定该待遮蔽区域在预设图像中的位置信息(本文中称为第二位置信息)，并将第一视频图像中该待遮蔽区域的像素值，复制到预设图像中与第二位置信息匹配的位置(本文中称为目标位置)。
101.示例性的，当第一视频图像中存在多个待遮蔽区域时，各待遮蔽区域的像素值的复制可以依次进行或并行进行。
102.在一个示例中，同一待遮蔽区域在第一视频图像中的位置与在第二视频图像中的位置可以相同。
103.在另一个示例中，同一待遮蔽区域在第一视频图像中的位置与在第二视频图像中的位置可以存在预设的偏移量。
104.例如，假设待遮蔽区域1的左上角顶点在第一视频图像中的坐标为(x1，y1)，则将待遮蔽区域1的像素值复制到目标存储空间时，可以将待遮蔽区域1向右和向下分别偏移2个像素，即待遮蔽区域1的左上角顶点在第一视频图像中的坐标为(x1+2，y1+2)。
105.需要说明的是，上述待遮蔽区域的位置映射关系仅仅是本技术实施例中的具体示例，而并不是对本技术保护范围的限定，在本技术实施例中，也可以通过其它方式确定第一视频图像中的待遮蔽区域和第二视频图像中的待遮蔽区域的映射关系，例如，可以依据第一视频图像中各待遮蔽区域的左上角到坐标原点的距离从小到大的顺序，将各待遮蔽区域
在第二视频图像中按照从左到右，从上往下的顺序复制排列，且各待遮蔽区域在第二视频图形中在水平和竖直方向均存在一个或多个像素的间隔。
106.在一个示例中，预设图像的分辨率与第一视频图像的分辨率相同。
107.上述将第一视频图像中该待遮蔽区域的像素值，复制到预设图像中的目标位置，可以包括：
108.对于第一视频图像中该待遮蔽区域内的任一像素位置，将该像素位置的像素值复制到预设图像中与该像素位置的坐标相同的位置；其中，第一位置信息在第一视频图像中对应的坐标与第二位置信息在预设图像中对应的坐标相同。
109.示例性的，为了提高后续去遮蔽处理流程中，第一视频图像中待遮蔽区域和第二视频图像中待遮蔽区域的匹配效率，对于同一待遮蔽区域，其在第一视频图像中的位置与其在第二视频图像中的位置可以相同，即第一位置信息在第一视频图像中对应的坐标与第二位置信息在预设图像中对应的坐标相同。
110.与此同时，为了减少第二视频图像的传输和存储的资源消耗，目标存储空间的分辨率可以与第一视频图像的分辨率相同。
111.对于第一视频图像中的任一待遮蔽区域，在将第一视频图像中该待遮蔽区域的像素值复制到预设图像时，对于第一视频图像中该待遮蔽区域的任一像素位置，将该像素位置的像素值复制到预设图像中与该像素位置的坐标相同的位置。
112.应该认识到，上述实施例中描述的第二视频图像生成方法仅仅是本技术实施例中的一种具体示例，而并不是对本技术保护范围的限定，即在本技术实施例中，还可以通过其它方式实现第二视频图像生成，例如，对于第一视频图像中的任一待遮蔽区域，可以按照一定方式偏移后复制到预设图像，得到第二视频图像。
113.例如，假设待遮蔽区域1的左上角顶点在第一视频图像中的坐标为(x1，y1)，则将待遮蔽区域1的像素值复制到预设图像时，可以将待遮蔽区域1向右和向下分别偏移2个像素，即待遮蔽区域1的左上角顶点在第一视频图像中的坐标为(x1+2，y1+2)。
114.此外，在本技术实施例中，预设图像的分辨率也可以大于第一视频图像的分辨率。
115.在一些实施例中，步骤s140中，将第一码流、第二码流以及待遮蔽区域的位置信息进行封装，还可以包括：
116.将第二视频图像对应的第二码流，以及待遮蔽区域的位置信息，作为第一视频图像对应的第一码流的附带私有数据进行复合封装。
117.示例性的，为了提高解码流程中去遮蔽处理的效率，编码端对第一码流和第二码流进行封装时，还可以对第一视频图像中待遮蔽区域的位置信息进行封装。
118.示例性的，编码端按照上述方式得到第一码流和第二码流时，可以将第二码流以及第一视频图像中待遮蔽区域的位置信息，作为第一码流的附带私有数据进行复合封装，以保证第一视频图像、第一视频图像中的待遮蔽区域的位置信息以及第二视频图像时间轴对齐，以提高解码流程中去遮蔽的准确性。
119.在一个示例中，上述将第一码流、第二码流以及待遮蔽区域的位置信息进行封装之前，还可以包括：
120.获取隐私区域的分类标识；
121.上述将第一码流、第二码流以及待遮蔽区域的位置信息进行封装，可以包括：
122.将第二视频图像对应的第二码流、第一视频图像中待遮蔽区域的位置信息，以及第一视频图像中待遮蔽区域的分类标识，作为第一视频图像对应的第一码流的附带私有数据进行复合封装。
123.示例性的，为了提高图像内容查看的灵活性，可以对待遮蔽区域进行权限分级，不同权限级别可以查看的待遮蔽区域可以不同。
124.示例性的，可以依据待遮蔽区域的类别对待遮蔽区域进行权限分级。
125.例如，权限级别1的用户能查看类别1的待遮蔽区域的内容；权限级别2的用户能查看类别1和类别2的待遮蔽区域的内容；权限级别2高于权限级别1。
126.示例性的，在对第一视频图像进行目标检测，以确定第一视频图像中的待遮蔽区域(上述第一类型遮蔽区域)的位置信息时，还可以确定第一视频图像中各第一类型待遮蔽区域的分类标识。
127.示例性的，对于通过预先设定的方式确定的待遮蔽区域(即上述第二类型)，其分类标识可以预先设定。
128.当获取到了第一视频图像中各待遮蔽区域的分类标识时，在对第一码流、第二码流以及第一视频图像中待遮蔽区域的位置信息进行封装时，还可以对第一视频图像中各待遮蔽区域的分类标识进行封装。
129.示例性的，可以将第二视频图像对应的第二码流、第一视频图像中待遮蔽区域的位置信息，以及第一视频图像中待遮蔽区域的分类标识，作为第一视频图像对应的第一码流的附带私有数据进行复合封装。
130.在一些实施例中，在对待遮蔽区域进行权限分级的情况下，可以依据待遮蔽区域的分类标识，对第一视频图像中待遮蔽区域进行遮蔽。
131.示例性的，为了提高遮蔽处理的灵活性，可以依据待遮蔽区域的芬兰绿标识，对第一视频图像中待遮蔽区域进行遮蔽。
132.在一个示例中，不同类别的待遮蔽区域的遮蔽处理方式不完全相同。
133.示例性的，对于不同类别的待遮蔽区域，可以采用不同的遮蔽处理方式；或者，对于部分不同类别的待遮蔽区域，可以采用相同的遮蔽处理方式，对于另一部分类别的待遮蔽区域，则采用另外的遮蔽处理方式。
134.举例来说，假设待遮蔽区域的类别包括动物、车牌以及敏感字段，则针对不同类别的待遮蔽区域可以分别采用不同的遮蔽处理方式，即针对动物，采用第一遮蔽处理方式；针对车牌，采用第二遮蔽处理方式；针对敏感字段，采用第三遮蔽处理方式。
135.在另一个示例中，不同类别的待遮蔽区域的遮蔽处理方式相同。
136.在一些实施例中，第二视频图像的帧率小于或等于第一视频图像的帧率。
137.示例性的，考虑到第一视频图像的帧率(即原始视频数据的帧率)通常为适于人眼观看的帧率，该帧率通常高于信息获取所需的帧率，而第二视频图像主要用于在特定场景下对遮蔽后的第一视频图像(即遮蔽图像)进行去遮蔽处理，以实现特定信息获取，因此，可以将第二视频图像的帧率设置成小于第一视频图像的帧率，在保证信息获取的情况下，降低第二视频图像的数据量，节省网络带宽以及设备编解码资源。
138.示例性的，第二视频图像的帧率可以小于或等于第一视频图像的帧率。
139.在一个示例中，第二视频图像的帧率为第一视频图像的帧率的1/m；其中，m为正整
数。
140.示例性的，在第二视频图像的帧率小于第一视频图像的帧率的情况下，针对原始视频数据，可以每隔若干帧，抽取一帧第一视频图像，并按照上述实施例中描述的方式将该第一视频图像中待遮蔽区域的像素值复制到预设图像中，得到对应的第二视频图像。
141.例如，第二视频图像的帧率可以为第一视频图像的帧率的1/m，m为大于1的整数，即针对原始视频数据，可以每隔m
‑
1帧抽取一帧第一视频图像，并按照上述实施例中描述的方式将该第一视频图像中待遮蔽区域的像素值复制到预设图像，得到对应的第二视频图像。
142.示例性的，m可以为大于1小于100的自然数。
143.请参见图2，为本技术实施例提供的一种解码方法的流程示意图，如图2所示，如图2所示，该解码方法可以包括以下步骤：
144.步骤s200、获取封装数据流，并对封装数据流进行解封装，得到第一码流、第二码流以及待遮蔽区域的位置信息。
145.示例性的，封装数据流的生成可以参见图1所示方法实施例中的相关说明，本技术实施例在此不做赘述。
146.示例性的，解码端可以接收到编码端发送的封装数据流，或者，解码端可以从指定存储设备中获取编码端存储的封装数据流。
147.示例性的，对于获取到的封装数据流，解码端可以对其进行解封装，得到第一码流、第二码流以及待遮蔽区域的位置信息。
148.步骤s210、针对去遮蔽权限为第一类型权限级别的访问者，对第一码流进行解码，得到遮蔽图像，并对遮蔽图像进行显示；其中，第一类型权限级别为不具有遮蔽区域查看权限的级别。
149.步骤s220、针对去遮蔽权限为第二类型权限级别的访问者，对第一码流进行解码，得到遮蔽图像，以及，对第二码流进行解密并解码，得到第二视频图像；依据第二视频图像，以及待遮蔽区域的位置信息，对遮蔽图像中的指定遮蔽区域进行去遮蔽处理，并对指定遮蔽区域进行去遮蔽处理后的视频图像进行显示；其中，第二类型权限级别为具有指定遮蔽区域查看权限的级别，指定遮蔽区域包括遮蔽图像中的至少一个遮蔽区域，遮蔽区域为对第一视频图像中的待遮蔽区域进行遮蔽后的区域。
150.需要说明的是，在本技术实施例中，对于同一视频图像，在编码端处理流程中，其初始为第一视频图像，第一视频图像中需要遮蔽的区域为待遮蔽区域，编码端通过对第一视频图像中的待遮蔽区域进行遮蔽，得到遮蔽图像，且第一视频图像中的待遮蔽区域在遮蔽图像中转换为遮蔽区域(或称为已遮蔽区域)。
151.同理，对于预设图像，编码端需要将第一视频图像中的待遮蔽区域内的像素复制到该预设图像，得到第二视频图像。
152.在解码端处理流程中，其获取到的为遮蔽图像和第二视频图像，并根据需求，在确定满足特定条件的情况下，对遮蔽图像中的部分或全部遮蔽区域进行去遮蔽处理。
153.示例性的，对于任一第一视频图像以及该第一视频图像对应的遮蔽图像，该第一视频图像中的待遮蔽区域与该遮蔽图像中的遮蔽区域一一对应，且第一视频图像中的任一待遮蔽区域，在遮蔽图像中均存在对应的位置相同的遮蔽区域。编码端封装在封装数据流
中的待遮蔽区域的位置信息也可以用于指示遮蔽区域在遮蔽图像中的位置。
154.本技术实施例中，为了在保证遮蔽区域的信息安全性的情况下，保证在满足特定条件的情况下的信息获取需求，可以预先为针对视频数据的访问者设置不同的权限级别(本文中称为去遮蔽权限)，不同级别的去遮蔽权限的访问者对遮蔽区域信息获取的权限不同。
155.示例性的，去遮蔽权限可以包括不具有遮蔽区域查看权限的级别(本文中称为第一类型权限级别)和具有指定遮蔽区域查看权限的级别(本文中称为第二类型权限级别)。
156.示例性的，指定遮蔽区域可以包括遮蔽图像中的至少一个遮蔽区域，即可以包括遮蔽图像中的部分或全部遮蔽区域。
157.本技术实施例中，解码端获取到封装数据流，并通过对封装数据流进行解封装得到第一码流、第二码流以及待遮蔽区域的位置信息时，可以依据访问者的去遮蔽权限，进行对应的解码处理。
158.示例性的，针对去遮蔽权限为第一类型权限级别的访问者，即访问者不具有遮蔽区域查看权限，解码端可以对第一码流进行解码，得到遮蔽图像，并对遮蔽图像进行显示，即访问者查看到的是编码端进行遮蔽处理后的遮蔽图像。
159.示例性的，针对去遮蔽权限为第二类型权限级别的访问者，即访问者具有指定遮蔽区域查看权限，解码端一方面可以对第一码流进行解码，得到遮蔽图像；另一方面，可以对第二码流进行解密并解码，得到第二视频图像。
160.解码端可以依据第二视频图像，以及待遮蔽区域的位置信息(即第一视频图像中待遮蔽区域的位置信息)，确定指定遮蔽区域在遮蔽图像中的位置。
161.示例性的，第一视频图像中的任一待遮蔽区域，在遮蔽图像中存在一个位置与该待遮蔽区域中的位置相同的遮蔽区域。
162.解码端可以依据指定遮蔽区域在遮蔽图像中的位置，确定指定遮蔽区域在第二视频图像中对应的位置，并将第二视频图像中对应位置的像素复制到遮蔽图像中，对遮蔽图像中的指定遮蔽区域进行去遮蔽处理，并对指定遮蔽区域进行去遮蔽处理后的视频图像进行显示。
163.在一些实施例中，步骤s220中，依据第二视频图像，以及待遮蔽区域的位置信息，对遮蔽图像中的指定遮蔽区域进行去遮蔽处理，可以包括：
164.依据待遮蔽区域的位置信息，确定指定遮蔽区域在遮蔽图像中的位置信息；其中，对于任一待遮蔽区域，其在第一视频图像中的位置信息，与对该待遮蔽区域进行遮蔽得到的遮蔽区域在遮蔽图像中的位置信息相同；
165.依据指定遮蔽区域在遮蔽图像中的位置信息，以及预设位置映射关系，确定指定遮蔽区域在第二视频图像中的位置；该预设位置映射关系包括遮蔽区域在遮蔽图像中的位置与在第二视频图像中的位置的映射关系；
166.依据指定遮蔽区域在第二视频图像中的位置，将第二视频图像中指定遮蔽区域的像素值复制到遮蔽图像中的对应位置，得到指定遮蔽区域去遮蔽处理后的视频图像。
167.示例性的，由于对于解码端而言，其处理的为第二视频图像和遮蔽图像，其在进行去遮蔽处理时，需要依据第二视频图像中指定位置的像素，对遮蔽区域中的指定遮蔽区域进行去遮蔽，因此，在解码端可以设置遮蔽区域在遮蔽图像中的位置与在第二视频图像中
的位置的映射关系，即对于解码端而言，预设位置映射关系由待遮蔽区域在第一视频图像中的位置与在预设图像中的位置的映射关系，转变成了遮蔽区域在遮蔽图像中的位置与在第二视频图像中的位置的映射关系。
168.解码端可以依据待遮蔽区域的位置信息(即第一视频图像中待遮蔽区域的位置信息)，确定指定遮蔽区域在遮蔽图像中的位置信息。
169.示例性的，对于任一待遮蔽区域，其在第一视频图像中的位置信息，与对该待遮蔽区域进行遮蔽得到的遮蔽区域在遮蔽图像中的位置信息相同。
170.示例性的，解码端可以依据指定遮蔽区域在遮蔽图像中的位置，以及预设位置映射关系，确定指定遮蔽区域在第二视频图像中的位置，并依据指定遮蔽区域在第二视频图像中的位置，将第二视频图像中指定遮蔽区域的像素值复制到遮蔽图像中的对应位置，得到指定遮蔽区域去遮蔽处理后的视频图像。
171.举例来说，假设遮蔽区域在遮蔽图像中的位置与在第二视频图像中的位置相同，则对于任一指定遮蔽区域的任一像素位置(假设为(x2，y2))，解码端可以将第二视频图像中该(x2，y2)位置的像素值，复制到第一视频图像中的(x2，y2)位置。
172.又举例来说，假设遮蔽区域在遮蔽图像中的位置与在第二视频图像的位置在x轴方向和y轴方向均存在2个像素的偏移(假设分别为x轴正向和y轴正向的偏移)，则对于任一指定遮蔽区域的任一像素位置(假设为(x2，y2))，解码端可以将第二视频图像中该(x2，y2)位置的像素值，复制到第一视频图像中的(x2‑
2，y2‑
2)位置。
173.在一个示例中，第二类型权限级别可以包括至少两个不同的权限级别，不同的权限级别允许查看的遮蔽区域的类别不完全相同；
174.上述依据待遮蔽区域的位置信息，确定指定遮蔽区域在遮蔽图像中的位置信息之前，还可以包括：
175.获取待遮蔽区域的分类标识；
176.上述依据待遮蔽区域的位置信息，确定指定遮蔽区域在遮蔽图像中的位置信息，可以包括：
177.依据去遮蔽权限级别，确定与去遮蔽权限级别匹配的遮蔽区域的目标类别；其中，对于任一待遮蔽区域，其类别与对该待遮蔽区域进行遮蔽得到的遮蔽区域的类别相同；
178.依据目标类别以及遮蔽区域中各遮蔽区域的分类标识，将目标类别的遮蔽区域确定为指定遮蔽区域；
179.依据待遮蔽区域的位置信息，确定指定遮蔽区域在遮蔽图像中的位置信息。
180.示例性的，为了提高去遮蔽处理的灵活性，针对具有遮蔽区域查看的访问者，可以划分为至少两个不同的权限级别，即第二类型权限级别可以包括至少两个不同的权限级别，不同权限级别允许查看的遮蔽区域的类别不完全相同。
181.示例性的，在待遮蔽区域进行了权限分级的情况下，在对遮蔽图像进行去遮蔽处理时，还可以获取各待遮蔽区域的分类标识，并依据待遮蔽区域的分类标识，确定各遮蔽区域的类别。
182.示例性的，对于任一待遮蔽区域，其类别与对该待遮蔽区域进行遮蔽得到的遮蔽区域的类别相同。
183.示例性的，解码端可以依据访问者的去遮蔽权限级别，确定与该去遮蔽权限级别
匹配的遮蔽区域的类别(本文中称为目标类别)，并依据该目标类别，以及遮蔽区域中各遮蔽区域的分类标识，将目标类别的遮蔽区域确定为指定遮蔽区域。
184.解码端可以依据第一视频图像中待遮蔽区域的位置信息(与遮蔽图像中遮蔽区域的位置信息一致)，确定指定遮蔽区域在遮蔽图像中的位置信息。
185.在一些实施例中，本技术实施例提供的解码方法还可以包括：
186.获取封装数据流，并对该封装数据流进行解封装，得到第一码流以及第二码流；
187.针对去遮蔽权限为第一类型权限级别的访问者，对第一码流进行解码，得到遮蔽图像，并对遮蔽图像进行显示；
188.针对去遮蔽权限为第二类型权限级别的访问者，依据第二视频图像中各像素位置的像素值，将像素值不是预设值的像素位置构成的矩形区域的位置信息，确定为遮蔽区域在第二视频图像中的位置信息；
189.依据遮蔽区域在第二视频图像中的位置信息，以及预设位置映射关系，将第二视频图像中指定遮蔽区域的像素值复制到遮蔽图像中的对应位置，得到指定遮蔽区域去遮蔽处理后的视频图像，并对指定遮蔽区域进行去遮蔽处理后的视频图像进行显示；该预设位置映射关系包括遮蔽区域在遮蔽图像中的位置与在第二视频图像中的位置的映射关系。
190.示例性的，考虑到在封装数据流的传输过程中，待遮蔽区域的位置信息作为封装数据流的附件信息，可能会由于不兼容等原因而被丢弃，导致解码端获取到封装数据流时，对封装数据流解码获取不到待遮蔽区域的位置信息。
191.示例性的，考虑预设图像中各位置的初始值为预设值，即第二视频图像中遮蔽区域之外的其它区域的像素值为该预设值，因而，当解码端未从封装数据流中获取到待遮蔽区域的位置信息的情况下，可以依据第二视频图像中各像素位置的像素值，将像素值不是预设值的像素位置构成的矩形区域，确定为第二视频图像中的遮蔽区域。
192.针对去遮蔽曲线为第二类型权限的访问者，解码端可以依据第二视频图像中各像素位置的像素值，将像素值不是预设值的像素位置构成的矩形区域的位置信息，确定为遮蔽区域在第二视频图像中的位置信息。
193.示例性的，当解码端确定了遮蔽区域在第二视频图像中的位置信息时，可以依据遮蔽区域在第二视频图像中的位置信息，以及预设位置映射关系，将第二视频图像中指定遮蔽区域的像素值复制到遮蔽图现象中的对应位置，得到指定遮蔽区域去遮蔽处理后的视频图像，并对指定遮蔽区域进行去遮蔽处理后的视频图像进行显示，其具体实现可以参见上述方法实施例中的相关说明。
194.示例性的，针对去遮蔽权限为第一类型权限的访问者，解码端可以对第一码流进行解码，得到遮蔽图像，并对遮蔽图像进行显示。
195.需要说明的是，需要说明的是，上述实施例仅仅是本技术实施例的实现方式的具体示例，而并不是对本技术保护范围的限定，基于上述实施例，可以通过实施例之间的组合，或对实施例进行变型，得到新的实施例，其均应属于本技术的保护范围。
196.此外，在本技术实施例中，编码端和解码端的实现流程可以相互参照。
197.为了使本领域技术人员更好地理解本技术实施例提供的技术方案，下面结合具体应用场景对本技术实施例提供的技术方案进行说明。
198.本技术实施例中，该视频遮蔽处理系统可以包括前端处理设备(即上述编码端)和
后端处理设备(即上述解码端)。
199.示例性的，前端处理设备可以包括检测模块、抠图模块、遮蔽模块、编码模块、加密模块以及封装模块。
200.后端处理设备可以包括解封装模块、解密模块、解码模块以及合成模块。
201.示例性的，各模块的视频遮蔽处理流程可以如图3a所示，整体方案可以保证遮蔽处理后的低权数据流能够被所有之前的标准播放器播放，不影响兼容性。
202.下面结合图3a，分别对各模块的功能进行说明。
203.一、前端处理设备
204.1.1、检测模块
205.检测模块的输入为原始视频图像，通过计算机视觉目标检测等手段，输出其中一个或多个涉及动态目标区域的坐标。
206.示例性的，可以将该坐标集合记为x。
207.示例性的，动态目标区域的内容可以包括人脸或车牌信息。
208.示例性的，动态目标区域采用矩形，其坐标信息可以表示为其在图像像素点阵中的左上、右下角两个顶点二维坐标，或者左上顶点坐标及区域的宽、高等多种形式。
209.示例性的，检测模块的处理帧率与实际系统可用算力相关，本技术实施例中不做限定。
210.示例性的，检测模块还可以输出所检出各动态目标区域的分类标识，该分类标识用于后续结合观看权限分级控制查看内容。
211.1.2、抠图模块
212.抠图模块的输入为原始视频和检测模块输出的坐标集合x。
213.示例性的，抠图模块可以对各动态目标区域的边界进行扩展，将动态目标区域矩形向上下左右四周至少1个方向外扩n1个像素，n1为自然数。
214.示例性的，可以将动态目标区域矩形的上边界和左边界，分别向上和向左扩展对齐到以图像左上角为原点的2的n2次幂的整数倍位置。
215.示例性的，可以将动态目标区域矩形的下边界和右边界，分别向下和向右扩展对齐到以图像左上角为原点的2的n2次幂的整数倍位置。
216.示例性的，n2为大于3小于8的自然数。
217.示例性的，可以将扩展后的得到的待遮蔽区域坐标集合称为y。
218.抠图模块通过对待遮蔽区域进行边界扩展，保证了遮蔽的覆盖性；在进行边界时，使扩展后的边界到图像对应边界的距离为2的n2次幂的整数倍，可以提升编码效率。
219.需要注意的是，除了检测模块输出的区域坐标集合x外，实际应用中还可能有一些预设坐标，例如固定的窗口坐标等，在后续处理中也同样视为待遮蔽区域(即上述第二类型待遮蔽区域)，因此坐标集合y中还会加入这些区域坐标。
220.将上述区域坐标集合y，在原始视频像素中取或集z，即原始视频像素落入集合y中所定义的任一个矩形坐标区域，即认为该像素落入集合z。将该或集z中的像素的值复制到另一块存储空间(即上述预设图像)。
221.示例性的，该预设图像，其大小与原始视频帧宽高分辨率相同，并统一赋予初始值a。
222.示例性的，初始值a＝0或127或128或255。
223.基于边界扩展后得到的待遮蔽区域，与原始视频图像数据取或集，并提取复制到预设图像对应坐标位置进行处理，得到另一路视频(也可以称为第二路视频)，两路视频分辨率相同，这样可以保证后处理合成的简便性。
224.对预设图像先用特定预设值填充，可以大幅降低第二路视频的码率，节省存储空间和传输流量。
225.示例性的，当集合z中的像素值从原始视频复制到该预设图像时，可以复制到各像素坐标的相同位置。该预设图像在待遮蔽区域以外未被赋值的部分仍然保留初始值a。复制完成后，该预设图像即形成视频2。
226.示例性的，同一原始视频图像中的多个待遮蔽区域内的像素值复制至同一预设图像。
227.示例性的，抠图模块处理输出视频2的帧率小于原始视频的帧率。
228.示例性的，视频2的帧率是原始视频帧率的m分之一，可以减少对系统编码性能的要求，便于适配不同性能的产品。
229.示例性的，m为大于1小于100的自然数。
230.或者，抠图模块处理输出视频2的帧率可以等于原始视频帧率。
231.1.3、遮蔽模块
232.遮蔽模块的输入为原始视频，对视频图像中各待遮蔽区域进行遮蔽处理。
233.示例性的，视频遮蔽处理方式可以采用多抽头滤波。
234.例如，可以采用多抽头平均滤波并下采样。
235.示例性的，对原始视频进行遮蔽处理后输出视频1。
236.1.4、编码模块
237.编码模块的输入为上述视频1和视频2，对视频1和视频2进行视频编码压缩，以减小传输和存储的带宽消耗，分别获得码流1和码流2(未加密)。
238.示例性的，编码模块可以采用h.264或h.265等各类标准对视频1和视频2进行视频编码压缩。
239.遮蔽图像对应的码流(即码流1)为标准码流，可以实现各类标准播放终端全兼容解码播放。此外，由于视频1和视频2的帧率可以不同，即码流1和码流2不需要帧率同步，可以灵活组合适配各种编解码终端。
240.1.5、加密模块
241.加密模块的输入为码流2(未加密)和权限密钥，输出为加密后的码流2。
242.示例性的，加密模块对码流2进行加密使用的加密算法以及权限密钥的管理方法本技术实施例不做限定。
243.通过对码流2进行加密，保证了遮蔽区域图像信息的安全性。
244.此外，码流2只包括遮蔽区域的图像信息，其余位置为固定预设值，传输存储所需的额外带宽消耗小。
245.1.6、封装模块
246.封装模块的输入为码流1和码流2。
247.示例性的，可以将待遮蔽区域坐标集合y，与码流1和码流2，以时间轴对齐的方式
复合在一起输出。
248.示例性的，参与复合的待遮蔽区域坐标集合y和码流2的各帧一一对齐。
249.例如，待遮蔽区域坐标集合y和码流2可以作为码流1中时间上对应帧的附带私有数据复合。
250.示例性的，还可以将各待遮蔽区域的分类标识也和该坐标集合y一起加入码流中。
251.示例性的，封装模块的具体数据定义和实现可以参考iso/iec 13818或rfc3984等标准，本技术实施例对此不做限定。
252.示例性的，封装模块输出的封装后的数据可以用于网络传输或数据存储。
253.通过码流1和码流2复合封装的方式，解码端可以利用专用播放器鉴权播放，实现信息保护的同时，保证了高权限用户的信息获取。
254.当待遮蔽区域坐标集合y封装入数据流时，可以让后端合成过程准确完成，当待遮蔽区域坐标集合y未封装入数据流时，由于上述预设值填充，后端的遮蔽区域判断也更简便。后端将两路视频进行合成，对解码和显示的代价较小，高级权限可以近似无感地观看未遮蔽图像。
255.二、后端处理设备
256.2.1、解封装模块
257.解封装模块的输入为复合封装的码流，将其中的码流1和码流2输出。
258.示例性的，当复合封装的码流中还包括待遮蔽区域坐标集合y时，解封装模块还可以输出待遮蔽区域坐标集合y对应的码流。
259.示例性的，当复合封装的码流中还包括待遮蔽区域坐标集合y和待遮蔽区域的分类标识时，解封装模块还可以输出待遮蔽区域坐标集合y和待遮蔽区域的分类标识对应的码流。
260.2.2、解密模块
261.解密模块的输入为码流2(加密后)和权限密钥，依据输入的权限密钥对码流2进行解密，输出码流2(未加密)。
262.示例性的，在权限密钥输入的同时，还可以输入解密权限级别(即上述去遮蔽权限级别)。
263.2.3、解码模块
264.解码模块的输入包括码流1和码流2(未加密)，解码模块可以分别对码流1和码流2进行解码，输出视频1和视频2。
265.示例性的，当输入还包括待遮蔽区域坐标集合y对应的码流时，解码模块可以对待遮蔽区域坐标集合y对应的码流进行解码，得到待遮蔽区域坐标集合y。
266.示例性的，当输入还包括待遮蔽区域坐标集合y和待遮蔽区域的分类标识对应的码流时，解码模块可以对待遮蔽区域坐标集合y和待遮蔽区域的分类标识对应的码流进行解码，得到待遮蔽区域坐标集合y和待遮蔽区域的分类标识。
267.示例性的，对于任一原始视频图像(即上述第一视频图像)以及该原始视频图像对应的遮蔽图像，该原始视频图像中的待遮蔽区域与该遮蔽图像中的遮蔽区域一一对应，且原始视频图像中的任一待遮蔽区域，在遮蔽图像中均存在对应的位置相同的遮蔽区域。编码端封装在封装数据流中的待遮蔽区域的位置信息也可以用于指示遮蔽区域在遮蔽图像
中的位置。
268.2.4、合成模块
269.合成模块的输入包括视频1和视频2，合成模块可以按照视频2的帧率，对视频2和视频1进行视频合成处理，以对视频1中的至少一个待遮蔽区域进行去遮蔽处理。
270.示例性的，若合成模块的输入包括待遮蔽区域坐标集合y，则合并模块可以依据待遮蔽区域坐标集合y，确定视频2中属于遮蔽区域的部分，并将至少一个遮蔽区域的像素值复制到视频1中的对应位置，覆盖视频1中的被遮蔽处理数据。
271.若合成模块的输入还包括待遮蔽区域的分类标识，则合并模块可以依据解密权限级别，确定与该解密权限级别匹配的遮蔽区域的类别(即上述目标类别)，并将视频2中目标类别的遮蔽区域的像素值复制到视频1中的对应位置。
272.若合成模块的输入未包括待遮蔽区域坐标集合y，则合成模块可以查找视频2中像素值偏离预设值a的像素位置，判定其矩形范围为遮蔽区域，将视频2中属于遮蔽区域的部分的像素值复制到视频1中的对应位置。
273.从而，高权限用户可观看的部分或全部去遮蔽的合成视频(可以称为去遮视频)。
274.通过对遮蔽区域进行权限分级，可以为不同的去遮蔽权限设置不同的视频观看效果(如部分遮蔽区域去遮蔽或全部遮蔽区域去遮蔽)。
275.示例性的，去遮视频的播放帧率可以小于或等于视频2的帧率。
276.示例性的，本技术实施例中的遮蔽处理以及去遮蔽处理的效果示意图可以参见图3b，如图3b所示，编码端可以对原始视频图像进行遮蔽抠图，得到两路视频，一路为对待遮蔽区域进行遮蔽处理后的遮蔽图像对应的视频，另一路为存储遮蔽区域的原始图像数据的图像对应的视频。
277.如图3b所示，对于同一原始视频图像，该原始视频图像中多个待遮蔽区域的原始图像数据存储在同一图像中。
278.编码端可以对两路视频进行编码，并对遮蔽区域的原始图像数据对应的码流进行加密，将两路视频封装传输。
279.在解码端，对于普通权限用户，其通过对第一路视频进行解码，得到遮蔽图像进行播放显示；对于高级权限用户，其一方面对第一路视频进行解码，得到遮蔽图像；另一方面，对遮蔽区域的原始图像数据进行解码解密，并依据遮蔽区域的原始图像数据对遮蔽图像进行合成去遮，得到完整图像进行播放显示。
280.以上对本技术提供的方法进行了描述。下面对本技术提供的装置进行描述：
281.请参见图4，为本技术实施例提供的一种编码装置的结构示意图，如图4所示，该编码装置可以包括：
282.获取单元410，用于获取第一视频图像中待遮蔽区域的位置信息；
283.预处理单元420，用于依据所述位置信息，将所述第一视频图像中所述待遮蔽区域的像素值复制到预设图像，得到第二视频图像；其中，当所述第一视频图像中存在多个待遮蔽区域时，同一所述第一视频图像中的所述多个待遮蔽区域内的像素值复制至同一所述预设图像，得到所述第二视频图像；所述预设图像中各位置的初始值为预设值；
284.遮蔽单元430，用于对所述第一视频图像中所述待遮蔽区域进行遮蔽，以得到遮蔽图像；
285.编码单元440，用于对所述遮蔽图像进行编码得到第一码流，对所述第二视频图像进行编码并加密后得到第二码流；
286.封装单元450，用于将所述第一码流、所述第二码流以及所述待遮蔽区域的位置信息进行封装，得到封装数据流。
287.在一些实施例中，所述待遮蔽区域包括第一类型待遮蔽区域，和/或，第二类型待遮蔽区域；其中，所述第一类型待遮蔽区域通过对所述第一视频图像进行目标检测方式确定，所述第二类型待遮蔽区域通过预先设定的方式确定。
288.在一些实施例中，当所述待遮蔽区域包括所述第一类型待遮蔽区域时，所述第一类型待遮蔽区域通过对动态目标区域进行边界扩展得到，所述动态目标区域为通过对所述第一视频图像进行目标检测方式确定的待遮蔽区域。
289.在一些实施例中，所述对动态目标区域进行边界扩展，包括：
290.对所述动态目标区域的至少一个边界向外扩展n1个像素，n1为正整数。
291.在一些实施例中，所述动态目标区域为矩形区域，扩展后的边界到指定边界的距离为2的n2次幂的整数倍；其中，所述指定边界为所述第一视频图像的左边界和上边界中，与所述目标区域进行扩展的边界平行的边界，n2为正整数。
292.在一些实施例中，所述预处理单元420依据所述位置信息，将所述第一视频图像中所述待遮蔽区域的像素值复制到预设图像，包括：
293.对于所述第一视频图像中的任一待遮蔽区域，依据该待遮蔽区域在所述第一视频图像中的第一位置信息，以及预设位置映射关系，确定该待遮蔽区域在所述预设图像中的第二位置信息；所述预设位置映射关系包括待遮蔽区域在所述第一视频图像中的位置与在所述预设图像中的位置的映射关系；
294.将所述第一视频图像中该待遮蔽区域的像素值，复制到所述预设图像中的目标位置，所述目标位置为所述预设图像中与所述第二位置信息匹配的位置。
295.在一些实施例中，所述预设图像的分辨率与所述第一视频图像的分辨率相同；
296.所述预处理单元420将所述第一视频图像中该待遮蔽区域的像素值，复制到所述预设图像中的目标位置，包括：
297.对于所述第一视频图像中该待遮蔽区域内的任一像素位置，将该像素位置的像素值复制到所述预设图像中与该像素位置的坐标相同的位置；其中，所述第一位置信息在所述第一视频图像中对应的坐标与所述第二位置信息在所述预设图像中对应的坐标相同。
298.在一些实施例中，所述封装单元450将所述第一码流、所述第二码流以及所述待遮蔽区域的位置信息进行封装，还包括：
299.将所述第二视频图像对应的第二码流，以及所述待遮蔽区域的位置信息，作为所述第一视频图像对应的第一码流的附带私有数据进行复合封装。
300.在一些实施例中，所述获取单元410，还用于获取所述待遮蔽区域的分类标识；
301.所述封装单元450将所述第一码流、所述第二码流以及所述待遮蔽区域的位置信息进行封装，包括：
302.将所述第二视频图像对应的第二码流、所述待遮蔽区域的位置信息，以及所述待遮蔽区域的分类标识，作为所述第一视频图像对应的第一码流的附带私有数据进行复合封装。
303.在一些实施例中，所述第二视频图像的帧率小于或等于所述第一视频图像的帧率。
304.在一些实施例中，所述第二视频图像的帧率为所述第一视频图像的帧率的1/m；其中，m为正整数。
305.请参见图5，为本技术实施例提供的一种解码装置的结构示意图，如图5所示，该解码装置可以包括：
306.获取单元510，用于获取封装数据流；
307.解封装单元520，用于对所述封装数据流进行解封装，得到所述第一码流、第二码流以及所述待遮蔽区域的位置信息；
308.解码单元530，用于针对去遮蔽权限为第一类型权限级别的访问者，对所述第一码流进行解码，得到遮蔽图像；其中，所述第一类型权限级别为不具有遮蔽区域查看权限的级别；
309.显示单元540，用于对所述遮蔽图像进行显示；
310.所述解码单元530，还用于针对去遮蔽权限为第二类型权限级别的访问者，对所述第一码流进行解码，得到遮蔽图像，以及，对所述第二码流进行解密并解码，得到第二视频图像；其中，所述第二类型权限级别为具有指定遮蔽区域查看权限的级别，所述指定遮蔽区域包括所述遮蔽图像中的至少一个遮蔽区域，所述遮蔽区域为对所述第一视频图像中的待遮蔽区域进行遮蔽后的区域；
311.去遮蔽单元550，用于依据所述第二视频图像，以及所述待遮蔽区域的位置信息，对所述遮蔽图像中的所述指定遮蔽区域进行去遮蔽处理；
312.所述显示单元540，还用于对所述指定遮蔽区域进行去遮蔽处理后的视频图像进行显示。
313.在一些实施例中，所述去遮蔽单元550依据所述第二视频图像，以及所述待遮蔽区域的位置信息，对所述遮蔽图像中的指定遮蔽区域进行去遮蔽处理，包括：
314.依据所述待遮蔽区域的位置信息，确定所述指定遮蔽区域在所述遮蔽图像中的位置信息；其中，对于任一待遮蔽区域，其在所述第一视频图像中的位置信息，与对该待遮蔽区域进行遮蔽得到的遮蔽区域在所述遮蔽图像中的位置信息相同；
315.依据所述指定遮蔽区域在所述遮蔽图像中的位置信息，以及预设位置映射关系，确定所述指定遮蔽区域在所述第二视频图像中的位置；所述预设位置映射关系包括遮蔽区域在所述遮蔽图像中的位置与在所述第二视频图像中的位置的映射关系；
316.依据所述指定遮蔽区域在所述第二视频图像中的位置，将所述第二视频图像中所述指定遮蔽区域的像素值复制到所述遮蔽图像中的对应位置，得到所述指定遮蔽区域去遮蔽处理后的视频图像。
317.在一些实施例中，所述第二类型权限级别包括至少两个不同的权限级别，不同的权限级别允许查看的遮蔽区域的类别不完全相同；
318.所述获取单元510，还用于获取所述待遮蔽区域的分类标识；
319.所述去遮蔽单元550依据所述待遮蔽区域的位置信息，确定所述指定遮蔽区域在所述遮蔽图像中的位置信息，包括：
320.依据所述去遮蔽权限级别，确定与所述去遮蔽权限级别匹配的遮蔽区域的目标类
别；其中，对于任一待遮蔽区域，其类别与对该待遮蔽区域进行遮蔽得到的遮蔽区域的类别相同；
321.依据所述目标类别以及所述遮蔽区域中各遮蔽区域的分类标识，将所述目标类别的遮蔽区域确定为所述指定遮蔽区域；
322.依据所述待遮蔽区域的位置信息，确定所述指定遮蔽区域在所述遮蔽图像中的位置信息。
323.在一些实施例中，所述获取单元510，还用于获取封装数据流；
324.所述解封装单元520，还用于对该封装数据流进行解封装，得到所述第一码流以及所述第二码流；
325.所述解码单元530，还用于针对去遮蔽权限为所述第一类型权限级别的访问者，对所述第一码流进行解码，得到遮蔽图像，并对所述遮蔽图像进行显示；
326.所述解码单元530，还用于针对去遮蔽权限为所述第二类型权限级别的访问者，依据所述第二视频图像中各像素位置的像素值，将像素值不是所述预设值的像素位置构成的矩形区域的位置信息，确定为遮蔽区域在所述第二视频图像中的位置信息；
327.所述去遮蔽单元550，还用于依据遮蔽区域在所述第二视频图像中的位置信息，以及预设位置映射关系，将所述第二视频图像中所述指定遮蔽区域的像素值复制到所述遮蔽图像中的对应位置，得到所述指定遮蔽区域去遮蔽处理后的视频图像；所述预设位置映射关系包括遮蔽区域在所述遮蔽图像中的位置与在所述第二视频图像中的位置的映射关系；
328.所述显示单元540，还用于对指定遮蔽区域进行去遮蔽处理后的视频图像进行显示。
329.请参见图6，为本技术实施例提供的一种编码端设备的硬件结构示意图。该编码端设备可包括处理器601、存储有机器可执行指令的机器可读存储介质602。处理器601与机器可读存储介质602可经由系统总线603通信。并且，通过读取并执行机器可读存储介质602中与编码控制逻辑对应的机器可执行指令，处理器601可执行上文描述的编码方法。
330.本文中提到的机器可读存储介质602可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：ram(radom access memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
331.在一些实施例中，还提供了一种机器可读存储介质，该机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上文描述的编码方法。例如，所述机器可读存储介质可以是rom、ram、cd
‑
rom、磁带、软盘和光数据存储设备等。
332.请参见图7，为本技术实施例提供的一种解码端设备的硬件结构示意图。该解码端设备可包括处理器701、存储有机器可执行指令的机器可读存储介质702。处理器701与机器可读存储介质702可经由系统总线703通信。并且，通过读取并执行机器可读存储介质702中与解码控制逻辑对应的机器可执行指令，处理器701可执行上文描述的解码方法。
333.本文中提到的机器可读存储介质702可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：ram(radom access memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱
动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
334.在一些实施例中，还提供了一种机器可读存储介质，该机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上文描述的解码方法。例如，所述机器可读存储介质可以是rom、ram、cd
‑
rom、磁带、软盘和光数据存储设备等。
335.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
336.以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。