用于控制使用图像获取装置捕获的视频流的比特率的方法与流程

本发明总体涉及相机监控领域，并且具体地涉及用于控制使用图像获取装置捕获的视频流的比特率的方法和控制单元。

背景技术：

1、在各种相机监控应用中，有时需要屏蔽由相机捕获的视频流中的对象。对象屏蔽的重要原因是确保视频流中出现的人的隐私以及保护视频流中可能捕获的其他类型的个人信息。

2、例如，对象检测可以用于对人进行检测。可以通过提取图像帧的相关部分的图像坐标来执行人的屏蔽。一旦已知图像坐标，视频流中的相关部分可以被屏蔽、像素化、模糊或以其他方式修改以隐藏视频流中的识别物。

3、一种已知的实现屏蔽的方式是应用产生仅显示边缘或者轮廓的匿名图像的sobel滤波器。使用该类型的滤波器的优点是，尽管图像是匿名的，但操作者仍然可以分辨被捕获场景中人的移动和动作，这对于大多数监控用例而言是足够的。

4、然而，例如与固体屏蔽(solid masks)和像素化相比，sobel滤波后的视频流的生成的数据比特率更高，这可能导致网络或者存储问题，或者操作者的总体信息过载。

5、因此，在处理匿名视频流中生成的数据方面还存在改进空间。

技术实现思路

1、鉴于现有技术的上述和其他缺点，本发明的目的是提供用于控制视频流的比特率的改进方法，该视频流使用图像获取装置捕获并且使用边缘滤波器进行滤波，该方法减轻了现有技术的缺点中的至少一些。

2、根据本发明的第一方面，因此提供了用于控制视频流的比特率的方法，该视频流使用图像获取装置捕获并且使用边缘滤波器进行滤波，该边缘滤波器用于对视频流中的捕获场景的至少一个区域进行隐私屏蔽。

3、该方法包括确定视频流的当前比特率值，并且响应于检测到当前比特率值超过阈值，调整边缘滤波器的至少一个参数以进一步减少视频流的至少一个区域中的边缘数量，从而控制比特率。

4、本发明基于调整边缘滤波器的参数改变所得到的滤波视频流的生成比特率的认识。因此，通过监视当前比特率，并且使用可接受的比特率的知识，可以调整边缘滤波器的滤波器参数以减少边缘数量，这有效地控制了比特率。作为边缘数量减少的结果，比特率被降低。

5、因此，发明人认识到，使用边缘滤波器，这有利地允许屏蔽视频流的区域以保护视频流中的人的隐私，同时仍然允许运动和动作是可检测的，还允许主动地并且至少接近实时地改变边缘滤波器的参数，从而提供对比特率的控制。

6、视频流通常是随时间捕获的连续图像帧组。连续的图像帧共同形成视频流。

7、边缘滤波器通过适用于在图像帧中找到边缘的算法进行操作。这种边缘滤波器的基本操作是算法在图像帧中找到图像亮度具有快速或者急剧变化的或者不连续的边缘或曲线。一旦找到边缘或曲线，它们将被增强，而其他部分的外观将被抑制。边缘滤波器被应用于视频流的每个图像帧。

8、边缘滤波器由其参数定义，参数可以是滤波器算子的一部分。取决于所使用的特定边缘滤波器，滤波器算子可以是不同种类的。然而，滤波器算子通常作为计算或估计图像帧的邻近像素之间的强度梯度的梯度算子操作。邻近像素可以是直接邻居，但滤波器算子通常还包括第二和/或甚至更远的邻居。将所计算的强度梯度与检测阈值进行比较以确定是否认为检测到边缘。

9、因此，边缘滤波器是增强边缘点并抑制非边缘点的滤波器。边缘点与图像帧中被确定为属于边缘的一个或多个像素相对应，图像亮度在该边缘具有快速或急剧的变化或不连续性。类似地，非边缘点与图像帧中被确定为不属于边缘的一个或多个像素相对应。因此，通过将边缘滤波器应用于视频流，图像帧中的边缘点将被增强，而非边缘点将被抑制。例如，边缘滤波器(有时也被称为边缘检测滤波器)可以是sobel滤波器、canny滤波器、高斯差分(dog)滤波器、拉普拉斯滤波器、prewitt滤波器、robert交叉滤波器或scharr滤波器，仅给出一些示例。为了适应用例，可以使用诸如不区分正梯度和负梯度的绝对值运算、调整强度的增益算子、使边缘点为黑色而非边缘点为白色的偏移算子和/或移除不属于图像中真实边缘或其他结构的不必要稀疏黑色边缘像素的降噪算子的一个或多个运算来修改边缘滤波器的输出，即视频流的边缘滤波版本。

10、示例边缘滤波器基于3×3核或算子，使得当计算给定像素的梯度时考虑3×3子矩阵中的像素，其中核的元素设置用于计算梯度的不同像素值的权重。使用该尺寸的算子提供了计算高效的边缘滤波过程，同时提供了质量可接受的滤波图像。诸如4×4或者5×5的较大的核也适用于本文中讨论的实施例。

11、比特率阈值可以基于连接到图像获取装置的网络的比特率容量或带宽或者存储器容量或者一些其他预定参数的知识来设置。阈值可以设置有余量，以避免超过某个临界比特率等级的风险。

12、比特率是从由图像获取装置捕获的视频流的图像帧中生成的每单位时间的比特数。比特可以在根据编码协议对捕获的图像帧进行编码的编码器中生成。当前比特率值直接或间接地指示每单位时间产生的比特。

13、隐私屏蔽被理解为通过使用屏蔽区域隐藏或隐蔽图像帧的部分来保护个人隐私的特征。通常，隐私屏蔽可以是静态的或动态的，其中本文中将讨论最多的是动态屏蔽，其采用应用于图像帧的边缘滤波器的形式，但也可以采用固体屏蔽或模糊的形式。静态屏蔽可以以相同的方式在整个或者至少部分图像帧上全局地应用，而动态屏蔽可以在例如当视频流中检测到人脸或人时应用。

14、边缘滤波器的参数可以指代核的元素或者指代滤波器算子的输出与之比较的检测阈值，或者边缘滤波器的增益算子。调整边缘滤波器的参数以降低当前比特率值可以被理解为调整边缘滤波器的灵敏度，使得更少的边缘被滤波器增强。

15、根据实施例，当前比特率值可以是当前的比特率或者比特率增加的当前速率。比特率增加的当前速率是比特率当前增加的速率或者速度。监视和响应比特率当前增加的速率或者速度允许对高比特率做出更快或更迅速的响应，因为在绝对比特率达到临界高比特率之前，当检测到增加的高速率时，可以进行边缘滤波器参数的调整。还可以将当前比特率与比特率增加的速率组合以用于相应阈值的组合比较。例如，如果比特率增加的速率突然快速增加，则可以在比特率本身达到比特率阈值之前调整滤波器参数。

16、根据实施例，调整可以进一步包括调整边缘滤波器的至少一个参数，直到当前比特率值低于阈值。因此，有利地，继续调整至少一个滤波器参数，直到比特率再次处于可接受的等级。

17、根据实施例，边缘滤波器的至少一个参数可以针对捕获场景的预定区域进行调整。确定预定区域可以包括通过使用例如对象检测算法或运动检测来检测视频流中存在人的区域。预定区域也可以与视频流中应当应用静态屏蔽的区域相关。预定区域可以基于监视场景的现有知识来预设。静态屏蔽涉及对区域进行屏蔽，而不管该区域中是否存在移动对象。因此，使用静态屏蔽，视频流的预定义区域被屏蔽。

18、根据实施例，该方法可以进一步包括检测捕获场景的区域中的对象；检测捕获场景中的对象的尺寸；以及根据在相应区域中检测到的对象的尺寸，在捕获场景的区域中以不同方式调整边缘滤波器的至少一个参数。例如，隐私屏蔽对于远离图像获取装置的人或对象而言并不重要，因为他们的隐私可以通过他们远离相机来确保。远离图像获取装置的人或对象在视频流中显得很小。这意味着视频流中对象的尺寸提供了有效的方式来确定是否应当使用边缘滤波器来屏蔽特定对象，或者屏蔽到什么程度。这有利地提供了基于视频流的不同区域中所需的隐私屏蔽来定制边缘滤波器调整。

19、根据实施例，与具有检测到的尺寸低于尺寸阈值的对象的区域相比，可以调整边缘滤波器的至少一个参数，以进一步减少具有检测到的尺寸超过或者等于尺寸阈值的对象的场景区域的边缘数量。可以设置尺寸阈值，使得视频流中人与图像获取装置的距离足够远而不需要过多隐私屏蔽的区域被滤波，以保持人与图像获取装置更近的区域中的更多边缘。有利地，与对远离相机的对象的区域进行滤波相比，对具有更靠近相机的对象的区域进行滤波更能降低视频流的比特率，因为视频流中远离相机的对象通常比靠近相机的对象产生更少的边缘。该类型的尺寸阈值处理提供了相对直接而有效的方式来找到比其他区域更需要边缘滤波的区域。

20、根据实施例，调整可以包括针对捕获场景的静态屏蔽区域来全局地调整边缘滤波器的参数。因此，边缘滤波器的至少一个参数可以针对被定义为应当应用静态屏蔽的区域的所有区域进行调整。

21、根据实施例，该方法可以进一步包括检测捕获场景中的人数，并且响应于检测到人数超过阈值(即人数阈值)，调整边缘滤波器的至少一个参数。视频流中的更多的人可能需要调整边缘滤波器参数来降低比特率。例如，如果使用边缘滤波器仅屏蔽了人并且人数增加，则边缘滤波器必须应用于视频流的更多区域，这增加了产生的比特率。有利地，边缘滤波器参数因此被调整以适应人数的这种变化和关于产生的比特率的边缘滤波需求，以保持或者降低产生的比特率或者比特率增加的速率。

22、根据实施例，该方法可以进一步包括在捕获场景的选定区域上应用图像模糊以进一步控制比特率。

23、根据实施例，该方法可以包括在被捕获场景的选定区域上应用纯色屏蔽以进一步控制比特率。

24、使用例如模糊或纯色屏蔽提供了根据手边的具体实施方式来定制隐私屏蔽的进一步工具。

25、根据实施例，该方法可以进一步包括检测移动对象，并且根据捕获场景中的移动对象的当前尺寸来调整边缘滤波器的至少一个参数。诸如人的移动对象导致相对较高的比特率。因此，调整边缘滤波器对于视频流中包括移动对象的区域尤其有利。

26、在一些可能的实施方式中，阈值可以是第一阈值，由此该方法可以进一步包括：响应于检测到当前比特率值低于第二阈值(第二阈值比第一阈值更低)，调整边缘滤波器的至少一个参数以增加视频流的至少一个区域中的边缘数量，从而控制比特率。使用第二较低阈值确保边缘滤波不会导致滤波视频流中细节的过度丢失。因此，设置第二阈值使得边缘滤波被调整，使得滤波视频流中的运动、事件或动作是可区分的，同时仍然确保隐私。

27、根据本发明的第二方面，提供了用于控制视频流的比特率的控制单元，该视频流使用图像获取装置捕获并使用边缘滤波器进行滤波，该边缘滤波器对视频流中的被捕获场景的至少一个区域进行隐私屏蔽，该控制单元被配置成执行根据本发明第一方面的方法的步骤。

28、本发明的该第二方面的其他实施例和通过该第二方面获得的效果在很大程度上与上文针对本发明的第一方面的描述类似。

29、根据本发明的第三方面，提供了包括被配置成捕获视频流的图像获取装置和根据第二方面的控制单元的系统。

30、图像获取装置优选地是诸如监控相机的摄像机。

31、本发明的该第三方面的其他实施例和通过该第三方面获得的效果在很大程度上与上文针对本发明的第一方面和第二方面的描述类似。

32、根据本发明的第四方面，提供了包括指令的计算机程序，该程序当由计算机执行时使计算机执行本文中讨论的任何实施例的方法的步骤。

33、本发明的该第四方面的其他实施例和通过该第四方面获得的效果在很大程度上与上文针对本发明的其他方面的描述类似。

34、当研究所附权利要求和以下描述时，本发明的其他特征和优点将变得显而易见。本领域技术人员认识到，可以组合本发明的不同特征来创建除了下文描述的实施例之外的实施例，而不偏离本发明的范围。