用于确定指示在图像帧流中捕获的对象属于对象类型的概率值的方法和图像处理设备与流程

本文的实施例涉及用于确定指示在图像帧流中捕获的对象属于对象类型的概率值的方法和图像处理设备。还公开了对应的计算机程序和计算机程序载体。

背景技术：

1、使用成像(特别是视频成像)对公众进行监控(surveillance)在世界各地的许多区域都很常见。可能需要监视的区域例如银行、商店和其他需要安全的区域，例如学校和政府设施。然而，在许多地方，未经许可/准许安装相机是违法的。其他可能需要监视的区域包括加工、制造和物流应用，其中视频监控主要用于监视流程。

2、但是，可能存在无法从视频监控中标识人员的要求。无法标识人员的要求可能与能够确定视频中发生的情况的要求相反。例如，对匿名图像数据执行人员计数或队列监视可能令人关注。在实践中，在满足这两个要求之间需要进行权衡：非可识别视频和为不同目的(例如人员计数)提取大量数据。

3、已经描述了几种图像处理技术，以避免标识人员，同时仍然能够识别活动。例如，边缘检测/表示、边缘增强、剪影(sihouetting)对象以及不同类型的“颜色模糊(blurring)”(例如颜色变化或膨胀(dilation))都是此类操作的示例。隐私掩盖(masking)是视频监控中使用的另一种图像处理技术，以通过使用被掩盖的区域从视图中隐藏图像的部分来保护个人隐私。

4、图像处理是指应用于图像的任何处理。该处理可以包括对图像应用各种效果、掩模、滤镜(filter)等。以这种方式，图像可以例如被锐化、转换为灰度或以某种方式更改。该图像通常由视频相机(video camera)、静态图像相机等捕获。

5、如上所述，避免标识人员的一种方式是实时掩盖图像中移动的人和对象。直播(live)和录制(recorded)视频中的掩盖可以通过将直播相机视图与设定的背景场景进行比较并对变化区域(本质上是移动的人和对象)应用动态掩盖来完成。颜色掩盖，其也可以称为其中对象被某种颜色的叠加(overlaid)实心掩模掩盖的实色(solid color)掩盖或单色(monochrome)掩盖，提供隐私保护，同时使你能够看到移动。马赛克掩盖，其也称为像素化、像素化隐私掩盖或透明像素化掩盖，以较低的分辨率显示移动对象，并允许你通过看对象的颜色来更好地区分形态。

6、掩盖直播和录制的视频适用于由于隐私规则和法规而导致监控存在问题的区域的远程视频监视或录制。当视频监控主要用于监视流程时，它非常适合加工、制造和物流应用。其他潜在的应用包括零售、教育和政府设施。

7、在对对象进行掩盖之前，可能需要将该对象检测为待掩盖对象，或者换句话说，将其分类为待掩盖对象。us20180268240a1公开了一种方法，包括获取场景的视频、检测该场景中的对象、确定指示检测到的对象属于要编辑(redact)的对象类别的可能性的对象检测概率值，以及通过混淆(obfuscate)检测到的属于该要编辑的对象类别的对象来编辑该视频。

8、当在监视系统中使用动态掩盖时遇到的一个具有挑战性的问题是，与对非遮挡的人的检测所获得的检测分数相比，对部分被遮挡的人的检测将给出低得多的检测分数，例如更低的对象检测概率值。遮挡可能是由于场景中的另一个对象造成的。更低的检测分数可能导致部分被遮挡的人在捕获的视频流中未被掩盖。例如，如果视频流中捕获的对象(例如人)的一半被遮挡，则从对象检测器获得的检测分数可以是67％该对象是人类，而如果捕获的对象没有被遮挡，检测分数可以是95％。如果用于掩盖视频流中的人的阈值检测分数被设置为例如80％，则部分被遮挡的人将不会被掩盖，而非遮挡对象将被掩盖。这是一个问题，因为部分被遮挡的人也应该被掩盖以避免标识。

技术实现思路

1、因此，本文实施例的目的可以是消除上述问题中的一些问题，或者至少减少它们的影响。具体地，本文实施例的目的可以是如何检测图像流中被其他对象遮挡的捕获对象以及如何根据已知对象类型对它们进行分类。例如，本文实施例的目的可以是检测视频图像流中的人类，尽管人类在该图像流中并不完全可见。一旦该对象被分类为人类，该分类可能导致该人类的掩盖或该人类的计数。

2、因此，本文的实施例的另一目的可以是例如通过掩盖人来对图像帧流中的人进行去标识化(de-identify)或匿名化(anonymize)，同时仍然能够确定该图像帧流中正在发生什么。

3、另一目的可以是改进确定指示在图像帧流中捕获的对象是否属于对象类型(例如要掩盖、滤镜或计数的对象类型)的概率值。换句话说，另一目的可以是改进指示检测到的对象属于特定对象类别的可能性的对象检测概率值的确定。

4、根据一方面，该目的通过一种在多相机系统中执行的用于确定指示在图像帧流中捕获的对象是否属于对象类型的概率值的方法来实现。

5、所述方法包括检测在由所述多相机系统的第一相机捕获的第一图像帧流中捕获的场景的第一区域中的第一对象或所述第一对象的第一部分。

6、所述方法还包括基于所述第一对象或所述第一对象的所述第一部分的特性来确定指示所检测的第一对象或第一部分属于所述对象类型的概率的第一概率值。

7、所述方法还包括检测在由不同于所述第一相机的所述相机系统的第二相机捕获的第二图像帧流中捕获的所述场景的第二区域中的第二对象或所述第二对象的第二部分，其中所述第二区域与所述第一区域至少部分重叠。

8、所述方法还包括基于所述第二对象或所述第二对象的所述第二部分的特性来确定指示所检测的第二对象或所述第二部分属于所述对象类型的概率的第二概率值。

9、所述方法还包括当所述第二概率值低于第二阈值并且所述第一概率值高于第一阈值时，通过增加所述第二概率值来确定经更新的第二概率值。

10、根据另一方面，所述目的通过一种被配置为执行上述方法的图像处理装置来实现。

11、根据另外的方面，所述目的通过一种与上述方面相对应的计算机程序和计算机程序载体来实现。

12、本文的实施例使用来自另一相机的指示所检测的第一对象或第一部分属于所述对象类型的概率值。

13、由于当所述第二概率值低于所述第二阈值并且所述第一概率值高于所述第一阈值时增加所述第二概率值，所以当所述第二对象被遮挡时可以补偿所述第二概率值。通过这样做，可以补偿来自所述第一相机的具有高第一概率值的特定对象的所述第二概率值。这意味着检测到第二对象属于特定对象类型的概率将增加，即使它们在所述第二相机中被部分遮挡，同时仍然具有少量的第二对象被错误地检测为待检测的所述对象类型，即假阳性检测(false positive detection)数量较少。

14、因此，本文的实施例的优点是检测到在特定相机中被部分遮挡的特定对象类型的对象的增加的概率。因此，可以改进对某些类型或类别的对象的检测。当概率值指示在所述图像帧流中捕获的对象属于对象类型时，可以确定所述对象的检测。例如，当所述第二概率值指示所述第二对象或所述第二部分属于所述对象类型时，确定所述第二对象属于所述待检测对象类型。例如，高的第二概率值可以指示所述第二对象或所述第二部分属于所述对象类型，而低的第二概率值可以指示所述第二对象或所述第二部分不属于所述对象类型。高概率值和低概率值可以通过一个或多个阈值来标识。

15、另一个优点是改进了对某些类型对象的掩盖。又一优点是改进了对某些类型的对象的计数。