识别数字图像中相关区域的方法、对数字图像编码的方法及编码器系统的制作方法
【技术领域】
[0001] 本发明涉及数字图像处理的领域，并且尤其涉及识别数字图像中的相关区域的方 法、对数字图像进行编码的方法以及编码器系统。
【背景技术】
[0002] 在诸如网络摄像机监控系统的数字视频系统中，使用各种视频编码方法在传输之 前压缩视频序列。在许多数字视频编码系统中两个主要模式，用于压缩一系列视频帧中的 视频帧：帧内模式和帧间模式。在帧内模式中，通过利用单个帧的给定通道中的像素的空间 冗余，经由预测、变换和熵编码来对亮度和色度通道进行编码。编码的帧被称作帧内帧，且 也可被称为I-帧。相反，帧间模式利用独立的帧之间的时间冗余，并依赖运动补偿预测技 术，该技术通过对像素的选中块的从一个帧到另一个帧的像素中的运动进行编码，从一个 或多个先前帧预测帧的各部分。编码的帧被称作帧间帧，且也可被称为P-帧（向前预测的 帧）或B-帧（双向预测的帧），p-帧可指按解码顺序的先前帧，B-帧可指两个或多个先前 解码的帧，并可具有用于预测的帧的任何随意的显示顺序关系。进一步，编码的帧被排布在 图像组或G0P中，其中每个图像组开始于I-帧，并且随后的帧是P-帧或B-帧。图像组中 的帧的数量通常被称为G0P长度。G0P长度可从1到例如255变化，1意味着图像组中仅存 在帧内帧，并且不存在帧间帧，255意味着图像组中存在1个帧内帧，随后是254个帧间帧。
[0003] 在编码的视频序列接收的位置，对编码的帧进行解码。网络摄像机监控系统所关 注的是用于编码的视频的传输的可用带宽。这在使用大量摄像机的系统中尤其如此。进一 步，这种关注在可用带宽低的情况（诸如，当视频序列传输到移动设备（诸如，移动电话、 PDA、平板电脑）时）特别重要。就图像的存储而言（例如，在将图像存储到摄像机中的内 建SD卡时），会发生类似的问题。在可用的带宽或存储与高质量图像的利益之间做出权衡 的情况下，不得不做出折衷。为了减小从摄像机传输的比特率，许多方法和系统已用于控制 编码。这些已知的方法和系统通常应用比特率限制，并且控制编码使得来自摄像机的输出 的比特率总是低于比特率限制。以这种方式，可确保可用带宽是足够的，使得系统中的所有 摄像机可将它们的视频序列传输到接收的位置（例如，控制中心），在该位置操作人员可从 系统的摄像机监控视频，并且在该位置视频可被记录以供以后使用。然而，无论被监控的场 景发生什么，由于比特率限制可能要求包含许多细节的图像的严格的压缩，因此将比特率 限制应用到所有摄像机可偶尔导致不理想的低的图像质量。一些细节可能对在接收的位置 处的观察者来说是令人感兴趣的，然而其他细节可能不是令人感兴趣的。但是，在应用比特 率限制时，为了不超过该限制，具有许多细节的图像可能需要被高度压缩，从而导致低的图 像质量。
【发明内容】
[0004] 本发明的一个目的是提供一种识别图像中相关区域的方法。另一个目的是使数字 图像能够有效压缩，允许令人感兴趣的对象的高质量图像。
[0005] 根据第一方面，这些目的和其他目的全部或至少部分地通过一种识别数字图像中 的相关区域的方法实现，所述方法包括：接收第一数字图像中的表示像素的信息，计算第一 图像中的邻近像素组的所述信息的和、平均值或中间值以形成每个像素组的组值，计算组 值之间的差，将所述差与预定的阈值进行比较。如果所述差等于或大于所述阈值，则所述方 法包括将所述组识别为在相关区域中，并且如果所述差小于所述阈值，则所述方法包括将 所述组识别为在不相关区域中。利用这种方法，可以区分图像中的相关区域和不相关区域。 该区分或图像的子分割可用于不同方面，诸如用于控制对图像的编码。
[0006] 所述相关区域是包含相关对象的区域，相关对象是诸如人、面部、动物、车辆、号 牌、窗户、门、大门或人携带的物品之类的对象。
[0007] 在所述方法的变形中，所述像素组包括适合于产生组值之间的小于所述阈值的差 的若干像素，所述组值在不包含相关对象的第一数字图像的区域中。
[0008] 所述像素组中的每一个可包括至少256个像素。这可以是16X 16像素组，并且像 素组的大小可对应于图像中面部的大小。
[0009] 所述第一图像中的表示像素的信息可以是来自于由以下数据组成的组中的至少 一个：关于亮度的数据、关于光亮度的数据和关于颜色值的数据以及任何这些数据的方差。 所述方差可例如表示为标准偏差。
[0010] 在变形中，所述方法进一步包括：接收第二数字图像中的表示像素的信息，计算所 述第二图像中的邻近像素组的所述信息的和、平均值或中间值以形成每个像素组的组值， 以及从所述第一图像和所述第二图像累积对应组的所述组值，其中所述计算组值之间的差 是使用所累积的组值执行的。
[0011] 根据第二方面，这些目的和其他目的全部或至少部分地通过一种对数字图像进行 编码的方法实现，包括：使用第一方面所述的方法识别相关区域，基于对所述相关区域的识 别来设定每个像素组的压缩值，其中相关区域中的块被给定第一压缩值，并且所述相关区 域外部的块被给定第二压缩值，所述第二压缩值表示比所述第一压缩值产生更低图像质量 的压缩，以及使用针对所述像素组设定的压缩值来对所述第一图像进行编码。利用这种方 法，可以控制用于表示图像的不相关区域的若干比特，而允许图像的相关区域的高质量的 表示。被压缩值分配的块可以或不可以与用于识别相关区域的像素组相同。块可以是像素 组的子组。
[0012] 根据所述方法的变形，具有第二压缩值的像素组被编码为跳块。以这种方式，可减 小输出的比特率。
[0013] 所述方法进一步包括：在对所述第一图像进行编码之前，在变换模块中处理所述 第一图像，以及在对所述第一图像进行编码之前，在所述变换模块中处理对应于所述图像 的所述组值或压缩值。所述变换模块可以是硬件加速传输模块，且有时可被称为定标器。 变换模块或定标器可执行例如调整大小、剪切、旋转、隐私遮色的添加或电子图像稳定的操 作。
[0014] 根据第三方面，上面涉及的目的全部或至少部分地通过一种用于对对应于输入图 像的图像数据进行编码的数字图像编码器系统实现，包括：编码器模块，被设置成使用压缩 值处理输入图像；接收模块，被设置成接收第一数字图像中的表示像素的信息；组值模块， 被设置成计算所述第一图像中的邻近像素组的所述信息的和、平均值或中间值以形成每个 像素组的组值；差计算模块，被设置成计算组值之间的差；比较模块，被设置成将所述差与 预定的阈值进行比较；识别模块，被设置成如果所述差等于或大于所述阈值，则将像素组识 别为在相关区域中，并且如果所述差小于所述阈值，则将所述像素组识别为在不相关区域 中；以及压缩值设定模块，被设置成基于对相关区域的所述识别来设定每个像素组的压缩 值，使得相关区域中的像素组被给定第一压缩值，并且在不相关区域中的像素组被给定第 二压缩值，所述第二压缩值表示比所述第一压缩值产生更低图像质量的压缩。利用这种编 码器系统，可以减小输出的比特率，同时还允许监控的场景中的令人感兴趣的对象的高质 量图像。
[0015] 通常，可以以与第二方面的方法相同的方式伴随所附优势而体现第三方面的编码 器系统。
[0016] 根据第四方面，上面涉及的目的全部或至少部分地通过一种包括根据第三方面的 数字编码器系统的摄像机来实现。
[0017] 根据第五方面，上面涉及的目的全部或至少部分地通过一种包括具有如下指令的 计算机可读存储介质的计算机程序产品来实现，所述指令适于在由处理器执行时执行根据 第一发面和第二方面的方法。所述处理器可以是任何种类的处理器，例如中央处理器单元 (CPU)、图形处理单元（GPU)、集成电路中实现的定制的处理器件、ASIC、FPGA或包括分立元 件的逻辑电路。
[0018] 根据下面给出的详细