对在低光照中捕获的视频进行编码的制作方法
【专利说明】对在低光照中捕获的视频进行编码
【背景技术】
[0001] 在现代通信系统中，可以将视频信号从一个终端经过例如有线和/或无线网络的 介质(常常是基于分组的网络，例如互联网)发送至另一个终端。在许多情况下，期望实时地 编码并发送视频信号，即，某个事件或内容流的视频在该相同事件或内容流的之前的早先 被编码的视频数据被发送的同时继续以不间断的方式被编码(与一下子对整个视频文件进 行编码并且随后发送截然相反）。因此，视频的一个帧可以在紧挨着的在前的已编码帧中的 一个被发送(或被缓冲用于发送)的同时被编码，以此类推。换句话说，视频是"随着并且当" 其被编码时进行发送的。如在本文中所使用的"实时"不必限于零延时。尽管如此，用户确实 期望至少像正被捕获的事件实际发生那样快速地以及至少像视频打算播出那样快速地(取 几帧的平均)对视频进行编码、发送和解码。实时视频通信的示例将是实况视频通话或者其 它实况传输，其中视频也是在其被编码和发送时被实时捕获的。
[0002] 视频的帧发送终端处的编码器进行编码，以对它们进行压缩以便通过网络或其它 介质来传输。对于实时视频通信而言，压缩是特别有重大意义的，尽管压缩视频信号的其它 原因还包括减小视频文件的大小以便上传、下载或存储在存储介质上。
[0003] 编码通常包括帧内预测编码、帧间预测编码或者更加经常的是两者的组合（例如 几个帧内编码的"关键"帧交错在帧间编码的帧的序列之间）的形式的预测编码。根据帧内 编码，块是相对于相同帧内的其它块而被编码的。在该情况下，目标块是根据该块和相同帧 内的另一个块(例如相邻的块)之间的差(残差)而被编码的。残差小于一绝对值，并且因此 需要较少的用于编码的比特，并且残差越小，在编码中引起的比特就越少。根据帧间编码， 目标帧中的块是相对于之前的帧中的对应部分被编码的，通常基于运动预测。在该情况下， 目标块是根据运动向量和该块与该块将被从中预测的对应部分之间的差(残差)而被编码 的，运动向量标识了该块与该块将被从中预测的对应部分之间的位移。帧间编码通常得出 比帧内编码甚至还要小的残差，并且因此引起甚至更少的比特。
[0004]在接收机处的对应的解码器基于合适的类型的预测对接收到的视频信号的帧进 行解码，以对它们进行解压以便输出至屏幕。可以被用于指代编码器和/或解码器的通用术 语是编码解码器。
[0005]编码侧上的摄像机可以在基于例如RGB(红、绿、蓝）的三色模型的颜色空间中捕获 帧。这意味着每个像素都是用红色(R)通道的强度、绿色(G)通道的强度和蓝色(B)通道的强 度来表示的。然而，仅仅根据两个颜色通道(其可以被称为色度或浓度通道）以及一个非彩 色通道(其例如用明度或照度来表示像素的整体光照水平)非彩色来考虑像素也是可能的。 例如，两个色度通道可以是红色和蓝色通道。非彩色通道可以被称为亮度（luminance)或照 度（luma)通道。在一些上下文中，术语亮度专门用于指非伽马校正等级，而照度用于表示伽 马校正等级。然而，在该公开中，亮度可以用作针对伽马校正或非校正等级的通用术语。浓 度和色度也可以彼此可交换地使用。这样的颜色空间的示例是YUV，其中Y指的是亮度通道， U指的是蓝色色度通道，并且V指的是红色色度通道。本领域技术人员将熟悉其它相似的颜 色空间模型。例如，在HSV中，颜色通道是色相(H)和饱和度(S)，并且非彩色亮度等级通道是 亮度(brightness)值(V)。在HSL中，颜色通道是色相(Η)和饱和度(S)，并且非彩色光照等级 通道是照度(L)。
[0006] 在编码之前，帧常常明确地被变换成亮度-色度类型的颜色空间表示（以及从根据 像素坐标的空间域表示被变换成根据一组频率系数的空间频域表示，并且被量化）。可替换 地，并不排除视频可以在YUV空间中被捕获，或者如果已经在不同于RGB的某其它颜色空间 中被捕获则被转换到YUV等。即使没有明确地在YUV类型的空间中被捕获或编码，仍然可能 在可替换的颜色空间（例如，YUV)中描述或考虑图像。
【发明内容】
[0007] 存在可以被认为与视频编码解码器的性能有关的各种因素。例如，一个因素是在 已编码的信号中产生的比特的数量，而另一个因素是已编码的视频的质量。可能影响这样 的因素的一个事情是摄像机的周围环境的光照等级（即，捕获视频的环境中的光照等级)和 因此从正被捕获的场景反射的光量以及进而当捕获视频的每一帧时将摄像机的图像捕获 元件照亮的光量。例如，一个可能的影响是低光照等级可能会增加所捕获的视频图像中的 噪声的量和/或引入其它非自然的伪影，特别是在颜色通道中的一个或两个中更是如此。例 如，在许多低光照情况下，观察到伪影以色斑或"斑点"和/或面部特征周围的非自然色调的 形式出现。这样的噪声和/或其它伪影不仅降低质量，有时也会引入帧上和/或帧间的较大 的差，这意味着更大的残差以及因此在编码中产生更多的比特。
[0008] 根据在本文中所公开的一个方面，提供了一种装置，其包括:编码器，被配置为对 从摄像机捕获的视频信号进行编码；以及低光照增强模块，被配置为将低光照增强应用至 所捕获的视频信号。低光照增强是在包括非彩色通道和两个颜色通道的颜色空间中执行的 (即使是在例如RGB之类的不同的颜色空间中被捕获和/或被编码）。在实施例中，低光照增 强模块可以在视频信号的捕获和编码器之间的预处理阶段中被实现，使得编码器在低光照 增强之后对视频进行编码。
[0009] 低光照增强包括:至少检测第一分类，所述第一分类表示由于在低光照中进行捕 获而在视频信号中出现干扰，例如噪声和/或其它伪影。在实施例中，这可以是关于确定是 否存在噪声(考虑该噪声实质上是否是或者可能是在低光照条件下捕获视频的结果）的任 何适合的分类。例如在一个实施例中，第一分类是表示视频信号包含由于低光照捕获而产 生的噪声的概率的软分类。
[0010]响应于检测到该分类，低光照增强模块将低光照处理操作应用至颜色通道中的至 少一个颜色通道(例如，蓝色通道）以降低在编码器对视频信号进行编码时由颜色产生的比 特的数量。在实施例中，这包括:例如通过盒式滤波对所述至少一个颜色通道执行降噪滤波 操作。例如，可以在所述概率超过阈值的条件下应用降噪，或者可以根据所述概率逐渐地改 变降噪。降噪产生帧内或帧间的更小的差，因此在颜色通道上给出了更小的残差，并且因此 在编码中占用更少的比特。这使得更多的比特可用于花费在对非彩色通道进行编码上。例 如，如果编码器包括针对已编码的流设置一定的比特预算的比特率控制器，那么当颜色通 道上产生的比特的数量降低时，这释放了预算中的一些比特以花费在其它地方。比特率控 制器接着将自动地将这些比特中的至少一些分配至非彩色通道(例如，通过增加非彩色通 道上的量化粒度）。
[0011] 在实施例中，低光照增强可以可选地进一步包括:检测表示视频信号正在低光照 中被捕获的第二分类。这可以基于关于以下的任何合适的分类:低光照的周围环境实质上 正在或者可能正在影响摄像机捕获图像和/或编码器对图像进行编码的能力是否达到了其 实质上是引起干扰和伪影的原因的程度。例如在一个实施例中，对低光照分类的检测包括： 确定视频信号是在被不利地认为低光照的环境中捕获的概率。
[0012] 响应于检测到第二低光照分类，低光照增强模块可以接着应用进一步的低光照处 理操作以提升亮度通道。例如，可以在概率超过阈值的条件下应用亮度提升，或者可以根据 概率逐渐地改变所述提升。可替换地或额外地，低光照增强模块可以响应于检测到第二低 光照分类而应用色度调整。例如，当在低光照环境中进行视频通话时，从发送者自己的屏幕 发出的光常常占据照亮发送者面部的光的显著比例。来自屏幕的光常常比在更明亮的环境 中受到的光具有更冷的色温，因此该效果可能给所捕获的视频增添不自然的蓝色色调。为 了补偿这种或其它这样的效果，色度调整可以包括扩大红色通道和/或缩小蓝色通道，例 如，向红色通道加入小的偏移并且/或从蓝色通道中减去小的偏移。类似于亮度提升，可以 例如在概率超过阈值的条件下应用色度调整，或者可以根据概率逐渐地改变亮度调整。
[0013] 提供了概要以便以简化的形式介绍构思的精华，在下文中在【具体实施方式】中进一 步描述了所述构思。该概要不旨在标识所要求保护的主题的关键特征和必要特征，也不旨 在用于限制所要求保护的主题的范围。所要求保护的主题也不限于解决在本文中所提到的 缺点中的任何一个或全部的实现。
【附图说明】
[0014] 为了帮助理解本公开并且示出可以如何执行实施例，通过示例的方式参考附图， 其中：
[0015] 图1是所捕获的视频信号的示意性表示；
[0016] 图2是通信系统的示意性方框图；
[0017]图3是编码器的示意性方框图；
[0018] 图4是低光照增强模块的示意性方框图；
[0019] 图5是光照-P棄声特征空间的示意性草图；以及
[0020] 图6是亮度提升函数的示意性草图。
【具体实施方式】
[0021] 在低光照中捕获的视频的典型属性包括噪声、暗影和/或非自然的色调。例如，由 于低