根据所捕获的视频 信号确定噪声特征的测量，其中光照特征和噪声特征定义了二维光照-噪声空间；在光照_ 噪声空间中执行旋转以生成考虑了光照和噪声两者的一维的度量；以及基于一维的度量将 低光照处理应用至所述通道的一个或多个中。
[0094] 例如，低光照增强可以包括:基于一维度量确定软分类器，表示视频在低光照中被 捕获或者包含由于低光照而产生的干扰的概率，并且可以基于软分类器来应用低光照处 理。低光照处理可以包括:提升非彩色通道，对颜色通道中的一个或两个进行降噪，或者将 色度调整应用至颜色通道中的一个或两个。在实施例中，可以在亮度-噪声空间中执行两个 不同的旋转以生成两个不同的一维度量。在实施例中，这些可以分别用于确定两个不同的 软分类器，一个表示在低光照中捕获的概率，一个表示由于低光照而产生的噪声的概率。对 非彩色通道的提升和色度调整可以基于前者，和/或降噪可以基于后者。
[0095] 在进一步的实施例中，可以响应于检测到低光照和/或噪声的其它分类而应用低 光照处理。例如，尽管已经就直接从所捕获的数据检测低光照条描述了上文，但是另一个可 能将是使用单独的光传感器来测量摄像机的环境中的实际的光照等级。在另一个实施例 中，条件可以基于所捕获的数据和单独的光传感器的组合。
[0096]此外，应当注意，在本文中关于亮度进行的任何教导可以扩展至伽马校正或非校 正的亮度通道或表示整体非彩色光照等级的其它通道;并且在本文中对色度或浓度的任何 提及可以扩展至结合这样的非彩色光照通道而使用的颜色通道的任何系统。本文中的教导 并不是特定于任何一个具体的颜色空间。例如，可以在HSV或HSL空间中应用所述预处理。
[0097] 此外，尽管应经就捕获、低光照增强编码和传输全部都是在单个用户终端处执行 的描述了上文，但在可替代的场景中，这些中的一个或多个可以实现在另一类型的终端(例 如，服务器）中，并且这些阶段未必是在相同的终端中执行的。例如，一个用户终端可以向服 务器或其它存储设备提交原始的捕获视频，并且另一个用户终端可以获取该视频并且接着 对其进行预处理和编码，用于传输至别处。另一个示例将是在中间网络元件(例如，服务器） 上应用的转码操作：一个用户终端可以经由服务器发送根据一个编码解码器编码的视频， 并且服务器可以解码、应用低光照增强并且根据相同或不同的编码解码器重新编码，用于 传输至另一个用户终端。此外，教导不限于发送通过网络或通信介质发送到另一接收用户 终端:相反，可以执行编码以将视频存储在存储介质上用于以后在相同的用户终端上回播。
[0098] 通常而言，在本文中所描述的任何功能都可以利用软件、固件、硬件(例如，固定的 逻辑电路)或这些实现的组合来实现。如在本文中所使用的术语"模块"、"功能"、"组件"、和 "逻辑"通常表示软件、固件、硬件或其组合。在软件实现的情况下，模块、功能或逻辑表示当 在处理器(例如，CPU或多个CPU)上被执行时执行指定的任务的程序代码。程序代码可以被 存储在一个或多个计算机可读存储设备上。在下文中所描述的技术的特征与平台无关，这 意味着所述技术可以在具有多种处理器的多种商业计算平台上实现。
[0099]例如，终端也可以包括使得终端的硬件执行操作的实体(例如，软件），例如处理器 功能块等。例如，终端可以包括计算机可读介质，其可以被配置为保存使得终端并且更具体 地是该终端的操作系统和相关联的硬件执行操作的指令。因此，指令的功能是配置操作系 统和相关联的硬件以执行操作，并且通过这种方式引起操作系统和相关联的硬件变换为执 行功能。指令可以由计算机可读介质通过多种不同的配置向终端提供。
[0100]计算机可读介质的一个这样的配置是信号承载介质，并且因此被配置为例如经由 网络将指令(例如，作为载波)发送至计算设备。计算机可读介质也可以被配置为计算机可 读存储介质，并且因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储 器(RAM)、只读存储器(R0M)、诸如⑶或DVD的光盘、闪速存储器、硬盘存储器以及可以使用 磁、光和其它技来存储指令和其它数据的其它存储器设备。
[0101]尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应当理解的 是，在所附权利要求中所限定的主题不必限于上文中所描述的具体的特征或动作。相反，公 开上文中所描述的具体的特征和动作以作为实现权利要求的示例性形式。
【主权项】
1. 一种装置，包括： 编码器，其被配置为对从摄像机捕获的视频信号进行编码；以及 低光照增强模块，其被配置为在包括表示颜色的两个颜色通道和表示光照等级的非彩 色通道的颜色空间中对所述视频信号执行低光照增强，所述低光照增强包括:至少检测第 一分类，所述第一分类指示所述视频信号中的干扰是由于在低光照中捕获引起的；以及响 应于检测到所述第一分类，将第一低光照处理应用于所述颜色通道中的至少一个颜色通道 以减少在被所述编码器编码时由颜色产生的比特数，使得在被所述编码器编码时增加的比 特数花费在所述非彩色通道上。2. 根据权利要求1所述的装置，其中，所述第一低光照处理包括:对所述至少一个颜色 通道进行降噪，和/或增加所述至少一个颜色通道上的量化粗糙度。3. 根据权利要求1或2所述的装置，其中，所述低光照增强模块被配置为:根据所捕获的 视频信号来确定光照特征的测量，以及根据所捕获的视频信号来确定噪声特征的测量，所 述第一分类是基于所述光照特征和所述噪声特征的第一组合的噪声分类。4. 根据权利要求3所述的装置，其中，所述光照特征和所述噪声特征定义了二维的光 照-噪声空间，并且所述组合包括在所述光照-噪声空间中执行旋转以生成考虑了光照和噪 声两者的一维的噪声度量，所述分类是基于所述一维的噪声度量的。5. 根据权利要求3或4所述的装置，其中，所述低光照增强还包括:检测第二分类，所述 第二分类指示所述视频信号是在低光照中被捕获的，所述第二分类是基于所述光照特征和 所述噪声特征的第二组合的低光照分类，所述第二组合与所述第一组合不同；以及响应于 检测到所述第二分类来执行进一步的低光照处理。6. 根据权利要求5所述的装置，其中，以下中的一个或两个： 所述进一步的低光照处理包括对所述非彩色通道的提升;和/或 所述颜色通道包括红色通道和蓝色通道，并且所述进一步的低光照处理包括色度调 整，所述色度调整包括扩大所述红色通道和/或缩小所述蓝色通道。7. 根据权利要求5或6所述的装置，其中，所述光照特征和所述噪声特征定义了二维的 光照-噪声空间，并且所述第二组合包括在所述光照-噪声空间中执行旋转以生成考虑了光 照和噪声两者的一维的光照等级度量，所述低光照分类是基于所述一维的光照等级度量的 测量的。8. 根据权利要求3到7中任何一项所述的装置，其中，以下中的一个或两个： 所述噪声分类是表示所述至少一个颜色通道上的噪声是由于在低光照中捕获引起的 概率的软分类;和/或 所述低光照分类是表示所述视频信号在低光照中被捕获的概率的软分类。9. 根据权利要求3到8中任何一项所述的装置，其中，以下中的一个或两个： 所述噪声特征被确定为所述颜色通道中的所述一个颜色通道上的相邻像素之间的平 均的阈值化的绝对差，其中，所述像素能够是下采样的;和/或 所述光照特征包括根据所述非彩色通道确定的对比度的测量。10. -种体现在计算机可读存储介质上的计算机程序产品，其被配置为只要当在处理 器上执行时就执行以下的操作： 接收从摄像机捕获的视频信号； 在包括表示颜色的两个颜色通道和表示光照等级的非彩色通道的颜色空间中对所述 视频信号执行低光照增强；以及 对所述视频信号进行编码； 其中，所述低光照增强包括:检测第一分类，所述第一分类指示所述视频信号中的干扰 是由于在低光照中捕获引起的；以及响应于检测到所述第一分类，将第一低光照处理应用 于所述颜色通道中的至少一个颜色通道以减少在被编码时由颜色产生的比特数，使得在被 编码时增加的比特数花费在对所述非彩色通道进行编码上。
【专利摘要】一种装置包括：编码器，被配置为对从摄像机捕获的视频信号进行编码，以及低光照增强模块，被配置为向视频信号应用低光照增强。低光照增强是在颜色空间中执行的，颜色空间包括表示颜色的两个颜色通道和表示光照等级的非彩色通道。增强包括：至少检测第一分类，第一分类指示视频信号中的干扰是由于在低光照中捕获引起的；以及响应于检测到该分类，将低光照处理操作应用至颜色通道中的至少一个，以降低在编码中由颜色产生的比特数，使得当由编码器进行编码时，增加的比特数花费在非彩色通道上。
【IPC分类】H04N9/77, H04N19/136, G06T5/00, H04N19/85, H04N19/124, H04N19/17, H04N19/86, H04N9/73, G06K9/00, H04N19/117
【公开号】CN105519109
【申请号】CN201480044554
【发明人】M·尼尔森
【申请人】微软技术许可有限责任公司
【公开日】2016年4月20日
【申请日】2014年8月4日
【公告号】EP3014880A2, US20150043655, WO2015020919A2, WO2015020919A3