用于增强和处理数字图像的系统及方法
【专利说明】用于増强和处理数字图像的系统及方法 优先权要求
[0001] 本专利申请要求2012年7月3日提交的、申请号为61/690,804的美国临时专利申 请的优先权、该申请以其全文通过引用合并入本文；以及2012年10月29日提交的、申请号 为13/694, 089的美国实用新型专利申请的优先权、该申请以其全文通过引用合并入本文。
技术领域
[0002] 本发明的主题涉及二维和三维的视频及数字图像处理技术，特别是对数字图像的 视频数据信息的处理。
【背景技术】
[0003] 视频增强技术的目的是提高视频和图像的视觉质量。由于显示设备的分辨率不 断提高，视频增强设备正成为大多数高质量视频处理系统和产品中不可或缺的一个组成部 分。视频增强设备通常包含一系列功能，如聚焦增强、运动稳定性/模糊去除、对比度增强、 色彩调整、信号滤波、减少闪烁和帧速率转换。一般来说，有各种类型的增强设备适于特定 应用的数字图像，例如在医疗扫描中已被研宄和分析的磁共振成像；一些增强设备在被给 予数字图像的单调性的前提下，在增强对比度和清晰度方面很有用处。然而，通常的运动视 频图像或典型的图像实际上不是单调的。这就期望一个典型的数字图像能够包括具有不同 细节层次的不同区域。一些区域可能包括很高数量的细节（纹理），其他区域可能包括边缘 或轮廓（锯齿线），或者说其他区域可能包括很低数量的细节，甚至几乎没有任何细节（平 坦区域）。设定一个特定大小的区域，如一个具有多个行、且每行具有多个像素的像素块，这 一区域可以包括对应于该区域的不同部分的多个细节层次，例如一个区域可以包括纹理、 锯齿、或平坦部分的组合。
[0004] 一般来说，可用各种不同的降噪技术来处理输入数字图像，以降低该输入图像的 噪声或其他不足、或提高该输入图像的某一特性，如色度或对比度。然而，当系统地应用这 些不同的技术处理输入数字图像的视频数据信息时，对于某一类型图像可以生成很好的输 出结果，而对于其他类型的图像却可能产生不利的结果。例如，应用降噪技术可以大大减 少平的或单调的图像噪声，从而产生一个增强的观看质量，但如果输入图像是非单调的，例 如，一个典型的图像，那么降噪技术将大大降低可视细节量，从而降低观赏质量。降噪过程 将去除高水平的细节以及来自输入图像的任何现有噪声，这样就不能区分不同类型的噪 声，如高频细节、舒适噪声（如胶片颗粒状噪声）、压缩噪声，或其他类型的噪声和伪影（瑕 疵）。这样，该种降噪过程可能导致处理数字图像的非自然外观和/或减少的区域明锐度， 包括高清晰度的细节或边缘，而平坦的区域可能会更加平滑或清洁。因此，需要一种改进的 系统和方法来处理和增强数字图像。
【发明内容】
[0005] 本发明提供了一种视频和图像处理和增强系统，该系统特别适合细节增强，清晰 度增强，降噪和边缘增强，同时考虑到被处理图像同一区域的不同特点和特征，该被处理图 像的区域内的一组像素，和/或整个图像。因此，利用局部邻域或一组像素的视频数据的视 频数据信息内容，处理视频数据信息的效果，来执行一种类型的增强，不会对其他所需的增 强效果产生不利影响。
[0006] 本发明还提供一种智能视频图像处理和增强系统，该系统可以区分单个像素所需 的或被同时执行的不同的增强类型，因此，在生成每一个输出像素的增强的视频数据信息 时，考虑了该像素局部领域或其周围的一组像素的视频数据信息内容。
[0007] 此外，在某些实施例中，输出像素的增强处理是通过控制被执行的处理的类型和 数量进行优化。例如，通过包括两种或两种以上类型的增强处理的智能（或加权）结合，该 增强处理通过使用来自被处理像素的周围的上下文视频数据信息的反馈机制实现。本发明 还提供一种可以处理和生成每个输出像素的视频数据信息的智能视频图像处理和增强系 统，该输出像素的视频数据信息用于优化增强的观看质量，同时大大降低或消除了处理误 差和输入图像的噪声。
[0008] 本发明还提供一种用于增强和处理数字图像的系统及方法，对数字图像的不同区 域和部分进行不同的处理，可以提高数字图像的整体视觉质量。特别是，各种处理技术一一 比如锐化一一可以应用于数字图像内的第一区域而不同的处理技术一一比如降噪一一也 许可应用到数字图像内的第二区域，以提高数字图像的整体视觉质量。在一个实施例中，一 个输入数字图像的局部区域的某些特性被用来确定视频处理的哪种类型，如锐化、降噪，应 适用于局部区域内的像素。
[0009] 为了处理输入图像的一个区域内一个像素的视频数据信息，使用一组像素内每一 个像素的视频数据信息提取由一个或多个参数构成的一个参数集，其中，输入图像的区域 对应于输入图像的一部分，同时处理当前像素周围的一组像素，并且，使用具有第一数目的 行数，每行具有第一数目个像素或一个NXN像素块的像素窗。由一个或多个参数构成的一 个参数集用于控制和动态调整过滤或被执行的处理的数量，使用当前被处理的一个像素的 视频数据信息，或使用一组像素的视频数据信息，生成一个或多个输出像素的视频数据信 息。因此，数字图像区域内的每个像素将进行优化处理，同时考虑局部区域，邻域，窗口和/ 或像素块的特性。
[0010] 根据一个实施例，数字视频处理系统用于处理输入数字图像，其中，输入数字图像 的视频数据信息包括不期望的噪声和舒适噪声。数字视频处理系统提取对应于输入图像之 外的不期望的噪声和舒适噪声的输入噪声，处理剩余的无噪声的图像，将无噪声的图像缩 放到所需的输出分辨率，从输入噪声中提取舒适噪声，处理舒适噪声并在所需的输出分辨 率上重新生成舒适噪声，将已处理的舒适噪声与已处理的无噪声输入图像相加，在所需的 分辨率上生成输出数字图像，并以所需的输出分辨率在电子显示装置或电子显示装置的部 分区域显示处理后输出数字图像。
[0011] 根据某些实施例，本发明公开了一种输入图像的第一像素的视频数据信息的处理 方法。该方法包括：接收输入图像的第一部分的视频数据信息，确定输入图像的第一部分内 的第一组像素，其中，第一组像素包括第一像素；利用第一组像素的视频数据信息估计第一 指示参数的至少一个值，使用第一指示参数的至少一个值生成降噪参数值，利用降噪参数 值处理第一组像素的视频数据信息，生成输出像素的视频数据信息，其中，输出像素对应于 输入图像的处理后的第一像素，并使用输出缓冲区存储输出像素的视频数据信息。
[0012] 根据某些实施例，输入图像的一个像素的视频数据信息的处理方法包括：接收输 入图像的第一部分的视频数据信息，使用第一组像素的视频数据信息估计第一指示参数的 至少一个值，第一组像素的每个像素均位于输入图像的第一部分，其中第一组像素包括所 述像素，利用第一指示参数的至少一个值生成降噪低参数值，使用任何一个降噪参数值和 第一指示参数的至少一个值处理第一组像素中的每个像素的视频数据信息，并使用第一组 像素中的每个像素的已处理视频数据信息生成输出像素的视频数据信息，其中输出像素对 应于已处理的输入图像的像素。该输出像素的视频数据信息可以使用输出缓冲区存储，以 流的方式传输到电子显示系统，或发送到辅助系统进行进一步的处理，转换，整合，或格式 化为一种或多中不同类型的视频数据信息的格式和标准。
[0013] 按照一个实施例，该第一指示参数的至少一个值表示第一组像素与任何一个或多 个平坦区域，细节区域和边缘相对应。
[0014] 按照一个实施例，用于估计第一指示参数的至少一个值的第一组像素的视频数据 信息仅包含第一组像素内每个像素的视频数据信息的色度和亮度格式中的一种。
[0015] 按照一个实施例，使用输入缓冲区存储输入图像第一部分每一个像素的视频数据 信息。
[0016] 按照一个实施例，第一组像素包括至少三行像素，并且，每一行具有至少三个像 素。
[0017] 按照一个实施例，通过使用第一组像素中每个像素的视频数据信息，确定第一组 像素的一个或多个显著特征，来估计第一指示参数的至少一个值。第一组像素的一个或多 个显著特征与任何一个平坦区域，细节区域和边缘相对应，并通过使用线性或非线性方程 处理第一组像素中每个像素的视频数据信息来确定第一组像素的一个或多个显著特征。第 一指示参数的至少一个值的估计值表