专利名称：通过一个或者多个参数表示图像粒度的方法和设备的制作方法
技术领域：
本发明涉及一种用于模拟胶片颗粒的技术。
背景技术：
运动画面胶片包括散布于乳胶中的卤化银晶体，其在片基上被涂以薄层。这些晶体的曝光和显影形成了由离散的细小银颗粒组成的摄影图像。在彩色底片(color negative)中，在其中银在显影之后被以化学方法移除，染色的细小斑点存在于银晶体形成的位置。这些染色的小的斑点在彩色胶片中通常称为“颗粒”。颗粒因为在原始乳胶上的银晶体的随机构成而表现为随机分布于所得到的图像上。在均匀的曝光区域中，一些晶体在曝光之后显影而其余的不显影。
颗粒在大小和形状上发生变化。胶片越快，银形成的块和染色产生的斑点越大，并且它们越趋向于以随机图案组合在一起。颗粒图案典型地被称为“粒度”。裸视不能区分从0.0002mm变化到大约0.002mm的个别颗粒。替换地，眼睛分辨颗粒组(被称为斑点)。观众识别这些斑点组作为胶片颗粒。当图像分辨率变得越大，胶片颗粒的感知度越高。在电影和高清晰度的图像上，胶片颗粒变得清晰可见，然而在SDTV中，胶片颗粒逐渐失去了重要性，并以更小的格式而变得察觉不到。
运动画面胶片典型地包含由或者曝光的物理过程和摄影胶片的显影产生的、或者由图像的后续的编辑产生的图像相关干扰。该摄影胶片处理特征准随机图案、或者结构，从摄影乳胶的物理粒度中产生。换句话说，可以在计算机产生图像之上来模拟类似图案，以便利用摄影胶片混合它们。在这两种情况下，该图像相关干扰被称为颗粒。非常平常的是，适度的颗粒结构在运动图画中表现为期望的特征。在一些示例下，胶片颗粒提供促进二维图画的正确感知的视觉线索。胶片颗粒在单个的胶片中经常变化，以提供有关时基、视点等各种线索。存在许多其他的技术的和工艺的应用，用来控制运动画面工业中的颗粒结构。因此，在整个图像处理和传送链中，保存图像的粒状外观已经变成在运动画面工业中的一项需求。
一些商用产品具有模拟胶片颗粒的能力，通常用于将计算机产生对象混合到自然场景中。来自纽约州罗彻斯特市的Eastman柯达公司的Cineon，是首先执行颗粒模拟的数字化胶片应用之一，产生用于多种颗粒类型的非常真实的结果。但是，因为该应用针对高粒度设置而产生的显著斜纹，该Cineon应用没有产生用于多个高速胶片的良好性能。此外，Cineon应用在图像进行先前处理的时候，未能以充分的保真度来模拟颗粒，例如当图像被复制或数字处理时。
另一种模拟胶片颗粒的商业产品是来自Visual Infinity有限公司的Grain SurgeryTM，它被用作AdobeAfter Effects的插件程序。Grain SurgeryTM产品表现为通过滤波一组随机数而产生合成颗粒。该方法受到高的计算复杂度的缺陷的制约。
这些过去的方案都没有解决在压缩视频恢复时恢复胶片颗粒的问题。胶片颗粒构成高频率准随机现象，其典型地不能够经过使用传统的利用视频序列中的冗余的空间和时间的方法的压缩。利用MPEG-2或者ITU-T/ISO H.264压缩技术来处理原始胶片的图像的尝试通常导致了或者不可接受的低压缩度、或者颗粒结构(grain texture)的完全丢失。
因此，存在对用于通过一组或多组参数来表示胶片颗粒特征的技术的需求。
发明内容
简要地，按照当前原理的优选实施例，提供了一种用于模拟胶片颗粒的技术。该方法由在图像信息流(例如，包括胶片图像的视频流)中的特征化开始，以提供表示图像信息流中的胶片颗粒的信息。该胶片颗粒信息包括一组可能的参数中的至少一个，该参数指定图像流中的胶片颗粒的不同属性。然后，对胶片颗粒信息进行编码用于后续的传送。
图1示出了根据当前原理的、用于根据当前原理来模拟胶片颗粒的系统的第一实施例的框图；图2示出了根据当前原理的、用于根据当前原理来模拟胶片颗粒的系统的第二实施例的框图；图3示出了根据当前原理的、用于根据当前原理来模拟胶片颗粒的系统的第三实施例的框图；具体实施方式
图1描述了根据当前原理的、用于根据当前原理执行胶片颗粒模拟的系统10的第一实施例的示意方框图。该系统10包括胶片颗粒移除器22，其用来从输入视频流12中移除胶片颗粒，以产生在视频编码器13处接收的已滤波的视频流24。胶片颗粒移除构成了噪声滤波的特定情况，其中噪声信号与图像信号相互关联。因此，胶片颗粒移除器22可以采用传统的图像滤波器的形式，尽管这样的滤波器将未必提供最佳性能。该视频编码器13编码已滤波的视频流24以产生编码的视频流14，用于在视频解码器15处接收，该视频解码器解码已编码的流以产生解码视频流16。视频编码器13和视频解码器15利用本领域公知的相同的视频编码方案。例如，视频编码方案可以包括ITU-TH.264视频编码标准，或者另一种基于块的编码。利用MPEG-2和ITU-TH.264标准的编码器和解码器是公知的。
系统10还包括胶片颗粒表征器23，它接收输入视频流12和已滤波的视频流24。从这些视频流中，胶片颗粒表征器23输出消息，在下文中称为颗粒消息，它包括用于模拟颗粒的模型的身份，以及一组多个参数中的至少一个，包括由识别模型使用的相关性参数、强度无关参数和强度相关参数。如在下面详细描述的，在胶片颗粒消息中的参数使用已识别模型来激活原始图像相关噪声的模拟。在缺少任何参数时，一个默认值被分配给缺少的参数。(实际上，如果没有模型被识别，将采用用于胶片颗粒的默认模型)。在一个实施例中，胶片颗粒表征器23根据基于曝光的物理过程和摄影胶片的显影、或者基于在后续的图像编辑期间增加的过程的模型来产生参数。
在颗粒信息的产生之后，胶片颗粒特征信息编码器26编码该消息，用于从由视频解码器13传送到视频解码器15的已编码视频流14的频带内或频带外，传送到胶片颗粒特征信息解码器28。视频编码器13和胶片颗粒特征信息编码器26使用相同的编码方案。因而，例如，当编码器26利用ITU-TH.264视频编码标准用于编码时，该已编码的胶片颗粒特征信息流27可以采用胶片颗粒辅助增强型信息(SEI)消息的形式，如在ITU-TH.264视频编码标准中定义的。
该胶片颗粒特征信息解码器28解码已编码的胶片颗粒信息27，以产生解码的胶片颗粒特征信息流29，用于输入到胶片颗粒恢复处理器30。如在下文中详细描述的，处理器30将使用信息中的参数来以在颗粒信息中识别的模型来模拟胶片颗粒。在缺少模型识别时，处理器30将采用默认模式。同样地，在缺少给定参数的特定值时，处理器30将采用针对该参数的默认值。
在优选实施例中，图1的颗粒信息25典型地包括一个或者多个指定空间相关性、纵横比、彩色相关性和时间相关性的相关性参数。这些参数中的每一个在下面将要被描述。
空间相关性在一个示范性实施例中，在空间域中的胶片颗粒中的图像相关的相关性可以利用至少一个参数(空间相关性)来建模。该测定的空间相关性确定了斑点的大小。用于空间相关性的二阶自动回归模型和卷积模型在下文中将被描述。
纵横比理论上，胶片颗粒可以表现为各向同性的，在X和Y方向上具有相同的特性。但是，实际上，胶片颗粒实际上表现为在一个方向上伸展，通常由与胶片记录相关的因素产生，例如使用失真光学器件或者非正方形检测器几何结构。由于那些原因，当对胶片颗粒进行建模时，表示纵横比因子的强度无关参数将补充空间相关性测量。该颗粒斑点的纵横比将由至少一个参数来指定。
彩色相关性根据当前原理，在彩色图像中的胶片颗粒的层依赖性将使用彩色相关性来表示。该测量的彩色相关性决定颗粒的感知色彩。弱彩色相关性意味着在不同的彩色层中创建的颗粒斑点随机地彼此覆盖。因而，观众将感知被涂以彩色的颗粒。强彩色相关性意味着在一个颜色分量上的颗粒斑点取决于另一个颜色分量。在这种情况下，观众将感知单色的颗粒。
时间相关性在序列中的颗粒的时间相关性由至少一个参数表示。颗粒自身不能表现出帧之间的时间相关性，但是表示时间相关性的参数的引入可以帮助模拟由于胶片的编辑引起的其他观察到的效应。
噪声强度结合在前的利用胶片图像表示胶片颗粒的依赖性的参数的描述，存在对表示在开始于胶片颗粒的随机过程中引起的噪声强度的需求。噪声强度对于每一个颜色分量是变化的，并将取决于胶片图像。该颗粒的强度决定了噪声在图像中被感知的级别。小的颗粒强度级在原始图像中引入了较小的变化，并且几乎不显著。高的强度级变得清晰可见，如叠加在图像上的峰值。
其他参数除了上述参数，所述颗粒信息可以包括识别在其中添加胶片颗粒的颜色空间的参数、和用于混合颗粒和视频信号的混合模式。注意，针对每一个颜色分量和针对胶片图像的不同强度级，可以传送不同参数集合。众所周知的是，例如，胶片颗粒取决于图像的局部亮度，并且不同的颜色分量可以具有取决于生胶片的类型的不同颗粒。
图1的胶片颗粒表征器23根据图像的强度级，可以产生不同参数集合。如果需要，胶片颗粒解码器28可以将参数集合内插到多种强度级，以便得到胶片颗粒特征的平稳过渡。
为了解释该组参数，胶片颗粒解码器28必须具有产生参数的模型的规格。为了理解这样的模型如何被指定，下述的数学关系将证明是有用的。首先，在图像位置(x，y)、彩色通道c和帧序号为T的解码图像像素值表示为I(x，y，c，t)。为了方便起见，假定像素值被标定为具有最大值1。进一步，假定RGB图像表达式(c＝1，2或3)为YUV表达式，尽管这个模型可以直接针对单色图像，并且具有显而易见的修改。
利用附加的颗粒模型，颗粒模拟将每一个像素值改变为J(x，y，c，t)，其中J(x，y，c，t)按如下关系式给定J(x，y，c，t)＝I(x，y，c，t)+G(x，y，c，t，L(x，y，t))，其中，L(x，y，t)是图像中的局部强度的测量，而G(x，y，c，t，L(x，y，t))定义了颗粒值。一个可能的实现是定义L为亮度，或者在所有的彩色通道上强度I(x，y，c，t)的加权和。
由公式(1)给定的加法模型在对数强度刻度被使用时是合适的。对于线性刻度，公式(1)的模型可以被下面的乘法模式替代(1a)J(x，y，c，t)＝I(x，y，c，t)*(1+G(x，y，c，t，L(x，y，t)))。
实现加法还是乘法颗粒模型将取决于解码图像的格式。通常，颗粒应该包括最大像素值的较小的片断。
以下将描述根据本发明用于提取一组参数的不同类型的模型的一些例子。
1、胶片颗粒图案的自回归模拟在一个示范性实施例中，二阶自动回归模式可以用于对空间相关性进行建模，且一阶回归模式可以用于对交叉彩色和时间相关性进行建模。所有的相关性因素取决于解码图像的亮度。水平和垂直的空间相关性因素以恒定的纵横比因子而关联。在这种条件下，下面的公式将产生模拟的颗粒值，(2)G(x，y，c，t，L)＝p(c，L)*N+q(c，L)*(G(x-1，y，c，t，L)+A*G(x，y-1，c，t，L))+r(c，L)*A*(G(x-1，y-1，c，t，L)+G(x+1，y-1，c，t，L))+s(c，L)*(G(x-2，y，c，t，L)+A*A* (G(x，y-2，c，t，L))+u(c，L)*G(x，y，c-1，t，L)+v(c，L)*G(x，y，c，t-1，L)其中，N是归一化高斯分布的随机值，A是恒定像素纵横比，p、q、r、s、u和v是相关性参数。针对第一彩色通道，参数u总是为0，无论何时当任何指数超出范围时，颗粒值G被假定为0。
可以从等式(2)中看出，在给定的彩色通道中，用于给定像素的颗粒值利用在先计算的颗粒值被递归计算。特定地，帧按照递增帧序号的顺序被计算(也就是，递增t)。在每一帧中，彩色通道处理以递增彩色通道序号的顺序发生(也就是，递增c)。在每一个彩色通道中，象素被以递增x和y的顺序被水平地和而后垂直地扫描。当该顺序被遵从时，自动地预先计算由等式(2)所需的所有颗粒值。
在特定环境下，垂直的扫描证明更加实用，也就是，像素处理首先按列发生。在这样的情况下，等式(2)将需要细小的修改而仅仅使用在先计算值(2a)G(x，y，c，t，L)＝p(c，L)*N+q(c，L)*(G(x-1，y，c，t，L)+A*G(x，y-1，c，t，L))+r(c，L)*A*(G(x-1，y-1，c，t，L)+G(x-1，y+1，c，t，L))+s(c，L)*(G(x-2，y，c，t，L)+A*A*(G(x，y-2，c，t，L))+u(c，L)*(G(x，y，c-1，t，L)+v(c，L)*(G(x，y，c，t-1，L)。
实现等式(2)或者等式(2a)需要特定的最小解码能力。首先，胶片颗粒信息解码器28必须实时地执行所有的计算。第二，胶片颗粒信息解码器28需要在存储器中保存许多在先计算的颗粒值。特定地，为了实现时间相关性(也就是，在等式(2)和(2a)中的最后一项)，胶片颗粒信息解码器28需要保存用于全部在先帧的颗粒值。从这个观点，等式(2)的模型允许利用一些保真度的降低、按比例逐渐缩小需求是很重要的。
具有轻微的低保真度的系统可以忽略等式(2)中的最后(时间)一项。这样做将消除对保存来自在先帧的颗粒值的附加帧缓冲器的需求。进一步节省成本将依靠忽略在等式(2)中的那些取决于s(c，L)的项来实现。这样做可以消除将将第二在先行存储在存储器的需求并减少了计算的次数。忽略由项r(c，L)描述的对角线相关性等将实现进一步减少复杂度的目的。最低质量的颗粒模拟将仅仅使用白噪声项。
无论何时当在比例缩小的系统中一项被忽略时，益处将产生(如果胶片颗粒信息解码器28调整剩余参数，从而有效的一阶相关性和甚至更重要的该自相关(噪声功率)保持与它们在由等式(2)表达的模型的满刻度实现中相同)。在缺乏所有的在先颗粒值的可用性时，针对每一帧的第一行和列，相同的调整将发生。
通过针对除了第一彩色通道之外的所有通道，将参数p、q、r和s设置为零，并且将彩色相关性u(c，L)设置为1，其中c＞1，在等式(2)中表达的模型的灵活性将进一步体现。在这样的条件下，颗粒完全变为单色。这组参数值可以描述依靠彩色空间的在先YUV 4:2:0变换洗净的颜色变化的情况。
对于三种颜色的集合，等式(2)的模型描述了按照针对每一个亮度级的17个参数的组的颗粒模式，加上不取决于亮度的纵横比。可以针对多个固定的亮度级别，对亮度相关参数进行编码。该解码器将内插针对中间亮度级别的参数值。
颗粒参数不必精确地以等式(2)的形式来表示。例如，任何一对一的参数的变换可以被使用。此外，参考强度级别的不同设定可以用于不同的参数，且不同的内插模式可以被使用，等等。
2、在空间域中模拟胶片颗粒图案的卷积在另一个示范性实施例中，胶片颗粒图案可以通过将一组随机数x与以下列形式定义的线性、时不变、数字滤波h进行卷积来进行模拟(3)h＝(h0，h1，，h2，h3，…hn)这表明滤波器输出模拟胶片颗粒y(n)是输入x(n)与滤波器冲激响应h(n)的卷积。
(4)...y(n)=Σi=0nx(i)h(n-i)=(x*h)(n)]]>尽管等式(4)在一维中产生模拟，二维模式可以通过级联一维中的垂直的和水平卷积而获取。在这样的情况下，除了纵横比因子之外，应该传送滤波器的系数。
具备有限能力的胶片颗粒信息解码器28可以限定卷积核的空间大小，这将导致存储器和处理能力的需求的减小。
3.在变换域中模拟胶片颗粒图案的滤波如前所述，利用滤波器h的冲激响应与一组随机数x的卷积可以表征胶片颗粒图案。相同的操作也可以通过依靠冲激响应H的傅立叶变换和随机数x集合的傅立叶变换的频率域乘积来描述。
(5)Y(u)＝X(u)·H(u)在频率域内的滤波提供了以下优点因为如果作为滤波或者压缩处理的一部分，图像的傅立叶变换可用，计算会更快。
以下参数集合根据当前原理产生了令人满意的表示图像相关颗粒的结果。这些参数采用模拟颗粒的一个自回归方法。用于其他方法的参数将由类似的表来表示。
彩色空间对数RGB混合模式加法纵横比1强度级数3用于R分量的参数
用于G分量的参数
用于B分量的参数
在该表格中没有示出的相关性参数被设定为0。
在指定定义了不同的参数的彩色空间、混合模式、纵横比和强度级之后，对每一个颜色分量上的胶片颗粒进行编码。注意，仅仅斜体的数据以及一些级别(强度)信息必须被传送。
图2描述了根据当前原理的用于模拟胶片颗粒的系统10’的第二实施例。系统10’共享与图1的系统10相同的一些元件，且相同的参考数字描述相同的元件。实际上，图2的系统10’不同仅在于缺少图1的胶片颗粒特征信息编码器26和胶片颗粒特征信息解码器28。图2的系统10’利用视频编码器13和视频解码器15来分别解码和编码胶片颗粒表征器23输出的胶片颗粒特征信息25。图2的系统10’需要使用支持作为并行增强型信息的胶片颗粒特征信息的传送的视频编码标准。
图3描述了根据当前原理的用于模拟胶片颗粒的系统10”的第三实施例。系统10”共享与图2的系统10’相同的一些元件，且相同的参考数字描述相同的元件。实际上，图3的系统10”不同仅在于缺少图2的胶片颗粒移除器22。图3的系统10”利用在视频编码器13上可用的重建图像来模拟胶片颗粒的移除效果。图3的系统10”与图1的系统10和图2的系统10’比较，提供了以下两个优点。第一，图3的系统10”减少了与胶片颗粒移除相关的计算复杂度，第二，它使胶片颗粒特征适合于由视频编码器13抑制的胶片颗粒的数量。一旦图3的胶片颗粒表征器处理输入视频12和胶片颗粒、和由视频编码器13产生的重建的视频24，它可以完成特征化所观察的胶片颗粒的任务。
前面描述了用于在视频信号中模拟胶片颗粒的技术。尽管已经结合视频信号的编码和解码描述了胶片颗粒模拟技术，该技术可以具有用于其他目的的相等的适用性，例如，运动画面胶片的后期产生。在这点上，原始图像能够以除压缩视频信号以外的形式的图像信息来存在，且胶片颗粒信息能够以除作为消息(例如SEI信息)以外的形式存在。例如，图像信息能够以本领域现有的各种不同格式类型中的一种的形式存在。
权利要求
1.一种提供胶片颗粒信息的方法，包括步骤对图像信息流进行特征化以提供表示图像流内的胶片颗粒的信息，所述胶片颗粒信息包括一组可能的参数中的至少一个参数，所述参数指定图像流中的胶片颗粒的不同属性；编码所述胶片颗粒信息，用于后续传输。
2.根据权利要求1所述的方法，其中所述一组参数包括多个相关性参数和多个强度无关参数。
3.根据权利要求2所述的方法，其中至少一个相关性参数定义了胶片颗粒的感知图案中的空间相关性。
4.根据权利要求2所述的方法，其中至少一个相关性参数定义了颜色层之间的相关性。
5.根据权利要求2所述的方法，其中至少一个相关性参数定义了由图像序列的在先处理产生的时间相关性。
6.根据权利要求2所述的方法，其中至少一个强度无关参数定义了胶片颗粒的纵横比。
7.根据权利要求1所述的方法，其中至少一个参数定义了胶片颗粒的随机分量的强度。
8.根据权利要求2所述的方法，其中至少一个强度无关参数定义了颜色空间和用来合并模拟的胶片颗粒与图像的混合模式操作。
9.根据权利要求1所述的方法，还包括传送相对于图像表示信息在频带外传输的胶片颗粒信息的步骤。
10.根据权利要求1所述的方法，还包括传送相对于图像表示信息在频带内传输的胶片颗粒信息的步骤。
11.根据权利要求2所述的方法，其中所述一组参数是根据空间相关性的二阶自动回归表示、以及交叉色和时间相关性的一阶回归表示计算出的。
12.根据权利要求3所述的方法，其中描述了颗粒的空间相关性的所述至少一个参数是根据空间卷积模型而确立的。
13.根据权利要求3所述的方法，其中描述了颗粒的空间相关性的所述至少一个参数是从滤波器在傅立叶域中的截止频率而获得的。
14.如权利要求1所述的方法，其中编码步骤包括根据ITU-T H.264视频编码标准来编码胶片颗粒信息。
15.一种用于提供胶片颗粒的设备，包括用于对图像信息流进行特征化以提供图像流内的胶片颗粒的信息的第一装置，所述信息包括一组可能的参数中的至少一个参数，所述参数指定了在图像流中的胶片颗粒的不同属性；用于编码胶片颗粒信息以便于后续传送的第二装置。
16.根据权利要求15所述的设备，其中所述一组参数包括多个相关性参数和多个强度无关参数。
17.根据权利要求16所述的设备，其中至少一个相关性参数定义了胶片颗粒的感知图案中的空间相关性。
18.根据权利要求16所述的设备，其中至少一个相关性参数定义了颜色层之间的相关性。
19.根据权利要求16所述的设备，其中至少一个相关性参数定义了由图像序列的在先处理产生的时间相关性。
20.根据权利要求16所述的设备，其中至少一个强度无关参数定义了胶片颗粒的纵横比。
21.根据权利要求15所述的设备，其中至少一个参数定义了胶片颗粒的随机分量的强度。
22.根据权利要求16所述的设备，其中至少一个强度无关参数定义了颜色空间和用来合并模拟的胶片颗粒与图像的混合模式操作。
23.根据权利要求16所述的设备，其中第一装置根据空间相关性的二阶自动回归表示、以及交叉色和时间相关性的一阶回归表示来计算所述一组参数。
24.根据权利要求17所述的设备，其中描述了颗粒的空间相关性的所述至少一个参数是根据空间卷积模型而确立的。
25.根据权利要求17所述的设备，其中描述了颗粒的空间相关性的所述至少一个参数是从滤波器在傅立叶域中的截止频率而获得的。
26.根据权利要求15所述的设备，其中第二装置根据ITU-T H.264视频编码标准来编码胶片颗粒信息。
全文摘要
为了特征化胶片颗粒，胶片颗粒表征器(23)接收其中胶片颗粒已经被移除的输入信息流(12)和已滤波的信息流(24)。从这些流中，胶片颗粒表征器(23)输出包含用于模拟颗粒的模型的身份、以及一组多个参数中的至少一个的信息，该参数包括由已识别模型使用的相关性参数、强度无关参数和强度相关参数。编码器(26，13)编码胶片颗粒信息以便后续传输。
文档编号H04N5/262GK1788281SQ200480013188
公开日2006年6月14日 申请日期2004年3月30日 优先权日2003年5月15日
发明者克里斯汀娜·吉奥米拉, 亚历山大·科比兰斯基 申请人:汤姆森许可贸易公司