专利名称：用于图像处理期间的边缘匹配的方法
技术领域：
本发明涉及图像处理。更具体地，本发明涉及执行胶片图像的边缘匹配的方法。
背景技术：
边缘匹配被用于许多不同的胶片处理应用中。一个这样的应用是胶片的保存 (preservation)/修复(restoration)。为了长时间存储彩色胶片并阻止褪色(color fading)的影响，将彩色胶片分为三个颜色分量，青(Cyan)、品红(Magenta)和黄(CMY)。 每个颜色分量被存储在单独的卷轴(reel)上。当到达重新放映(re-release)的时间时， 这三个卷轴中的每个上的颜色分量需要被重新组合。在此考虑下，CMY分量需要被配准 (register)以获得产生的重新组合的彩色图像，其与原始彩色胶片上的图像看起来颜色一 样。大多数CMY配准使用光化学(photo-chemical)技术执行。不幸的是，随着CMY卷轴老 化，每个卷轴上的胶片经受变形或紧缩(shrinkage)。在此环境下，这样的基于CMY的光化 学配准不能较好地执行。同样地，需要使用数字技术执行来配准。在此情况下，手动地执行 配准。然而，手动配准很耗费劳力和成本。
发明内容
本发明的一个方面是提供一种增加图像处理的效率和精确度的边缘匹配的方法。 此其它方面根据本发明的实施例达成，其中边缘匹配的方法包括将非基色边缘与基色比 较，计算多个不匹配的边缘点，并选择最佳匹配。最佳匹配的选择可基于最小数目的不匹配点或最大数目的匹配点。通过计算预定 位置的失配(mis-match)边缘点的数目，将识别的失配边缘和多个与所述预定位置相邻的 位置进行比较，并确定所计算的失配边缘点的数目是否小于与所述预定位置相邻的位置的 数目，来测试最佳匹配。根据各种实施例，与所述预定位置相邻的位置的数目可以是8个，或者小于8个。根据本发明的其它方面，边缘匹配的方法包括产生非基色分量的边缘映射，打开 基色分量中的搜索窗口，在基色分量的搜索窗口内移动非基色分量的块，计算非基色和基 色分量之间每个位置的差值，并识别具有所有所计算的差值之和的最小值的位置。所计算 的差之和优选地是绝对差的和。边缘映射的产生包括根据像素位置距边缘像素的距离将一个值分配给该像素位 置。在其它更具体的示例中，第一值被分配给每个边缘像素，第二值被分配给位于距最近边缘像素像素距离(d)的每个像素，第三值被分配给位置距最近边缘像素的距离为V^d的每 个像素，第四值被分配给位于距最近边缘像素2倍像素距离d的每个像素，第五值被分配给 位置距最近边缘像素的距离为的每个像素，所有其它像素被分配给值0。所分配的值被优选地映射到网格。一旦为每个分量产生了边缘映射，就计算基色和非基色分量之间的相关。在其它 实施例中，一旦为非基色分量产生了边缘映射就计算相关。根据本发明的其它方面，边缘匹配的方法包括产生第一颜色分量的边缘映射，在 第二颜色分量中打开搜索窗口，在第二颜色分量的搜索窗口内移动第一颜色分量的块，计 算第一和第二颜色分量之间每个位置的差值，并识别具有所有所计算的差值之和的最小值 的位置。结合附图考虑下面的详细描述，本发明的其它方面和特性将变得显而易见。应理 解然而，附图仅为示例的目的而绘制，不作为限制本发明的限定，应参考附加的权利要求 作为限定。还应理解附图不必须按比例绘制，除非另外指示，附图只意在概念性地图示这 里所述的结构和程序。
在附图中通篇相似的参考标号代表相似的元件图1 (a) (b)是根据本发明的实施例的自动颜色组合算法的框图；图2是根据本发明的一个实施例的分块(block division)的示例；图3是根据本发明的另一个实施例的分块的另一个示例；图4a是根据本发明的实施例的边缘匹配方法的流程图；图4b是根据本发明的实施例的边缘匹配方法的示例图；图4c_e概略地示出根据本发明的实施例的边缘匹配方法；图4f是根据本发明的实施例的边缘匹配的最佳匹配测试的流程图；图5a_5f示出根据本发明的实施例的分块和相关的仿射(affine)变换位移值应 用的另一个示例；图6a_6c是用于表示根据本发明的实施例的仿射变换的计算的示例数据集；以及图7是用于根据本发明的实施例使用所计算的仿射变换获得翘曲(warping)分量 画面的方法的图形表示。
具体实施例方式本发明的概念利用胶片处理技术中已知的元件和处理。例如，胶片处理的细节、仿 射变换、CMY配准等为公知的，在这里不详细描述。另外，本发明可使用传统编程技术实施。在优选实施例中，本发明以软件实施。本发明可以，但不限于，嵌入固件、置于微机 中、微码等。其它的实施例可以是全硬件、全软件、或硬件和软件元件的组合。此外，本发明可以是提供计算机程序代码的任何计算机可用介质中存储的或可访 问的软件产品的形式。这包含，但不限于可存储、通信、或传播程序的、由能够执行程序的任 何设备使用的或与所述设备连接的任何装置。该介质可以是光、电、磁、电磁、传输介质、或 半导体介质。计算机可读介质可被实现为计算机硬盘驱动器、可移动计算机盘、随机存取存
4储器、只读存储器、半导体或固态存储器设备、磁带、穿孔卡、或光盘。光盘的现有示例包括 紧致盘(CD)、数字视频盘(DVD)、高清晰度DVD(HD-DVD)、激光盘、蓝光盘、小型盘或磁光盘。 除了激光盘，所有这些盘都可以是固定的只读存储器(ROM)、可记录的(士R)、或可记录/可 重写的(-RW)格式。数据处理系统可包含一个或多个处理器、以及诸如主板的支持电子设备。这些处 理可包括置于处理器上的或经由系统总线连接到本地存储器、高速缓存存储器、或共享系 统或网络存储器的存储器。数据处理系统可被耦接到诸如键盘或鼠标的输入设备、诸如显 示器和打印机的输出设备、以及诸如网卡、调制解调器、或网络背板(backplane)的通信适 配器。可被包括在数据处理系统中的网络适配器允许数据穿过中介公共或专用网络被 传送到其它的终端、服务器、打印机或移动存储设备，以及从上述设备传送数据。一些网络 适配器的现有示例为以太网适配器、无线WiFi以及WiMax适配器、令牌环适配器等。现有 网络包括局域网(LAN)、广域网(WAN)、因特网、专门网络、直连网络或虚拟专用网络(VPN)。根据本发明的原理，图像配准处理自动地执行数字域中青、品红和黄(CMY)颜色 分量的配准。本领域普通技术人员将认识到这里公开的构思不限于C、M和Y，也可被用于 其它颜色空间、或者在两种颜色分量之间。3卷轴CMY胶片被扫描为三个单序列。图像大小可以是2K或4K (1K是1024字节)。 在胶片行业中，2K的分辨率是2048 X 1556像素，4K的分辨率是4096 X 3112像素。像素的比 特深度与本发明无关，一般为10比特。所扫描的文件示例性地存储为dpx格式(SMPTE (运 动画面和电视工程师协会)数字图像交换格式)。然而，在不偏离本发明的精神的情况下， 其它文件格式可被使用并被支持。本发明的配准处理一次在图像数据的一帧上操作。如上所述，可能有这样的情况 必须把图像数据的帧进一步分为块、以及(如果可能的话)子块或子画面，以继续该处理。需要将画面分为块或子块的一个因素可以是原图像数据的失真。依赖失真的严重 程度，图像可需要分为块(即，当失真的非线性不能被忽略时)。一个块可与其相邻的块具 有一些重叠，或者其根本没有重叠。基于画面数据的内容确定块的数目，在实际执行分块之 前该数目可以是一个非常粗略的估计值。通常，增加配准处理的精确度需要更多的块。然而，增加块的数目意味着每个块 的尺寸将会变小，而块的尺寸越小，计算的位移的精确度中的较低精确度的可能性就越高 (即，如果块过小，可能没有足够的信息，因此造成较低的精确度)。根据本发明的原理，不需要非常小的块来执行自动画面配准。实验结果指示2K材 料的块的数目可以是1X1、2X2、2X4、4X4、4X6、或4X8等等。虽然有可能，但是应该需 要每个尺寸不大于8块。为了配准三(3)颜色分量(例如，CMY、RGB)，需要确定它们之间的相关。有几种计 算这些相关的方式。示例地，边缘相关或边缘匹配被使用。在此考虑下，有2个步骤边缘 检测和边缘匹配。可使用任何现有的边缘检测技术，例如技术中已知的Canny边缘检测技 术。在边缘被检测后实施边缘匹配。要配准的三种颜色分量中的任意分量可被选为基色， 其它两种颜色分量的位移(即，相关)可根据所选的基色分量计算。通过举例的方式，每个块有2个位移向量(V\g，V、)、(Vxrb, V:)，其中V\g是x方向上红和绿之间的位移，V、是y方向上红和绿之间的位移。类似地，Vxa和V5rt分别为X和 y方向上红和蓝之间的位移。这里我们假定将红色分量用作基色。为了协助相关确定，优选地将每帧分为块。当将画面分成块时，所有图像数据被更 好地配置以被处理，以消除大的误差并使穿过画面位移的值平稳地变化。例如，可使用X或 y方向上的一维三阶曲线，或二维三阶平面。同样，可使用更低阶或更高阶的曲线或平面。 当一个方向上的块的数目小于3时，则没有曲线拟合(curve fit)被用于位移值。位移的调整值(参数)被用于计算仿射变换的六个参数。使用四个位移向量来计 算每个块的仿射变换，可使用冗余(redundancy)来减少误差。然而，本发明不需要使用冗 余来减少误差，但是可使用冗余来找到在新画面中像素对于其在旧画面中的对应位置，并 通过内插来获得像素值。以文件格式存储新画面，诸如技术中已知的dpx、yUV、raw或ppm。自动颜色组合处理10的图示在图Ia中示出。输入12a、12b、和12c为三个单独 的颜色分量。可将这些颜色分量以单个文件或分开的文件存储。在优选实施例中，输入为 3个单独的DPX文件，每个对应于一个颜色分量。在下一步骤14中可能有两种选项1)边缘首先被边缘检测器16检测，接着边缘 画面被使用分割器18分为多个块(参见图la)；或者2)画面可首先被使用分割器18分成 多个块，接着实施边缘检测16 (参见图lb)。然而这两种方法产生的输出可能不同。步骤 14是本发明的相关确定中的第一步骤。分割器18利用2个参数来分割画面，1)水平方向上的块的数目，以及2)垂直方向 上的块的数目。如上所述，块可以是重叠的或非重叠的，其中重叠的部分可以变化，而块的 大小可以彼此不同。如果块的大小变化，由画面的内容确定大小。画面纹理丰富的区域可 具有较小的块，而纹理较少的区域可具有较大的块。图2示出了固定大小的四(4)个重叠的块的实施例。注意，区域e是两个相邻的 块重叠的区域，而区域f是所有4个块重叠的区域。图3示出了大小变化的四(4)个非重 叠的块的实施例。如上所述，为了执行边缘检测，可使用任何现有的边缘检测器，诸如，例如上述的 Carmy边缘检测器。Carmy边缘检测的所有边缘具有单一的像素宽。其它的边缘检测器可 具有多像素宽边缘。作为相关确定处理的最后部分，被分割的/经过边缘检测的图像被边缘匹配20。 有几种已知方式来执行边缘匹配，其基本思想是两个分量之间的边缘的相关。通常，要被匹 配的边缘点的数目被计数。为匹配的边缘像素的数目计数，或者可为不匹配的像素的数目 计数。在基色上打开搜索窗口，非基色分量可被来回移动，在每个位置为匹配的边缘像素计 数。具有最大数目匹配的边缘像素的位置是颜色分量块的位移。边缘匹配20的一个示例处理40在图4a中示出。最初，在基色边缘画面上打开搜 索窗口(42)。对于搜索窗口中的每个位置，将非基色边缘块与基色相比较(44)。计算不匹 配的边缘点的数目(46)，将最小数目挑选为最佳匹配(48)；或者作为替换，计算匹配的边 缘点的数目(46)，并将最大数目挑选为最佳匹配(48)。通常通过在基色上打开另一个搜索 窗口并移动非基色分量的块，来执行匹配的或非匹配的边缘点的数目的计数或计算(46)， 以找到最佳匹配。根据本发明的其它的方面，可在非基色边缘画面上打开初始搜索窗口，并且对于搜索窗口中的每个位置，将基色边缘块与非基色比较。也可以以这种方式产生基色分量的 边缘映射。根据本发明的其它实施例，可测试最佳匹配(50)以避免误挑选。现在参照图4b 描述这样的测试的一个例子。在位置a处失配边缘点的数目应小于b和d的任意八(8)个 位置的数目。松散(loose)测试是其中位置a处的失配数目应小于d的四(4)个位置处的 任意数目。本领域技术人员将认识到数据集首先可被低通滤波以获得最小值或最大值，或 仅仅提高精确度。在本发明的另外的实施例中，产生的边缘映射可被用于找到最佳匹配。通过举例 的方式，为每个颜色分量产生边缘映射如下
将一个值分配给每个边缘像素，例如图4c_4e中示出的示例中的5。此值的分配在 确定边缘后执行(注意，该边缘可以是一个或多个像素宽)；将另一个值分配给位于距最近的边缘像素像素距离d的每个像素，例如4，其中d 是两个最近像素之间的距离；位于距最近边缘像素距离Wd的像素被给定值3 ；位置距最近边缘像素的距离为2d的像素被给定值2 ；位置距最近边缘像素的距离为V^d的像素被给定值1 ；以及其它像素被给定值0。图4d示出了在此图中被指定5的单个像素的边缘映射的产生，图4f示出了测试 边缘映射产生中最佳匹配的处理50。在产生每个分量的边缘映射(62)后，可计算两个颜色 分量(例如，非基色分量)的相关。也就是说，在产生的边缘映射上执行边缘匹配。图4e 示出了根据本发明的概念的边缘映射的示例。在基色分量中打开搜索窗口(64)，在基色分 量窗口内来回移动非基色分量的块(66)。在每个位置处，计算非基色和基色分量之间的每 个像素的差值(68)。将具有绝对差值的和的最小值的位置识别为最佳匹配(70)，并且相应 的位移为颜色分量块的位移。为进行最佳匹配测试的颜色分量的每个块重复移动(66)、计 算(68)和识别(70)的处理，直到所有的块都被测试了为止。一旦在产生的边缘映射上执行了边缘匹配，可能需要图像的另外的数据处理22 用于配准处理。此数据处理提供误差校正/阻止阶段，还通过使用新计算的位移值(向量) 来提高精确度。根据本发明的原理的数据处理22的示例技术如下。对于每个块，有2个位 移向量(即，χ和y)。每个位移向量表示水平和垂直方向上颜色分量边缘映射到基色分量 边缘映射之间的位移。对于具有固定块大小的mXn块的画面，有四组数据WlpV^pVi、、 V"2y，其中i j为块的索引(indices)，m、η分别为χ和y方向上块的数目。这里Vulx和Vuly被用作示例，以示出怎样处理数据。示例性地假定m = 5,η = 5， 且沪、是5\5矩阵。步骤1 使用预设的阈值来找出是否有大的误差数目。步骤2 通过使用大的误差数目相邻的值或通过内插/外插来修改大的误差数目。步骤3 使用3阶曲线来拟合每个方向上的数目，或使用3阶平面。对于3阶曲线f(x) = ao+a^x+a^xiadx3,以及(1)f (y) = bo+b^y+b^y^bg^y3(2)对于三阶平面
f(χ, y)=ao+ai^x+a；^ 氺y+a3 氺x2+a4 氺y2+a5*x氺y+a6 氺x3+a7*y3+a8*x2氺y+a9氺χ氺y2(3)其中 和…为多项式曲线或平面的系数。当然，可使用更低阶或更高阶。如果使用3阶曲线，对于矩阵的每行，对应的多项式系数[Χ(Ι，Χ1，Χ2，Χ3，Χ4]可被计 算如下
(4)其中X是5X4矩阵，分号“；”是行分隔符，Xi是行中χ方向上对应的块i的位置。F = [f (x0) f (X1) f (x2) f (X3) f (X4) ](5)其中F是向量，f(Xi)是行中对应的块i的位移。A = [a0 B1 a2 a3](6)其中A是系数向量，且最初未知。
则F = X*A，以及(7)A= (XtX)-IXtF(8)其中XtX是正定的，且其是可逆的。步骤4 通过使用系数A重新计算F的位移值F' = X*A(9)其中F’是用于替换旧的数据集的新的数据集。在处理了所有行之后，利用F’的 新的数目产生新的矩阵。最外面位置的参数可被进一步修改，使得参数的值在矩阵的次最 外面参数的值的特定范围内。可以以相似的方式计算3阶平面，除非该矩阵更大。例如，矩阵X为25X10，F为 10X1，A 为 10X1。一旦完成了数据处理，需要计算每个颜色分量块的仿射变换24(参见图1)。对于 每个颜色分量，有两个数据集，一个在X方向上，另一个在y方向上。对于块的每个像素位 置，使用最近的块分析以确定原始画面中的像素位置。使用4个最近的相邻的块来描述本 发明以做出此确定。然而，本领域技术人员将认识到在最近的块分析中使用的块的数目是 可选择的，其可以高于或低于这里描述的“四个最近的相邻的”示例。图5a_5f示出了此构思的示例。图5a中示出了更一般的情况，其中如果块⑴具 有8个相邻的块，子块11将使用块A、B、D、I的位移值来确定仿射变换的参数。接着子块 12将使用块B、C、E和I的位移值，子块21将使用块D、F、I、G的位移值，子块22将使用块 E、H、G和I的位移值。对于其它情况，如果块I位于画面的一边或一角(图5e和5f)，则各 个子块11、12、21、22将使用其最近的三个相邻的块和块I来计算仿射变换参数。图6a、6b和6c指示新的像素(x，y)分别位于4个块的中心的中间(图6a)、画面 角落(图6b)、4个块中心的一边(图6c)。下面示出了仿射变换，<formula>formula see original document page 9</formula>已知4个旧的点的位置(块中心)(图6中所示)，可通过将位移加到相应的点来 获得新的画面中4个点的位置。有8个方程，6个是未知的，同样，可容易地获得6个参数仿 射变换。在多于2个的方程是其它方程的线性组合的情况下，仿射变换被减少为
<formula>formula see original document page 9</formula>为了翘曲画面(图1步骤28)，将翘曲应用于三个颜色分量中的两个。更一般地， 如果有N个分量，翘曲将应用于N-I个颜色分量。本领域技术人员将认识到图像翘曲是一 种图像变换，其可以是线性或非线性变换。用作基色的一个颜色分量将不被翘曲(在图1 的示例情况下，M/G)。通过使用计算的仿射变换以将新画面中的每个像素映射到旧画面上 来获得翘曲分量画面(图7中所图示)。通过将2个翘曲颜色分量与基色分量组合(28)以 形成配准的彩色图像来完成此步骤。在旧画面中映射的像素(m，η)通常不在整数网格上， 然而，可通过使用内插或最近的像素值来获得像素的值。几个已知的内插技术中的任意一 个，诸如，双线性、双立方等可被用于此目的。在翘曲之后，可将该三个颜色分量转换为特定 的期望的文件或图像格式，并形成配准的彩色图像。上述自动配准处理已在多个胶片上测试，得到了好的结果。为了加速该配准处理，画面可被下采样到更低的分辨率，例如从4Κ下采样到2Κ， 每个子画面的最佳匹配位移向量可以以更低的分辨率计算。然后该匹配的位移向量被放大 到原始分辨率，使用这些向量以原始分辨率4Κ执行画面翘曲。在另一种情况下，为了减少扫描成本，使用更低的分辨率。因此，扫描的分辨率越 低，成本越低。品红信道可被以高分辨率扫描，例如4Κ，而青和黄信道可被以低分辨率扫描， 例如2Κ。品红信道是三个信道中最主要的，因此使得此不同分辨率途径用于次主要的青和 黄信道。此处理有效地将青和黄信道放大到品红信道的分辨率。然后可以以高分辨率完成 配准。应注意上述配准处理可在彩色胶片到CMY分量的原始分散时发生，作为分散质 量的检验，例如，以检验画面的分量是否遗失或被损坏等。考虑到以上，前述仅例示了本发明的原理，因此将了解本领域技术人员将能够做 出尽管这里没有明确描述的许多替换配置，使本发明的原理具体化，并在其精神和范围内。 因此应理解在不偏离由附加的权利要求所限定的本发明的精神和范围的情况下，可对例 示性实施例做出许多修改，并可做出其它配置。
权利要求
一种用于图像处理期间的边缘匹配的方法，包括将非基色边缘与基色相比较(42)；计算(46)多个不匹配边缘点；以及选择(48)最佳匹配。
2.根据权利要求1的所述方法，其中使用最小数目的不匹配的边缘点执行所述选择 (48)。
3.根据权利要求1的所述方法，其中使用最大数目的匹配的边缘点执行所述选择 (48)。
4.根据权利要求1的所述方法，还包括测试(50)所述最佳匹配。
5.根据权利要求4的所述方法，其中所述测试包括 计算预定位置处的失配边缘点的数目；将识别的失配边缘和多个与所述预定位置相邻的位置相比较；确定计算的失配边缘点的数目是否小于与所述预定位置相邻的位置的数目。
6.根据权利要求5的所述方法，其中与所述预定位置相邻的位置的数目是8。
7.根据权利要求5的所述方法，其中与所述预定位置相邻的位置的数目小于8。
全文摘要
提供了一种用于图像处理期间的边缘匹配的方法。边缘匹配包括识别基色和非基色分量。打开基色分量中的搜索窗口(44)，并将非基色分量与基色分量画面相比较。然后计算匹配的和不匹配的边缘点的数目(46)。然后可通过测试(50)或手动选择(48)确定最佳匹配。
文档编号H04N9/093GK101827276SQ20101014497
公开日2010年9月8日 申请日期2005年7月28日 优先权日2005年1月27日
发明者林书 申请人:汤姆森特许公司