胶片和图像处理中的边缘匹配的方法

专利名称：胶片和图像处理中的边缘匹配的方法
技术领域：
本发明涉及图像处理。更具体地，本发明涉及执行胶片图像的边缘匹配 的方法。
背景技术：
边缘匹配被用于许多不同的胶片处理应用中。 一个这样的应用是胶片的 保存(preservation ) /修复(restoration )。为了长时间存储彩色胶片并阻止褪 色(color fading )的影响，将彩色胶片分为三个颜色分量，青(Cyan )、品红 (Magenta)和黄(CMY )。每个颜色分量被存储在单独的巻轴(reel)上。 当到达重新;改映(re-release)的时间时，这三个巻轴中的每个上的颜色分量 需要被重新组合。在此考虑下，CMY分量需要被配准(register)以获得产生 的重新组合的彩色图像，其与原始彩色胶片上的图像看起来颜色一样。大多 数CMY配准使用光化学(photo-chemical)技术执行。不幸的是，随着CMY 巻轴老化，每个巻轴上的胶片经受变形或紧缩(shrinkage )。在此环境下，这 样的基于CMY的光化学配准不能较好地执行。同样地，需要使用数字技术 执行来配准。在此情况下，手动地执行配准。然而，手动配准很耗费劳力和 成本。发明内容本发明的一个方面是提供一种增加图像处理的效率和精确度的边缘匹配 的方法。此其它方面根据本发明的实施例达成，其中边缘匹配的方法包括将 非基色边缘与基色比较，计算多个不匹配的边缘点，并选择最佳匹配。
最佳匹配的选择可基于最小数目的不匹配点或最大数目的匹配点。通过计算预定位置的失配(mis-match)边缘点的数目，将识别的失配边缘和多个 与所述预定位置邻近的位置进行比较，并确定所计算的失配边缘点的数目是 否小于与所述预定位置邻近的位置的数目，来测试最佳匹配。根据各种实施例，与所述预定位置邻近的位置的数目可以是8个，或者 小于8个。根据本发明的其它方面，边缘匹配的方法包括产生非基色分量的边缘映 射，打开基色分量中的搜索窗口，在基色分量的搜索窗口内移动非基色分量 的块，计算非基色和基色分量之间每个位置的差值，并识别具有所有所计算 的差之和的最小值的位置。所计算的差之和优选地是绝对差的和。边缘映射的产生包括根据像素位置距边缘像素的距离将一个值分配给该 像素位置。在其它更具体的示例中，第一值被分配给每个边缘像素，第二值 被分配给位于距最近边缘像素像素距离(d)的每个像素，第三值被分配给位 于距最近边缘像素距离V^的每个像素，第四值被分配给位于距最近边缘像 素2倍像素距离d的每个像素，第五值被分配给位于距最近边缘像素距离 的每个像素，所有其它像素被分配给值O。所分配的值被优选地映射到网格。一旦为每个分量产生了边缘映射，就计算基色和非基色分量之间的相关。 在其它实施例中， 一旦为非基色分量产生了边缘映射就计算相关。根据本发明的其它方面，边缘匹配的方法包括产生第 一颜色分量的边缘 映射，在第二颜色分量中打开搜索窗口 ，在第二颜色分量的搜索窗口内移动 第一颜色分量的块，计算第一和第二颜色分量之间每个位置的差值，并识别 具有所有所计算的差之和的最小值的位置。结合附图考虑下面的详细描述，本发明的其它方面和特性将变得显而易 见。应理解然而，附图仅为示例的目的而绘制，不作为限制本发明的限定， 应参考附加的权利要求作为限定。还应理解附图不必须按比例绘制，除非另外指示，附图只意在概念性地图示这里所述的结构和程序。


在附图中通篇相似的参考标号代表相似的元件图1是根据本发明的实施例的自动颜色组合算法的框图2是根据本发明的一个实施例的分块(blockdivision)的示例；图3是根据本发明的另一个实施例的分块的另一个示例；图4a是根据本发明的实施例的边缘匹配方法的流程图；图4b是根据本发明的实施例的边缘匹配方法的示例图；图4c-e概略地示出根据本发明的实施例的边缘匹配方法；图4f是根据本发明的实施例的边缘匹配的最佳匹配测试的流程图；图5a-5f示出根据本发明的实施例的分块和相关的仿射(a伍ne)变换位移值应用的另一个示例；图6a-6c是用于表示根据本发明的实施例的仿射变换的计算的示例数据集；以及图7是用于根据本发明的实施例使用所计算的仿射变换获得翘曲 (warping)分量画面的方法的图形表示。
具体实施方式
本发明的概念利用胶片处理技术中已知的元件和处理。例如，胶片处理 的细节、仿射变换、CMY配准等为公知的，在这里不详细描述。另外，本发在优选实施例中，本发明以软件实施。本发明可以，但不限于，嵌入固 件、置于微机中、微码等。其它的实施例可以是全硬件、全软件、或硬件和 软件元件的组合。此外，本发明可以是提供计算机程序代码的任何计算机可用介质中存储 的或可访问的软件产品的形式。这包含，但不限于可存储、通信、或传播程介质可以是光、电、磁、电磁、传输介质、或半导体介质。计算机可读介质 可被实现为计算机硬盘驱动器、可移动计算机盘、随机存取存储器、只读存 储器、半导体或固态存储器设备、磁带、穿孔卡、或光盘。光盘的现有示例 包括紧致盘(CD)、数字视频盘(DVD)、高清晰度DVD (HD-DVD)、激光盘、蓝光盘、小型盘或磁光盘。除了激光盘，所有这些盘都可以是固定的只 读存储器(ROM)、可记录的(±R)、或可记录/可重写的(-RW)格式。数据处理系统可包含一个或多个处理器、以及诸如主板的支持电子设备。 这些处理可包括置于处理器上的或经由系统总线连接到本地存储器、高速緩
存存储器、或共享系统或网络存储器的存储器。数据处理系统可被耦接到诸 如键盘或鼠标的输入设备、诸如显示器和打印机的输出设备、以及诸如网卡、调制解调器、或网络背板(backplane)的通信适配器。可被包括在数据处理系统中的网络适配器允许数据穿过中介公共或专用 网络被传送到其它的终端、服务器、打印机或移动存储设备，以及从上述设 备传送数据。 一些网络适配器的现有示例为以太网适配器、无线WiFi以及 WiMax适配器、令牌环适配器等。现有网络包括局域网(LAN)、广域网 (WAN)、因特网、专门网络、直连网络或虛拟专用网络(VPN)。根据本发明的原理，图像配准处理自动地执行数字域中青、品红和黄 (CMY)颜色分量的配准。本领域普通技术人员将认识到这里公开的构思 不限于C、 M和Y,也可被用于其它颜色空间、或者在两种颜色分量之间。3巻轴CMY胶片被扫描为三个单序列。图像大小可以是2K或4K ( 1K 是1024字节)。在胶片行业中，2K的分辨率是2048x1556像素，4K的分辨 率是4096x3112像素。像素的比特深度与本发明无关， 一般为IO比特。所扫 描的文件示例性地存储为dpx格式(SMPTE (运动画面和电视工程师协会) 数字图像交换格式)。然而，在不偏离本发明的精神的情况下，其它文件格式 可被使用并被支持。本发明的配准处理一次在图像数据的一帧上操作。如上所述，可能有这 样的情况必须把图像数据的帧进一步分为块、以及(如果可能的话)子块 或子画面，以继续该处理。需要将画面分为块或子块的一个因素可以是原图像数据的失真。依赖失 真的严重程度，图像可需要分为块(即，当失真的非线性不能被忽略时)。一 个块可与其邻近的块具有一些重叠，或者其根本没有重叠。基于画面数据的内容确定块的数目，在实际执行分块之前该数目可以是一个非常粗略的估计值。通常，增加配准处理的精确度需要更多的块。然而，增加块的数目意味 着每个块的尺寸将会变小，而块的尺寸越小，计算的位移的精确度中的较低 精确度的可能性就越高(即，如果块过小，可能没有足够的信息，因此造成 较低的精确度)。根据本发明的原理，不需要非常小的块来执行自动画面配准。实验结果 指示2K材料的块的数目可以是lxl、 2x2、 2x4、 4x4、 4x6、或4x8等等。
虽然有可能，但是应该需要每个尺寸不大于8块。为了配准三(3)颜色分量(例如，CMY、 RGB)，需要确定它们之间的 相关。有几种计算这些相关的方式。示例地，边缘相关或边缘匹配被使用。 在此考虑下，有2个步骤边缘检测和边缘匹配。可使用任何现有的边缘检 测技术，例如技术中已知的Canny边缘检测技术。在边缘被检测后实施边缘 匹配。要配准的三种颜色分量中的任意分量可被选为基色，其它两种颜色分 量的位移(即，相关)可根据所选的基色分量计算。通过举例的方式，每个块有2个位移向量(7、，r;)、 (7、，F、)，其中7、 是x方向上红和绿之间的位移，F、是y方向上红和绿之间的位移。类似地， F^,^r^分别为x和y方向上红和蓝之间的位移。这里我们假定将红色分量 用作基色。为了协助相关确定，优选地将每帧分为块。当将画面分成块时，所有图 像数据被更好地配置以被处理，以消除大的误差并使穿过画面位移的值平稳 地变化。例如，可使用x或y方向上的一维三阶曲线，或二维三阶平面。同 样，可使用更低阶或更高阶的曲线或平面。当一个方向上的块的数目小于3 时，则没有曲线拟合(curve fit)被用于位移值。位移的调整值(参数)被用于计算仿射变换的六个参数。使用四个位移 向量来计算每个块的仿射变换，可使用冗余(redundancy )来减少误差。然而， 本发明不需要使用冗余来减少误差，但是可使用冗余来找到在新画面中像素 对于其在旧画面中的对应位置，并通过内插来获得像素值。以文件格式存储 新画面，诸如技术中已知的dpx、 yuv、 raw或ppm。自动颜色组合处理10的图示在图la中示出。输入12a、 12b、和12c为 三个单独的颜色分量。可将这些颜色分量以单个文件或分开的文件存储。在 优选实施例中，输入为3个单独的DPX文件，每个对应于一个颜色分量。在下一步骤14中可能有两种选项1 )边缘首先被边缘检测器16检测， 接着边缘画面被使用分割器18分为多个块(参见图la);或者2)画面可首 先被使用分割器18分成多个块，接着实施边缘检测16(参见图lb)。然而这 两种方法产生的输出可能不同。步骤14是本发明的相关确定中的第一步骤。分割器18利用2个参数来分割画面，1 )水平方向上的块的数目，以及 2)垂直方向上的块的数目。如上所述，块可以是重叠的或非重叠的，其中重 叠的部分可以变化，而块的大小可以彼此不同。如果块的大小变化，由画面
的内容确定大小。画面紋理丰富的区域可具有较小的块，而紋理较少的区域 可具有较大的块。图2示出了固定大小的四(4)个重叠的块的实施例。注意，区域e是两 个邻近的块重叠的区域，而区域f是所有4个块重叠的区域。图3示出了大 小变化的四(4)个非重叠的块的实施例。如上所述，为了执行边缘检测，可使用任何现有的边缘检测器，诸如， 例如上述的Canny边缘检测器。Canny边缘检测的所有边缘具有单一的像素 宽。其它的边缘检测器可具有多像素宽边缘。作为相关确定处理的最后部分，被分割的/经过边缘检测的图像被边缘匹 配20。有几种已知方式来执行边缘匹配，其基本思想是两个分量之间的边缘 的相关。通常，要被匹配的边缘点的数目被计数。为匹配的边缘像素的数目 计数，或者可为不匹配的像素的数目计数。在基色上打开搜索窗口，非基色 分量可被来回移动，在每个位置为匹配的边缘像素计数。具有最大数目匹配 的边缘像素的位置是颜色分量块的位移。边缘匹配20的一个示例处理40在图4a中示出。最初，在基色边缘画面 上打开搜索窗口 (42)。对于搜索窗口中的每个位置，将非基色边缘块与基色 相比较(44)。计算不匹配的边缘点的数目(46),将最小数目挑选为最佳匹 配(48);或者作为替换，计算匹配的边缘点的数目(46),并将最大数目挑 选为最佳匹配(48)。通常通过在基色上打开另一个搜索窗口并移动非基色分 量的块，来执行匹配的或非匹配的边缘点的数目的计数或计算(46)，以找到 最佳匹配。根据本发明的其它的方面，可在非基色边缘画面上打开初始搜索窗口 ， 并且对于搜索窗口中的每个位置，将基色边缘块与非基色比较。也可以以这 种方式产生基色分量的边缘映射。才艮据本发明的其它实施例，可测试最佳匹配(50 )以避免误挑选。现在 参照图4b描述这样的测试的一个例子。在位置a处失配边缘点的数目应小于 b和d的任意八(8)个位置的数目。松散(loose)测试是其中位置a处的失 配数目应小于d的四(4)个位置处的任意数目。本领域技术人员将认识到 数据集首先可被低通滤波以获得最小值或最大值，或仅仅提高精确度。在本发明的另外的实施例中，产生的边缘映射可被用于找到最佳匹配。 通过举例的方式，为每个颜色分量产生边缘映射如下
将一个值分配给每个边缘像素，例如图4c-4e中示出的示例中的5。此值 的分配在确定边缘后执行(注意，该边缘可以是一个或多个像素宽)；将另一个值分配给位于距最近的边缘像素像素距离d的每个像素，例如 4,其中d是两个最近像素之间的距离；位于距最近边缘像素距离V^/的像素被给定值3;位于距最近边缘像素距离2d的像素被给定值2;位于距最近边缘像素距离的像素被给定值1;以及其它像素被给定值O。图4d示出了在此图中被指定5的单个像素的边缘映射的产生，图4f示 出了测试边缘映射产生中最佳匹配的处理50。在产生每个分量的边缘映射 (62)后，可计算两个颜色分量(例如，非基色分量)的相关。也就是说， 在产生的边缘映射上执行边缘匹配。图4e示出了根据本发明的概念的边缘映 射的示例。在基色分量中打开搜索窗口 (64),在基色分量窗口内来回移动非 基色分量的块(66)。在每个位置处，计算非基色和基色分量之间的每个像素 的差值(68)。将具有绝对差值的和的最小值的位置识别为最佳匹配(70)， 并且相应的位移为颜色分量块的位移。为进行最佳匹配测试的颜色分量的每 个块重复移动(66)、计算(68)和识别(70)的处理，直到所有的块都被测 试了为止。一旦在产生的边缘映射上执行了边缘匹配，可能需要图像的另外的数据 处理22用于配准处理。此数据处理提供误差校正/阻止阶段，还通过使用新 计算的位移值(向量)来提高精确度。根据本发明的原理的数据处理22的示 例技术如下。对于每个块，有2个位移向量(即，x和y)。每个位移向量表 示水平和垂直方向上颜色分量边缘映射到基色分量边缘映射之间的位移。对于具有固定块大小的mxn块的画面，有四组数据r、 、 、 r、 、 K'、，其中ij为块的指数(indices), m、 n分别为x和y方向上块的数目。这里"u和rv被用作示例，以示出怎样处理数据。示例性地假定m=5,n=5,且K、是5x5矩阵。步骤1:使用预设的阔值来找出是否有大的误差数目。步骤2:通过使用大的误差数目相邻的值或通过内插/外插来修改大的误差数目。步骤3:使用3阶曲线来拟合每个方向上的数目，或使用3阶平面。对
于3阶曲线<formula>formula see original document page 12</formula><formula>formula see original document page 12</formula>对于三阶平面<formula>formula see original document page 12</formula>一 (3) 其中",和^为多项式曲线或平面的系数。当然，可使用更低阶或更高阶。 如果使用3阶曲线，对于矩阵的每行，对应的多项式系数^。,;01,^,^,14]可^f皮^十算^口下<formula>formula see original document page 12</formula>其中X是5x4矩阵，分号"；"是行分隔符，x,是行中x方向上对应的 块i的位置。F = [/(x。) /(x,) ./(x2) /(x3) /(x4)] ( 5 )其中F是向量，/(x,)是行中对应的块i的位移。j = [a0 a, a2 a3 ] ( 6 )其中A是系数向量，且最初未知。 则，F =以及 (7)(8)其中x'x是正定的，且其是可逆的。步骤4:通过使用系数A重新计算F的位移值F'=X" (9)其中F是用于替换旧的数据集的新的数据集。在处理了所有行之后，利 用F'的新的数目产生新的矩阵。最外面位置的参数可被进一步修改，使得参 数的值在矩阵的次最外面参数的值的特定范围内。可以以相似的方式计算3阶平面，除非该矩阵更大。例如，矩阵X为 25x10, F为10x1, A为10x1。一旦完成了数据处理，需要计算每个颜色分量块的仿射变换24 (参见图 1)。对于每个颜色分量，有两个数据集， 一个在x方向上，另一个在y方向 上。对于块的每个像素位置，使用最近的块分析以确定原始画面中的像素位 置。使用4个最近的相邻的块来描述本发明以做出此确定。然而，本领域技 术人员将认识到在最近的块分析中使用的块的数目是可选择的，其可以高于或低于这里描述的"四个最近的相邻的，，示例。图5a-5f示出了此构思的示例。图5a中示出了更一般的情况，其中如果 块(I)具有8个相邻的块，子块11将使用块A、 B、 D、 I的位移值来确定 仿射变换的参数。接着子块12将使用块B、 C、 E和I的位移值，子块21将 使用块D、 F、 I、 G的位移值，子块22将使用块E、 H、 G和I的位移值。 对于其它情况，如果块I位于画面的一边或一角(图5e和5f),则各个子块 11、 12、 21、 22将使用其最近的三个相邻的块和块I来计算仿射变换参数。图6a、 6b和6c指示新的像素(x， y)分别位于4个块的中心的中间(图 6a)、画面角落(图6b)、 4个块中心的一边(图6c)。下面示出了仿射变换，&o &-乂乾&已知4个旧的点的位置(块中心)(图6中所示)，可通过将位移加到相 应的点来获得新的画面中4个点的位置。有8个方程，6个是未知的，同样， 可容易地获得6个参数仿射变换。在多于2个的方程是其它方程的线性组合 的情况下，仿射变换被减少为fl。 0c。0 ^ a _为了翘曲画面(图1步骤28),将翘曲应用于三个颜色分量中的两个。 更一般地，如果有N个分量，翘曲将应用于N-1个颜色分量。本领域技术人 员将认识到图像翘曲是一种图像变换，其可以是线性或非线性变换。用作 基色的一个颜色分量将不被翘曲(在图1的示例情况下，M/G)。通过使用计 算的仿射变换以将新画面中的每个像素映射到旧画面上来获得翘曲分量画面 (图7中所图示)。通过将2个翘曲颜色分量与基色分量组合(28 )以形成配 准的彩色图像来完成此步骤。在旧画面中映射的像素(m, n)通常不在整数 网格上，然而，可通过使用内插或最近的像素值来获得像素的值。几个已知 的内插技术中的任意
上述自动配准处理已在多个胶片上测试，得到了好的结果。 为了加速该配准处理，画面可^f皮下采样到更低的分辨率，例如从4K下采样到2K,每个子画面的最佳匹配位移向量可以以更低的分辨率计算。然后 该匹配的位移向量被放大到原始分辨率，使用这些向量以原始分辨率4K执 4亍画面超曲。在另一种情况下，为了减少扫描成本，使用更低的分辨率。因此，扫描 的分辨率越低，成本越低。品红信道可被以高分辨率扫描，例如4K,而青和 黄信道可被以低分辨率扫描，例如2K。品红信道是三个信道中最主要的，因 此使得此不同分辨率途径用于次主要的青和黄信道。此处理有效地将青和黄 信道放大到品红信道的分辨率。然后可以以高分辨率完成配准。应注意上述配准处理可在彩色胶片到CMY分量的原始分散时发生， 作为分散质量的检验，例如，以检验画面的分量是否遗失或被损坏等。考虑到以上，前述仅例示了本发明的原理，因此将了解本领域技术人员 将能够做出尽管这里没有明确描述的许多替换配置，使本发明的原理具体化， 并在其精神和范围内。因此应理解在不偏离由附加的权利要求所限定的本 发明的精神和范围的情况下，可对例示性实施例做出许多修改，并可做出其 它配置。
权利要求
1.一种在图像处理期间边缘匹配的方法，包括将非基色边缘与基色相比较(42)；计算(46)多个不匹配边缘点；以及选择(48)最佳匹配。
2. 根据权利要求1的所述方法，其中使用最小数目的不匹配的点执行所 述选择(48 )。
3. 根据权利要求1的所述方法，其中使用最大数目的匹配的点执行所述 选择(48 )。
4. 根据权利要求1的所述方法，还包括测试(50)所述最佳匹配。
5. 根据权利要求4的所述方法，其中所述测试包括 计算预定位置处的失配边缘点的数目； 将识别的失配边缘与多个邻近所述预定位置的位置相比较； 确定计算的失配边缘点的数目是否小于邻近所述预定位置的位置的数目。
6. 根据权利要求5的所述方法，其中邻近所述预定位置的位置的数目是8。
7. 根据权利要求5的所述方法，其中邻近所述预定位置的位置的数目小于8。
8. —种边缘匹配的方法，包括 产生(62)非基色分量的边缘映射； 打开基色分量中的搜索窗口 (64);在所述基色分量的搜索窗口内移动(66)非基色分量的块； 计算所述非基色和基色分量之间每个位置的差值(68);以及 识别(70)具有所有计算的差之和的最小值的位置。
9. 根据权利要求8的所述方法，其中所述产生边缘映射(62)包括根据 一个值距边缘像素的距离将该值分配到 一个像素位置。
10. 根据权利要求8的所述方法，其中所述产生边缘映射包括 将第 一值分配给每个边缘像素；将第二值分配给位于距最近边缘像素一个像素距离(d)的每个像素；将第三值分配给位于距所述最近边缘像素距离V^的每个像素；将第四值分配给位于距所述最近边缘像素2倍所述像素距离d的每个像素；将第五值分配给位于距所述最近边缘像素距离的每个像素；以及 将值0分配给所有其它像素。
11. 根据权利要求8的所述方法，还包括 一旦为每个分量建立了所述 边缘映射，计算基色和非基色分量之间的相关。
12. 根据权利要求8的所述方法，还包括 一旦为所述非基色分量建立 了所述边缘映射，计算基色和非基色分量之间的相关。
13. 根据权利要求8的所述方法，还包括重复所述移动的步骤，计算 并识别所述非基色分量的每个块。
14. 根据权利要求9的所述方法，其中将所述分配的值映射到网格上以 形成所述边缘映射，在所述边缘映射上完成所述移动、计算和识别的步骤。
15. 根据权利要求10的所述方法，其中将所述分配的值映射到网格上以 形成所述边缘映射，在所述边缘映射上完成所述移动、计算和识别的步骤。
16. —种边缘匹配的方法，包括 产生第一颜色分量的边缘映射(62); 打开第二颜色分量中的搜索窗口 (64);在所述第二颜色分量的搜索窗口内移动所述第一颜色分量的块(66); 计算所述第一和第二颜色分量之间每个位置的差值(68);以及识别具有所有计算的差之和的最小值的位置(70)。
17. 根据权利要求16的所述方法，其中所述产生边缘映射(62)包括根 据一个值距边缘像素的距离将该值分配到一个像素位置。
18. 根据权利要求16的所述方法，其中所述产生边缘映射包括 将第一值分配给每个边缘像素；将第二值分配给位于距最近边缘像素一个像素距离(d)的每个像素； 将第三值分配给位于距所述最近边缘像素距离的每个像素； 将第四值分配给位于距所述最近边缘像素2倍所述像素距离d的每个像素；将第五值分配给位于距所述最近边缘像素距离V^/的每个像素；以及
19. 根据权利要求16的所述方法，还包括 一旦为每个分量建立了所述边缘映射，计算所述第一和第二颜色分量之间的相关。
20. 根据权利要求16的所述方法，还包括 一旦为所述第一分量建立了 所述边缘映射，计算所述第 一 和第二颜色分量之间的相关。
21. 根据权利要求16的所述方法，其中所述第一颜色分量是非基色分量， 所述第二颜色分量是基色分量。
22. 根据权利要求1的所述方法，其中所述第一颜色分量是基色分量， 所述第二颜色分量是非基色分量。
全文摘要
一种用于图像处理的边缘匹配图像的方法。边缘匹配包括识别基色和非基色分量。打开基色分量中的搜索窗口(44)，并将非基色分量与基色分量画面相比较。然后计算匹配的和不匹配的边缘点的数目(46)。然后可通过测试(50)或手动选择(48)确定最佳匹配。
文档编号H04N9/093GK101112105SQ200580047348
公开日2008年1月23日 申请日期2005年7月28日 优先权日2005年1月27日
发明者书 林 申请人:汤姆森特许公司