专利名称：胶片自动恢复的方法和装置的制作方法
技术领域：
本发明涉及图像或图像的序列，例如，电影胶片的自动恢复的方法和装置，尤其涉及在自动恢复期间去除图像内的划痕和污垢被检物的方法和装置。
背景技术：
电影胶片是我们文化遗产的一部分。不幸的是，它们往往受像划痕、灰尘、污垢、污点、磨损等不希望有的被检物影响。这些通常来自显影、管理、存储、和筛选或扫描胶片画面的技术处理。在一些罕见情况下，在捕获期间可能已经引入了静态被检物，例如，透镜内的绒毛或扫描仪玻璃上的污垢。在下文中，所有这些缺陷将被简称为“划痕和污垢”。划痕和污垢降低了电影观赏的质量和乐趣。即，在大多数情况下，这不是因为丧失了大量视觉信息。实际上，与真实情况相反，尽管完全无关，但划痕和污垢提供了额外信息量。人脑根据其日常的视觉经验，可非常有效地替换丢失的相关信息。但是，当观看受影响的画面时，其对这个世界中的客观事物看起来如何和如何行动的感受不断受到破坏。例如，在扫描或筛选期间出现在胶片上的污垢出现在一个帧中而消失在其他帧中。这与人对物体通常平滑地出现、运动和消失的感受相矛盾，使大脑例外地对待异常视觉刺激。因此，以这种方式分开相关和不相关信息对观众来说既紧张又劳累。需要去除划痕和污垢以便使观众保持放松，把注意力集中在内容上，因此，是任何恢复过程的重要部分。优选的是在扫描之后数字地进行恢复。尽管存在通过化学清洗过程馈送材料以便在扫描之前减少污垢和潜在划痕的湿扫描技术，但由于使它们变得相当昂贵的许多技术问题而未得到广泛使用。另外，许多画面已经在磁带上得到数字化扫描和归档。尽管在市场上存在在许多工作方面协助艺术家的软件，但通过找出和去除每个划痕和污垢被检物对数字化胶片的明显人工恢复是耗时的事情。尤其，对存在大量划痕或污垢的老旧内容的人工恢复在财政上可能是行不通的。对于存在商业价值未知的画面的大量档案来说情况甚至更严重。含有试图检测和去除划痕和污垢的算法的自动恢复软件的应用是人工过程的唯一可行替代品。当前存在许多或多或少自动进行划痕和污垢的检测和去除的可在市场上获得的软件和硬件产品。通常，需要人工调整某些参数以便细调检测和去除，有时分别针对每个场景。在处理之后，必须接受或拒绝恢复输出或其局部，存在利用不同参数重新进行恢复的选择。这是不能令人满意的，因为需要时间来调整，在不特别适用的关键场景中质量可能不是足够好。划痕和污垢的检测是当前尚未完全解决的非微不足道问题。仍然存在一定比例的未检测到或错误检测的被检物。
发明内容
本发明的目的是提供允许以有效方式控制和提高胶片自动恢复算法的结果的图像恢复解决方案。按照本发明的一个方面，这个目的是通过恢复图像或图像的序列的方法实现，该方法包含如下步骤:-检测图像或图像的序列中的后生物；-将有关所检测后生物(artifact)的信息存储在元数据数据库中；以及-根据存储在元数据数据库中的信息从图像或图像的序列中去除一个或多个所检测后生物。类似地，恢复图像或图像的序列的装置包含:-第一图像处理器，用于检测图像或图像的序列中的后生物；-元数据数据库，用于存储有关所检测后生物的信息；以及-第二图像处理器，用于根据存储在元数据数据库中的信息从图像或图像的序列中去除一个或多个所检测后生物。将恢复过程分解成对例如划痕和污垢被检物的被检物的检测、和使用自动元数据驱动工作流去除的按照本发明的解决方案具有多种优点。与用于后生物去除的现有技术工作流相反，不必对不同内容分别调整参数。同时，恢复结果可完全再现，并且没有由迭代引起的多余处理工作。而且，在被检物检测过程中生成的元数据允许根据存储在元数据数据库中的信息生成综合质量报告。因此，按照本发明的解决方案非常适用于大量胶片档案的恢复。在检测过程中，利用每个后生物的项目自动构建元数据数据库。有利的是，在将有关所检测后生物的信息存储在元数据数据库中之后而在从图像或图像的序列中去除一个或多个所检测后生物之前对存储在元数据数据库中的信息进行质量控制处理。当使用不要求人工参数调整的自动划痕和污垢恢复算法时，在完全不接触其他图像区的时候显著减少被检物的数量。尽管不完美，但这些算法使得在许多情况下无需用户交互就可以获得好结果。但是，由于元数据数据库是在检测过程中自动构建的，所以可能由于进行不完美算法而变得不准确或不完整。因此，在需要完美恢复的关键状况下，可以在检测之后和去除之前通过针对每个被检物进行元数据的图形审查改善结果。这是通过元数据驱动三步恢复工作流实现的。将恢复过程划分成检测过程和去除过程使得可以在质量审查期间在元数据数据库中修改、添加和去除项目，即，被检物。质量审查专门针对元数据数据库，并且基于各个帧或一系列帧。有益的是，通过删除元数据数据库中有关后生物的信息，或通过设置去除切换标志的数值取消选择用于去除的后生物，从元数据数据库中去除后生物。有利的是，有关后生物的信息包括后生物的索引、后生物的类型、长方形边界框的坐标、后生物的外观的框架索引、边界框尺寸的二元像素掩码、受影响像素的数量、检测权重、去除标志、去除切换标志、和去除信息的一种或多种。这种信息使综合质量控制过程成为可能。另外，该信息非常适用于在图形用户界面中显示所检测的缺陷。优选的是，有关后生物的信息进一步包括前图像中相同后生物的索引和随后图像中相同后生物的索引的至少一种。像划痕或静态污垢那样的被检物通常遍及多个帧。因此，在前后帧中存储相同被检物的索引是有用的。对于质量审查，有益的是，提供允许标注划痕和污垢被检物，分别去除所检测划痕和污垢被检物、以及手动添加划痕和污垢被检物(在图形上)的图形用户界面。优选的是，图形用户界面进一步允许使用专门图形编辑器人工校正所检测后生物。
有利的是，确定图像内所检测后生物的总面积和图像内为去除设置的后生物的总面积的至少一个。这些数值有助于统计目的，而且也有助于元数据的图形审查。
为了更好地理解，现在参照附图在如下描述中更详细地说明本发明。应该明白，本发明不局限于这个示范性实施例，也可以不偏离如所附权利要求书限定的本发明的范围地得当地组合和/或修改指定特征。在附图中:图1例示了划痕和污垢检测的问题；图2描绘了存在两条划痕的帧；图3示出了图2去除划痕之后的帧；图4描绘了存在污垢被检物和运动物体的帧的序列；图5示出了图4去除污垢被检物之后的帧的序列；图6例示了胶片恢复的自动单步处理；图7示出了操作人员辅助基于帧恢复过程；图8例示了操作人员辅助基于序列恢复过程；图9描绘了按照本发明的裂缝恢复过程；图10示出了胶片恢复的进一步细化三步工作流。图11示意性地例示了划痕和污垢的多步检测策略；图12例示了示范性被检物和非被检物概率密度函数以及它们与检测阈值和去除阈值的关系；图13描绘了划痕或污垢被检物的示范性边界框；图14示出了元数据库的示范性图形表示；图16描绘了未作任何恢复的原始图形；图17示出了图16在检测过程之后带有元数据标注的图形；以及图18描绘了应用去除处理之后的输出图像。
具体实施例方式由于像噪声、细粒、闪烁、抖动、运动和内容本身那样的许多可变因素，在数字化胶片画面上完全自动地、没有用户参数调整地对划痕和污垢被检物的检测成为挑战性问题。检测算法的设计一般旨在通过围绕检测阈值分离似然性来降低误检和未检率。这示意性地例示在图1中。对于真实世界算法，被检物的概率密度函数通常与其他帧内容的概率密度函数重叠。这意味着被检物误检和未检率总是大于零。下文将说明如此的原因。图2和图3例示了检测和去除划痕的问题。在图2中，示出了存在两条划痕2、2^的帧I。图3描绘了去除划痕之后的相同帧I。划痕来源于传过处理器、投影仪或扫描仪期间连续损害胶片表面的小颗粒。它们往往漫游过每个帧。如果漫游速度缓慢，则它们几乎垂直，并出现在多个帧中几乎相同位置上。但是，如果漫游速度很高，则它们表现出明显的水平成分，并且甚至可能出现和消失在单个帧中。垂直划痕带来的问题是，如存在于图2中的建筑物3中那样，它们可以容易地与垂直图像特征混淆。对于像建筑物、桥梁和围墙那样的人造物体，情况往往就是这样。
出现在多个帧中几乎相同位置上的划痕在很大程度上破坏了有关划痕下面的内容的时间信息。因此，必须利用划痕的周围区域的空间信息来去除。图4和图5例示了检测和去除污垢的问题。在图4中，示出了存在污垢被检物4和运动物体5的帧I的序列。图5描绘了去除污垢被检物4之后帧I的相同序列。处在胶片表面上的污垢如果不是静态的，则出现在一个帧中而消失在下一个帧中。看一看局部邻域，对于运动物体同样如此。图4中的帧I的序列示出了运动物体5，即，圆球从左边移动到右边，在帧n上在相邻窗口 6内。在相同的窗口位置在帧n+1和n-1不能找到运动物体5。因此，主要问题是将污垢与运动物体区分开。为此，对运动加以考虑。进一步的问题由病态运动引起，也就是说，由古怪的运动、运动模糊、遮挡、露出和存在与污垢相同的时间特性的其他效应弓I起。在下面的内容从一个帧到另一个帧未显著改变的情况下，通过克隆可以容易地去除污垢被检物4。在(病态)运动的情况下，状况更加困难，因为在污垢被检物4下面的原始内容的位置可能已发生显著变化。在图6中，描绘了从原始内容7中生成恢复内容8的自动单步恢复过程10。在许多情况下，一旦同样好地对任何场景和类型的画面执行自动划痕和污垢恢复算法，这样的单步、无人监管恢复过程10可能就足够了。但是，还未获得完美的算法。主要问题是对不同类型的画面控制算法质量。这种问题的常见解决方案显示在图7中，其中使操作人员9处在恢复环路中，以便逐帧审查(11)结果和分别调整(12)恢复算法参数。这种迭代单步、完全交互工作流取决于操作人员的时间和熟练程度，潜在地允许完美去除划痕和污垢。有提供恢复算法和帮助操作人员将恢复内容8与原始内容7相比较的复杂软件可用。为了缩短操作时间，如图8所示，通常将环路分解成两个阶段，图8示出了操作人员辅助基于序列恢复过程。对帧序列，例如，场景片段迭代地执行恢复过程。由操作人员9利用某个参数集开始恢复，并存储中间结果14。在质量控制步骤13中，接受或拒绝中间结果14，并利用调整参数或边界处理区重新开始处理。与中间结果14 一起，可以存储带有像噪声水平、细粒水平、运动矢量场和场景片段位置那样、在恢复阶段期间收集的一般信息的元数据集15。可以另外存储和向操作人员展示像地点和尺寸那样的缺陷特有信息以便引导恢复。元数据的生成使筛选的相当定性过程转变成定量可测量质量过程。例如，除了恢复输出8之外，将被检物的数量和每个帧的累计面积(像素计数)存储成元数据15。在处理之后，完整元数据集的图形表示给出有关每个帧多少像素已经变更的信息。仍然，生成的元数据15只有助于决定接受或拒绝结果。按照本发明，为了在产生最终输出之前检验恢复过程的质量，如图9所示意性例示，将恢复过程分解成检测过程20和去除过程21。元数据15用于两个过程20、21之间的信息传送。在检测过程20中，检测算法自动工作，并生成元数据信息15，然后在去除过程21中使用该元数据信息15。为可以由人或机器检验的综合质量报告23汇总(22)检测结果。图10描绘了在划痕和污垢被检物的检测20与去除21之间插入操作人员9进行的质量控制24的进一步细化三步工作流。在质量控制24期间，交互地，例如，通过在进行去除之前，修改或加入对划痕或污垢被检物的描述来编辑元数据数据库15。在下文中，将给出三步工作流的详细描述。当然，对于图9的二步工作流，不执行与质量控制有关的步骤。尤其在数字化胶片画面上，由于像噪声、细粒、闪烁、抖动、和(病态)运动那样的许多可变因素，没有人工参数调整地对划痕和污垢被检物的自动检测20成为复杂问题。为了应对不同因素，将多步检测策略应用于划痕和污垢。这种策略示意性地例示在图11中。在第一步骤30中，估计总体噪声水平。随后，进行伪像素的检测31。通过伪像素的收集识别(32 )潜在被检物。在识别之后，将加权函数应用(33 )于潜在被检物。随后，检测(34)被检物，例如，通过权重加阈。这意味着只将权重大于限定检测阈值的那些潜在被检物存储在元数据数据库15中。将检测阈值设置得相对较低，以便减少假否定事件。最终，核实(35)和标志(36)被检物以便加以去除。在加标志步骤36中取决于预定去除阈值权重，自动设置去除标志性质，预定去除阈值权重被设置成高于检测阈值，以防止去除假肯定事件。去除标志还取决于在核实步骤35中进行的被检物核实。用于伪像素的检测31、潜在被检物的识别32、和加权函数的应用33的算法的设计影响被检物的形状和非被检物概率密度分布。该设计旨在减小它们的重叠区，以便减少假检测。图12例示了示范性被检物和非被检物概率密度函数以及它们与检测阈值和去除阈值的关系。划痕和污垢被检物被认为是覆盖单个帧内的有限区域的某种类型的物体。这与像噪声、闪烁等那样影响整个帧的后生物相反。优选的是，对于每个划痕和污垢被检物，将如下性质集合作为描述性信息存储在元数据数据库15中:-类型(划痕还是污垢)；-长方形边界框的坐标；-外观的框架索引；-边界框尺寸的二元像素掩码；-受影响像素的数量；-检测权重；-去除标志(自动设置)；-去除切换标志(由用户设置)；以及-去除信息。在下文中，针对数字化胶片材料y(h，V，t)一具有垂直、水平和时间索引的三维场一说明为划痕和污垢被检物生成元数据。取决于画面的类型，y(h，v，t)可以是黑白胶片的标量和彩色胶片的RGB或YUV值的三元组。为在T个帧的第t帧内的N个被检物当中检测的每个被检物η定义唯一元数据集meta(t，n)。将被检物定义成覆盖帧矩阵y (:，:,t)的某个有限区域。可以将元数据集划分成被检物类型，例如，metaScratch(t, n)、metaDirt(t, η)。在下文中，将metaX(t, η)用于表示一种或两种类型。这意味着划痕和污垢被检物可能具有相同号码η。有利的是，存储如下被检物性质:a)为了识别和区分被检物，必须设置唯一索引。可以按照从帧的左上角开始向下到右下角的被检物地点进行编号:metaX (t, n).1ndex=n {I,..., N}b)在被检物编号在所有被检物类型上都连续的情况下，需要通过类型性质区别:metaX (t, n).type= {' scratch' |，dirt，|，static dirt1 |...}
c)通过被检物xWidth(n)和yWidth(n)的最大水平和垂直延伸量定义长方形边界框的宽度和高度。与左上角一起，明确地指定定义方框覆盖的区域的水平和垂直位置的xPos (n)和 yPos (n):b (t, n) =y (yPos (n): yPos (n) +yffidth (n) -1,xPos (n): xPos (n) +xffidth (n) -1, t)一个示范性边界框例示在图13中。因此，将性质框定义成四元矢量:metaX (t, n).box= [xPos (n) yPos (n) xffidth (n) yffidth (n)]d)对于帧矩阵y(:，:,t)内被检物覆盖的像素的唯一描述，可使用不同方法。假设检测之后类型X的每个被检物n通过二元掩码maskX(l:yWidth(n), 1: xffidth (n), n)来定义，“I”指示在那个地点上存在被检物。例如，显示在图13的边界框中的被检物的二元掩码通过下表来描述:
000000000 I 1 0 0 0 0 00 0 1 1 0 0 1 00 0 1111100 0 0 1 0 0 0 000000000表I按照第一种方法，二元掩码的信息通过存储二元掩码本身来存储: metaX(t, n).pixel=maskX(:,:, n)按照另一种方法，存储掩码等于“I”的索引的列表:metaX(t, n).pixel=find(maskX(:,:, n))e)布尔标志meta.remove指示在随后去除步骤中是否打算恢复被检物。每当自动检测的判定不清楚和需要审查者同意时，该值可能被设置成假:metaX(t, n).remove={true|false}f)像划痕或静态污垢那样的被检物通常遍及多个帧。因此，建议在indexBackward之后和在indexForward之前存储帧 中的相同被检物的索引。空位用于指示没有对应关系。metaX (t, n).1ndexForward= {I,..., Nforward | 0}metaX (t, n).1ndexBackward= {I,..., Nbackward | 0}g)为了审查和统计的目的，建议存储通过构建所有掩码中“I”的总和检测的某种类型X的所有被检物或一些被检物的区域:metaX(t).areaDetected=sum(maskX(:,:，:))h)类似地，为了审查和统计的目的，建议存储在第t帧内检测的和将通过构建所有metaX.remove (t, n)等于’ true’的所有掩码中“I”的总和去除的某种类型X的所有被检物或一些被检物的区域:metaX(t).areaRemoved=sum(maskX(:，:，metaX(t, n).remove))i)有利的是，metaX (t, n)包含一个字段:
metaX (t, η).replacement,它提供了如何进行去除的信息，即，以如果metaX (t, n).remove=true,则必须变更和取代由metaX(t, n).pixel给出的被检物像素的方式进行去除的信息。与metaX(t, η).remove的状态无关,总是优选地定义metaX (t, n).replacement,因为在质量控制步骤24中可以变更metaX (t，n).remove。该字段具有在去除步骤21期间不需要寻找适当取代模式的处理的优点。这意味着尽管检测要花费较长时间，但去除在计算上要求较低。此外，元数据的数量增加。按照第一种可能性,具有周围方框b(n)的被检物η的metaX (t, η).replacement通过只直接存储由该被检物覆盖的r (η)的那些值获得:metaX (t, n).replacements (metaX (t, η).pixel))。可替代地，存储b (η)与r (η)之间的差值:metaX (t, n).replacements (metaX (t, η).pixel)) _b (metaX (t, n).pixel))。按照进一步的替代，如果通过从当前或前后任何其他帧中的图像区中克隆已找到r (η)，则存储具有水平偏移yOff (η)、垂直偏移xOff (η)、和时间偏移tOff (η)的三元矢量:metaX(t, n).replacement=[yOff(n)xOff(η)tOff(η)]。质量控制步骤24中的审查允许编辑已经导致“足够好”输出的元数据集15，以便获得“极好”恢复结果的元数据集15。当然，实际结果将取决于操作人员9花费的时间量。另外，质量控制步骤24可能也可用于不人工修改数据集地控制算法质量。质量控制通过检验和修改元数据来进行。这使得可以通过可计数度量更客观地和可能比交互式逐边帧比较迅速得多地控制质量。在认可了元数据之后，与恢复形式的变化日志一起优选地生成原始文件的质量报告。优选的是，使用在应用软件内利用图形用户界面对元数据数据库15的图形表示。示范性图形表示显示在图14和图15中。有利的是，图形用户界面提供汇总元数据的可视化。可以以这种方式容易地发现指示假检测的异常值。通常在数量上不多的相应帧需要进一步检查。为此,使用边界框坐标性质标注在一个帧内检测的划痕和污垢被检物50、51。取决于去除标志性质，优选地将不同风格用于边界框。可以以这种方式迅速地收集假检测被检物。如果已经识别出如上所述的假检测，则有必要提高元数据的质量。修改或扩展相应元数据。从元数据数据库15中去除假肯定检测的划痕和污垢被检物，或者通过设置切换标志性质，假肯定检测的划痕和污垢被检物被取消选择用于去除。可以手动标记没有或未完全检测到的划痕和污垢被检物(假否定)，并将其加入元数据数据库15中。现在更详细地参照显示在图14和图15中的图形用户界面，在第一面板41中，通过在当前帧t的内容之上，按照存储在metaX(t，n).box中的尺寸和坐标画出长方形方框而标注每个被检物50、51。通过将不同颜色和/或虚线用于方框的边线，可以有利地将打算去除的被检物50,即,metaX(t, n).remove=true的被检物与不打算去除的被检物51,即，metaX (t, n).remove=false 的被检物区分开。在第二面板42中，针对所有巾贞将矢量metaX (t).areaDetected和/或metaX (t).areaRemoved可视化。由于帧I的数量通常比显示器的水平分辨率大得多，所以进行数据减少以便使整个数据适合第二面板42。由于元素metaX.area Detected(t)总是等于或大于 metaX.areaRemoved (t),所以在相同面板 42 内使 metaX.areaRemoved 在 metaX.areaDetected前面地显示两个条状图。在第三面板43 中画出了 metaX (t).areaRemoved 在 metaX (t).areaDetected前面的另外两个条状图。与第二面板42相反，用宽度大于一个像素的分立长条表示在metaX (t).areaDetected前面的metaX (t) areaRemoved的每个兀素。由于巾贞I的数量通常比显示器的水平分辨率大得多，所以只可看见曲线的一部分。这个部分是以与当前帧t相对应的长条总是在曲线的中心上的方式选择的。为了防止错误检测的被检物被去除，点击或触摸相应方框以便切换metaX (t，n).Removed的被检物状态和相应地标注方框的颜色和/或虚线。有益的是，当切换metaX (t, n).Removed的状态时，立刻更新metaX (t).areaRemoved中的累计面积，以及显示在第二面板42和第三面板43中的曲线。优选的是，每当点击或触摸第二面板42和第三面板43中的曲线的某个位置时，图形用户界面就切换到相应帧。立刻更新显示在第一面板41中的内容和标注以及第三面板43中的元数据条状图。第四面板44使得可以选择只有划痕、只有污垢、或是两者将被显示在第一面板41上。另外，第五面板45使得可以预览去除过程21所得的输出而不是第一面板41中的原始内容。为此，每当通过点击第五面板45中的相应选择或按下快捷键使第四面板中的划痕和/或污垢的复造框有效和使视图变成去除(过滤)时，就将去除过程21应用于当前帧t。可替代地或另外，当按下专用去除/应用按钮(未示出)时，将去除过程21应用于当前帧t。图形用户界面进一步允许将索引metaX (t, n).1ndex=n+l,和类型metaX (t, n+1).type= {' scratch' |，dirt，I，static dirt1 |...}添加到被检物metaX (t, n+1)中。通过使用鼠标手绘工具等标记第一面板41中在位置[xPox yPos]上和具有宽度[xffidth yffidth]的区域:metaX (t, n+1).box= [xPos yPos xffidth yffidth],将这些被检物标志成metaX(t, n+1) remove=true。从而定义maskX(:，:, n+1),以便如上面在d)中已经描述过，设置metaX(t, n+1).pixel。此外，还按照f)设置如下项目:metaX (t, n+1).1ndexForward= {I,..., Nforward | 0}，metaX (t, n+1).1ndexBackward= {I,..., Nbackward | 0}，按照g)设置如下项目:metaX(t).areaDetected=metaX(t).areaDetected+sum(maskX(:，:，n+1))，按照h)设置如下项目:metaX (t).areaRemoved=metaX (t).areaRemoved+sum (maskX (:,:, n+1)),以及按照i)设置如下项目:metaX (t, n).replacement
最终，使用元数据数据库15自动进行划痕和污垢被检物去除21，以生成恢复输出
8。因此，结果是完全可预测的，以及只在已经检测到被检物和同意去除被检物的地点上修改原始文件7。更具体地说，通过将元数据metaX (η)应用于每个帧t进行胶片恢复。如果metaX (t, n).remove=true,则修改由metaX (t, η).pixel定义的被检物η的像素。不接触中贞t内的任何其他像素。对每个被检物执行如下过程。用“'”标记的变量也可以“在原位”，即，不用分配附加存储器地管理，并且为了例示起见介绍如下:a.对于帧t，将恢复的输出矩阵y' (t)设置成输入矩阵y(t):y，(t)=y(t)。b.利用metaX (t, η).box寻找如c)所述的边界框矩阵b (t, η)。c.将恢复的边界框矩阵b' (t，n)设置成b(t，n):b’(t, n) =b (t, η)。d.取决于 metaX (t, η).type,选择修改 b' (t, η)中由 metaX (t, η).pixel 给出的像素的方法:1.b’ (t, n, metaX (t, η).pixel) =metaX (t, η).replacement ；i1.b' (t, n, metaX (t, n).pixel) =b' (t, n, metaX (t, n).pixel) +metaX (t, n).replacement;ii1.通过从 metaX (t, n).replacement 中提取 yOff (n)、x0ff (n)和 tOff(n),将时间边界框矩阵b"设置成:b"=y (yPos (n) +yOff (η): yPos (η) +yOff (η) +yffidth (η) -1,xPos (η) +xOff (η): xPos (η) +xOff (η) +xffidth (η) -1, i+t0ff (η))。设置b’(t, η, metaX (t, η).pixel) =b’’(metaX (t, η).pixel)。e)用恢复的y' (yPos (η): yPos (n) +yffidth (η) -1, xPos (η): xPos (η) +xffidth (η) -1, i) =W (t, η)盖写y(n)’中的被检物i。图16到图18示出了恢复工作流的示范性结果。在图16中，示出了没有任何恢复的原始图像。图17描绘了带有元数据标注，S卩，进行了检测过程20之后的相同图像。图18示出了应用了去除过程21之后的输出图像。
权利要求
1.一种恢复图像(I)或图像(I)的序列的方法，该方法包含如下步骤: -检测(20)图像(I)或图像(I)的序列中的后生物(2，4，50，51)； -将有关所检测后生物(2，4，50，51)的信息存储在元数据数据库(15)中；以及 -根据存储在元数据数据库(15)中的信息从图像(I)或图像(I)的序列中去除(21) —个或多个所检测后生物(2，4，50)。
2.按照权利要求1所述的方法，其中所述后生物(2，4，50，51)是划痕和污垢被检物的至少一种。
3.按照权利要求1或2所述的方法，其中有关后生物(2，4，50，51)的信息包括后生物(2,4,50,51)的索弓1、后生物(2，4，50，51)的类型、长方形边界框的坐标、后生物(2，4，50，51)的外观的框架索引、边界框尺寸的二元像素掩码、受影响像素的数量、检测权重、去除标志、去除切换标志、和去除信息的一种或多种。
4.按照权利要求1到3之一所述的方法，其中有关后生物(2，4，50，51)的信息进一步包括在前图像(I)中相同后生物(2，4，50，51)的索引和随后图像(I)中相同后生物(2，4，50，51)的索引的至少一种。
5.按照权利要求1到4之一所述的方法，进一步包含步骤:在将有关所检测后生物(2，4,50,51)的信息存储在元数据数据库(15)中之后以及在从图像(I)或图像(I)的序列中去除一个或多个所检测后生物(2，4，50，51)之前对存储在元数据数据库(15)中的信息执行质量控制过程(24)。
6.按照权利要求5所述的方法，其中所述质量控制过程(24)包含将后生物(2，4，50，51)加入元数据数据库(15)中和/或从元数据数据库(15)中去除后生物(2，4，50，51)。
7.按照权利要求6所述的方法，其中通过删除元数据数据库(15)中有关后生物(2，4，50，51)的信息，或通过设置去除切换标志的数值取消选择用于去除的后生物(2，4，50，51 )，从元数据数据库(15)中去除后生物(2，4，50，51)。
8.按照前面权利要求之一所述的方法，进一步包含确定图像(I)内所检测后生物(2，4，50，51)的总面积和图像(I)内为去除设置的后生物(2，4，50，51)的总面积的至少一个的步骤。
9.按照前面权利要求之一所述的方法，进一步包含根据存储在元数据数据库(15)中的信息生成(22)质量报告(23)的步骤。
10.一种恢复图像(I)或图像(I)的序列的装置，该装置包含: -第一图像处理器，用于检测(20)图像(I)或图像(I)的序列中的后生物(2，4，50，51); -元数据数据库(15)，用于存储有关所检测后生物(2，4，50，51)的信息；以及 -第二图像处理器，用于根据存储在元数据数据库(15)中的信息从图像(I)或图像(I)的序列中去除(21) —个或多个所检测后生物(2，4，50)。
全文摘要
公开了一种自动恢复图像(1)或图像(1)的序列，例如，电影胶片的方法和装置，其有助于去除图像(1)或图像(1)的序列内的后生物(2，4，50，51)。将恢复过程分解成检测过程(20)和去除过程(21)。在检测过程(20)中，检测图像(1)或图像(1)的序列中的后生物(2，4，50，51)，并将有关所检测后生物(2，4，50，51)的信息存储在元数据数据库(15)中。在随后去除过程(21)中，根据存储在元数据数据库(15)中的信息从图像(1)或图像(1)的序列中去除一个或多个所检测后生物(2，4，50)。
文档编号H04N1/409GK103210636SQ201180055114
公开日2013年7月17日 申请日期2011年6月8日 优先权日2010年11月16日
发明者O.泰斯, R.凯勒, O.坎普亨克尔 申请人:汤姆逊许可公司