专利名称：用于数字重新灌录或修改电影或其他图像序列数据的系统和方法
技术领域：
本发明广义地涉及(但不限于)数字重新灌录或修改电影内容的领域，尤其涉及一种为了以原始格式同时发行而以并行和流水线方式从整个电影中有效计算图像数据的系统和方法，也涉及一种通过改善显示的图像分辨率和质量增强图像的方法，通常用于包括宽幅投影环境的选择格式。本发明也可应用于更宽范围的图像序列的增强，上述图像序列源自胶片，录像，光学设备，电子传感器等等。它也可用于改善以原始格式显示的图像质量。
背景技术：
以35毫米胶片格式产生的电影打算在传统格式电影院或者以其他更小格式比如家庭录像和广播电视中放映。保持足够显示质量所要求的显示分辨率，可基于屏幕大小，电影院几何形状，观众座位位置以及最小视觉敏锐度来计算，上述视觉敏锐度需要被保持，以便传送要求的图像质量。在传统电影院中，认为在屏幕宽度为2000像素左右的显示分辨率足够传送满意的图像质量。该分辨率要求被35毫米胶片格式大力支持，以及被已有的从最初摄影，后期制作到洗印车间处理的胶片制作处理链支持。类似的显示分辨率要求也被建议用于取代传统胶片电影院的数字电影院。
在宽幅电影地点，观众希望明显胜过传统电影院的视觉体验。在宽幅电影院的观众欣赏比传统电影院大得多的视野。为了在宽幅电影院保持更好的视觉体验，胶片制作链必须传送比传统电影院大得多的空间图像分辨率。当前15/70胶片格式制作处理链足够支持该更高空间分辨率要求。但是，当源自35毫米胶片格式的电影在宽幅电影地点放映时，已有的制作系统和处理不能传送足够的图像质量。本发明定义了一种数字重新灌录具有宽幅电影院体验所要求的增强图像分辨率和质量的35毫米电影的方法。
本发明的数字重新灌录处理主要(但不专用)用于源自活人动作胶片摄影的运动图像序列的图像分辨率的增强。该处理可被应用于转换为胶片的计算机产生的动画或者单元动画图像的增强。数字重新灌录处理也可用于增强光学图像设备或者电子传感器设备捕获的运动图像的分辨率和质量。
本发明的数字重新灌录概念的一个方面是，活人动作电影序列中的每个图像帧的空间分辨率可通过时间图像处理增强。这不同于胶片恢复概念，在胶片恢复中“除掉”噪声和“消除”假象是主要目的。在过去二十年中，有许多成功的胶片恢复投影，典型的例子是迪斯尼的白雪公主和七个小矮人的重新发行和随后的乔治卢卡斯的星球大战三部曲的重新发行。大多数的胶片恢复方法是补偿胶片状态劣化导致的图像质量损失并且恢复图像特性接近于原始形态。由于用于胶片恢复投影的目标重新发行平台通常是电影原始放映的相同传统电影院，或者甚至更小显示格式比如家庭录像或者电视，增强原始成像的空间分辨率不是胶片恢复的重点。
本发明的数字重新灌录处理也不同于已有的重新灌录动画电影为宽幅发行的方法，比如迪斯尼的幻想曲2000和美女与野兽宽幅发行作品。在这些成果中，图像数据最初以数字形式生成，不被胶片转换处理破坏。结果，图像帧的空间分辨率不能通过图像处理方法进一步增强，除非这些图像用更多些细节重新重放。在幻想曲2000和美女与野兽重新发行中使用的方法不能增强活人动作胶片摄影的图像分辨率。
在宽幅电影院放映源于35毫米胶片的电影的最简单的方法是，利用具有更大放大倍率的投影透镜填充整个屏幕。由于在35毫米发行拷贝上的图像没有足够的空间分辨率，该方法不能传送足够的视觉质量。一个更好的方法是，使用数字空间内插方法数字放大电影的每一帧，并将放大后的图像数据记录到宽幅胶片，比如15/70胶片格式，用于投影。已有空间内插方法不能改善空间分辨率，并且通常使图像柔和。某些空间高通滤波方法可被用于改善感知的图像清晰度，但是这些方法也突出了图像中的噪声，比如胶片颗粒。为了减少图像噪声，某些低通空间滤波器可被应用，但是这些滤波器不可避免消除了图像细节。因此，传统空间处理方法不能满足噪声减少和保持图像清晰度的冲突要求。
发明内容
本发明的图像重新灌录方法提供一种同时获得分辨率增强和噪声减少的解决方案。该方法规定图像空间分辨率可通过时间图像处理增强。由于该方法应用在大多数有效方法中，处理要求原始形式的所有图像细节被保持。对于源自胶片的图像，基本单元是胶片颗粒。众所周知，如抽样定理所规定的，如果空间抽样网格满足尼奎斯特抽样频率，也就是图像内容的空间频率极限的两倍，所有信息可被保持。当扫描摄像机底片时，相当于使用不大于6μm的像素间距，以便捕获下至胶片颗粒级的图像细节。对于35毫米胶片上的以0.825”*0.602”的学会标准片格窗(academy aperture)拍摄的图像帧，要求至少3500*2550像素的扫描分辨率。
当每个图像帧首先使用空间内插数字放大时，空间分辨率增强更有效。空间内插不能改善空间分辨率，但是扩展了频域的图像频谱，以致额外空间对于将被添加到图像的附加的高频细节是可利用的。该分辨率增强概念如图1所示。附加图像细节可通过时间滤波处理恢复。在运动序列中，场景中的一个对象在连续帧中捕获，每个帧包含对象的一个类似但不同的版本。关于在当前帧不明确的对象的某些图像细节可在它的相邻帧中捕获。通过从相邻帧收集关于对象的所有信息来改善当前帧，当前帧的合成的对象可显示未在原始形式中显示的改善的细节。这种概念可通过时间滤波方法来实现，在该时间滤波方法中，来自许多帧的信息被分析并组合，以致附加图像细节可从运动序列的每一帧中恢复。各种时间滤波方法也可用于减少时间不相关噪声，比如感知的图像序列中的胶片颗粒度。通过MTF测量的增强来改善图像清晰度的新方法也被描述。
时间处理方法要求计算量很大的运动估算算法。一种方法是开发一种高效率实现本发明的计算系统，以致重新灌录一部完整的电影可在相对短的时间内完成。本发明描述了一个具有智能中央控制器的并行分布计算系统，上述智能中央控制器以最大效率管理图像重放处理。智能中央控制器使用各种最优化方案自动操作图像数据增强处理。计算系统有一个可缩放到任何吞吐量要求的独特的结构。
另一种实现方法是定义一个提供满足高质量电影重新灌录作品的大范围需求功能的处理过程。在本发明中，重新灌录操作的整个处理过程包括各种阶段和处理模块。处理的核心部分可用自动模式实现，但是也允许用户输入和交互的最大灵活性。基于统计分析的用于最佳参数估计和自动质量估计的一组初始算法在本发明中进行了描述，这些算法被智能中央控制器管理，传递最大质量结果。
在本发明中描述的处理和系统被设计成满足最严格的作品要求，包括原始发行的新电影重新灌录格式的同时发行。该应用要求重新灌录处理方法和系统能精确可靠的跟踪流水线中的每个操作的状态，以及每个图像数据片断的数据流的状态。本发明描述的系统结构允许智能中央控制器跟踪整个处理中每个设备的状态，包括遥控定位的设备。智能中央控制器也提供最新的状态报告并且响应用户特定询问。这些特性已经证实对于满足电影重新灌录方案的严格制作时间表非常重要。
本发明的教导可以通过下面的详细描述和附图更容易理解，附图为图1描述了频域的空间分辨率增强的概念；图2是描述电影和其他运动图像的数字重新灌录处理的处理流程图；图3描述了用于电影重新灌录的图像增强系统的数据处理阶段的系统结构；图4是预处理模块的处理流程图；图5是重放模块的处理流程图；图6描述了重放参数的自动预测算法；图7描述了重放客户机的流水线；图8描述了典型的具有时间窗口的时间滤波器方案；图9描述了用于噪声减少的三个时间滤波器方案；图10描述了用于重放工作分配的三个方案；图11是验证模块的处理流程图；图12是后处理模块的处理流程图；图13示出了被智能控制器跟踪的制作信息的类型的例子。
具体实施例方式
本发明描述了一种从原始格式到选择格式或者增强图像质量的原始格式数字重新灌录电影或任何电影序列的处理和方法，和一种该处理的执行系统。数字图像重新灌录处理在图2中描述，处理的执行系统在图3中描述。如在图2中的描述，数字图像重新灌录处理包括四个阶段格式转换100，数据处理110，图像输出120，图像认可130。该处理被中央控制系统140控制，中央控制的核心是智能控制器141。智能控制器141通过硬件和软件的组合实现其控制和监控从跟踪物理数据流到控制实际任务执行的处理的每一方面。
在第一阶段格式转换100，电影图像或任何运动图像被转换为可被数据处理110阶段处理的数字格式。大多数电影来自胶片(底片或者中间胶片)，需要通过称为胶片扫描器的设备转换为数字格式(SMPTE Journal，1994年3月，第3号，第103卷，Glenn Kennel的“数字胶片扫描和记录技术和实践”)。胶片扫描器是取样设备，转换每个图像取样从胶片密度到表示的红，绿，蓝(RGB)色成分的二进制位。扫描的数据需要有足够的比特深度，以便保持胶片上图像的全部动态范围。在本发明的一个实施例中，每个图像帧以不大于6μm的像素间距取样，每个取样量化到具有10比特比特深度的RGB通道。扫描的数据随后压缩为DPX(数字运动图像交换)格式(SMPTE 268M)或者更早的Cineon格式的文件格式。对于源自除了胶片的非数字形式的图像，数字处理需要支持保持原始图像所有信息的取样率和量化电平。由于电影日益以数字形式制作和发行，可利用的数字数据可以通过数字转换处理102直接从原始格式转换为任何其他格式。在本发明的一个实施例中，希望的格式是10比特DPX格式或者Cineon格式。格式转换处理102包括操作比如色空间转换，压缩/解压缩和位组合，本领域技术人员能够很容易使描述的处理适应于任何数据格式。转换的图像数据必须通过数据检查处理103检查是正确的，以致转换处理中胶片扫描器的错误设置和其他故障导致的图像数据中的错误被识别。数据检查103的另一个功能是确保转换后的图像数据满足一系列预定义质量标准，上述质量标准包括动态范围和图像细节的保持。包含错误或者不满足质量标准的图像数据被拒绝，要重新扫描或重新转换。
在图像数据格式转换阶段100转换的图像数据称为原始图像数据。在下一个数据处理阶段110，原始图像数据通过图像增强处理增强分辨率和视觉质量。图像增强处理包括四个处理模块，它们是预处理模块111，重放模块112，验证模块113，后处理模块114。
预处理模块111包括取决于用户决定的处理，比如镜头分离，再成帧，彩色校正和场景分类。也包括识别和消除原始图像数据中的假象的处理。在本发明的一个实施例中，所有要求做出决定的操作通过特殊用途软件和允许用户交互的用户工作站的组合来实现。用户的决定被智能控制器141收集，随后命令用户工作站将相应的预处理操作应用于原始图像数据。在本发明的另一个实施例中，目前的预处理操作在下面的重放模块中执行，作为重放客户机流水线的一部分，那些操作全部由智能控制器141基于用户决定地控制。在本发明的另一个实施例中，彩色校正和假象识别的决定由图像分析算法作出，以致这些操作可以以完全自动模式执行而不需要人干涉。
重放模块112负责图像数据分辨率和视觉质量的增强。重放模块112的系统实现是硬件和软件的组合，达到高吞吐量和高计算效率。在本发明的一个实施例中，重放模块主要对图像数据执行三种增强操作分辨率增强，噪声减少，锐化。在本发明的另一个实施例中，重放模块也执行额外预处理操作，包括彩色校正，再成帧，假象消除。为了达到高吞吐量，重放系统实现采用具有由智能控制器141控制的多个计算重放客户机的并行计算结构。
智能控制器141负责最大化重放效率和传送最佳图像质量。通过使用智能算法计算最佳分辨率来实现。在本发明的一个实施例中，重放模块112的操作是完全自动化的。智能控制器确定在可利用的客户机中如何分配图像数据来达到最大效率。也确定用于获得最佳重放质量的重放指令的最好设置。智能控制器不断监视重放操作的执行并且修改它的指令。在本发明的实施例中，允许用户输入他们的首选项到智能控制器，用于做出重放决定，甚至覆盖自动化方案做出的决定。在本发明的另一个实施例中，用户根据他们的经验和观察发布重放指令，并且基于统计性能分析不断改变指令。在本发明的两个实施例中，增强图像数据的质量在验证模块113中被视觉验证，以确保它们满足预定义质量和分辨率标准。
在验证模块113，不满足预定义质量和分辨率标准的增强图像数据被拒绝，返回到重放模块112用一组修改后的指令重放，或者如果问题涉及预处理决定，则返回到预处理模块111。在本发明的一个实施例中，智能控制器141基于在重放模块112计算的某些统计质量标志决定如何修改重放指令。在本发明的另一个实施例中，用户根据那些统计质量标志的帮助修改决定。通常，直到满足预定义质量和分辨率标准，图像数据才通过验证模块。在特殊情况下，也就是图像数据包含可在后处理模块114确定的某些假象时，在被返回到验证模块113作最终估算之前，图像数据被发送到后处理模块114用于确定。
后处理模块114执行某些最终问题确定操作。在被发送到图像输出阶段120之前，满足所有质量标准的图像数据被组织。在某些情况下，图像数据可能需要被转换为胶片输出处理121或者数字输出处理122指定的格式。增强图像数据也被写入到永久数据存储器，比如数据磁带或者光盘，用于数据传送或者文件备份。
图像输出120是电影的增强图像数据被记录成选择胶片格式或者为数字显示而重新格式的阶段。在胶片输出121的情况下，胶片记录器可用于传送图像数据到胶片，记录后的胶片用标准实验室处理来处理。具有正确同步(correct timing)的印片用胶片(print film)使用光学印刷机(optical printer)制作。在胶片输出121的情况下，图像数据必须被转换为适于数字显示的格式，转换处理中涉及的操作可以要求调整大小，色空间转换，再成帧和压缩。本领域技术人员很容易将描述的数据转换成任何输出数据格式。
最终阶段是图像认可130，通过人检查想要发行格式的电影执行。在胶片格式的情况下，印片用胶片(print film)在表示计划发行电影的电影院的观看环境中投影。可对电影分段执行或者整体执行认可处理。那些被拒绝的图像段将被发送到处理的适当的更早阶段，重新处理。在数字显示的情况下，类似的投影处理通过典型的数字显示系统执行。认可的图像成为最终重新灌录的图像作品。
在本发明中，数字重新灌录处理的每个阶段必需的物理设备不必位于邻近的位置。在本发明的一个实施例中，每个阶段的设备位于分离地理位置。不同位置之间的图像数据和其他信息的交换可以通过电子数据传送和信使服务很容易实现。
图3描述了在单独位置实现的数据处理阶段110的系统结构。该结构可分成两个功能部件。第一个部件是操作系统150，支持预处理模块111，验证模块113和后处理模块114中的所有功能。操作系统150包括数据文件服务器151，具有足够磁盘空间的中央数据存储器152，配备用于用户交互操作的特殊用途软件工具的多个工作站153，在文件服务器和工作站之间提供高带宽连接的网络开关，作为数据输入和输出设备的多个磁带驱动器(tape driver)155。
第二个部件是重放系统160，支持重放模块112中的所有操作。重放系统160包括智能控制器服务器161，支持服务器的控制器数据存储器162，多个成簇配置的重放客户机计算设备163。考虑到每个图像帧所需的处理时间，每个簇所允许的重放客户机的数目被簇网络开关165的带宽所限制。中心开关164提供高带宽连接到所有的簇网络开关165，系统支持的簇的数目被中心开关164的带宽所限制。操作系统150和重放系统160之间的数据传送通过数据文件服务器151和智能控制器服务器161之间的高带宽连接实现。图3中描述的系统具有模块设计，完全可从特定重新灌录方案缩放到日常吞吐量要求。
在本发明的一个实施例中，智能控制器服务器也用作数据文件服务器，并且两个数据存储设备组合成一个中央数据存储器。但是，本发明的优选实施例是图3中描述的双服务器结构。当智能控制器服务器161必须关闭电源进行维护时或者当重放系统160发生系统故障时，操作系统150与重放系统160的分离允许用户交互操作继续。类似的，操作系统150的维护或者数据文件服务器151的故障不对重放系统160的操作发生影响。在图3描述的结构中，中央数据存储器152存储预处理，验证和后处理需要的所有图像数据。控制器数据存储器162存储智能控制器跟踪的所有信息和数据，作为作品数据库。也提供在传送到中央数据存储器152之前由重放客户机产生的临时存储器。
智能控制器服务器161和控制器数据存储器162是用于智能控制器141的基本硬件设备，上述智能控制器141控制数据处理阶段110中的所有操作。智能控制器还监视数据处理阶段的处理状态，并且收集来自可能位于远程位置的其他阶段的信息数据。访问来自智能控制器141的数据的任何设备或处理被作为智能控制器服务器的客户机。这允许智能控制器对整个重新灌录处理提供集中控制，跟踪每个设备的所有操作的状态，并且跟踪所有图像数据流。通过软件和硬件的结合，智能控制器141执行下述功能·资源管理-考虑到项目进度，自动计算最小日常吞吐量，管理可利用的资源来满足要求。
·质量最优化-自动确定每个重放作业最好结果时的重放参数的最佳设置。也使用统计方法自动操作质量估算处理，来确定重放结果是否可以接受。
·计算效率最优化-管理作业队列，利用可利用的计算资源，以最有效的方式调度和分配每个作业到重放客户机。基于可利用的存储资源，提供中间数据和处理状态的自动化系统范围超高速缓存，来最小化必要的重新重放作业必需的时间。
·作品管理-跟踪和更新涉及重放处理的所有信息和来自处理的每个阶段的图像数据流，并将数据组织成一个数据库。产生产品处理中各个方面的最新的报告，通过查询构造器回答用户查询。
·系统管理-管理所有重放客户机和监视他们的状态，并且监视系统性能和诊断问题。
·用户交互-接受用户决定，并且允许用户覆盖自动化方案的决定。还根据用户指定的用途优选做出决定数据处理阶段的四个处理模块的细节在下文中详细描述。
预处理模块111设计为用户交互处理，以致通过使用专门设计的软件预览图像数据，用户可以做出独创的决定。特别当从胶片扫描时，原始图像数据通常是场景变化时没有中断的长图像序列形式。预处理模块的主要任务是将数据分离成镜头，每个镜头代表某些镜头特性的连续性，比如运动或照明。每个镜头用开始和结束帧数标记，并分配一个唯一的镜头数。在本发明的一个实施例中，这些镜头进一步分组成更小数目的场景，使得属于相同场景的所有镜头共享某些共同的特性。场景分组使得可以用相同参数来处理属于同一场景的所有镜头。镜头分离决定由技术人员产生，但是也可以由软件通过场景分析自动产生。
另一个需要用户产生的关键决定是再成帧。重新灌录方案通常需要该操作是因为以下两个原因第一，扫描的数据通常包括图像数据之外的空白电影区域，为了最终发行必须剪掉；第二，重新灌录电影可以以与最初想要的不同的宽高比发行。再成帧决定可由技术人员产生。如果再成帧决定在一个镜头中帧到帧变化，摇镜头&扫描操作必须作为再成帧处理的一部分。本领域技术人员能够很容易执行描述的操作来满足任何再成帧决定。
图4描述了预处理模块的典型处理。用户决定可以基于原始图像数据的直接预览产生，或者可以选择预览原始图像数据的代替版本，以便减少图像数据的数量和缩短数据加载时间，同时增加每个加载的运行时间。在本发明的一个实施例中，代替版本通过代替产生模块200产生，该模块包括缩小，比特深度减少和彩色校正。代替版本的大小必须适合用户作出预处理决定，而小到足够确保软件预览的高效率。在本发明的另一个实施例中，使用标准压缩技术对代替版本施事合适的数据压缩，进一步增加视觉预览效果，而不影响观看质量。通过预览图像序列的替代版本，用户可以根据镜头编辑201(具有镜头数的每个连续场景的开始和结束帧)，再成帧202(基于预确定的宽高比的剪切和摇镜头&扫描)，彩色校正参数204产生快速和关键的决定。用户也可以从每个镜头选择少数关键帧203，将在下一个重放模块用于场景分析。预处理还包括假象识别处理205，其中污垢，胶片划痕，胶片老化，化学污点产生的假象，以及在数字作用阶段引入的假象可被识别，并随后消除。用户确定的这些决定和数据被智能控制器141收集，该智能控制器应用适当的图像处理软件工具到原始图像数据，基于镜头剪辑，将其分离成场景内容，为重放操作做准备。在本发明的一个实施例中，图像处理工具包括镜头分离和文件重命名207，图像剪辑208，彩色校正209，图像调整大小210，假象消除211。
原始图像的代替版本也用于场景分类206。场景分类处理的目的是将复杂的场景分组为相对小的类，以致属于相同类的图像共享某些使他们不同于其他类的图像的唯一特性。场景分类使得可以应用不同的图像处理方法和/或不同的重放参数到每个类，以致获得最好结果。场景分类的一个例子包括快动作场景，慢动作场景，静止摄像镜头，黑暗场景，明亮场景，具有大部分天空的场景，面部特写镜头，广角镜头，自然场景，等等。在本发明的一个实施例中，用户执行场景分类206。在本发明的另一个实施例中，场景分类由自动算法基于场景分析执行。每个图像用一个特征矢量表示，该特征矢量可以由一长列成分，包括彩色直方图，梯度直方图，方向边缘，运动等等。当由特征矢量表示时，图像作为多维特征空间的取样。标准统计分组方法可用于分组取样为初步的类。关预缩略图的第二运动类似分析可以确保具有连续运动的取样保持在同一个类中。可通过图6中描述的重放参数预测220对每一类确定一组特定重放参数。
假象消除211对于要求高图像质量的重新灌录方案是必要的。对于从胶片扫描的原始图像数据，由胶片上的污垢，灰尘和划痕产生的假象是不可避免的。由于胶片老化和洗印室化学处理产生假象也发生，特别是对于更旧的库存电影胶片。对于原始数据形式的可利用的原始图像数据，可能在数字效果处理中存在不完整的假象。在本发明的一个实施例中，假象通过自动化处理消除。特殊搜索算法应用到包括当前帧的帧范围，来识别具有已知唯一特性的假象。识别为由污垢，灰尘产生的假象的像素显示与周围正常像素不同的亮度值，这些像素与相邻帧没有时间相关性。周围正常像素的运动估算被计算。由于污垢和灰尘假象被识别，他们被基于周围正常像素的运动估算计算的预测像素值替代。识别为由胶片划痕产生的假象的像素显示与周围正常像素不同的亮度值，并且这些像素通常形成细的垂直或者水平线(取决于胶片格式)。这些胶片划痕像素可以与相邻帧有很强的时间相关性。由于胶片划痕假象被识别，他们可被基于周围正常像素的内插算法计算的预测像素值替代。当假象的唯一特性可以清楚定义时，自动化方法有效。在本发明的另一个实施例中，假象通过半自动方法消除。在该方法中，用户只需要通过专门设计的软件205识别图像数据中包含一个或者多个假象的小的图像区域，那些图像区域的位置发送到智能控制器141。接着，将搜索算法应用到这些假象所位于的识别的小区域，把不正常的象素定位到小区域中的不规则像素。由于假象像素定位，这些像素用预测像素值替代，与上文描述的本发明的自动化实施例相同的方式相同。由于运动估算限制在识别的小区域，搜索和消除算法可在很短时间内完成。对于那些不能用任何方法消除的假象，将由用户使用标准修正软件修正。
在本发明的一个实施例中，假象消除210同时在预处理模块111和后处理模块114中执行，并且大多数假象在后处理模块中消除。在本发明的另一个实施例中，假象消除只在后处理模块中执行。在后一种情况，如果一个镜头在认可阶段130被拒绝，并且需要发送返回到重放模块112重放，则假象消除操作必须被重复。如果使用手动和半自动方法，这将降低操作效率。
已被分离成镜头的图像数据的增强，发生在重放模块112。重放模块的操作被智能控制器141控制，并且完全自动化。图5描述了重放模块的处理流程图。重放模块的硬件实现是重放系统160，具有多个配置到簇的计算客户机163(如图3所示)。每个计算客户机是标准计算设备。在本发明的一个实施例中，每个计算客户机是在Linux操作系统下运行的奔腾处理器计算机。当图像镜头序列或者镜头正在经历重放客户机的一系列图像增强操作时，称为重放作业或者作业。作业可被分配到单个重放客户机或者许多重放客户机。每个图像增强操作提供一个或者多个参数，上述参数可被调整来获得希望的结果。来自每个增强操作的所有参数的收集形成重放参数设置，确定重放结果的性能和质量。对于具有不同特征的图像镜头，重放参数设置必须被调整，以致获得可能最好的视觉质量。
重放参数设置包括决定重放客户机223的处理的参数，这些参数包括用于运动估算(支持的匹配区域，分层运动模型中的数目层，搜索范围，决定校正匹配的阈值等等)，时间滤波(时间窗口大小，滤波器系数等等)，锐化的参数。这些参数可用多种方式确定。在本发明的一个实施例中，参数设置由经验丰富的用户基于每个图像镜头的视觉检查来预测。只有用户的决定一致并且可靠时，该方法才有效。在本发明的另一个实施例中，重放参数设置通过基于图像分析220的预测算法估算。
重放参数预测的算法在图6中描述。为了减少计算，对从一个镜头序列中选出图像帧的取样执行图像分析。这些取样帧称为关键帧，由用户在预处理阶段的关键帧识别处理步骤203选择。在本发明的另一个实施例中，关键帧也可通过算法300确定，该算法计算镜头中每一帧的直方图，并且根据直方图一致性确定最具代表性的帧。
一系列图像分析操作应用到选择的关键帧。在本发明的一个实施例中，这些操作是为了初始运动估算设置301的估算，包括·图像噪声分布粒度的估算302；·基于估算噪声粒度的支持匹配区域(MRS)的估算303；·通过计算关键帧之间的平均绝对运动的整体运动的估算304；·基于估算整体运动的搜索范围的估算305。
使用估算的支持匹配区域和估算的搜索范围，运动估算算法可应用到关键帧，从关键帧306计算运动估算。多种运动估算算法可应用到该应用程序中，这些算法在下面的出版物中描述IEEE信号处理杂志，1999年7月，第16卷，第4号，Christoph Stiller和Janusz Konrad的“估算图像序列中的运动”。在本发明的一个实施例中，基于分层运动模型的运动估算算法的像素被实现。
基于多个分辨率层的计算运动矢量，根据图像时间特性计算一些关键统计测量307，包括·瞬时信噪比(TSNR)308-TSNR测量关键帧之间的时间不相关噪声的电平。在运动估算后计算TSNR，通过基于运动矢量弯曲一个关键帧到其他帧，随后计算MSE(均方误差)的倒数。TSNR用dB测度，类似于用于信号分析的传统SNR。如果TSNR很大，则瞬时噪声小，反之亦然。
·运动309-镜头中的运动量用两种方式测量。在本发明的一个实施例中，运动由在关键帧之间可靠跟踪的所有像素的运动矢量的平均绝对大小来测量。在本发明的另一个实施例中，运动根据特征点的平均运动测量。特征点通常比平均像素提供更可靠的运动估算。但是特征点的运动估算要求一种不同的算法，并且处理必须与基于像素运动估算分开实现。
·快速匹配分布(FMD)310-FMD是两个关键帧之间的直接像素匹配(快速匹配)的百分比分布对匹配阈值。当在预定义小搜索区域存在匹配时，两个帧之间的像素直接匹配发生。FMD是运动估计量的性能的标志。对于一个给定FMD，有一组传递希望性能的相应阈值。
预测算法311基于FMD，TSNR和运动预测重放参数。在本发明的一个实施例中，预测以一组相应于给定FMD的匹配阈值开始。当TSNR大或者运动大时，那组阈值加权减小，当TSNR小或者运动小时，那组阈值加权增大。
重放参数预测器220的操作被智能控制器141控制。用户输入可以反馈到参数预测器311，来根据用户首选修改预测器。预测器220也允许用户用首选重放参数来重写预测。
回到图5，一旦一个图像镜头的重放参数设置确定，可以提交给重放队列221，作为一个重放作业。智能控制器141检查提交的有效性，将作业添加到作业队列221。随后发送作业提交到一个或多个可利用的重放客户机，根据预先确定的作业分布方案222进行处理。重放客户机223根据指令和计算统计质量标志323处理数据。客户机也频繁向智能控制器141报告它们的当前情况和状态。一旦作业完成，智能控制器收集来自相应客户机的分布的结果，临时存储在控制器数据存储器162。随后检查数据的完整性和作业的完整性225。如果智能控制器141发现某些帧丢失或者某些帧不完整，则要求重放客户机重新处理那些帧。如果作业完成的满意，执行估算226，来测量重放质量。如果要求的质量未达到，控制器尝试修改重放参数设置230，发送作业返回到作业队列。在特殊情况下，要求某些时间滤波选项(参见图7和图9)被指定231。对于每个作业重新提交，作业的版本通过版本控制方案232更新。如果智能控制器满意重放结果，发送图像数据到中央数据存储器152，并且发送验证通知227到数据文件服务器151。
每个重放客户机223对图像镜头数据执行的处理由图7描述的一系列图像处理操作组成。主要操作包括时间滤波322，调整大小326和锐化327。重放客户机也计算统计质量标志323，该统计质量标志323包括像素匹配率(PMR)和绝对静止率(ASR)。这些质量标志用于在图3的质量估算阶段226估算重放质量。另外，建立增强图像镜头的代替版本，用于图2的验证模块113的视觉检查。一旦作业完成，重放客户机通知智能控制器141，它将在控制器数据存储器162存储结果并释放重放客户机。重放客户机的处理流水线中的步骤在下文中讨论。不是所有的步骤必须用在每个应用中。图7描述了一个实施例中处理步骤的优选顺序。
时间滤波322是重放客户机处理流水线实现的计算量最大的操作。提供两个功能分辨率增强340和噪声减少341。分辨率增强的概念是基于来自感光胶片的图像开发的，但是基于该概念开发的方法不限于基于胶片的图像应用。实际上，本发明描述的分辨率增强方法应用到使用光学设备捕获的任何图像序列，比如光电检测器，电子传感器和已传送为上述媒体的计算产生的图像。
感光胶片包括对弱光敏感的卤化银晶体。当胶片被显影时，这些晶体变成微小的金属银细丝。在彩色胶片中，显影处理中微小的着色块与银一起形成。随后银从胶片化学消除，只留下着色图像。这些小着色微粒形成胶片颗粒。胶片颗粒的大小和形状可以改变，并且随机分布。但是随机分布的胶片颗粒实际上是在胶片上形成图像的基础建筑块。
包含在单帧图像中的信息可通过它的频域内容完全描述。当图像帧被数字化时，保持在数字版本中的信息受抽样理论限制。用调整大小方法数字放大数字图像帧不增加更多的信息，但是构成频率空间，以致附加图像细节可被添加到图像帧，如果这些细节可用其他方法恢复。分辨率增强的概念在图1中描述。图1(A)示出了以尼奎斯特频率Fs≥Fmax取样的频带限制图像信号的频率响应；图1(B)示出了具有从分辨率增强处理恢复的附加高频成分的同一图像信号的频率响应。图像信号以Fs’≥Fmax，可以添加从其他图像帧恢复的高频细节。增强图像信号的空间分辨率现在变成Fmax’＞Fmax。
在本发明的一个实施例中，通过时间滤波从相邻帧恢复附加图像细节。在时间滤波中，图像帧的内容通过数学算法增强，该数学算法使用来自相邻图像帧的信息，如图8所述。在时间滤波器中使用的相邻帧的数目(包括当前帧)称为“时间窗口”。例如，图8中时间滤波器400使用的时间窗口401的大小是2N+1。通过移动时间窗口401，连续图像帧被时间滤波器400增强。
本发明描述的分辨率增强方法340由三个主要步骤组成运动估算，运动场调整，细节恢复。具有足够精确性和稳定性的运动估算算法是第一个基本步骤。摄影图象中不同大小和形状的随机胶片颗粒的存在向任何运动估算算法挑战。运动估算算法必须可以从随机胶片颗粒细节中识别真实图像内容。众所周知的运动估算算法可用于该应用，大多数算法在下面的出版物中描述IEEE信号处理杂志，1999年7月，第16卷，第4号，Christoph Stiller和Janusz Konrad的“估算图像序列中的运动”。在本发明的一个实施例中，基于分层运动模型的算法用于达到可靠性和精确性。在该方法中，运动以多个细节程度模型化，可以首先发现主要运动特性，并且随后改进估算。在分层运动模型中，每个图像帧用多级数据结构表示，每个表示图像细节的特定级。电影胶片细节通常用最低分层级表示。在最高分层级计算的运动估算表示真实图像内容。在每个分层级，每个像素的运动估算用对于一个时间窗口内所有帧的可变大小块匹配算法计算。在块匹配中使用的搜索策略不同于穷举搜索和次优快速搜索。在穷举搜索中，在预定义搜索范围内的所有候选被检查，最佳匹配是最小化预测误差的一个。在快速搜索中，“最佳匹配”标准用“第一次匹配”标准代替，该“第一次匹配”标准将具有在某组域值标准之下的预测误差的第一个候选作为估算。在最高级获得的“粗略”运动估算被计算作为所有候选中的最佳匹配。该运动估算连续改进随后的分层级。该分层搜索策略限制在每一级相对更小的范围内搜索，以致计算复杂性明显减少。在最底层，胶片颗粒结构变得明显，必须应用对胶片颗粒变化加强的搜索策略。由于胶片颗粒大小根据生胶片，照明条件，洗印车间处理等等改变，支持的匹配区域必须充分大于最大胶片颗粒大小。
运动场调整是必需的，因为运动估算是一个不适当的问题，并且多个解决办法存在给定一组搜索标准。大部分估算误差发生在图像的平滑区域，可能的解空间的大小急剧增加。该方法使用高频特性，平滑性和质量测量限制解空间。高频特性是“视觉有效”图像特性，可通过特性分析识别，他们表示像素亮度，像素彩色或者像素运动的显著改变。从表示高频特性的像素获得的运动估算比从平滑区域像素获得的运动估算更可靠和更精确。平滑性限制状态，平滑区域的相邻像素很可能分享相似的运动估算。对于高频特性，平滑性应该应用到特性取向的方向。每个运动估算被分配一个指示估算可靠性的可靠性测量。运动估算的可靠性测量与估算相关的解空间大小成反比。对于具有低可靠性测量值的像素，应考虑运动场调整，应该对解空间施加更多限制，以致减少估算误差。
为了在给定帧间隔获得子像素精确性，通过基于相应的运动估算，映射每个相邻帧到当前帧间隔构造一组合成帧。计算每个合成帧和当前帧之间的误差映射。对于那些具有大估算误差的像素，它们的运动估算被修改，直到误差最小化。估算精确性的进一步改进可以使用更复杂的运动模型获得，比如六参数仿射模型或者八参数射影线性模型。根据修改后的运动估算重建合成帧，并在细节恢复步骤使用。
分辨率增强图像403通过在时间窗口401内合成帧的自适应时间内插构造。FIR(有限脉冲响应)结构的自适应时间滤波器400应用到每个像素位置。滤波器系数基于每个像素相关的运动估算可靠性测量确定。如果运动估算非常可靠，滤波器系数与每个帧间隔的可靠性测量成比例加权。另一方面，如果运动估算不可靠，滤波器系数更侧重对当前帧加权。
尽管前面描述的时间滤波基于摄影图像，也同样应用到使用某些光学设备捕获的图像，包括光电检测器和电子传感器，以及已被传送到上述媒体的计算产生的图像。
分辨率增强340的直接结果是，增强图像序列403中“沸腾”胶片颗粒的视觉减少。如前所述，胶片颗粒大小和形状不同，在空间和时间上随机分布。当图像被运动观看时，该随机图案产生“沸腾”颗粒现象。在宽幅电影中，观众通常比在常规电影院坐的更靠近屏幕，以致图像覆盖视场的更宽部分。这导致“沸腾”胶片颗粒变得显然讨厌的，被感知为不希望的噪声。时间滤波方法400抑制“沸腾”胶片颗粒噪声，因为它改进序列中相邻图像帧之间的时间相关性。进一步的，作为增强空间分辨率的结果，胶片颗粒也被减少。
由于每个输出帧可独立计算，图8中描述的单通时间滤波算法可用并行处理模式实现。对于大多数图像镜头，单通时间滤波在噪声减少方面非常有效。但是，对于特别躁杂的图像，或者对于噪声级是主要关注的作业，可应用其他噪声减少算法341。在本发明的一个实施例中，噪声减少341用图9中描述的三种多通时间滤波方法之一实现。为了描述清楚，实际时间滤波设备400在图9中省略，本领域技术人员很容易实现描述的这些算法。
图9(A)描述了多通时间滤波算法410。多通算法基本上重复单通方案多次。图6中描述的重放参数预测在每个通道之前应用。多通时间滤波在特别躁杂的图像中对抑制噪声是有效的。
图9(B)描述了基于时间锥形的多通算法411。在第一通道“时间”取样是粗略的，时间窗口内每N个帧被使用。对于下一个通道的时间取样率增加，直到时间窗口内的每个相邻帧在最终通道中使用。时间锥形滤波有助于减少图9(A)描述的方案所要求的计算量。
图9(C)描述了连续时间滤波算法412，可作为迭代处理实现。先前处理的帧立即用于处理下一个帧。自图9中描述的算法通常在噪声减少方面执行得更好，但是与图8的单通道算法相比，他们易于减少图像细节。在时间滤波选项处理231(如图5所示)中，某些标准可被定义，基于在处理308计算的TSNR表示的图像噪声级，为时间滤波选择最合适的选项。
图5示出重放质量估算处理226被实现，基于在时间滤波323期间由重放客户机计算的统计质量标志来估算重放性能。在本发明的一个实施例中，质量估算算法基于PMR(像素匹配率)和ASR(绝对静止率)。PMR和ASR测量对每个图像帧执行的实际时间滤波操作的影响，他们是正常范围之外的重放参数预测的有益的标志。PMR和ASR用于预测获得更好结果所要求的重放参数修改。
PMR测量在时间窗口的帧范围内被可靠估算的像素的百分比。在时间滤波中，不是每个像素可以在时间窗口内的每一帧找到对应。一些像素只能在少数帧被跟踪，一些像素根本不能被跟踪。PMR是可被跟踪的帧范围内每种类型像素的百分比的分布。到达最高点(更多的帧)的PMR指示在整个时间窗口内大多数像素被可靠跟踪。另一方面，到达最低点(较少的帧)的PMR指示运动估算算法在跟踪图像时有问题。高PMR分布暗示当前图像帧相对干净，但是也可以指示不适当的重放参数设置(例如匹配阈值太高，MSR太小)。低PMR分布可能暗示真正的噪声图像，但是也可以指示不正确的参数设置(例如低匹配阈值，MSR太大)。
ASR测量帧范围内没有重大搜索努力而易被跟踪的像素分布。在时间窗口的全部范围内那些保持在相同位置的像素被称为“绝对静止像素”。在本发明的另一个实施例中，绝对静止像素包括那些在他们的位置有很小改变的像素。对于很少运动的图像，ASR的峰值很高，对于具有明显运动量的图像，ASR的峰值很低。如果对于具有合理运动量的图像，ASR的峰值很高，它可以指示重放参数(阈值太高，搜索范围太小等等)的不适当设置。
在本发明的一个实施例中，重放质量估算处理226是一个自动化的处理。对于在场景分类处理206确定的每一类场景，PMR分布的标准分布被预先确定，该标准分布表示相同类中场景的平均PMR分布。类似的，ASR的标准分布也被确定。估算算法226比较当前作业的PMR和ASR与那些标准分布，确定应用到作业的时间重放是否在正常范围内。如果与标准分布相比，当前作业有不同的PtR或ASR分布，则作业被拒绝，并且发送回同一重放客户机，用一组修改后的重放参数来重新重放。
参数预测器220估算的重放参数对于图像特征的局部变化可能不是最佳的。一个例子是噪声分布。众所周知，胶片颗粒有不均匀的分布和胶片密度。胶片颗粒在印刷的中间影调最明显，表示大约0.6到0.9的密度范围。当摄像机曝光减少时，胶片颗粒也易于增加。类似的不均匀存在于使用电子摄像机捕获的图像中，其中在暗色区域噪声级易于很高。噪声分布的不均匀也可以是在文件格式变换中普通使用的非线性变换(对数，伽马等等)的结果。
回到图7，为了有效抑制暗色区域的噪声，同时不影响其它区域的图像质量，对图像应用噪声均衡算法321，在时间滤波前保持噪声分布均匀。算法包括以下步骤。第一步是计算噪声直方图。用一组相对大的阈值对从关键帧选择的一对帧执行全搜索运动估算。随后对每个像素计算块匹配误差。对于那些具有低块匹配误差的像素，计算直方图，并与标准直方图比较。噪声直方图是噪声和像素亮度关系的有效表示。计算噪声直方图和均匀分布直方图之间的MSE。如果MSE值很大，图像的噪声分布被认为不均匀。找到一个可以均衡噪声直方图的变换(以查找表的形式)，并且确保也有一个反变换。最后，在时间滤波前将变换应用于图像。在时间滤波后，反变换324必须应用到图像，以便保持它的原始彩色。
运动估算算法的加下划线假设是，相邻帧之间没有突然的彩色改变。当场景中有照明改变时，比如闪电，闪烁营火，移动阴影等等，该假设打破。如果没有适当的补偿，时间滤波322的效果将被减少。在本发明的一个实施例中，照明补偿算法320以选择最亮的帧作为参考开始，随后设法找到对于每一帧的变换，来匹配参考。那些变换包括伽马曲线，直方图拉伸或者其他单调非线性变换。变换可通过匹配一帧的直方图与最亮帧的直方图建立。为了保持帧之间的平滑转变，必须对时间滤波器应用变换，以确保时间一致性。一旦建立对于每一帧的变换被建立，在时间滤波前将其应用到每个帧，随后将反变换325应用到增强数据，以保持它们的原始彩色。该方法对于具有频繁但是相对小照明改变的序列是适当的。
在本发明的另一个实施例中，照明改变补偿也可作为时间滤波322的自适应机制实现。在该方法中，时间窗口内每一帧的直方图与相邻帧的直方图比较。随后所有相邻帧相对作为参考的当前帧以类似方法补偿，如前面的段落所述。由于算法总是使用当前帧作为参考帧，该自适应照明补偿算法不需要反变换。该方法对于包含强照明改变稀少但是强烈的场景是适当的。
如果对于重放作业，噪声均衡321和照明改变补偿320都是需要的，照明改变补偿320应在噪声均衡321之前应用。在本发明的另一个实施例中，两个阶段的变换被合成为一个变换，以致可以只被应用一次。
锐化327是重放客户机流水线的最后步骤，它强调图像的高频成分。由于来自分辨率增强的恢复图像细节主要是高频成分，锐化可以明显改进图像质量。锐化也可被模型化为一个处理，来恢复图像形成处理中的MTF丢失。MTF表示调制变换函数，它用于分析图像系统的质量。例如，在胶片上形成的图像质量可被模型化为处理中单个设备的MTF的乘法。这些设备可以包括摄象机光学器件，底片，印片用胶片，印刷机和扫描仪光学器件。由于大多数设备具有低通MTF，图像形成处理的合成MTF必须具有低通MTF。因此，希望的锐化算法应显示高通MTF特征，以便修正图像质量的降低。
标准钝化掩模滤波器是这样一种锐化算法，可以被描述为y(x，y)＝f(x，y)+g(x，y)·[f(x，y)-LP(f(x，y))](1)其中，LP(f(x，y))是低通滤波器。项f(x，y)-LP(f(x，y))示出了高通特征，钝化掩模滤波器通过乘以一个锐化增益g(x，y)来提高它。提高的高频成分添加到原始图像f(x，y)。滤波器增益g(x，y)通常是常数，但是它可以基于局部特征变成自适应的。在平滑区域，应选择小的滤波器增益，以致不希望的特征，比如胶片颗粒，不被强调。
标准钝化掩模滤波器的一个问题是，被强调的高频成分的范围，被等式(1)中低通滤波器的内核尺寸限制。通过改变低通滤波器的内核尺寸，图像细节的不同级，对应于MTF曲线的不同部分，可被选择性强调。对于通常包含相对大范围的图像细节的电影图像，锐化在相对宽范围的细节级中改进系统MTF是很重要的。为了达到上述目的，本发明推广了等式(1)中的钝化掩模滤波器，通过下面的描述来支持细节的多个级y(x,y)=f(x,y)+1k{Σkgk(x,y)[f(x,y)-LPk(f(x,y))}---(2)]]>在等式(2)中，第K个细节级的锐化增益值gk可被选择来补偿在该特定细节级的MTF降低。在本发明的一个实施例中，在等式(2)中使用高斯低通滤波器，一直到内核尺寸的六个级被开发。本领域技术人员将认识到本发明不限于高斯低通滤波器和六个细节级。遵循本发明教导的其他类型的低通滤波器和多个细节级是可能的。
图5描述的重放模块是为获得要求时间操作的图像处理任务的高效率而专门设计的。智能控制器141管理重放任务分配，并且基于预先确定的负载平衡方案将作业分布到专门的重放客户机。如果有多个可利用的候选，智能控制器检查重放客户机簇163中的网络通信负载分布，并且从一个簇(或多个簇)选择一个具有最低通信负载的重放客户机(或者多个重放客户机)。对于队列中的每一个作业，可以分配到单个重放客户机，特别是当在队列中等待的作业多余可利用的重放客户机的数目时，或者可能分配一个作业到多个重放客户机时，特别是当作业需要尽可能快地完成时。在本发明的一个实施例中，作业分配处理222按照图10描述的三个方案之一。
在方案A 420中，每个镜头分配给单个重放客户机，它将被发送到具有最短等待时间的一个重放客户机。例如，如果两个重放客户机是可利用的，作业将被分配给在等待处理的具有更少帧的重放客户机。如果两个重放客户机具有相同的等待时间，作业将被发送给簇有最少负载的重放客户机。在方案B 421中，单个镜头被分成许多片断，每个片断至少包括最小数目的帧。每个片断被分配给一个重放客户机，遵循同样的“最短等待时间和最少负载”标准。片断之间应该有足够的帧重叠，以致每一个片断被时间滤波器正确重放。需要的重叠帧的数目由时间窗口大小确定。智能控制器141必须总是知道在时间滤波中使用的当前时间窗口大小，并且计算要求的重叠帧。在方案C 420中，每个帧进一步分成多个区域，每个区域分配给一个重放客户机。由于运动估算的特性，每个区域必须允许足够的重叠行和列，以便适应运动估算算法开发的搜索策略。本领域技术人员将认识到本发明不限于图10描述的三种方案，遵循本发明教导的其他作业分配方案也是可能的。
一旦被指示运行一个作业，每个重放客户机负责从中央数据存储器152采集要求的所有图像数据，对每个帧运行必需的操作，将增强图像数据送到控制器数据存储器的临时位置。对于分配到多个重放客户机的一个作业，智能控制器负责汇编224来自重放客户机的重放片断，使其成为一个连续的镜头。智能控制器也检查汇编数据的完整性225，检查镜头中临时丢失的帧或者不完全的帧。如果临时丢失的帧或者不完全的帧被发现，智能控制器发送请求到相同重放客户机，重放那些帧。智能控制器和重放客户机之间的通信对于重放效率是决定性的。智能控制器跟踪每个重放客户机的当前状态，并且不断监视可利用的处理器。在重放客户机发生故障时，智能控制器发出修理警报。它改道发送作业到其他可利用的客户机处理。诊断处理确保传送中没有数据丢失。如果智能控制器服务器遇到故障，故障之前系统的状态被保存。在本发明的一个实施例中，智能控制器服务器重新启动，取消正在重放客户机运行的所有处理，并且重新分配作业到每个重放客户机。在本发明的另一个实施例中，智能控制器探询重放客户机他们的状态，找到它们的当前状态，并且恢复控制。这是一个更复杂的重新启动方案，但是不需要数据的重新重放。
如前面章节所述，重放操作的性能通过估算统计质量标识来估算，比如PMR和ASR，由重放客户机计算。但是，标准PMR或者ASR测量不能保证最佳视觉质量。需要通过人类视觉检查来确保最终视觉质量，该处理由验证模块113实现，图11所述。增强图像的代替版本，在重放客户机流水线(图7)的代替产生处理328产生，用于视觉检查。代替图像的大小应足够用户发现存在的重放问题，但是小到足够确保软件观看效率。通过观看专用软件实时显示的代替版本，用户可以确定图像质量。
在本发明的一个实施例中，用户首先检查每个作业是否完成240。重放模块中的自动化完整性检查处理225不捕获所有重放问题，那些被完整性检查225遗漏的帧将在该阶段被捕获。那些发现问题的帧被重新提交到原始重放客户机进行处理。一旦一个作业被认为完成，用户将检查下面的用户最关心的质量方面·验证是否全部图像和局部区域的噪声电平是可接受的244；·验证是否视觉清晰度是适当的245；·验证是否足够图像细节被保持和增强246；·验证是否再成帧决定是正确的247；·验证是否进一步的彩色校正是必需的248；·验证是否存在必须被消除的假象249；·验证是否镜头中的运动导致观看不舒适250。
图像细节的检查要求用户以高分辨率观看图像。在这种情况下，增强图像数据和原始参考对用户都是可利用的。在本发明的一个实施例中，专用软件在相同观看窗口显示两个图像数据，以致用户可以用数字擦功能比较两个图像。
如果用户发现作业的噪声电平太高，或者作业的视觉清晰度不适当，或者存在不能接受的图像细节丢失，作业将重新提交到具有用修改后的重放参数的重放模块251。在本发明的一个实施例中，用户与测量的统计质量标志协商作出决定。智能控制器141通过专用软件在工作站153向用户提供那些统计测量(PMR，ASR，TSNR，运动等等)的图形化显示。基于可利用的统计数据，用户作出必需的参数修改的决定。在本发明的另一个实施例中，自动化算法在处理251中执行，基于相同统计测量，计算重放参数的必需的修改。
如果用户发现再成帧的问题，图像镜头应被发送回预处理模块，获得新的再成帧决定。关于彩色248，假象249和运动校正250的问题，用户作出校正决定252，发送图像数据到后处理以修正，并且没有通过标志。具有可接受图像质量的每个图像镜头从智能控制器获得一个通过标志254，并且也被发送到下一个后处理模块，用于数据输出。
如图12所示，在后处理模块中，要求修正的图像镜头被发送，用于假象消除265，或者彩色校正266，或者运动校正267。假象消除和彩色校正的方法与预处理模块111中的处理非常类似。修正镜头被发送回验证113，获得通过标志254。没有通过标志的任何图像镜头不允许通过检查点260。认可的图像镜头以与电影中相同的顺序组织261，并且在被发送到图像输出阶段120之前转变为要求的输出格式。后处理阶段的所有这些操作被智能控制器141控制和跟踪。
运动校正267是专用于宽幅投影要求的处理。当传统电影在宽幅电影院放映时，其中在该宽幅电影院中，图像覆盖了观众视场的更大部分，电影中的运动感觉也被放大。对于包含快速摄像机运动(fast camera motion)或者严格对象运动(rigorous object motion)的场景，放大的运动感觉可能导致某些观众观看不舒服。运动校正是一种通过减少角运动来减少与运动有关的观看不舒服的方法。
在本发明的一个实施例中，运动校正方法减少两种运动问题运动选通(motion strobing)和极度摄像机抖动(extreme camera shaking)。运动选通是修正的投影帧速率导致感觉的运动不连续。减少运动选通的方法是对图像增加运动模糊，同时不增加投影帧速率。运动模糊可通过在运动像素的运动方向上应用定向低通滤波器产生。运动方向可从已在时间滤波处理322计算的运动估算得到。
极度摄像机抖动可通过局部摄像机稳定减少。摄像机的运动可通过跟踪位于图像背景的多个特征点计算得到。从很多特征开始，例如几千，跟踪算法排除大部分特征，直到只有最可靠的特征被留下。接着在后来的帧中重复处理，直到镜头结束。这样，大部分普通特征在整个序列中找到。对于每个特征，相邻帧之间的运动矢量被定义。统计分组方法被用于将特征分组为规则运动特征和不规则运动特征。全局摄像机运动曲线通过平均所有规则运动特征计算得到。摄像机稳定通过基于跟踪特征减少全局运动曲线和计算全部场景获得。运动减少量是减少观看不舒服和保持电影制片者最初想要的相同运动感觉之间的折衷结果。
在本发明的一个重要方面是，智能控制器141提供作品管理的功能，该功能对于动画重新灌录方案的成功是非常重要的。由于访问来自智能控制器141的数据的每个设备和处理被作为一个客户机，客户机-服务器结构允许智能控制器管理整个重新灌录方案的进行，并且跟踪处理的每个阶段的每个操作的状态。
在本发明的一个实施例中，被智能控制器141跟踪的信息的类型在图13中列出。被跟踪的作品数据的例子包括；·原始图像数据的状态；·场景/镜头列表和将来的修改；·每个镜头的预处理决定；·处理的不同阶段的每个镜头的状态；
·应用到处理的每个阶段的每个镜头的操作；·用于每个镜头的重放操作的参数；·每个镜头的版本状态；·每个镜头的验证决定；·每个镜头的图像输出处理的状态；·与每个镜头相关的用户首选和用户决定；·与每个镜头的处理相关的用户通知；·每个镜头的认可决定，等等。
基于上述信息，智能控制器提供关于作品状态的最新报告。报告的形式是用户指定的。报告的例子包括·扫描和接收的胶片百分比；·多少镜头已被处理；·基于当前吞吐量的方案完成日期估算；·已被认可的镜头百分比；·用特定参数重放后的镜头列表；·每个镜头有多少版本；·每日，每周，每月吞吐量报告；·系统利用报告，等等。
智能控制器也允许用户通过询问系统创立他们自己的报告。询问系统支持的信息的例子包括·镜头数目；·镜头长度；·镜头版本；·重放参数；·验证状态；和·认可状态，等等。
前述提供了用于举例说明、解释和描述本发明的实施例。对这些实施例的进一步的修改和改编对本领域技术人员是显而易见的，可在不脱离本发明的范围或者精神的情况下作出。
权利要求
1.一种数字重新灌录具有增强的图像分辨率和质量的图像序列的方法，包括将图像序列转换为一种包含原始图像数据的数字格式；使用时间处理来处理原始图像数据，产生具有增强的分辨率和质量的增强图像数据。
2.根据权利要求1的方法，进一步包括将增强的图像数据转换为一种选择格式。
3.根据权利要求1的方法，进一步包括检查图像序列的适当分辨率和质量。
4.根据权利要求1的方法，其中图像序列是源自35毫米胶片格式的电影，并且将图像序列转换为数字格式包括用胶片扫描器数字化胶片。
5.根据权利要求1的方法，其中图像序列是源自数字格式的电影，并且将图像序列转换为数字格式包括原始数字格式的数据转换。
6.根据权利要求1的方法，其中图像序列是包含用光学设备或者电子传感器捕获的图像的任何图像序列格式。
7.根据权利要求2的方法，其中选择格式是具有增强的分辨率和质量的胶片格式，并且将增强的图像数据转换为选择格式包括使用胶片记录器的胶片记录。
8.根据权利要求2的方法，其中选择格式是具有增强的分辨率和质量的数字显示格式，并且将增强的图像数据转换为选择格式包括转换为数字显示格式的数据变换。
9.根据权利要求2的方法，其中选择格式是具有增强分辨率和质量的原始电影的同时发行。
10.根据权利要求1的方法，其中使用时间处理来处理原始图像数据包括预处理过程，重放过程，验证过程，后处理过程。
11.根据权利要求10的方法，其中预处理过程包括产生代替图像数据；接收对原始图像数据的预处理决定，包括镜头分离，再成帧，彩色校正，假象识别和场景分类；基于预处理决定，使用图像处理工具来为重放处理准备原始图像数据。
12.根据权利要求11的方法，其中场景分类由自动算法基于场景分析执行。
13.根据权利要求11的方法，其中假象识别和假象消除由自动算法执行，假象用来自当前帧和相邻帧的他们的唯一特征识别，并且通过基于帧间运动估算或帧内内插计算得到的预测像素值消除。
14.根据权利要求11的方法，其中假象识别和假象消除由半自动算法执行，利用时间处理交互定位假象，并且自动消除。
15.根据权利要求10的方法，其中重放过程包括接收分离成具有图像镜头数据的镜头的原始图像数据，其中每个镜头是一个重放作业；为每个重放作业预测重放参数设置；在多个计算重放客户机中分配重放作业；处理重放作业来产生重放结果；汇编分配的重放结果；检查汇编重放结果的完整性；估算汇编的重放结果的时间处理重放质量；如果必要的话，修改重放参数来改进重放结果并且重新处理。
16.根据权利要求15的方法，其中为每个镜头预测重放参数设置包括定位关键帧；计算初始运动估算设置；通过使用初始运动估算设置和将运动估算算法应用到关键帧，来计算运动估算；基于计算的运动估算来计算统计时间测量，产生重放参数设置。
17.根据权利要求16的方法，其中统计时间测量包括TSNR，运动和FMD。
18.根据权利要求17的方法，其中重放参数设置通过产生一组相应于给定FMD的匹配阈值以及基于TSNR和运动的进一步修改来产生。
19.根据权利要求15的方法，其中处理重放作业包括时间滤波；图像大小的调整；图像锐化。
20.根据权利要求19的方法，其中处理重放作业进一步包括照明改变补偿；噪声均衡；计算统计质量标志；代替产生。
21.根据权利要求15的方法，其中处理重放作业包括一种提供增强的图像分辨率和减少噪声的时间滤波方法，包括计算运动估算；调整运动场；恢复细节。
22.根据权利要求21的方法，其中时间滤波方法进一步包括使用一种多通时间滤波方法，一种时间锥形滤波方法或者一种连续时间滤波方法来减少噪声。
23.根据权利要求21的方法，其中照明改变补偿用于改进时间滤波方法的性能。
24.根据权利要求21的方法，其中噪声均衡用于改进时间滤波方法的性能。
25.根据权利要求20的方法，其中统计质量标志包括PMR和ASR。
26.根据权利要求15的方法，其中时间处理质量的估算基于PMR和ASR。
27.根据权利要求15的方法，其中基于PMR和ASR修改重放参数。
28.根据权利要求19的方法，其中图像锐化基于图像细节多个级的增强。
29.根据权利要求15的方法，其中在多个计算重放客户机中分配重放作业通过以下方式执行，分配全部图像镜头到单个重放客户机，将图像镜头分成重叠片断并将他们分配到重放客户机，或者将图像帧分成重叠区域并将他们分配到重放客户机。
30.根据权利要求15的方法，其中验证过程包括视觉检查增强图像数据的代替版本的完整性；视觉验证图像噪声电平，清晰度和细节保持，如果基于统计测量需要的话，修改重放参数来重新提交；视觉验证彩色，假象和运动舒服程度；如果重放图像镜头满足质量标准，则发出通过标记。
31.根据权利要求10的方法，其中后处理过程包括最终假象消除；最终彩色校正；运动校正；组织图像；输出图像数据转换。
32.根据权利要求31的方法，其中运动校正通过以下方式实现，通过增加运动模糊来减少运动选通和通过局部摄像机稳定减少极端摄像机抖动。
33.一种用于数字重新灌录具有增强的图像分辨率和质量的图像序列的系统，包括中央控制计算机服务器；图像数据文件服务器，配置为中央控制服务器的客户机设备；多个计算重放设备，配置为中央控制服务器的客户机设备，用于使用时间处理来处理原始图像数据，产生具有增强分辨率和质量的增强图像数据；多个工作站，用于涉及原始图像数据处理的用户交互操作，配置为中央控制服务器的客户机设备；数据存储设备，用于存储图像数据和处理数据；图像数据输入和输出设备；计算机网络，提供中央控制服务器和所有客户机设备之间的通信。
34.根据权利要求33的系统，其中计算重放设备是并行配置的标准计算机，并且分配结构设计为同时支持多个图像序列的时间处理。
35.根据权利要求33的系统，其中中央控制计算机服务器能够资源管理，质量最优化，计算效率最优化，作品管理，系统管理，用户交互。
36.一种通过时间滤波方法来数字重新灌录具有增强图像分辨率和质量的图像序列的方法，包括计算运动估算；调整运动场；恢复细节。
37.根据权利要求36的方法，其中时间滤波方法进一步包括使用一种多通时间滤波方法，一种时间锥形滤波方法或者一种连续时间滤波方法来减少噪声。
38.根据权利要求36的方法，其中照明改变补偿用于改进时间滤波方法的性能。
39.根据权利要求36的方法，其中噪声均衡用于改进时间滤波方法的性能。
40.一种基于图像细节的多个级的增强使用图像锐化方法来数字重新灌录具有增强图像分辨率和质量的图像序列的方法。
全文摘要
本发明公开了一种电影和其他运动图像序列的数字增强的过程和方法，用于以包括宽幅影院的选择的显示格式放映。本发明通过时间滤波过程有效增强了图像分辨率和质量，并使用自动或交互统计质量估算方法获得了高性能。也公开了一种专用于并行有效时间计算和具有多种最优化方案的分配计算结构的系统。方法和系统的性能通过智能控制器最优化，并且可缩放地支持以原始格式以及任何选择格式同时电影发行所要求的任何吞吐量要求。
文档编号H04N5/21GK1650622SQ03810057
公开日2005年8月3日 申请日期2003年3月13日 优先权日2002年3月13日
发明者周叶平 塞缪尔, 朱迪肯斯 保罗 申请人:图象公司