专利名称：用于处理数字内容的方法及设备的制作方法
技术领域：
本发明涉及一种用于处理数字内容的方法和设备，如数字图像序列。更具体地，本说明书描述了一种用于处理数字内容的方法和设备，允许使用一个或更多处理节点在传送数字内容到一个或更多处理节点导致的延迟降低的情况下对数字内容进行处理。
背景技术：
电影胶片(motion picture film)作为数字内容的重要实例,是我们文化遗产的一部分。不幸的是，它们经常受到令人不悦的物体的影响，如刮痕，灰尘，污垢，污点，磨损等。今天，人们做出了许多努力对电影胶片进行恢复。通常地，在扫描电影胶片后执行数字式恢复。显然地，通过寻找并除去每个刮痕和污垢对象手动恢复数字化的胶片是一件非常耗时的事情，尽管目前已经有在售的在许多方面协助艺术家做这项工作的软件。尤其地，手动恢复具有大量刮痕或污垢的比较老的内容在经济上可能是不可行的。对于大量的具有未知商业价值的片段存档来说更是如此。应用使用试图检测并除去刮痕和污垢的算法的自动恢复软件是手动处理唯一可行的替代方案。目前已有许多种或多或少自动执行检测和除去刮痕和污垢的软件和硬件产品在售。通常需要手动调整某些参数以微调检测和除去，有时对每个场景单独进行。处理过后，恢复的输出或其若干部分必须被接受或拒绝，可以选择使用不同的参数重新运行恢复。这难以让人感到满意，因为调整耗时，并且没有被特别适配过的关键场景的质量也可能不够好。检测刮痕和污垢并非是一个不重要的问题，这个问题目前未完全解决。仍然存在一定比率的未被检测出来或被错误检测的物体。近来，已经有人提出将电影胶片的恢复处理分解为检测对象，例如刮痕和污垢对象，以及使用自动元数据驱动工作流程除去，再进一步将检测过程和除去过程分解为多个更小的处理任务，它们可以被分配给多个处理节点。电影胶片被处理为单个帧文件格式，如DPX (SMPTE268-2003)或TIFF (ISO12639:2004)，或者被处理为基于容器(container)流的文件格式，如MXF (SMPTE 377M)或AVI (用于 Windows SDK, Microsoft 的视频)和 MOV (QuickTime, Mac OSX SDK, Apple)。如果最小的工作单元是一个帧，那么单个帧文件格式对于流水线和多处理是理想的。电影胶片可以被分解为若干帧，并且这些帧可以被逐帧传送给处理节点。如果足够多的帧到某一达处理节点，那么就可以开始处理并通过并行接收新的帧继续。这意味着即使电影胶片的帧的数目非常大，处理节点也可以在接收到少数几帧之后马上开始处理。形成对比的是，为了处理索引化的文件，如AVI或M0V，需要将整个电影胶片传送给处理节点，这是因为电影胶片的索引位于文件的最后。因此，处理无法在传送时间过程中开始，取决于到处理节点的网络的带宽，处理被延迟相当长的一段时间。在任何作为具有重要的管理数据如索引表的较大文件被传送到多处理节点的数字内容的情形中都会出现同样的问题。
发明内容
因此，本发明的目的在于提出一种使用一个或更多处理节点处理数字内容的解决方案，它并不要求在处理开始之前将全部电子内容传送给多个处理节点。一种用于使用一个或更多具有相关联的存储系统的处理节点处理存储在数据存储库中的数字内容的方法，数字内容被放置在包括与容器文件格式一致的内部文件管理信息的容器文件中，所述方法包括下列步骤:-在存储系统上创建具有数字内容的大小的占位符文件；-将内部文件管理信息从数据存储库传送到存储系统；-将传送的内部文件管理信息存储在容器文件格式规定的占位符文件之内的位置；-将数字内容的内容元素从数据存储库传送到存储系统；-将传送的内容元素存储在占位符文件之内的规定的位置；以及-使用一个或更多处理节点处理存储的内容元素。为了方便实施上面提出的方法，一种用于使用一个或更多具有相关联的存储系统的处理节点处理存储在数据存储库中的数字内容的设备，数字内容被放置在包括与容器文件格式一致的内部文件管理信息的容器文件中，所述设备包括:-用于从数据存储库接收内部文件管理信息和数字内容的内容元素的输入端；以及-用于在存储系统上创建具有数字内容的大小的占位符文件，并用于在容器文件格式规定的占位符文件之内的位置上存储接收到的内部文件管理信息，还用于在占位符文件之内的规定的位置上存储接收到的内容元素的写入引擎。本发明的解决方案提出在处理节点的存储系统上创建具有原始文件大小但不具有有效数据的容器文件，例如MXF文件、AVI文件或MOV文件。然后文件传输首先以容器文件格式规定的特定的文件偏置写入内部文件管理信息，例如索引表和/或首标信息。仅此后,再传送文件的内容部分,例如数字图像序列的若干帧。这样在处理节点上创建了数字内容文件，它看起来像是有效文件。使用这种方式处理节点可以在较短的时间后从文件中首先读取内容元素。该解决方案使得较之现有解决方案能够在整个文件被传送到一个或更多处理节点之前早得多地开始处理。根据网络带宽的不同，这样做可以节省几个小时不等。有利地，与存储系统中哪些数字内容的内容元素可用有关的信息被存储在管理文件中、系统存储器或其它存储器中。为了达到此目的，优选地提供一种内容跟踪器。这样可以保证处理节点不会试图读取文件的无效区域。有利地，在开始处理内容元素之前，在存储系统中检查是否所有的对于特定处理任务来说必需的数字内容的内容元素都是可用的。这可以帮助防止由于必需的数据缺失而弓I起的数字内容处理的中断。否则，这种中断可能导致到中断点的数字内容的处理重新执行一次的必要，这将增加处理时间。有利地，内容元素的处理结果被提供给处理工作流程的下一级。例如，对电影污垢检测处理的结果可用于污垢去除处理。 这允许在对整个电影的检测处理还未完成之前就开始去除处理。
为了更好地理解本发明，下面的描述将参照附图进行更加详细地说明。应该理解的是，本发明并不限于这些示例性实施例，并且特定特征也可以在不偏离所附权利要求限定的本发明的范围的情况下进行权宜地组合和/或修改。附图中:图1示出了用于处理数字内容的系统；图2示例了基于文件的帧；图3示出了具有索引表的容器文件；图4示意性示出了根据本发明的处理数字内容的工作流程；图5示出了管理文件的帧表格的实例；以及图6示出了根据本发明的用于将数字内容写入存储系统的设备。
具体实施例方式图1示出了用于处理数字内容的示例性系统，例如图像处理系统。该系统包括数据存储库1，通常是一个较慢但较大的存储系统，以及多个具有与之相关联的存储系统3的处理节点2。存储系统3通常使用较小但非常快的存储系统并至少保存当前将要被处理的数字内容。处理节点2和数据存储库I都和总线系统4连接，例如PC1、PCIe、以太网、Infiniband或FC总线系统。为了处理数字内容，首先必须将被请求的数字内容从数据存储库I传送(如果有必要的话，要进行转码或转换)到存储系统3。与互连4相关，从处理时间的数量级来看，这可能是一个需要相当长持续时间的耗时的任务。为了缩短整个运行时间，使用了流水线处理方案，这意味着处理不会等到全部数字内容传送完成。取代的做法是，为了保证充分使用处理节点2的CPU，在传送最小数目的帧(即特定处理步骤所需的所有帧)之后马上开始处理。当然，处理节点2需要有关当前可用帧的信息以防止处理未定义数据。使用基于如DPX、TIFF、PNG的文件的帧来实施是容易的，如图2中示例性所示。文件5的名称包含帧序号。因此确定哪些帧是存在且可用是非常容易的。然而，对如AV1、MOV、MXF等的容器文件6，情况完全不同，如图3所示。这些文件6包含索引表7，它们对存取帧来说是必需的。为了允许处理作为存取文件传送的数字内容，使用了如图4所示的工作流程。工作流程不要求顺序传送存取文件的数据。在第一步10中，在一个或更多存储系统3中创建了具有原始存取文件的大小的占位符文件。然后，将包含内部文件管理信息的存取文件6的区域传送11给存储系统3。内部文件管理信息包括，例如具有到索引表7的链接的首标信息8和索引表7本身。然后，将传送的内部文件管理信息存储12到占位符文件之内的正确位置。使用底层操作系统的或底层基础设施的搜素和写操作写入文件的这些区域。一旦写入12有效的内部文件管理信息，数字内容的元素，例如视频帧，就被传送13并存储14在文件中特定的位置上。与此同时，生成有关哪些内容元素已经可用的信息并存储15在管理文件、系统存储器或其它存储器内， 例如包含已经到达的若干帧的序号的表。为了能够确定当前读取限制，处理节点2检验16管理文件以确定哪些需要的数字内容元素已经可用，然后将所需数据从存取文件6中读取17出来以用于对数字内容进行处理18。当确定19所有必需的数据已经被写入14存取文件并已经由处理节点2处理18后，处理结束20。在处理18之后，处理结果可用于更多的工作流程步骤，例如检查操作。提出的工作流程具有下述优点:当只有部分数字内容将要被处理节点2处理时，除了内部文件管理信息以外，只有相应的数字内容的元素会被存储14在存取文件6中，这将大大降低传送的数据量。图5示出了跟踪已经到达的电影帧的表格实例。在此实例中，电影的N个帧中的每个都保留了表格输入项。到达的帧的数目被记录在对应的输入项中，而没有到达的帧被表示为“不可用”(N.A.)。图6示意性示出了用于将数字内容写入本地或网络存储系统3的设备30。设备30包括用于通过接口 32在存储系统3上创建占位符文件的、并用于使用内部文件管理信息
7、8以及通过输入端33从数据存储库I取回的数字内容的元素填充该占位符文件的写入引擎31。写入引擎31被放置在用于处理数字内容的系统的发送器一侧或接收器一侧。如果写入引擎31局部工作，那么发送器一侧和接收器一侧是相同的。如果写入引擎31被放置在接收器一侧， 那么它优选地还包括用于跟踪存储系统3上哪些数字内容的元素已经可用的内容跟踪器34。
权利要求
1.一种用于使用一个或更多具有相关联的存储系统(3)的处理节点(2)处理存储在数据存储库(I)中的数字内容的方法，所述数字内容被放置在包括与容器文件格式一致的内部文件管理信息(7，8)的容器文件中，所述方法包括下列步骤: 在所述存储系统(3)上创建(10)具有所述数字内容的大小的占位符文件； 将所述内部文件管理信息(7，8)从数据存储库(I)传送(11)到所述存储系统(3)； 将传送的内部文件管理信息(7，8)存储(12)在所述容器文件格式规定的所述占位符文件之内的位置； 将数字内容的内容元素从数据存储库(I)传送(13)到存储系统(3); 将传送的内容元素存储(14)在所述占位符文件之内的规定的位置；以及 使用一个或更多处理节点(2 )处理(18 )存储的内容元素。
2.如权利要求1所述的方法，进一步包括下列步骤:将与存储系统(3)中哪些数字内容的内容元素可用有关的信息存储(15)在管理文件、系统存储器或其它存储器中。
3.如权利要求1或2所述的方法，进一步包括下列步骤:在开始处理(18)内容元素之前，在存储系统(3)中检查(16)是否所有的对于特定处理任务来说必需的数字内容的内容元素都是可用的。
4.如权利要求1至3中任何一项所述的方法，进一步包括将内容元素的处理(18)结果提供给处理工作流程的下一级的步骤。
5.如权利要求1至4中任何一项所述的方法，其中所述内部文件管理信息(7，8)包括一个或更多索引表(7)和/或首标信息(8)。
6.如权利要求1至5中任何一项所述的方法，其中所述内容元素是数字图像序列的若干中贞。
7.如权利要求1至6中任何一项所述的方法，其中所述容器文件是MXF文件、AVI文件和MOV文件中一种。
8.一种用于使用一个或更多具有相关联的存储系统(3)的处理节点(2)处理存储在数据存储库(I)中的数字内容的设备，所述数字内容被放置在包括与容器文件格式一致的内部文件管理信息(7，8)的容器文件中，所述设备包括: 用于从所述数据存储库(I)接收内部文件管理信息(7，8 )和数字内容的内容元素的输入端(33);以及 用于在所述存储系统(3)上创建(10)具有所述数字内容的大小的占位符文件，并用于在所述容器文件格式规定的所述占位符文件之内的位置上存储(12)接收到的内部文件管理信息(7，8)，还用于在所述占位符文件之内的规定的位置上存储(14)接收到的内容元素的写入引擎(31)。
9.如权利要求8所述的设备(30)，进一步包括用于跟踪存储系统(3)上哪些数字内容的内容元素已经可用，并用于将与存储系统(3)上哪些数字内容的内容元素已经可用相关的信息存储(15)在管理文件中的内容跟踪器(34 )。
10.如权利要求8或9所述的设备(30)，其中所述内部文件管理信息(7，8)包括一个或更多索引表(7)和/或首标信息(8)。
11.如权利要求8至10中任何一项所述的设备(30)，其中所述内容元素是数字图像序列的若干帧。
12.如权利要求8至11中任何一项所述的设备(30)， 其中所述容器文件是MXF文件、AVI文件和MOV文件中一种。
全文摘要
提出了一种用于处理放置在包括内部文件管理信息(7，8)的容器文件中的数字内容的方法和设备(30)，其允许使用一个或更多的处理节点(2)对数字内容进行处理，通过将数字内容传送到一个或更多处理节点(2)使得延迟时间降低。在与处理节点(2)相关联的存储系统(3)上创建(10)具有数字内容的大小的占位符文件之后，内部文件管理信息(7，8)被从数据存储库(1)传送(11)到存储系统(3)并被存储(12)在容器文件格式规定的占位符文件之内的位置上。随后，数字内容的内容元素被从数据存储库(1)传送(13)到存储系统(3)并被存储(14)在占位符文件之内的规定的位置上。然后，使用一个或更多处理节点(2)处理(18)这些存储的内容元素。
文档编号G06F17/30GK103220318SQ201210504690
公开日2013年7月24日 申请日期2012年11月30日 优先权日2011年11月30日
发明者R.凯勒, O.坎普亨克尔 申请人:汤姆森特许公司