对元数据进行优先次序排序的方法和装置制造方法
【专利摘要】描述了一种用于对与音频或视频数据相关联的元数据项进行优先次序排序的方法和装置。从元数据存储库（22）或通过输入端（21）检索（10）元数据项。分析单元（24）使用多个优先次序排序方法之一确定（13）元数据项的优先级值。然后，存储单元（25）将所述优先级值存储（14）在优先级表中并在元数据表中引用（15）该优先级表。
【专利说明】对元数据进行优先次序排序的方法和装置
【技术领域】
[0001]本发明涉及一种用于对元数据进行优先次序排序的方法和装置，更具体地，涉及一种基于对优先级变量的分析，对与音频或视频数据相关联的元数据进行优先次序排序的方法和装置。本发明还涉及一种用于对音频或视频数据进行注释的方法和装置。
【背景技术】
[0002]今天，可在图书馆、档案馆和数据库中获得海量的数据。数字化和元数据(即关于数据的数据)，简化了对这些数据的使用。在数字化或内容分析期间，不同的元数据提取方法被用于提取和保存这些元数据到内部元数据存储库。在元数据的帮助下，可以高效地存取底层数据。然而，随着可用于提取元数据的方法的数量的增加，在存储库中的元数据量也相应地增加。这种元数据量的巨大增长在一定程度上降低了数据存取的效率。如何提高元数据质量也因此变得越来越重要。每天增长的数字音频和视频内容的量向数字胶片和视频存档中的内容管理系统提出了新的挑战。因此，需要可以高效地存取和编辑音频和视频内容的创作工具(authoring tool)。解决这个问题的方法之一是在语义地链接的元数据(semantically linked metadata)的帮助下描述音频和视频文件的内容，以及使用这种类型的元数据来有效的管理海量数据集。通过应用语义地链接的元数据，可以非常高效地实现在浏览内容或对特定内容的搜索和检索。语义地链接的元数据是一种资格元数据(qualified metadata)。同样,类似内容的各类建议也可使用语义地链接的元数据来实现。
[0003]尽管如此，利用语义地链接的元数据，关联到音频或视频文件的元数据的总量对某些应用来说还是太大。例如，对于视频文件的语义注释和链接工作，档案管理员希望有一个可以高效地限制所呈现的元数据的量的工具。举个例子，人脸检测算法检测视频中的所有的面孔，而不管所检测的面孔与内容的语义描述有多相关。通常情况下，在新闻节目中所检测面孔的大约5%是与语义注释和链接工作相关的。因此，如果只在图形用户界面中将相关的元素呈现给用户，将极大地增加手动语义注释和链接工具的效率和可用性。因此，这种工具的一个重要方面是考虑语义元数据与视频数据的语义描述的可能的相关性来对语义元数据进行优先次序排序。
[0004]在欧洲专利申请11306747.4中已经提出了用于对元数据进行优先次序排序的方案，其中，通过将独立产生的语义元数据的特定特征相结合来自动确定优先级值。根据该方案，用于确定与视频数据项相关联的第一元数据项集合中的元数据项的优先级值的方法包括以下步骤，所述第一元数据项集合是第一类型:
[0005]-检索所述第一元数据项集合；
[0006]-检索与视频数据项相关联的第二元数据项集合，所述第二元数据项集合是不同于所述第一类型的第二类型；
[0007]-计算第一元数据项集合的多个预定的优先级变量中的一个或多个，其中，所述一个或多个优先级的变量是计算自第一元数据项集合的元数据项和第二元数据项集合的元数据项；[0008]-执行对所述一个或多个优先级变量的分析；以及
[0009]-基于所述对一个或多个优先级变量的分析结果，确定第一元数据项集合的元数据项的优先级值。
[0010]为了对元数据进行优先次序排序，使用优先级变量。这些优先级变量是计算自不同类型的元数据和/或计算自元数据的类型之间的关系。一旦确定了优先级变量，对它们进行分析以自动将元数据项分类成不同的类别，例如重要的和非重要的。因此每个元数据的最终优先级值由一个标志来表示，即基本上是由一个整数值来表示。
【发明内容】
[0011]本发明的一个目的是提出一种对元数据进行优先次序排序的改进的方案，它适合于优先排序的元数据的复杂应用。
[0012]根据本发明，对与音频或视频数据相关联的元数据项进行优先次序排序的方法包括以下步骤:
[0013]-检索元数据项；
[0014]-使用多种优先次序排序方法之一来确定元数据项的优先级值；
[0015]-在优先级表中存储优先级值；以及
[0016]-在元数据表中引用所述优先级表。
[0017]因此，一种对与音频或视频数据相关联的元数据项进行优先次序排序的装置包括:
[0018]-元数据收集器或提取器，用于从元数据存储库或通过输入端检索元数据项；
[0019]-分析单元，用于使用多种优先次序排序方法之一来确定元数据项的优先级值；以及
[0020]-存储单元，用于将优先级值存储在优先级表中，并且用于在元数据表中引用所述优先级表。
[0021]已经发现，将简单的整数用作优先级值限制了元数据优先次序排序的复杂的场景的应用。因此，根据本发明，优先次序排序的结果通过优先级表来表示，例如SQL数据库表。这样的表允许更复杂的元数据优先次序排序应用。例如，可对同一元数据项应用不同的元数据优先次序排序方法，这可能导致不同的优先级值。使用如在现有技术中提出的单一的优先级值将需要开发人员从元数据的优先次序排序的处理阶段中得到的多个结果中选择“最好”的优先级值。因此，元数据项的所有其它优先级值将丢失。根据本发明的方案保留所有确定的优先级值用于将来的应用。
[0022]作为另一个优点，根据本发明的解决方案允许存储附加信息以用于优先级值。举例来说，附加信息可以包括应用于元数据项或元数据项可用的优先级值的优先次序排序方法的总数、由开发者或用户设置的优选的优先级值、优选的优先级值是否是原始或后编辑的值的信息，等等。
[0023]优选地，生成并存储优先级细节表，它包括关于所使用的优先次序排序方法的信息。这具有的优点是记录了特定的优先级值实际上是如何确定的。
[0024]根据本发明的另一个方面，一种用于注释音频或视频数据的方法包括以下步骤:
[0025]-从元数据存储库中检索与音频或视频数据相关联的一组元数据项；[0026]-确定所检索的元数据项集合中的元数据项的优先级值；
[0027]-基于所确定的优先级值从检索到的元数据项集合中确定元数据项的子集；
[0028]-向用户呈现所述音频或视频数据的至少一部分以及所述元数据项的子集；
[0029]-接收用户输入以修改一个或多个元数据项或所呈现的元数据项子集的优先级值；以及
[0030]-存储修改后的一个或多个元数据项或优先级值。
[0031]因此，一种用于注释音频或视频数据的装置包括:
[0032]-元数据收集器或提取器，用于从元数据存储库中检索与音频或视频数据相关联的元数据项集合；
[0033]-分析单元，用于确定所检索的元数据项集合中的元数据项的优先级值以及基于所确定的优先级值从检索到的元数据项集合中确定元数据项的子集；
[0034]-显示器，用于向用户呈现所述音频或视频数据的至少一部分以及所述元数据项的子集；
[0035]-用户界面，用于接收用户输入以修改一个或多个元数据项或所呈现的元数据项子集的优先级值；以及
[0036]-存储单元，用于存储修改后的一个或多个元数据项或优先级值。
[0037]该解决方案具有的优点是，只在，例如，显示器图形用户界面上向用户呈现元数项的子集。这个子集有利地只包含最相关的元数据项，即那些具有最高优先级值的元数据项。这大大增加了手动注释音频或视频数据的效率。为了确定所述优先级值，或者使用多种优先次序排序方法中的一种，或者从所述元数据存储库中检索具有优先级值的预先确定的优先级表。
【专利附图】
【附图说明】
[0038]为了更好地理解，现在将参照附图在以下描述中更详细地解释本发明。应理解，本发明并不限于这个示例性实施例，并且特定的功能也可以在不脱离在所附权利要求书中定义的本发明的范围的情况下，方便地进行组合和/或修改。附图中:
[0039]图1示出分段表形式的示例性元数据优先次序排序结果，
[0040]图2示出图1中分段表的变型，它包含指向元数据项的优先级表的指针，
[0041]图3示出了优先次序排序后的元数据项的示例性优先级表，
[0042]图4描绘了被优先级表中的标识符所引用的优先级细节表，
[0043]图5说明了根据本发明的总体思路的方法，
[0044]图6示意性地说明了适于执行图5中的方法的装置，
[0045]图7说明了使用优先次序排序后的元数据项来注释音频或视频数据的方法，以及
[0046]图8示意性地说明了适于执行图7中的方法的装置。
【具体实施方式】
[0047]在下文中，本发明应被解释为用于从视频数据中提取的元数据。当然，本发明并不限于这种类型的数据。同样地，它可以被应用到音频数据或其它类型的数据，例如文本数据。[0048]在从视频数据中自动提取元数据期间，产生多个类型的元数据。元数据的第一种类型是时间分段的元数据，这是基于对场景、拍摄、子拍摄等的检测。元数据的第二种类型是空间分段的元数据，这是通过，例如，人脸检测或人脸群组分段、或更一般地通过目标检测而得到。另一种类型的元数据是质量元数据，诸如对比度、亮度、清晰度、有关块伪像(blocking artifact)和压缩伪像的信息、整体品质,或噪声。缺陷元数据提供有关遗失信息、污损和失误等的信息。最终，语义元数据包括，除其他外，视频数据的文本注释、字幕和种类。为了开发高性能的元数据应用程序，这些元数据被进行优先次序排序，例如，如在欧洲专利申请11306747.4中所描述。
[0049]图1示出分段表形式的示例性元数据优先次序排序结果。该表为每个分段包括一个分段开始(SegmentStart)值、一个分段结束(SegmentEnd)值和一个分段持续时间(SegmentDuration)值,分别表示分段的开始时间、结束时间和持续时间。此外,该表为每个分段包括一个分段优先级(SegmentPriority),这是用作优先次序排序后的元数据的优先级值的标记。
[0050]为了使能更复杂的元数据优先次序排序的场景，根据本发明，如图2所示，对图1中的分段表进行修改。分段优先级值的定义从整数改变为字符串。分段优先级的字符串值包含指向与当前元数据相关联的优先级表的指针。
[0051]优先次序排序后的元数据项的示例性优先级表描绘在图3中。优先级表包括许多元素或属性:
[0052]1、UUID:此字段包含元数据优先次序排序处理条目的通用唯一标识符。
[0053]2、方法数量(NumberOfMethods):此字段包含用于元数据优先次序排序处理的方法的总数。
[0054]3、方法跟踪(MethodsTracking):此字段包含指向优先级细节表中相关的跟踪ID字段(跟踪IDfield)的跟踪标识符。
[0055]4、默认优先级(DefaultPriority):此字段包含指向优先级细节表中相关联的UUID条目的标识符。这个属性使开发人员可以设置默认的优先级使用。
[0056]5、用户优先级(UserPriority):此字段包含指向优先级细节表中相关联的UUID条目中的标识符。这个属性使用户能够设置用户优选的优先级使用。
[0057]上面提到的优先级细节表例示于图4中。它优选地包括以下元素或属性:
[0058]1、UUID:此字段包含每个优先次序排序处理条目的通用唯一标识符。
[0059]2、跟踪ID (TrackingID):此条目对已经应用到当前的元数据项的所有处理方法进行分组。
[0060]3、使用算法(UsedAlgorithm):此标识符指向包含有关处理方法的详细信息的使用算法表。
[0061]4、处理类型(PiOcessType):此属性显示优先次序排序处理条目是否是原始条目或后编辑的条目。
[0062]5、优先级值(PriorityValue):该条目被定义为整数值。它包含优先次序排序处理条目的优先级值。
[0063]图5说明了根据本发明的总体思路的方法。在第一步骤10中，提取或收集元数据。在接下来的步骤11中，确定元数据优先级变量。从元数据类型中的特征参数以及从不同元数据类型之间的关系确定元数据的优先级变量。然后，基于这些元数据的优先级变量，在聚类分析的帮助下，所述提取或收集的元数据被分类12成不同的聚类。然后，基于所述聚类分析结果，对所述元数据进行优先次序排序13。最后，优先次序排序结果被存储14在一个或多个优先级表并在元数据表中引用15。如果还不可用，也生成16 —个或多个优先级细节表的条目。
[0064]图6示意性地说明了适于执行图5中的方法的装置20。该装置具有用于接收数据，例如音频数据、视频数据或元数据的输入端21。可替换地或附加地，可从存储设备22，例如硬盘或回放可移动存储介质的设备中提供数据。元数据收集器或提取器23从数据中检索元数据。所述元数据或者已与所述数据一起被提供，或者通过分析所述数据来确定它们。
[0065]检索到的元数据中被提供给分析单元24，其基于元数据的优先级变量进行聚类分析，并基于聚类分析结果对所述元数据进行优先次序排序。然后，输出优先次序排序的结果(即优先级表)、必要的指针和优先级细节表的条目以进行进一步的处理或由存储单元25本地存储。当然，元数据收集器或提取器23和分析单元24可以同样地结合成单一的处理单
J Li ο
[0066]下面将讨论根据本发明的方案的应用场景。
[0067]当生成元数据项的第一优先级值时，新的条目，例如UUID “xxl”、跟踪ID “UUID-123”、处理类型“原始的...被插入到图4中的优先级细节表中。随后，在图2的优先级表中创建新的条目，例如，UUID “xxxA”、方法数量“ I ”，方法跟踪“UUID-123”(即优先级细节表中的跟踪ID值)…。最后，标识符字符串“xxxA”，即优先级表中相关联的UUID值，被插入作为图2中分段表的元素分段优先级。
[0068]现在，当使用另一元数`据优先次序排序方法来为相同的元数据项生成新的优先级值时，为相同的元数据项添加了另一优先级值。新的条目，例如UUID “xx2”、跟踪ID “UUID-123”、处理类型“原始的”…被插入到优先级细节表。注意，跟踪ID值与“xxl”的值应该是相同的，因为这两个条目指向相同的元数据项。接着，优先级表中UUID “xxxA”下的现有条目被更新。主要地，方法数量字段被设置为值“2”，方法跟踪值“UUID-123”保持不变。此外，在分段表中的标识符字符串“xxxA”保持不变。
[0069]开发者可以在优先级细节表中设置默认的优先级值，例如，设为UUID“xx3”。优先级细节表中相应的处理类型的值为“后编辑的”。相应地更新优先级表。方法数量字段和默认优先级字段被分别设置为值“3”和“XX3”，其中“XX3”是优先级细节表中相关联的UUID值。
[0070]另外，用户可以设置优先级细节表中用户优选的优先级值，例如，设为UUID“xx4”。优先级细节表中相应的处理类型的值为“后编辑的”。相应地更新优先级表。方法数量字段和用户优先级字段被分别设置为值“4”和“xx4”，其中“xx4”是优先级细节表中相关联的UUID 值。
[0071]图7示出了使用优先次序排序后的元数据来注释音频或视频数据的方法的流程图。从元数据存储库42中检索30与音频或视频数据相关联的元数据项集合。然后，为元数据项集合中的元数据项确定31优先级值，例如，使用多种优先次序排序方法中的一种，或通过从元数据存储库42中检索优先级表。基于所确定的31优先级值，从元数据项集合中确定32元数据项子集。该元数据项子集和所述音频或视频数据的至少一部分被呈现33给用户。在接收到34用户输入时，修改所呈现的元数据项子集的一个或多个元数据项或优先级值。最后，将修改后的一个或多个元数据项或优先级值存储35在，例如，元数据存储库42中。
[0072]图8示意性地说明了适于执行图7中的方法的装置40。该装置40包括元数据收集器或提取器41，用于从元数据存储库42中检索30与音频或视频数据相关联的元数据项集合。分析单元43适于确定31检索到30的元数据项集合的元数据项的优先级值，并基于所确定的31优先级值，从检索到的元数据项集合确定32元数据项子集。装置40还包括显示器44，用于向用户呈现33所述音频或视频数据的至少一部分和元数据项子集，以及用于接收34用户输入以修改所呈现的33元数据项子集的一个或多个元数据项或优先级值的用户界面45。为了 35修改一个或多个元数据项或优先级值,该装置40包括存储单元46。
【权利要求】
1.一种对与音频或视频数据相关联的元数据项进行优先次序排序的方法，所述方法包含以下步骤: -检索(10)元数据项； -使用多种优先次序排序方法之一来确定(13)元数据项的优先级值； -在优先级表中存储(14)优先级值；以及 -在元数据表中引用(15)所述优先级表。
2.如权利要求1的方法，其中，还包含在包含有关所使用的优先次序排序方法的信息的优先级细节表中生成(16)条目的步骤。
3.如权利要求1或2的方法，其中，所述优先级细节表包含默认的优先级值。
4.如权利要求1或2的方法，其中，所述优先级细节表包含用户定义的优先级值。
5.一种对与音频或视频数据相关联的元数据项进行优先次序排序的装置(20)，所述装置(20)包含: -元数据项收集器或提取器(23)，用于从元数据存储库(22)或通过输入端(21)检索(10)元数据项； -分析单元(24 )，用于使用多种优先次序排序方法之一来确定(13)元数据项的优先级值；以及 -存储单元(25)，用于将优先级值存储(14)在优先级表中，并且用于在元数据表中引用(15)所述优先级表。`
6.如权利要求5的装置(20)，其中，所述分析单元(24)适于在包含有关所使用的优先次序排序方法的信息的优先级细节表中生成(16)条目。
7.如权利要求5或6的装置(20)，其中，所述优先级细节表包含默认的优先级值。
8.如权利要求5或6的装置(20)，其中，所述优先级细节表包含用户定义的优先级值。
9.一种用于注释音频或视频数据的方法，所述方法包含以下步骤: -从元数据存储库(42)中检索(30)与音频或视频数据相关联的元数据项集合； -确定(31)所检索的(30)元数据项集合中的元数据项的优先级值； -基于所确定的(31)优先级值从检索到的(30)元数据项集合中确定(32)元数据项的子集； -向用户呈现(33)所述音频或视频数据的至少一部分以及所述元数据项的子集； -接收(34)用户输入以修改所呈现的(33)元数据项子集的一个或多个元数据项或优先级值；以及 -存储(35)修改后的一个或多个元数据项或优先级值。
10.如权利要求9的方法，其中，通过从元数据存储库(42)中检索优先级表来确定(31)元数据项的优先级值。
11.如权利要求9的方法，其中，使用多种优先次序排序方法之一来确定(31)元数据项的优先级值。
12.一种用于注释音频或视频数据的装置(40)，所述装置(40)包含: -元数据收集器或提取器(41)，用于从元数据存储库(42 )中检索(30 )与音频或视频数据相关联的元数据项集合； -分析单元(43)，用于确定(31)所检索的(30)元数据项集合中的元数据项的优先级值以及基于所确定的(31)优先级值从检索到的(30)元数据项集合中确定(32)元数据项的子集; -显示器(44)，用于向用户呈现(33)所述音频或视频数据的至少一部分以及所述元数据项的子集； -用户界面(45)，用于接收(34)用户输入以修改所呈现的(33)元数据项子集的一个或多个元数据项或优先级值；以及 -存储单元(46 )，用于存储(35 )修改后的一个或多个元数据项或优先级值。
13.如权利要求12的装置(40)，其中，通过从元数据存储库(42)中检索优先级表来确定(31)元数据项的优先级值。
14.如权利要求12的装置(40)，其中，使用多种优先次序排序方法之一来确定(31)元数据项的优先级值。`
【文档编号】G06F17/30GK103530311SQ201310278627
【公开日】2014年1月22日 申请日期:2013年7月4日 优先权日:2012年7月5日
【发明者】李辉, M.韦伯, S.库布希, K.盖德克 申请人:汤姆逊许可公司