专利名称：使用多媒体用户简档信息结构的多媒体检索和浏览方法
技术领域：
本发明涉及一种使用多媒体用户简档信息结构的多媒体检索和浏览方法，特别涉及使用这样一种多媒体用户简档信息结构的多媒体检索和浏览方法它能够依据用户优先选择来显示检索项目，并且能通过这些基于用户优先选择显示的检索项目检索和浏览相关的多媒体。
通常用户可以通过接收由广播站发出的视频信号和音频信号来观看电视，也可以通过同样的途径在电影院中观看电影。
然而该用户可能想观看一出戏剧或是一部电影中的某一段，因此，已经有基于各种视频媒体的相关技术出现，以使用户可以选择戏剧或电影的某一段。
例如，用户可以通过一个像LAN(局域网)这样的网络与一个视频提供方联接，从而有选择性的挑选一出戏剧或一部电影。
此外，用户还可以有选择性的再现他所选择的戏剧或电影中的某一段运动画面，该画面显示的可以是该用户想要观看的人物、事件、地方或物品。
此外，用户不需要再现全部内容也可以自动的、快速的重现视频内容的重要部分，这些视频内容可以是新闻节目，体育节目，或是一部电影，对于表示每一幅运动画面段落的关键帧，用户还可以通过设置并显示这些关键帧，再现定制的运动画面。
已经有某些技术来实现上述功能。
例如，有一种技术，将各种视频内容分成多个包含内容组，如模式组、索引组、媒体组、段组、对象组、表示组的列表，当用户想观看时，该技术能够在列表中选择一个对象，并且重现某一显有所选对象的段。该技术还可以显示所选对象，例如人物、物品(对象名称，屏幕上的位置，该对象在此视频内容中的数量值等)在对象组和说明组中的相关信息。
另外，还有一种技术能够提供一些列表，这些列表是关于视频内容制作前，制作中或者制作后产生的各种附加信息。
例如，附加信息列表可以提供视频内容中人物及物体位置的相关信息，还可以在用户选择一个对象时产生相应场景。
而且，当所选对象是一件物品时，它将显示物品的相关信息，如制造商，价格等，并且和物品的制造商或销售代理建立联接。
另外，还有一种技术可以提供一种含有视频内容每一部分信息的部分映射。
换句话说，该部分映射显示了视频内容每一部分的信息(项目暴力，提示，价值，人物，职务，困难等)，用户可以通过登记该视频部分映射中各项目的用户优先级，在视频内容中重现想要的部分，还可以限制无法确认身份的用户传输某一特定内容。
另外，还有一种技术能够图示若干运动图像的时间关系图。
然而，理解该若干运动图像的时间关系图的情节是有困难的，因为这就如同只观看几幅代表性场景。
上面所述的传统的活动画面检索技术，只是显示一些列表，列表中说明戏剧或电影中所显示对象的各种信息。并且根据用户的选择执行功能。
此外，由于用户可以获得一部分与所选项目相关的多媒体，有效的检索和浏览这些多媒体也是可能的。
然而，随着多媒体数目的增加，检索或浏览的项目也不得不增加。于是对一些根据用户的优先选择，选择性的显示检索项目的技术产生了需求，并进行了开发。
例如，有一种自动设置方法，当用户通过存储一个电视频道，一种音乐类型，或用户喜爱的音量而动手处理该系统时，该方法可以自动设置系统并使用存储的信息。
另一种根据用户喜好，检索节目的方法，是通过比较用户优先级表和节目特征表，节目特征表中存储的是诸如人物，节目类型，体育类别，体育团队等等一类的信息。
还有一种方法可以根据用户的需求，通过比较商品已经存储的特征(尺寸，价格，功能等)和用户要求的特征来检索商品。
还有一种方法能通过了解用户的优先选择，自动设置视频显示单元的参数，如音量，亮度。
还有一种方法，用户无论何时查看电子邮件(E-mail)时，都能根据用户的喜好显示电子邮件。
还有一种方法能通过了解用户的优先选择提供定制的电子报纸。
上述多媒体检索和浏览系统存储了需被检索/浏览的检索项目的优先级，并且根据该优先级检索/浏览多媒体。
在以上系统中，有一个检索器和一个浏览器为用户显示检索项目(如人物，地点，事件，物品，关键帧等)，有多种方法向用户显示这些检索项目。
例如，可根据各种标准显示检索项目，比如字母顺序，显示号码，优先级，出现顺序等。
对于这些标准，每一用户可有不同的优先选择，但传统技术并没有考虑到标准中的这种不同。
本发明的目的在于提供一种使用多媒体用户简档信息结构的多媒体检索和浏览方法，该方法能够依据用户优先选择来显示检索项目，并且能通过使用这些基于用户优先级显示的检索项目来检索和浏览相关的多媒体。
为实现上述目的，这种用于索引和浏览多媒体对象的多媒体用户简档信息结构，包括检索项目标准排序信息以及用户对检索项目排序标准的优先选择信息，前一信息用于检索和浏览多媒体对象，后一信息则显示在用户首选的安排中将要浏览的检索项目。
为实现上述目的，一种用于检索和浏览多媒体的检索项目优先级信息结构包括一个多媒体数据流形式的检索对象，一个作为索引标准的检索项目，连接每一检索项目和检索对象的连接信息，用于表明每一检索项目排序标准的排序标准信息，包含符合每一排序标准的排序信息的多媒体对象，表明可作为检索和浏览标准的项目的项目类别，含有表明在每一项目类别中该多媒体对象的排序信息的优先级的优先级值的用户简档，以及根据每一用户的喜好显示每一检索项目。
为实现上述目的，一种使用多媒体用户简档信息、用于索引和浏览多媒体对象的多媒体浏览和检索方法，包括一个显示处理过程和一个浏览处理过程，显示处理过程通过使用检索项目排序标准信息，以及使用含有与该检索项目排序标准相关的用户优先级信息的用户简档，根据用户优先选择，在基于检索项目排序标准产生的用户优先级的顺序下显示检索项目，浏览处理过程用于在检索到由基于用户优先级显示的检索项目所指示的检索对象后浏览检索对象。
为实现上述目的，一种使用用户简档信息结构、用于索引和浏览多媒体对象的多媒体浏览和检索方法，包括多媒体数据流形式的检索对象，作为索引标准的检索项目，连接每一检索项目和检索对象的连接信息，用于表明每一检索项目排序标准的排序标准信息，包含按照每一排序标准的排序信息的多媒体对象，表明可作为检索和浏览标准的项目的项目类别，包含表明在每一项目类别中该多媒体对象的排序信息的优先级的优先级值的用户简档，在检索和浏览多媒体时用于选择每一检索项目上按用户简档的优先级值排列的排序标准信息的选择处理过程，通过使用该用户简档中的排序标准信息显示多媒体项目的显示过程以及在检索到基于用户优先级显示的检索项目所指示的检索对象后，浏览该检索对象的浏览处理过程。
图1示出本发明实施例中的一个多媒体数据结构。
图2示出图1所示多媒体数据结构的另一实施例。
图3A-3D示出图1所示多媒体数据结构的另一实施例。
图4示出本发明检索项目排序标准优先级信息结构。
图5示出本发明检索项目优先级信息结构。
图6示出了本发明检索项目优先级的实施例。
图7示出使用图6所示用户优先级的视频浏览器。
图8A-8B示出按照排序标准信息的一个多媒体对象的排序信息。
图9示出使用图8所示多媒体对象的检索项目排序标准优先级信息结构。
图1示出本发明实施例的一个多媒体数据结构。
如图1所示，多媒体对象101包括一个用于检索和浏览的检索项目102和一个被检索和浏览的检索对象103。
检索项目102包括说明该检索项目所属类别的检索项目类104和用于连接检索对象的检索对象连接信息105。
当多媒体对象101是运动画面时，检索项目102中包括的项目可以是一个人物或一个事件。
检索对象103可以是显示该人物或事件的一段画面，而检索对象连接信息105可以是用于连接相关人物和事件到相应段的信息。
图2示出图1所示多媒体数据结构的另一实施例。
首先，一个音频-视频描述方案201，包括一个用于描述显示该多媒体对象的画面段的DS句法(描述方案)202，和一个用于描述有意义信息的DS语义(描述方案)203。
该DS句法(描述方案)202包括一个作为真实运动画面段的段DS(描述方案)204，一个活动范围DS(描述方案)205和一个段/活动范围关系图206。
该DS语义(描述方案)203包括一个用于描述诸如人物、地点一类对象信息的对象DS(描述方案)207，一个用于描述事件的事件DS(描述方案)208和一个用于描述人物、地点或事件间关系的对象/事件关系图209。
此处，检索项目102包括段DS(描述方案)204，活动范围DS(描述方案)205，段/活动范围关系图206，对象DS(描述方案)207，事件DS(描述方案)208，对象/事件关系图209，而项目类104将上述检索项目分类。
图3A-3D示出图1所示多媒体数据结构的另一实施例。
换句话说，图3A-3D示出了图1所示多媒体对象101的项目类104和检索对象103的示例，图3A-3D是对图1的细节描述。
首先，项目类104可以是所有的检索项目，如人物，关键帧，地点，男/女演员，物品，关键字，音乐等。
检索对象103可以是一段显示人物的运动画面段，由关键帧代表的运动画面段，一出显有某一男/女演员的电影或戏剧，包括某一关键字的文档，或者是一段记载了和特定曲调相似的曲调的音频节奏等。
图3A示出一个普通文本文档项目，该文本文档是项目类104中的一个关键字，检索项目102可以是关键字1，关键字2，关键字3,…，关键字N。
检索对象103可以是文档1，文档2，文档3,…，文档N。
图3B示出运动画面项目类，该项目类是人物，该检索项目可以是人物1，人物2，人物3,…，人物N。
另外，该检索对象103可以是显示相关人物的外形段N。
图3C示出运动画面项目类的另一个例子，该项目类104是关键帧，该检索项目102可以是关键帧1，关键帧2，关键帧3,…，关键帧N。
该检索对象103可以是外形段1，外形段2，外形段3,…，外形段N。
图3D示出运动画面项目类的另一个例子，该项目类104是演员名字，检索项目102可以是演员1，演员2，演员3,…，演员N。
该检索对象103可以是电影1，电影2，电影3,…，电影N。
图4示出本发明检索项目排序标准优先级信息的结构。
换句话说，它描述了一个用户简档信息结构，该结构包括检索项目排序标准的优先级。该优先级表明了一个如图1或图3所示的多媒体对象体结构的用户优先级，以下将作更详细的描述。
首先，检索项目排序标准信息401包括一个检索项目类402，和一个根据该项目类决定检索项目排序的项目排序标准403。
该项目排序标准403包括一个标准类别404，和一个关于每个标准类别的优先级值405。
因此，图1或图3中的多媒体对象，可以通过使用图4中表明检索项目排序标准的用户简档信息来检索。
另外，在浏览该多媒体对象时，检索项目可以通过按照用户优先选择得出的检索项目排序标准来显示。
据此，当用户检索和浏览某一对象时，检索器为用户显示检索项目。检索项目排序是根据例如图4中所述用户简档信息中的项目排序标准403来实现的。
例如，当要检索和浏览运动画面中的一个人物时，该项目排序标准403可以是该人物的出现次数或是该人物的年龄，此检索和浏览是通过使用该运动画面的关键帧来实现的，项目排序标准403可以是由关键帧代表的运动画面的时间排序，关键帧的亮度，或是关键帧图像的色彩。
另外，该项目排序标准403的优先级值405是用户存储的信息。
当用户选择了首选的标准，在项目排序标准403中存储该标准，并且使用检索器进行检索和浏览时，该检索器会基于用户关于该项目排序标准的优先级值进行显示。
图5示出本发明中检索项目优先级信息结构。
如图5所述，检索项目优先级501包括一个检索项目502，一个项目类别503，一个项目优先级504，和一个优先级值505。
项目类别503可以是上文描述的人物，地点，和关键帧。
当项目类别是人物时，检索项目502可以是人物1,…，人物N。
项目优先级504描述了项目类中某一检索项目如人物，地点，关键帧等的用户优先级，其值为优先级值505。
图6示出了本发明中检索项目优先级的实施例。
如图6所述，当检索类别是人物时，用户优先级被描述为每一个人物(人物1,…,N)的每一个检索项目的特定值。
例如，人物1可以是优先级‘100’，人物3可以是优先级‘46’，优先级值显示在每一检索项目(人物)上。
换句话说，多媒体检索器和浏览器可以从带有该优先级信息的用户简档中显示人物如人物1，人物2，人物3,…，人物N。
另外，用户通过观看按用户优先选择顺序(优先级)显示的检索项目，可以很容易的检索/浏览显示有相关人物的片段。
图7示出使用图6中用户优先选择的视频浏览器。
换句话说，它描述了基于人物显示的运动画面浏览器。
如图7所示，检索项目从人物1到人物N(N=4)按照用户优先选择的顺序，在一个人物屏幕701上显示。
于此，当用户选择人物1时，相应于显有人物1的运动画面(检索对象)的关键帧被显示在一个主要场景屏幕702上。这里，当用户选择场景3时，主屏幕703重现相关的运动画面段。
图8A-8B按照排序标准信息示出一个多媒体对象的排序信息。
图8A示出一个包括对象信息802和排序信息803的对象DS。
图8B示出基于三个排序标准信息(优先权，年龄，名字)的排序信息。
换句话说，当对象DS(描述方案)801是图2所述多媒体结构中的一个人物，对象DS(描述方案)包括显示对象类型和对象名称的目标意义信息，和显示排序标准信息和排序关键字的排序信息。
这里，对象DS(描述方案)显示基于三个排序标准信息(如优先权，年龄，姓名)的排序信息。
如图8B所示，人物A1,T2,T1,B2,…，是根据优先权显示的，人物B2,A1,B2,…，是根据年龄显示的，而人物A1,A2,A3,B1,…，是根据姓名显示的。
图9示出使用图8中多媒体对象的检索项目排序标准优先级信息的结构。
如图9所示，检索项目排序标准优先级901包括一个关键项目902和一个排序优先级903。
排序优先级903包括一个标准参考904和一个优先级值905。
标准参考904指示的是多媒体对象上显示的排序标准信息。而优先级值905表示这些参考排序标准的优先级。
因此，通过参考来自图8的多媒体对象基于用户优先级的检索项目排序和利用检索项目排序的多媒体检索和浏览是可能的。
换言之，基于排序标准优先级值905的标准参考904通过使用用户简档中描述的检索项目排序标准优先级901，在图8所示多媒体对象数据结构的排序标准信息的基础上显示该多媒体对象的检索项目。
之后，从显示信息中实现关于相关多媒体对象的检索和浏览。
如上所述，当与多媒体有关的检索项目显示后，通过按照用户优先选择在检索项目排序标准中选择一个标准后显示该检索项目，本发明能有效实现多媒体对象的检索和浏览。
另外，本发明可以应用于多媒体业务系统中，如VTR(录像机)，VOD(视频点播)，AOD(音频点播)，互联网等…另外，本发明可以根据用户的优先选择很容易地检索/浏览对象。
权利要求
1．一种用于索引和浏览多媒体对象的多媒体用户简档信息结构，其特征在于该结构包括用于检索和浏览多媒体对象的检索项目排序标准信息；和用于显示将要按用户首选的安排浏览检索项目的关于检索项目排序标准的用户优先级信息。
2．根据权利要求1所述的多媒体用户简档信息结构，其特征在于用户简档包括项目类，该项目类可以作为检索和浏览的标准，以便获得根据每一用户喜好显示的每一浏览和检索项目排序。
3．根据权利要求2所述的多媒体用户简档信息结构，其特征在于用户简档还包括项目排序标准，以便决定基于每一项目类的检索项目的排序。
4．根据权利要求3所述的多媒体用户简档信息结构，其特征在于项目排序标准包括标准类别，用于说明标准的类别。
5．根据权利要求4所述的多媒体用户简档信息结构，其特征在于项目排序标准还包括优先级信息，用于说明相关标准类的优先级。
6．根据权利要求4所述的多媒体用户简档信息结构，其特征在于其标准类说明相关项目用户文件的优先级，并根据用户简档优先级显示检索项目。
7．一种使用用于索引和浏览多媒体对象的多媒体用户简档信息的多媒体检索和浏览方法，其特征在于该方法包括通过使用检索项目排序标准信息和一个包括关于该项目排序标准的用户优先级信息的用户简档，根据用户的优先选择，以基于项目排序标准的用户优先级显示检索项目；以及在检索到按照用户优先级显示的检索项目所指示的检索对象后浏览该检索对象。
8．一种用于检索和浏览多媒体的检索项目优先级信息结构，其特征在于该结构包括多媒体数据流形式的检索对象；作为索引标准的检索项目；连接每一检索项目和检索对象的连接信息；说明每一检索项目排序标准的排序标准信息；以及包含按照每一排序标准的排序信息的多媒体对象。
9．根据权利要求8所述、用于检索和浏览多媒体的检索项目优先级信息结构，其特征在于该用于检索和浏览多媒体的检索项目优先级信息结构还包括用于表明可作为检索和浏览标准的项目的项目类；和包括表明每一项目类中该多媒体对象排序信息优先级的优先级值的用户简档。
10．根据权利要求8或9所述、用于检索和浏览多媒体的检索项目优先级信息结构，其特征在于该用于检索和浏览多媒体的检索项目优先级信息结构，使每一检索项目根据每一用户的喜好的顺序显示。
11．一种使用用户简档信息结构、用于索引和浏览多媒体对象的多媒体检索和浏览方法，其特征在于该方法包括步骤多媒体数据流形式的检索对象；作为索引标准的检索项目；连接每一检索项目和检索对象的连接信息；说明每一检索项目排序标准的排序标准信息，包括按照每一排序标准的排序信息的多媒体对象；用于说明可以作为检索和浏览标准的项目的项目类；包含说明每一项目类中该多媒体对象排序信息优先级的优先级值的用户简档；在检索和浏览多媒体时根据每一检索项目中该用户简档的优先级值的顺序选择排序标准信息；通过使用该用户简档的排序标准信息显示多媒体项目；以及在检索到根据用户优先级显示的检索项目所指示的检索对象后浏览该检索对象。
全文摘要
一种使用用户简档信息结构的多媒体检索和浏览方法。该方法可通过使用检索项目排序标准信息和包括关于该项目排序标准的用户优先级信息的用户简档,根据用户的优先选择,按基于项目排序标准的用户优先级显示检索项目,并在检索到基于用户优先级显示的检索项目所指示的检索对象后浏览该检索对象。本发明可用于多媒体业务系统如数字VTR(录像机),VOD(视频点播),AOD(音频点播),互联网。另外,用于检索和浏览多媒体的用户简档更易于根据用户喜好检索和浏览多媒体。
文档编号G06F17/30GK1319815SQ0013471
公开日2001年10月31日 申请日期2000年9月22日 优先权日1999年9月22日
发明者宋政珉, 李掘秀 申请人:Lg电子株式会社