用于渲染多媒体资产的方法、相关系统、媒体客户端和相关媒体服务器的制造方法
【专利摘要】本发明涉及由媒体客户端渲染/播放媒体资产的方法、系统、相关媒体客户端以及媒体服务器，其中所述媒体资产由媒体服务器提供/流送。媒体客户端经由通信网络耦合到所述媒体服务器。本发明的方法包括媒体客户端监视所述媒体客户端上接收的片段预览信号、解释所述片段预览信号、并随后基于媒体客户端上接收的所述片段预览请求信号确定相关的预览媒体资产片段的步骤。所述媒体服务器进一步(从媒体资产存储库，其中媒体资产存储库耦合到媒体服务器)选择/检索所述预览媒体资产片段，并且随后所述媒体客户端渲染由所述媒体服务器检索到的所述预览媒体资产片段。所述片段预览信号可以基于用户在视频渲染应用的进度条上用鼠标点击稍后的时间点。
【专利说明】用于渲染多媒体资产的方法、相关系统、媒体客户端和相关媒体服务器
【技术领域】
[0001]本发明涉及如权利要求1的前序部分所述的方法、如权利要求3的前序部分所述的系统、如权利要求5的前序部分所述的相关媒体客户端以及如权利要求8的前序部分所述的相关媒体服务器。
【背景技术】
[0002]诸如用于在媒体客户端播放多媒体资产的方法在本领域中已经是公知的了。如今，越来越多的人使用媒体客户端观看来自互联网的视频，所述媒体客户端例如个人电脑、联网电视应用、带有媒体播放器的手机等。对于一些较大的媒体资源如电影或视频，人们往往从一个段跳转到另一段以观看最有趣一部分或只是跳过电影有些无聊的部分。不利的是人们不能提前知道他们跳到的片段有趣与否因为没有任何提前预览可用信息。
[0003]如果用户在媒体资产的整个持续时间的观看媒体资产在某一点时间，并希望跳向稍后段，就可以将鼠标光标移动到媒体渲染应用的进度条的稍后位置，并单击用户希望先睹为快的位置的媒体资产位置的进度条。在媒体客户端上运行的媒体播放器应用程序的进度条上选择位置之前，用户不具有什么将要显示在所选择的点上的任何想法。在选择客户端设备将要播放的下一个多媒体资产部分后，选择客户端设备需要请求和接收媒体资产所选择的部分，用户必须等待，直到播放机接收所请求的片段。
[0004]然而，只有当所请求的片段被播放时，用户可能会发现新收到的段不是他所期待的。然后他要重复搜索下一个有趣的一幕。看视频的这种方式是很费时，此外也很别扭。
【发明内容】
[0005]本发明的目的是提供一种用于播放上述已知类型的多媒体资产的方法和相关的系统，但其中该方法的用户能够预览的多媒体资产的所选片段。当前正在观看的地方的这些片段由客户端以更有预测性和更直观的方式选择。
[0006]根据本发明，这一目的是通过根据权利要求1的方法、根据权利要求3的相关媒体客户端，权利要求5中描述的系统和权利要求8中描述的相关媒体服务器实现的。
[0007]事实上，通过首先监视在媒体客户端处被接收的片段预览请求信号的出现，其中所述片段预览请求信号是表明用户请求预览某一媒体资产的信号、通过随后解释片段预览请求信号、然后基于媒体客户端收到的片段预览请求信号由媒体客户端确定预览媒体资产片段，随后，媒体服务器从耦合的媒体资产存储库中选择并检索，最后由媒体客户端渲染媒体服务器检索到的相关媒体资产片段，用户可以预览所请求的片段，使得用户能够以更有预测性和更直观的方式浏览多媒体资产。
[0008]媒体客户端可以播放集成在正在进行的流媒体资产中的预览，或可以单独播放的媒体资产的预览片段。
[0009]采取这种方式，只有完整的媒体资产的相关片段需要借助于流送或者其他方式从媒体服务器向媒体客户端进行传送，并且因此以更迅速的方式得到预览片段。
[0010]本发明的另一个特征在权利要求2、4和9中描述。
[0011]该方法进一步包括在媒体客户端呈现相关的视频资产片段步骤之前，通过处理所述媒体资产的预览片段生成衍生片段的步骤。该处理可以包括对媒体资产所确定的相关片段进行以下一个或多个操作:滤波、对象识别、缩放、压缩、3D提取等。
[0012]在根据网络带宽进行缩放和压缩情况下，预览媒体，即所检索的预览片段进一步可以在被发送回客户端之前首先进行缩小或压缩。在滤波的情况下，所检索的预览片段和/或来自预览片段的其他元素的背景可以在将预览片段发送至客户端之前被过滤掉，其中可根据一定的要求进行滤波。在对象识别的情况下，某些对象可以被识别并高亮显示。
[0013]以这种方式，媒体资产的相关片段的衍生片段可以更快和更有关联性地提供到请求预览的用户，因为传输所需的衍生片段的时间甚至比仅仅传输所需的媒体资产的相关的片段的时间更短。
[0014]但应注意到的是，在权利要求中使用的术语“包括”，不应该被解释为限于其后列出的装置。因此，表达的范围“包括装置A和B的设备”不应该被限制为仅由A和B构成的器件。这意味着，相对于本发明，该设备的相关部件仅是A和B。
[0015]类似地，应当注意到，用在权利要求中术语“耦合”，不应当被解释为限于仅直接连接。因此，表达“耦合于设备B的设备A”的范围不应限于设备A的输出端直接连接到设备B的输入端的设备或系统。这意味着，A的输出端和B的输入端之间存在路径，该路径可以是包括其它设备或装置的路径。
【专利附图】
【附图说明】
[0016]通过以下结合附图对实施例的描述，本发明的上述和其它目的和特征将变得更加明显并且本发明本身将得到更好的理解:
[0017]图1示出用于渲染多媒体资产的系统功能表示，其中实现了本发明的实施例。
[0018]图2示出媒体客户端MC的功能表示，该媒体客户端耦合到根据本发明的媒体服务器MS。
【具体实施方式】
[0019]在下面的段落中，将参照附图描述根据本发明的方法和相关的设备的实现。在本说明书的第一段该网络的主要单元在图1和图2进行了呈现。在第二段中，定义了之前提到的网络单元和描述的装置之间的连接。在随后的段落中描述用于渲染多媒体资产的方法的实际执行。
[0020]本发明的实施例的第一基本单元是渲染由媒体服务器通过流送方式提供的媒体资产的媒体客户端MC。尽管这样的系统通常包括多个耦合到媒体服务器的媒体客户端，在当前实施例中，只呈现了两个媒体客户MC和MCI。这样的媒体客户端的MC、MCl可以是支持媒体渲染技术的RTP/RTSP、RTMP, HTTP流等的连接互联网的个人电脑以及诸如Flash播放器、HTML5视频等的媒体渲染应用。一些知名网站如YouTube、Facebook等正在使用这些类型的技术和应用以展示视频给他们的客户。
[0021]第二个基本单元是媒体服务器MS，它能够提供媒体资产给多个媒体客户端的MC、MCl的每个媒体客户端。多个这样的媒体客户端的每个媒体客户端通过通信网络CN被耦合到所述媒体服务器MS。
[0022]媒体资产从媒体服务器到媒体客户端的提供从可以通过例如RTP/RTSP、RTMP,HTTP流送等的实时流媒体技术进行处理。
[0023]两个媒体客户端MC、MC1通过通信网络耦合到媒体服务器。取决于媒体客户端MC的类型，例如移动或固定设备，至所述通信网络的通信接口可以是不同的。通信网络可以是与接入网络连接的核心网络和/或在固定个人计算机情况下包括有线和/或无线连接的家庭网络。
[0024]可选地，在媒体客户端是移动设备的情况下，通信网络包括如GSM、UMTS, LTE、WIF1、蓝牙等的无线网络接口或其他接口。
[0025]用于渲染媒体资产的媒体客户端MC首先包括客户端输入监视部分CMP，用于监视媒体客户端处的片段预览请求信号。客户端输入监视部分CIMP可以集成在媒体客户端中或是外部的输入设备，其中输入设备可以是鼠标、键盘或其他设备。另外，媒体客户端包括输入解释部分IIP，用于解释片段预览请求信号，并基于所述片段预览请求信号确定媒体资产的预览片段，以及片段呈现部分FPP，其适于渲染从媒体资产存储库中检索到的媒体资产的预览片段。另外，片段呈现部分FPP可以能够在媒体客户端MC处渲染的最初完整媒体资产中集成媒体资产的预览片段，或者片段呈现部分FPP可选地适于单独地呈现所述媒体资产的预览片段。
[0026]此外，媒体客户端可以包括用于与媒体客户端MC的用户进行联接的用户接口部分ΠΡ，用户接口部分可以集成显示器或外部耦合显示器。
[0027]客户端接口部分CIP在一侧处理解释部分IIP和片段呈现部分FPP之间的接口，在另一侧处理和通信网络CN之间的接口。
[0028]媒体客户端MC的客户端输入监视部分CMP用输出端耦合到输入解释部分IIP的输入，输入解释部分IIP转而又用输出端耦合到客户端的接口部分CIP的输入端。客户端接口部分CIP有输入/输出端，它同时是媒体客户端MC的输入/输出端。此外，客户端接口部分的CIP用输出端耦合到片段呈现部分FPP的输入端，FPP转而又与用户接口部分ΠΡ耦合。
[0029]媒体服务器MS,首先包括检索部分RP，所述检索部分RP用于从媒体资产存储库MAR选择和/或检索媒体资产的预览片段，并且媒体资产存储库MAR用于存储媒体资产以便通过流送的方式提供到媒体客户端。
[0030]媒体服务器MS还包括处理部分PP，所述处理部分PP用于在媒体客户端呈现预览媒体资产片段步骤之前，通过处理媒体资产的预览片段生成衍生片段，所述预览媒体资产片段是视频片段。
[0031]服务器接口部分SIP在一侧处理检索部分RP和处理部分PP之间的接口，在另一侧处理与通信网络的接口。
[0032]服务器接口部分SIP具有输入/输出端，它同时是媒体服务器MS的输入/输出端。服务器接口部分SIP进一步用输出端耦合到检索部分RP的输入端，检索部分RP的转而用输出端耦合到处理部分PP的输入端。检索部分RP进一步耦合到媒体资产库MAR。处理部分PP进一步用输出端耦合到服务器接口部分SIP的输入端。[0033]为了说明本发明的实施方式，假定第一媒体客户端MC的用户，在该实施例中媒体客户端是个人计算机，具有例如使用YouTube视频渲染功能的视频渲染应用，或使用如Internet Explorer、Chrome、Firefox之类的Web浏览器浏览网站用于浏览网站，这些网站提供诸如YouTube网站或AOL网站、BBC/CNN等的视频内容。
[0034]目前，关于主题为X的特定媒体资产正从YouTube和YouTube媒体服务器MS流送。存储于包括在媒体服务器MS的媒体资产库MAR中的主题为X的该视频，通过流送的方式被提供给媒体客户端MC。该视频在媒体客户端MC被接收，并呈现给耦合到媒体客户端MC的显示器。现在，进一步假设正在观看的用户希望预览具有主题X的YouTube视频的稍后内容。因此，用户用耦合到个人计算机的鼠标点击视频渲染应用的进度条上稍后的时间点。稍后的时间点表示主题为X的YouTube视频上的稍后片段。接着，客户端输入监视部分CMP监视片段预览信号，即鼠标光标在媒体的进度条的位置，并且将进度条上的该位置转发至输入解释部分IIP，输入解释部分IIP基于所监视的鼠标光标位置确定视频的相对时间位置。现在假设输入解释部分IIP将该鼠标位置解释成电影的时间位置(50’)并且可选地将其作为给用户的反馈立即在正在进行的影片的上方显示这个时间信息。在通过点击鼠标将50’时间位置作为预览片段的起点之后，媒体客户端的MC的输入解释部分IIP将经由解释部分、耦合的通信网络以及耦合的服务器接口部分SIP发送50’时间信息到媒体服务器MS。检索部分RP接着将针对具有主题X的视频查找媒体资产存储库文件，并找到与从电影的开始起时间50’的相关的帧。可替代地，检索部分可以从包括时间位置50’的帧开始的关于主题X的YouTube视频的一个或多个后续帧(其中随后的帧的数目是预先确定的)。随后，检索部分RP经由服务器接口部分SIP和通信网络CN向发出请求的客户端的媒体MC发送所检索的帧或帧序列。在接收到检索到的帧或帧序列是媒体客户端的预览帧时，媒体客户端MC的片段呈现部分FPP将在用户接口部分呈现从媒体资产存储库中检索的所述媒体资产的相关片段，其中用户接口部分是耦合的显示器。
[0035]片段呈现部分FPP能够在媒体客户端(MC)处将媒体资产的预览片段集成在正在进行的媒体资产渲染中，即具有主题的X的整个视频的流送中。集成可以是在正在进行的视频呈现中混合预览以图片呈现方式呈现的图片或者在正在进行的视频呈现顶部叠加预览。
[0036]可选地，片段呈现部分FPP能够在耦合的显示器上单独地渲染所述媒体资产的预览片段，然后预览片段将代替具有主题X的完整视频的播放。
[0037]另外，该媒体服务器MS还可以包括处理部分PP，用于在媒体客户端呈现相关视频资产片段的步骤之前，通过处理媒体资产的最先确定的预览片段，即具有主题X的视频，生成衍生片段。处理媒体资产的预览片段可缩减帧，随后发送缩减后的有关片段，即衍生片段，至媒体客户端MC。
[0038]根据应用的要求，其他媒体处理技术可以施加在预览片段上，以获得的衍生片段。
[0039]其他媒体处理技术可以是对所述有关媒体资产片段进行的过滤、对象识别、缩放、压缩、3D提取等。
[0040]在基于网络带宽缩放和压缩的情况下，预览媒体，即所检索的预览片段，可以进一步可以在被发送回客户端之前首先被缩减或压缩。在滤波的情况下的，所检索的预览片段和/或来自预览片段的其他元素的背景可以在将预览片段发送至客户端之前被过滤掉，其中可根据一定的要求进行滤波。在对象识别的情况下，某些对象可以被识别并高亮显示。
[0041]应注意，媒体资产是具有或不具有音频的视频资产，可替代的，媒体资产也可以仅仅是音频资产。
[0042]最后应该注意的是本发明的实施例参照功能块进行了描述。从上面给出的这些方框的功能描述中，如何用公知的电子器件制造这些块的实施例对于本领域设计电子设备的技术人员来说是显而易见的。功能块内容的详细结构因此没有给出。
[0043]尽管已经结合特定的装置描述了本发明的原理，但是应当清楚地理解，该描述仅通过举例的方式提出，而不是作为对在所附的权利要求所限定的本发明范围的限制。
【权利要求】
1.一种通过媒体客户端(MC)渲染媒体资产的方法，所述媒体资产由媒体服务器(MS)提供/流送，所述媒体客户端(MC)经由通信网络(CN)耦合到所述媒体服务器(MS)，其特征在于，所述方法包括如下步骤: a.所述媒体客户端(MC)监视所述媒体客户端(MC)上接收的片段预览请求信号；以及 b.解释所述片段预览请求信号，并基于接收的所述片段预览请求信号确定相关的预览媒体资产片段； c.所述媒体服务器(MS)从媒体资产存储库选择和检索所述预览媒体资产片段，所述媒体资产存储库耦合到所述媒体服务器(MS)； d.所述媒体客户端(MC)渲染由所述媒体服务器(MS)检索到的所述预览媒体资产片段。
2.根据权利要求1所述的渲染媒体资产的方法，其特征在于，所述方法进一步包括在所述媒体客户端呈现所述预览相关媒体资产片段步骤之前，通过处理所述媒体资产的所述预览片段生成衍生片段的步骤。
3.—种通过媒体客户端(MC)渲染媒体资产的系统，所述媒体资产由媒体服务器(MS)提供，所述系统包括媒体客户端(MC)和媒体服务器(MS)，所述媒体客户端(MC)经由通信网络(CN)耦合到所述媒体服务器(MS)，其特征在于，所述系统包括: a.所述媒体客户端(MC)中用于监视所述媒体客户端(MC)上接收的片段预览请求信号的装置；以及 b.用于解释所述片段预览请求信号并基于接收的所述片段预览请求信号确定相关的预览媒体资产片段的装置； c.所述媒体服务器(MS)中用于从媒体资产存储库选择和检索所述预览媒体资产片段的装置，所述媒体资产存储库耦合到所述媒体服务器(MS)； d.所述媒体客户端(MC)中用于渲染由所述媒体服务器(MS)检索到的所述预览媒体资产片段的装置。
4.根据权利要求3所述的渲染媒体资产的系统，其特征在于，所述系统进一步包括通过处理所述媒体资产的所述预览片段生成衍生片段的装置。
5.一种用于渲染媒体资产的媒体客户端(MC)，所述媒体资产由媒体服务器(MS)提供，所述媒体客户端(MC)经由通信网络(CN)耦合到所述媒体服务器(MS)，其特征在于，所述媒体客户端(MC)包括: a.客户端输入监视部分(CMP)，用于监视所述媒体客户端(MC)上接收的片段预览信号；以及 b.输入解释部分(IIP)，用于解释所述片段预览信号，并基于所述片段预览信号确定所述媒体资产的相关预览片段；以及 c.片段呈现部分(FPP)，适于渲染从媒体资产存储库中检索到的所述媒体资产的所述预览片段。
6.根据权利要求5所述的用于渲染媒体资产的媒体客户端(MC)，其特征在于，所述片段呈现部分(FPP)适 于在所述媒体客户端(MC)处渲染的所述媒体资产中集成所述媒体资产的所述预览片段。
7.根据权利要求5所述的用于渲染媒体资产的媒体客户端(MC)，其特征在于，所述片段呈现部分(FPP)适于单独地渲染所述媒体资产的预览片段。
8.一种用于向媒体客户端(MC)提供媒体资产的媒体服务器(MS)，所述媒体客户端(MC)能够渲染由所述媒体服务器(MS)提供的媒体资产，所述媒体客户端(MC)经由通信网络(CN)耦合到所述媒体服务器(MS)，其特征在于，所述媒体服务器(MS)包括检索部分(RP)，所述检索部分(RP)用于从(耦合到所述检索部分(RP)的)媒体资产存储库(MAR)选择和/或检索所述媒体资产的所述预览片段，所述预览片段是基于在所述媒体客户端(MC)上接收的片段预览信号确定的。
9.根据权利要求8所述的用于向媒体客户端(MC)提供媒体资产的媒体服务器(MS)，其特征在于，所述媒体服务器(MS)还包括处理部分(PP)，所述处理部分(PP)用于在所述媒体客户端呈现所述预览媒体资产片段之前，通过处理所述媒体资产的所述预览片段生成衍生片段。
【文档编号】H04L29/06GK103931157SQ201280056089
【公开日】2014年7月16日 申请日期:2012年11月6日 优先权日:2011年11月15日
【发明者】楼喆, T·吴 申请人:阿尔卡特朗讯公司