专利名称：一种基于视频内容触发的辅助媒体播放方法
技术领域：
本发明涉及网络多媒体内容分发技术领域，特别是关于一种基于视频内容触 发的辅助媒体播放方法。
技术背景近年来，互联网流媒体技术得到了迅速的发展，其具休表现形式为在客户 端的电脑屏幕上，通过一块固定大小的播放器窗口在一定时间内播放来自服务器 的音频视频数据。事实上，流媒体服务提供商在为用户提供主要的视频流媒体服 务(例如电影、电视剧等)的同时，还希望能够给用户展现一些其它的辅助媒体 信息，例如商业广告或公益广告、风光短片等等。现有技术下这些辅助媒体信息 的播放主要是通过在时间轴上打断主视频流的播放，并在相同播放器窗口位置插 入播放辅助视频流的方式来实现的，而且通常情况下所插入的辅助媒体信息内容 与当前正在播放的主视频流在情节和内容并没有必然的联系。这种方式通常打断 了用户观看主视频时的兴致，同时也非常的缺乏针对性，因而效率低下，效果往 往也并不理想。与电视机屏幕等传统视频显示设备不同，在个人电脑上观看视频时播放器窗 口通常仅占据显示器屏幕的一部分空间。如果已知某个用户正在观看某一具体视 频内容，就可以假设该用户对该部分内容感兴趣，进而可推知他对同该内容有关 的视频内容也感兴趣。这样如果能够利用个人电脑显示器上主视频流播放器窗口 周围的部分空闲空间，在主视频流播放的过程中适时弹出并播放一些与当前视频 播放内容相关联的辅助媒体信息，则对于娱乐用户、吸引广告商投资、提高流媒 体服务提供商增值业务收入等方面都会带来很大的好处。辅助媒体的格式可以是 短的视频、动画、图像和文本等，内容可以是广告、提示信息等。例如，当播放 某部影片的过程中主人公正在用手机打电话时，在播放器窗口的一侧适时弹出一 个临时窗口播放某品牌手机的广告；当正在播放的电视剧中出现某一位历史人物 时，在播放器窗口的一侧适时弹出一个临时窗口显示该人物的历史图片以及滚动 文字介绍等等。授予孟智平的题目为"流媒体中加入广告信息的方法与系统"的中国专利第CN 101072340号，是在被处理的流媒体文件中加入和流媒体文件内容相关的广告 信息，生成广告描述文件，将所有的流媒体文件和广告描述文件发送给用户，在用户的播放设备上通过描述文件取回广告并进行播放。该专利在播放流媒体文件 之前，需要首先由流媒体推送服务器把流媒体文件和广告描述文件全部发送到客 户端，这样不仅使得用户无法通过网络实时在线点播流媒体服务器上的音频、视 频节目，而且在用户数量增多的情况下难免会增大系统负担。再者其中广告媒体 的播放是根据描述文件中所指定的时间或视频帧位置来确定的，其中时间并未指 出是机器的系统时间还是其它，视频帧的位置在实际操作中并不容易确定，因此 可操作性受到限制。在其方案中的描述文件中没有播放时长参数，基于内容触发 的广告的播放不能随着音视频内容进行调节，广告如果不停播放将会引起用户反 感。此外在其方案中的描述文件中仅有广告内容的播放时间而没有下载时间，当 需要播放某一广告时才临时从相应的服务器上去下载，对于较大的广告内容来说， 下载后再播放时主视频内容已发生变化，从而使播放的广告内容失去了与主音视 频内容的相关性。 发明内容针对上述问题，本发明的目的是提供一种根据预先从主视频媒体流中抽取视 频帧展现时间戳值来触发辅助媒体对象播放的一种基于视频内容触发的辅助媒体 播放方法。为实现上述目的，本发明采取以下技术方案 一种基于视频内容触发的辅助 媒体播放方法，其特征在于每一个辅助媒体对象的播放是根据预先从主视频流 中根据视频内容抽取的视频帧展现时间戳值来触发的，其包括以下步骤(a)在 服务器端为每个主视频媒体文件编辑并生成一个辅助媒体对象描述文件，其中包 括零到多条辅助媒体对象记录；(b)将辅助媒体对象描述文件下载到本地存储设 备进行缓存；(C)在主视频流的播放过程中基于时间戳匹配选择并下载辅助媒体 对象；(d)在主视频流的播放过程中基于时间戳匹配选择并播放辅助媒体对象； (e)当播放某个辅助媒体对象的时间超过与之对应的播放时间参数值时，则停止 该辅助媒体对象的播放或显示，并关闭其播放窗口，结束媒体播放。所述步骤(a)中，对辅助媒体对象描述文件的每条辅助媒体对象记录中包括 以下字段起始播放时间、起始下载时间、统一资源定位符、媒体类型、位置、 大小、播放时长。所述辅助媒体对象描述文件的生成为手工生成或机器自动生成，还可以是两 者结合的方式。所述步骤(C)中，流媒体客户端在播放主视频流中的每一个视频帧时，在辅 助媒体对象描述文件中査找起始下载时间字段值与当前视频帧所携带的展现时间戳值相一致的辅助媒体对象记录。所述步骤(d)中，流媒体客户端在播放主视频流中的每一个视频帧时，在辅 助媒体对象描述文件中査找起始播放时间字段值与当前视频帧所携带的展现时间戳值相一致的辅助媒体对象记录。所述主视频流媒体文件为边下载边播放。本发明由于采取以上技术方案，其具有以下优点1、本发明能够在用户欣赏视频节目的过程中，在不中断主视频流播放的前提下，在主播放窗口的周围适时 弹出一个辅助窗口来显示或播放与当前时间点正在播放的视频节目内容相关联的辅助媒体信息(如广告或提示信息等)。2、本发明由于适时弹出的辅助媒体信息 与正在播放的视频内容有一定的内在联系，同时是由预先从主视频媒体流中抽取 的视频帧展现时间戳值来触发的，因此所发布的辅助媒体内容更容易为用户所记 忆，而作为提示信息则能够进一步加深用户对视频内容的理解，从而形成一种为 媒体服务提供商和用户都喜闻乐见的媒体发布和分发形式。3、本发明在根据主视 频媒体编辑和生成辅助媒体描述文件时，可使用完全手工方式或机器自动或二者 相结合的方式，因此不受到技术条件的限制。4、本发明使用主音视频媒体流实时 在线点播的方式，大大节省了系统资源和用户等待时间。5、本发明在描述文件中 设置辅助媒体的起始下载时间，这样可以预先把一些较大的图片和动画等辅助媒 体下载到本地，等起始播放时间一到便可以立即开始播放，因此提高了播放质量， 减少了由于网络传输延时引起的中断，使得所播放的辅助媒体内容与触发它的主 视频媒体内容高度一致。6、本发明在描述文件中设置了播放时长参数，避免了辅 助媒体内容频繁无效果的连续播放。
图1是本发明提供的基于视频内容触发的辅助媒体播放方法的流程图 图2是基于视频内容触发的辅助媒体播放方法举例具体实施方式
下面结合附图和实施例，对本发明进行详细的描述。如图1所示，本发明提供的基于视频内容触发的辅助媒体播放方法，其操作步骤如下(1)编辑辅助媒体对象描述文件在服务器端对应每一个主视频媒体文件， 编辑并生成一个辅助媒体对象描述文件，其生成方式可以完全手工方式，也可以 是机器自动，或者二者结合的方式，因此不受技术条件的任何限制；辅助媒体对 象描述文件包含零到多条辅助媒体对象记录，每条辅助媒体对象记录中包含以下字段起始播放时间(Playtime):与主视频媒体文件中某一个视频帧所携带的展现 时间戳相一致的时间戳信息，表示当主视频码流播放到该时间戳位置时启动播放 当前辅助媒体对象；起始下载时间(Downloadtirae):客户端开始启动下载当前辅助媒体对象的时 间戳，该时间戳的值小于或等于起始播放时间(Playtime);统一资源定位符(URL):当前辅助媒体对象所对应的URL，客户端通过该URL 能够从网络中获取当前辅助媒体对象的数据内容；媒体类型(Mediatype):当前辅助媒体对象的媒体类型，媒体类型可以是短 的视频，动画(Flash),静态或动态图片，静态或动态文本，等等；位置(Position):指定在主视频播放窗口旁边的什么位置来显示或播放当前辅助媒体对象，该字段为可选项；大小(Size):指定显示或播放当前辅助媒体对象的辅助窗口的大小，该字段 为可选项；播放时长(Duration):指定显示或播放当前辅助媒体对象的时长，超过该时 间长度后将自动关闭当前辅助媒体对象的播放窗口，该字段为可选项。(2) 下载辅助媒体对象描述文件在流媒体客户端开始播放一个主视频媒体 文件之前，首先从服务器将与该主视频媒体文件所对应的辅助媒体对象描述文件 下载到本地存储设备进行缓存；其主音视频流媒体文件并不需要预先下载，而是 以流的方式边下载边播放。(3) 在主视频流的播放过程中基于时间戳匹配选择并下载辅助媒体对象流 媒体客户端在播放主视频流中的每一个视频帧时，在辅助媒体对象描述文件中查 找起始下载时间(Downloadtime)字段值与当前视频帧所携带的展现时间戳值相-致的辅助媒体对象记录，若找到匹配的记录，则根据该记录中的统一资源定位 符(URL)字段值从网络下载相应的辅助媒体对象并缓存于本地存储设备，这样可 以预先把一些较大的图片和动画等辅助媒体下载到本地，等起始播放时间一到便 可以立即开始播放；由于下载大的广告媒体文件需要一段时间，因此若不预先下 载的话，当视频播放到某一镜头需要弹出相应广告时并不能立即弹出，从而失去 了基于内容触发播放的效果。(4) 在主视频流的播放过程中基于时间戳匹配选择并播放辅助媒体对象流 媒体客户端在播放主视频流中的每一个视频帧时，在辅助媒体对象描述文件中査 找起始播放时间(Playtime)字段值与当前视频帧所携带的展现时间戳值相一致的辅助媒体对象记录，若找到匹配的记录，则根据该记录中的统一资源定位符(URL)字段值从本地缓冲区中查找已下载并缓存的辅助媒体对象，如果尚未下载 则从网络下载相应的辅助媒体对象，然后根据该记录的位置(Position)和大小(Size)字段值在主媒体播放器窗口旁边的相应位置弹出一个相应大小的辅助媒 体播放窗口，启动该辅助媒体对象的显示或播放，如果下载的辅助媒体对象描述 文件中没有对应的位置(Position)、大小(Position)或播放时间(Duration) 字段时，则按照由URL所确定的辅助媒体对象默认的相应参数值来进行显示或播 放。(5)结束辅助媒体对象的播放当播放某个辅助媒体对象的时间超过与之对应的播放时间(Duration)参数值时，则停止该辅助媒体对象的播放或显示，并关闭其播放窗口。如图2所示，是本发明提供的基于视频内容触发的辅助媒体播放方法的一个 例子当主视频流播放到时间点1时，主视频窗口中出现一个人用手机打电话的画面，这时将触发弹出一个辅助播放窗口，播放一段手机广告动画；当主视频流播放到时间点2时，主视频窗口中一个历史人物出场，这时将触发弹出一个辅助播放窗口，显示该历史人物的相关图片和背景资料。
权利要求
1、一种基于视频内容触发的辅助媒体播放方法，其特征在于每一个辅助媒体对象的播放是根据预先从主视频流中根据视频内容抽取的视频帧展现时间戳值来触发的，其包括以下步骤(a)在服务器端为每个主视频媒体文件编辑并生成一个辅助媒体对象描述文件，其中包括零到多条辅助媒体对象记录；(b)将辅助媒体对象描述文件下载到本地存储设备进行缓存；(c)在主视频流的播放过程中基于时间戳匹配选择并下载辅助媒体对象；(d)在主视频流的播放过程中基于时间戳匹配选择并播放辅助媒体对象；(e)当播放某个辅助媒体对象的时间超过与之对应的播放时间参数值时，则停止该辅助媒体对象的播放或显示，并关闭其播放窗口，结束媒体播放。
2、 如权利要求l所述的一种基于视频内容触发的辅助媒体播放方法，其特征 在于所述步骤(a)中，对辅助媒体对象描述文件的每条辅助媒体对象记录中包 括以下字段起始播放时间、起始下载时间、统一资源定位符、媒体类型、位置、 大小、播放时长。
3、 如权利要求l所述的一种基于视频内容触发的辅助媒体播放方法，其特征 在于所述辅助媒体对象描述文件的生成为手工生成或机器自动生成，还可以是 两者结合的方式。
4、 如权利要求2所述的一种基于视频内容触发的辅助媒体播放方法，其特征 在于所述辅助媒体对象描述文件的生成为手工生成或机器自动生成，还可以是 两者结合的方式。
5、 如权利要求1或2或3或4中所述的一种基于视频内容触发的辅助媒体播 放方法，其特征在于所述步骤(C)中，流媒体客户端在播放主视频流中的每一个视频帧时，在辅助媒体对象描述文件中查找起始下载时间字段值与当前视频帧 所携带的展现时间戳值相一致的辅助媒体对象记录。
6、 如权利要求1或2或3或4中所述的一种基于视频内容触发的辅助媒体播 放方法，其特征在于所述步骤(d)中，流媒体客户端在播放主视频流中的每一 个视频帧时，在辅助媒体对象描述文件中査找起始播放时间字段值与当前视频帧 所携带的展现时间戳值相一致的辅助媒体对象记录。
7、 如权利要求5中所述的一种基于视频内容触发的辅助媒体播放方法，其特征在于所述步骤(d)中，流媒体客户端在播放主视频流中的每一个视频帧时，在辅助媒体对象描述文件中查找起始播放时间字段值与当前视频帧所携带的展现 时间戳值相一致的辅助媒体对象记录。
8、 如权利要求1或2或3或4或7中所述的一种基于视频内容触发的辅助媒 体播放方法，其特征在于所述主视频流媒体文件为边下载边播放。
9、 如权利要求5中所述的一种基于视频内容触发的辅助媒体播放方法，其特征在于所述主视频流媒体文件为边下载边播放。
10、 如权利要求6中所述的一种基于视频内容触发的辅助媒体播放方法，其特征在于所述主视频流媒体文件为边下载边播放。
全文摘要
本发明涉及一种基于视频内容触发的辅助媒体播放方法，其特征在于每一个辅助媒体对象的播放是根据预先从主视频流中根据视频内容抽取的视频帧展现时间戳值触发的，其包括以下步骤(a)在服务器端为每个主音视频媒体文件编辑并生成一个辅助媒体对象描述文件，其中包括零到多条辅助媒体对象记录；(b)下载辅助媒体对象描述文件；(c)在主视频流的播放过程中基于时间戳匹配选择并下载辅助媒体对象；(d)在主视频流的播放过程中基于时间戳匹配选择并播放辅助媒体对象；(e)结束媒体播放。基于本方法发布的辅助媒体内容可作为提示信息则能够进一步加深用户对视频内容的理解，从而形成一种对媒体服务提供商和用户都有益的媒体发布和分发形式。
文档编号H04N7/16GK101232612SQ20071017886
公开日2008年7月30日 申请日期2007年12月6日 优先权日2007年12月6日
发明者强 付, 周晓聪, 徐永泽, 霍龙社, 文 高 申请人:北京广视通达网络技术有限公司;北京大学