动态视频二维信息互动同步传输方法及二维网络视讯互动系统的制作方法

专利名称：动态视频二维信息互动同步传输方法及二维网络视讯互动系统的制作方法
技术领域：
本发明涉及可视网络视频设备，尤其涉及一种动态视频二维信息互动同步传输方法及二维网络视讯互动系统。
背景技术：
传统的电视系统只有直播功能，性能单一，不能很好地完成与观众的互动，观众只能进行被动的接收；现有的网络电视系统虽然具有视频点播功能及直播功能，但还不能实现与观众真正意义上的互动。上述系统在利用网络资源方面仍然存在较大的缺陷，基本上是一种层次单一的一维视讯系统。受众只能被动的接收广告，而不能对其所需要的内容进行主动的选择。上述系统运行时，观看的画面通常只有一个，即使采用画中画或分屏技术，画面之间也没有必然的逻辑关系。

发明内容
本发明旨在提供一种交互效率高，交易成本低，人性化程度高的动态视频二维信息互动同步传输方法及二维网络视讯互动系统。
本发明的技术解决方案可依如下方式实现动态视频二维信息互动同步传输方法，它包括如下步骤(1)将原始的视频流文件存储在流媒体服务器中；
(2)通过热点区域编辑软件编辑所述视频流文件，使相应的视频帧中包含可以点击的热点区域信息；(3)使编辑过的视频流文件通过流媒体服务器在网上播放；(4)网络视频接收用户运用用户端播放器播放并点击所述编辑过的热点区域；(5)用户端播放器向后台服务器发起连接请求，若在所述后台服务器找到用户请求媒体信息，可将其传输到用户端；若没有找到，返回空；(6)用户端播放来自后台服务器的媒体文件。
本发明在完成步骤(6)后，若仍是视频文件且还有可点击的热点区域，可继续点击；重复步骤(5)及上述操作；若不可以点击，播放结束后，可关闭来自后台服务器的视频文件。
本发明在完成步骤(6)后，若为其它形式媒体信息，待经过设定时间后，可自动关闭此媒体信息。
本发明在完成步骤(6)后，若为其它形式媒体信息，可进行超连接操作。
作为本发明的一种优选方案，本发明在步骤(2)编辑处理中，可运用椭圆或矩形区域来标识一个视频帧中的可点击热点区域或采用图像处理技术标识可点击的热点区域。
本发明在所述用户端播放器的视频播放层之上可再植入一层热点信息描述层。本发明所述热点区域信息可嵌入到视频流文件中。
作为本发明的另一种优选方案，本发明所述后台服务器可通过URL或数据库方式查找用户点击热点区域后对应的媒体文件。
实现上述动态视频二维信息互动同步传输方法的二维网络视讯互动系统，它包括用户接收层、负责消息流及媒体流传输的网络承载层及提供媒体处理的媒体服务层；所述媒体服务层包括播放及编辑视频流的流媒体服务器、存储热点区域对应的媒体信息后台服务器、控制用户访问的接入授权服务器；所述网络承载层包括宽带网络、汇聚交换机；所述用户接收层包括播放设备及播放软件。
本发明所述媒体服务层还可结合电子商务系统进行网上交易。
本发明具有交互效率高，交易成本低，人性化程度高等特点。
在互连网上，实现超连接的方式主要有两种，一种是文字，另一种是图片/Flash，通过点击网页上的文字或图片，打开在服务器端的媒体资源。而这种单调的静态连接模式远远不能满足人们的需要。本发明提供了一种二维、动态的网络互动视频系统，正好可以解决这样的问题。人们可以在观看电视的时候，点击正在播放的画面，实现超连接的功能，打开其它视频文件、Flash、音频文件或文字图片等媒体信息。这种直观的连接模式将会是未来的主导模式。
“三网合一”的发展趋势不可阻挡，电视直接可以接入网络，并且网络提供商将提供更高的带宽，这恰好为本系统的发展创造了良好的条件。本发明可以运用在未来的网络电视系统或数字电视系统、网络游戏、网络远程教育等可视系统中，可以用来播放一些辅助信息、广告、互动游戏信息等。该系统的用户端设备可以是个人电脑、电视机+机顶盒或3G手机。


下面结合附图和具体实施方式
对本发明作进一步详细说明。
图1为本发明系统结构图；图2为本发明的网络规划图；图3为本发明的注册点播流程图；图4为本发明的视频流的流向图；图5为本发明的点击热点区域信息流程图；图6为本发明的播放器效果图；图7为本发明媒体信息热点描述文件的一种编辑软件流程图；图8为本发明媒体信息热点描述文件的另一种编辑软件流程图；图9为本发明媒体信息热点描述文件分析软件及通用播放软件流程图；图10为流媒体服务器向用户发送流媒体过程一种软件流程图；图11为流媒体服务器向用户发送流媒体过程另一种软件流程图；图12为后台服务器响应用户点击热点区域第一种软件流程图；图13为后台服务器响应用户点击热点区域第二种软件流程图；图14为后台服务器响应用户点击热点区域第三种软件流程图；图15为后台服务器响应用户点击热点区域第四种软件流程图；图16为本发明的热点区域第一种编辑模型图；图17为本发明的热点区域第二种编辑模型图；图18为本发明的热点区域第三种编辑模型图；
如图1～2、图7～15所示，本发明二维网络视讯互动系统包括1、后台服务器——可向具体的网络设备提供视频信息、音频信息、图片信息或文字信息等；所述后台服务器包括用于存储视频信息、音频信息、图像和文字信息，以及视频流中可以被点击的区域的信息描述文件并且响应用户对热点区域的点击。可以普通的媒体服务器作为硬件平台。后台服务器在后台检索时可通过URL或数据库方式查找用户点击热点区域后对应的媒体文件(如图12～15)。图12为存在热点描述文件时，用户向后台服务器发送点击热点区域对应的URL的情况。图13为当热点描述信息嵌入到视频流时，用户向后台服务器发送点击热点区域对应的URL的情况。图14为存在热点描述文件时，向后台服务器发送点击热点区域对应文件ID的情况。图15为当热点描述信息嵌入到视频流时，向后台服务器发送点击热点区域对应文件ID的情况。
2、流媒体服务器——提供经过热点区域编辑软件(MMaker)图7为生成单独热点信息描述文件的情况；图8为将热点描述信息直接嵌入视频流的情况。编辑过的带有热点描述信息的视频流。对热点描述信息的处理存在两种方法，第一种将视频流文件和热点描述文件存在同一个目录下的两个独立文件中；第二种可以将热点描述信息直接存放到视频流文件里面。产生的视频流的热点描述文件和对应的视频流文件同时放在流媒体服务器或后台服务器中。本系统将热点描述信息放在流媒体服务器中是必选的，这样才能点击播放的视频流中的热点，放在后台服务器是可选的，当用户点击由流媒体服务器传输的视频流中的热点区域后，如果同时接收到两路视频流(其中一路来自流媒体服务器，另一路来自后台服务器)，则可以通过热点编辑软件(如图7、图8)将后台服务器传来的一路视频流中加入热点信息，从而用户可以完成二次点击热点的操作。这里的流媒体服务器可适用于不同的网络应用领域a、在典型的IPTV网络中，流媒体服务器主要提供多套电视节目，每套以固定带宽输出，如果用户想观看某套节目，可通过加入边缘组播设备的方法收看；b、在VOD的网络服务结构中，流媒体服务器响应不同的用户点击，并由后台服务器向相应用户传送相应的媒体信息；c、P2P的网络结构中，流媒体服务器响应不同的用户点击，并由后台服务器向相应用户传送相应的媒体信息。流媒体服务器可采用中兴ZXBIV VS6000B。
3、MReader——媒体信息热点描述文件的分析软件和通用播放软件(如图9所示)包含Windows Media Player、RM播放软件、Quick Time等的播放功能，其内核选用Windows Media Player。
4、接入授权/计费服务器——提供用户接入或计费功能(如图2)。
5、编/解码器——为流媒体服务器提供统一高效的编码(如图2)。本专利虽然推荐使用高效的H.264等高效编码方式，但是对传统的编码方式Real、MPEG-2、MPEG-4、DivX/XviD/3ivx、MP4、AVI等同样适用。该编/解码器可采用中兴ZXBIV EC201ESO。
6、本系统需要一定的带宽要求，通常需要宽带接入512K、1M、2M或大于2M。
首先本发明通过在普通视频流播放层的上面再加入一层媒体信息描述层，使视频流里面需要加入热点信息的帧的热点区域与一个指向后台服务器中的媒体文件相对应，这样的目的是使需要被点击的帧都具备热点描述信息，当点击某一帧的热点区域时，即可以调用存放在后台服务器端的媒体文件，并将这些媒体文件传送到用户接收端。
本发明涉及一种新的播放模式，实际上把以前以静态为主的超连接模式改为了动态的超连接模式，是对传统的网页模式的浏览方式的全新变革，正好也吻合了人们在观看连续视频流时互动的需要，能够广泛的应用于IPTV等多个领域。
实施本发明所述方法如果借助高效的承载网络，例如IPTV网络，将会发挥更好的效果。软件的工作环境为Microsoft Windows系列操作系统。当使用数据库检索文件时，服务器可与Oracle等数据库配合使用。本发明适用于多种视频流媒体格式，包括RM、MPEG-2、MPEG-4、DivX/XviD/3ivx、MP4、AVC/H264、AVI，以后会支持更多的视频流媒体格式。
本发明的实施具体分为以下四个步骤热点描述文件的生成；热点区域描述文件的存储；热点区域的点击；热点描述对应的媒体文件的播放。
一、热点描述信息的加入要想让运动的视频画面可以被点击，首先要加入热点描述信息。而要想让热点信息被播放器感知，首先要想加入热点描述信息，这需要在普通的视频流播放层之上在引入一个新层——热点信息描述层。其中热点描述信息包括以下信息帧的位置信息(时间位置信息、空间位置信息)、对应的后台服务器上的文件信息、用户信息等。如附图4、图7、图8所示，本发明需要对原始的视频流进行处理，即加入热点区域描述信息。为了快速的加入热点描述信息，本发明采用流媒体编辑工具——MMaker，通常有两种实现方式(图7、图8)。其中第一种通过在帧里面加入辅助信息，来标明热点区域，不单独生成文件，即把热点描述信息放在视频流里面；另一种生成一个热点信息描述文件。
标记出热点区域的方法主要有以下三种方法模型方法一、首先，在需要加入热点的帧中加入一个新层(new layer)，即热点信息描述层，再采用矩形或圆形区标记的方法，并在流媒体编辑工具(MMaker)中记录下帧的范围(从m帧到n帧或从某个时间点到某个时间点)，这样当使用本发明提供的媒体播放器(MReader)播放流媒体时，就可以在预先编辑好的区域中心看到一个闪动的亮点，并且这个亮点的周围的矩形或椭圆形区域是可以点击的，当点击这一热点区域时，就会向后台服务器发起请求，打开热点区域对应的媒体信息。由于图像是不断变化的，图像内的物体也是不断变化的，如果用一个固定的区域去标识一个变化的物体，显然是不准确的。这样做很容易让热点描述的范围偏离目标，给用户点击带来不便，如图16所示。
方法二、采用可变化大小和位置的椭圆形或矩形区域来描述热点区域，和方法一有明显的不同，这种方法已经可以准确地标识出视频流中一个运动变化的物体。在热点编辑工具的具体实现过程中，我们可以通过加入矩形区域或椭圆形区域(根据第一帧中热点区域的形状来选择)的中间帧，并使区域能够平滑过渡(如图17、图18)；如加入位置变化而大小不变的矩形区域或椭圆形到中间帧(如图17所示)，实际上只是把热点区域的第一帧到中间帧的所有在热点区域的点的位置做水平移动或纵向移动就是可以完成。
根据中间帧的总数和横向纵向坐标运动的范围，可以计算出下一帧热点区域的每个点的坐标。例如从第n帧到第n+m帧，如果第n帧热点区域某点横坐标为x，纵坐标为y，第n+m帧横坐标变化为x+xi，纵坐标变化为y+yi，则n+1帧热点区域内该点坐标为横坐标x+xim]]>纵坐标y+yim]]>如把位置变化且大小变化的矩形或椭圆形热点区域加入到中间帧，来控制热点的范围。如图18所示这样必须要在热点区域编辑工具(MMaker)中记录下中间帧的中心位置坐标，如果是圆形的热点区域，则要记录下半径的大小(R)；例如第n帧中心坐标为(x，y)半径为r，第n+m帧中心坐标为(x+xi，y+yi)半径为R，则n+1帧热点区域半径 中心坐标为 这是就可以根据n+1帧中热点区域圆的中心坐标和半径确定n+1帧中热点区域的位置。
如果是矩形热点区域则要分别记录下中心到短边和长边的距离a和b；例如第n帧热点矩形区域中心坐标为(x，y)，中心到短边距离为a，中心到长边距离为b，第n+m帧热点矩形区域中心坐标为(x+xi，y+yi)，中心到短边距离为A，中心到长边距离为B，则n+1帧热点区域中心坐标为 中心到短边距离为 中心到长边距离为 这样也就可以唯一确定n+1帧的矩形热点区域范围了。
方法三、基于图像识别技术的方法来选定热点区域，在通过预测和补充算法来计算下一帧热点区域的位置，这种方法可以最准确的标明热点区域的位置。
为了保证点击热点区域时候的准确性，我们现阶段假定一个热点区域只能产生一个媒体连接，打开一个后台服务器上的媒体文件。
二、热点区域描述文件的存储如图2、图4、图7、图8所示，编辑好的流媒体同生成的热点信息描述信息放在流媒体服务器中，每个热点区域描述文件可包含名称、用户描述信息、超连接目的文件、超连接媒体文件类型、超连接服务器名称、共有多少帧、第几帧等描述信息。当编辑好视频节目(即在所需的地方加上热点)以后，MMaker会把热点的信息变成另外一个独立的文件保存在和视频文件同一个文件夹里(如图7所示)或把热点信息直接嵌入到视频流中。热点区域描述文件可以存储在流媒体服务器中，如果后台服务器也有视频文件，并且也需要热点描述信息，则也可以把一些热点信息描述文件放入后台服务器中，使得点击热点打开的流媒体文件内部同样存在可以再点击的热点。后台服务器可以采用通用的媒体服务器来实现。
三、热点区域的点击如图9～15所示，MReader是一个加入了热点分析功能的播放器，它继承了Windows Media Player的大量功能(其软件流程如图9所示)。MReader结合了现有的生成热点描述文件和直接将热点信息嵌入流中的方法(如图9所示)，在一开始首先判断帧是否含有热点描述层信息，如果有则直接播放该帧，如果没有去接收热点描述信息。在使用Send()函数向后台服务器发起请求时，内容可以分为Send(URL)和Send(ID)两种形式，其中Send(URL)是确定热点区域对应的媒体信息的位置，而Send(ID)是和后台服务器中的数据库配合使用的，数据库检索到ID，再把ID对应的媒体文件传送给用户。Send()可以使用XML作为描述信息，传输协议可选用HTTP。
但有两点不同A、由于媒体流里存在热点信息描述层，所以MReader可以分析这些描述信息，使得当鼠标移到这些区域之后会从 变为 并在热点区域中心设置明显的可点击标志，使用户知道这里是可以点击的。
B、可以响应用户的点击，并向后台服务器发起请求。如图12～15所示。
如图6所示，两个MReader可以同时放在一个屏幕中。
需要说明的是，如果采用单独存储热点描述文件的方法，由于用户可能是在播放一个节目的过程中加入，用户必须要在播放视频流文件之前就获得热点描述文件，只有这样才能获得正在播放视频流的热点描述信息，才能点击热点描述区域。如图10所示，本发明首先在流媒体服务器端形成一个节目单文件，节目单中包括每一个时段的节目以及这些节目的播放时间，当用户发起一个连接请求时，流媒体服务器首先根据发起的时间查询自身的节目单上对应的节目内容，然后把节目对应的热点描述信息先传给用户，由于描述信息很小，并不会产生很大的时延。
如果采用把热点信息直接嵌入到流中的方法，则如图11所示，直接发给用户即可。
三、热点描述对应的媒体文件的播放MReader可以是单独的播放软件，也可以是放入IE的插件/控件，但可以采用相同的软件结构。采用IP协议族，通过RTP/UDP/HTTP等协议来传送视频流。当点击热点之后需要再起一个进程来播放又后台服务器传来的媒体信息。由于采用了通过点击热点动态连接打开新的媒体流的方法，当点击完热点连接以后终端就会接收到下面两种组合中的一种第一种视频流(流媒体服务器)+视频流(后台服务器)第二种视频流(流媒体服务器)+音频流或Flash或图片文字(后台服务器)如果是第一种，我们需要再起一个新的MReader进程去打开这个新的视频流，如果新的视频流是有声音的，则把原来的视频流(流媒体服务器提供)静音，播放新视频流(后台服务器提供)声音。当然这两边声音是可以相互切换的。如果是第二种，由于IE可以播放音频/flash/图片/文字，所以可以采用IE及其控件直接播放。
对于如果采用电视机作为播放终端，可以首先考虑采用分频(多画面)或H.239双流协议或画中画的方法实现。
如果点击热点之后，如果来自后台服务器传送的文件的是视频文件，将会出现图6所示的情形，当然也可以采用画中画等技术放在一个播放屏幕里面。
如图9所示，当用户用鼠标点击热点区域时，将会产生一个事件(用一个函数获得这个热点区域的名称)，用类似HTTP的方法，把热点区域的点击动作、热点区域的名称和后台服务器的具体媒体文件关联起来。此时，后台服务器就会受到一个来自客户端的请求，这个请求包含热点区域的名称，然后通过数据库查询出关联的媒体文件，再把该文件通过网络传送到用户机器上，并播放该文件。播放完该文件后，返回普通播放状态。
如图1、图2所示，本系统主要包含三个层次，用户接收层，网络承载层和媒体服务层。其中网络承载层内容主要涵盖网络设备(即交换机、路由器、中继设备、安全设备、计费授权设备等)和网络协议(即应用层协议、传输协议、路由协议、组播协议、安全协议)的内容。其中图1中提到的汇聚交换机是一种高速交换设备，可使用华为的S8500系列的千兆交换机。汇聚交换机作为媒体服务层众多服务器的出口和入口，还可以考虑使用双机热备的方法，保证网络的安全性。
如图2所示，当用户成功接入以后，如果点击热点，点击消息先被送到接入授权计费服务器(为了统计和计费功能)，然后再由接入授权计费服务器向后台服务器发送点击消息，由于消息中包含用户请求信息、用户IP，后台服务器受到请求后，即向用户发送媒体信息。当后台服务器发送完毕或用户主动关闭由后台服务器发送的媒体信息时，一个MReader进程也同时被关闭(如图9)。
如图2所示，该图反映了整个网络的结构，已经直播视频流和点击热点之后加入的媒体流的传送方向，以及控制信息的流向。直播流在IPTV系统里表现为通过组播协议在网络上转送的电视电影节目。首先录制好的电视节目，通过编解码器转换成一种效率较高的视频编码(现阶段是h.263/h.264，以后不排除使用更为先进的编码)存储在流媒体服务器中，在服务器中就可以利用本专利提高的技术在视频流里面加入热点，然后把流媒体服务器中的节目转送到IPTV等高速承载网，当用户在一端使用个人电脑、电视机(配机顶盒)或手机收看这些电视节目时，可以通过点击上面的热点向后台服务器发起请求，这样也就可以接收后台服务器上丰富多彩的各种媒体形式的媒体信息了。这样实际上就是本来一维的影视画面可以点击，并会产生响应，成为二维或更多维的信息载体。这样大大丰富了人们的可以感知的信息空间。需要特别提出的时，由于流媒体需要占用较大的带宽，如果同时由流媒体服务器和后台服务器同时向用户发送视频流，那么则需要更大的带宽支持。同时如果选用个人电脑，因为同时处理多路媒体，也需要较强的处理能力，不过今天的400MHz以上的电脑都可以快速处理。
本专利的应用范围非常广泛，视频等多种广告，互动游戏，介绍性信息，多画面系统，视频会议等等很多方面。这几乎肯定会成为未来影视发展的方向。如图1所示，可以看出本系统和电子商务系统一起使用，将会产生更大的商业价值。例如，广告的应用，任何一个视频画面，当出现一个商品的时候，都可以本编辑成为热点，当用户一点击，马上可以看到商品的介绍，然后可以结合电子商务平台，马上交易。这将创造无限商机。
需要声明的是，本发明的特定实施方案已经对本发明进行了详细描述，对于本领域的技术人员来说，在不背离本发明的精神和范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。
权利要求
1.动态视频二维信息互动同步传输方法，其特征在于包括如下步骤(1)将原始的视频流文件存储在流媒体服务器中；(2)通过热点区域编辑软件编辑所述视频流文件，使相应的视频帧中包含可以点击的热点区域信息；(3)使编辑过的视频流文件通过流媒体服务器在网上播放；(4)网络视频接收用户运用用户端播放器播放并点击所述编辑过的热点区域；(5)用户端播放器向后台服务器发起连接请求，若在所述后台服务器找到用户请求媒体信息，可将其传输到用户端；若没有找到，返回空；(6)用户端播放来自后台服务器的媒体文件。
2.按照权利要求1所述的动态视频二维信息互动同步传输方法，其特征在于在完成步骤(6)后，若仍是视频文件且还有可点击的热点区域，可继续点击；重复步骤(5)及上述操作；若不可以点击，播放结束后，关闭来自后台服务器的视频文件。
3.按照权利要求1所述的动态视频二维信息互动同步传输方法，其特征在于在完成步骤(6)后，若为其它形式媒体信息，待经过设定时间后，自动关闭此媒体信息。
4.按照权利要求1所述的动态视频二维信息互动同步传输方法，其特征在于在完成步骤(6)后，若为其它形式媒体信息，可进行超连接操作。
5.按照权利要求1～4之任一所述动态视频二维信息互动同步传输方法，其特征在于在步骤(2)编辑处理中，运用椭圆或矩形区域来标识一个视频帧中的可点击热点区域或采用图像处理技术标识可点击的热点区域。
6.按照权利要求1～4之任一所述动态视频二维信息互动同步传输方法，其特征在于在所述用户端播放器的视频播放层之上再植入一层热点信息描述层。
7.按照权利要求1～4之任一所述动态视频二维信息互动同步传输方法，其特征在于所述热点区域信息可嵌入到视频流文件中。
8.按照权利要求1～4之任一所述动态视频二维信息互动同步传输方法，其特征在于所述后台服务器通过URL或数据库方式查找用户点击热点区域后对应的媒体文件。
9.实现如权利要求1所述动态视频二维信息互动同步传输方法的二维网络视讯互动系统，其特征在于，包括用户接收层、负责消息流及媒体流传输的网络承载层及提供媒体处理的媒体服务层；所述媒体服务层包括播放及编辑视频流的流媒体服务器、存储热点区域对应的媒体信息后台服务器、控制用户访问的接入授权服务器；所述网络承载层包括宽带网络、汇聚交换机；所述用户接收层包括播放设备及播放软件。
10.按照权利要求9所述实现动态视频二维信息互动同步传输方法的二维网络视讯互动系统，其特征在于所述媒体服务层还可结合电子商务系统进行网上交易。
全文摘要
本发明涉及可视网络视频设备，尤其涉及一种动态视频二维信息互动同步传输方法及二维网络视讯互动系统，包括如下步骤(1)将原始的视频流文件存储在流媒体服务器中；(2)通过热点区域编辑软件编辑所述视频流文件；(3)使编辑过的视频流文件通过流媒体服务器在网上播放；(4)网络视频接收用户运用用户端播放器播放并点击所述编辑过的热点区域；(5)用户端播放器向后台服务器发起连接请求；(6)用户端播放来自后台服务器的媒体文件。本发明在网络中实现了二维媒体信息同时传送。该系统同时可以结合电子商务系统一起使用，例如用户在热点区域看中了某种商品时，可以立即进行购买，这体现了一种全新的销售模式。
文档编号H04N7/24GK101035257SQ20061004602
公开日2007年9月12日 申请日期2006年3月10日 优先权日2006年3月10日
发明者孟智平 申请人:孟智平