专利名称：一种在iptv中实现画中画的方法
技术领域：
本发明涉及一种实现画中画的方法，特别是一种在IPTV(Internet ProtocolTelevision，网络电视)中实现画中画的方法。
背景技术：
画中画技术指的是在同一屏幕上收看主画面时，在适当位置上插入显示一个或多个子画面，以监视其它一个或多个频道的节目。用户随时可以让子画面移动或放大，以便仔细观赏；也可以对其进行冻结、动画、屏蔽等处理。为了在主画面中嵌套子画面，通常需要采用数码采样和存储技术，再利用视频开关，在某些行中插入子画面信号。子画面的面积虽然小，但它应是一幅基本完整的图像，也就是说，显示的子画面实际上是在原画面的基础上，在水平和垂直方向经过一定压缩后得到的。由于在传输主画面的同时，也传输若干大尺寸的其它频道供用户选择，因此目前电视系统中现有的画中画技术，对信号传输带宽和本地存储容量的要求较高，且现有电视的画中画技术缺乏交互性。
IPTV业务指的是通过宽带IP网络，把来源于提供商的多媒体内容，经IPTV宽带业务应用平台整合，传送到用户个人电脑、机顶盒+电视机、多媒体手机(用于移动IPTV)等客户端。其多媒体提供商有电视传媒、影视制片公司、新闻媒体机构、远程教育机构等。与传统的电视业务相比，IPTV最大的特点是能够进行个性化和实时交互的点播服务，还可以开展类似于传统电信业务和互联网业务的其它增值服务，但是现有的IPTV业务没有画中画功能。
发明内容
本发明的目的是提供一种在面向数字电视直播(广播)、点播、时移等应用的IPTV中实现画中画的方法，以达到节省网络传输带宽和客户端硬件处理与存储空间，同时保证客户端之收视效果。核心思想是小尺寸的画面使用低码率的视频流。
为实现上述目的，本发明采取以下技术方案一种在IPTV中实现画中画的方法，其是将内容提供商提供的多媒体信号通过IPTV头端系统的视频转码转换成多个内容相同，尺寸(码率)不同的视频流，并复制分发到各边缘/分发服务器上，由边缘/分发服务器根据客户端对视频流的请求，利用时间戳信息，对客户端请求进行切换视频流的同步操作。
对于直播或广播时的客户切换请求，边缘/分发服务器根据展现时间戳定位视频流的切换位置。
根据展现时间戳定位视频切换位置时，设大尺寸流媒体内容的初始PTS为PTSil，当前PTS为PTScl，相应小尺寸流媒体内容的初始PTS为PTSis，当前PTS为PTScs，则PTScl-PTSil＝PTScs-PTSis。
根据展现时间戳定位视频流的切换位置时，需要做两个约定第一码流切换一定要在图像组的结束处，如果切换点不在图像组的结束处，要进行适当的延迟处理；第二假设各视频流的展现时间戳始终是同步的。
根据展现时间戳定位视频流的切换位置时，需要做两个约定第一码流切换一定要在图像组的结束处，如果切换点不在图像组的结束处，要进行适当的延迟处理；第二假设各视频流的展现时间戳始终是同步的。
对于点播、时移时的客户切换请求，边缘/分发服务器根据解码时间戳定位视频流的切换位置。
根据解码时间戳定位视频流的切换位置时，设大尺寸流媒体内容的初始DTS为DTSil，当前DTS为DTScl，相应小尺寸流媒体内容的初始DTS为DTSis，当前DTS为DTScs，则DTScl-DTSil＝DTScs-DTSis。
根据解码时间戳定位视频流的切换位置时，需要做一个约定即码流切换一定要在图像组的结束处，如果切换点不在图像组的结束处，要进行适当的延迟处理。
根据解码时间戳定位视频流的切换位置时，需要做一个约定即码流切换一定要在图像组的结束处，如果切换点不在图像组的结束处，要进行适当的延迟处理。
当用户要求将子画面插入到主画面时，边缘/分发服务器则根据客户端请求，将主画面信号和子画面信号分别送入视频切换开关，在开关脉冲的作用下，主画面的信号在特定时间位置被切断，插入子画面信号。
当用户要求冻结子画面时，客户端即在原子画面位置停止处理子画面信号。
用户要求解冻子画面，根据解码时间戳，客户端向边缘/分发服务器重新请求该子画面频道，即可使冻结前与解冻后的子画面保持连续。
在直播或广播时，用户要求解冻子画面，且要求子画面保持连续，则客户端需要有相应的储存设备，而不必再向边缘/分发服务器发送请求。
在直播或广播时，用户要求解冻子画面，且不要求解冻后的子画面与冻结前连续，则根据展现时间戳，客户端向边缘/分发服务器重新请求该子画面频道。
当用户要求屏蔽子画面时，客户端即切断子画面信号，在原子画面位置显示主画面内容。
在点播、时移情况下，当用户要求解屏蔽子画面时，根据解码时间戳，向边缘/分发服务器重新请求该子画面频道即可使屏蔽前与解屏蔽后的子画面保持连续。
在直播或广播情况下，用户要求解屏蔽子画面，且要求子画面保持连续，则客户端需要有相应的储存设备，而不必再向边缘/分发服务器发送请求。
在直播或广播时，用户要求解屏蔽子画面，且不要求解屏蔽后的子画面与解屏蔽前连续，则根据展现时间戳，客户端向边缘/分发服务器重新请求该子画面频道。
所述边缘/分发服务器接收用户要求的压缩比，并由此选择相应尺寸的视频流。
本发明由于采取以上技术方案，其具有以下优点1、本发明通过展现时间戳与解码时间戳的使用，不仅大大降低了对网络传输带宽和客户端硬件处理与存储空间的要求，还提供了现有画中画技术所不具备的交互性，可以在客户端实现众多对同步性要求较高的终端画中画技术处理。2、本发明由于能够进行个性化和实时交互的点播服务，因此具有广阔的应用前景。3、本发明的具体实施非常灵活，既可以在现有IPTV系统中不添加任何硬件处理与存储设备来实现，也可以通过添加适当的硬件处理与存储设备来优化或增加本发明的功能。
图1是用于实施本发明的IPTV系统框2是客户端子画面插入主画面的示意图具体实施方式
下面结合附图和实施例，对本发明进行详细的描述。
如图1所示，实施本发明的IPTV系统包括提供MPEG-2等格式的多媒体信号的内容提供商1，连接所述内容提供商1的IPTV头端系统2，若干分别双向连接IPTV头端系统2的边缘/分发服务器3，分别双向连接各边缘/分发服务器3的客户端4(包括电脑、机顶盒、电视机等)。实施本发明的IPTV系统中，每个边缘/分发服务器3可以为多个客户端4提供服务，每个客户端4也可以向多个边缘/分发服务器3请求服务。实施本发明的IPTV系统可以在客户端4与IPTV头端系统2之间设置导航页服务5，也可以在客户端4与内容提供商1之间设置计费系统6，还可以在客户端4设置其它功能模块，以实现其它各种服务内容。
下面本发明以AVS音视频标准的IPTV应用为例(其它标准的应用与其相类似)，对在IPTV中实现画中画的方法，及所涉及的各部分的功能作用进行详细的描述一、IPTV头端系统21、将内容提供商1提供的MPEG-2格式或其它格式的多媒体信号通过视频转码转换为AVS格式；2、根据用户的地理位置和连接带宽，把经过用户选择的、访问率较高的流媒体内容和相应的小尺寸内容复制、分发到最靠近客户端4的边缘/分发服务器3上，由最靠近请求客户端的边缘/分发服务器3为客户端4提供服务。注意，当最靠近客户端4的边缘/分发服务器3无法为客户端4提供所需服务时，也可以由其它边缘/分发服务器3甚至IPTV头端系统2临时为客户端4提供服务；此时最靠近客户端4的边缘/分发服务器3根据需要可以同时将客户端4需要的内容复制到本服务器，以便提高下次服务的效率。
二、边缘/分发服务器31、对于直播(广播)应用(1)根据PTS(Presentation time-stamp，展现时间戳)，定位视频流的切换位置。设大尺寸流媒体内容的初始PTS为PTSil，当前PTS为PTScl，相应小尺寸流媒体内容的初始PTS为PTSis，当前PTS为PTScs，则PTScl-PTSil＝PTScs-PTSis。这里需要做两个约定第一码流切换一定要在GOP(Group of Pictures，图像组)的结束处，否则不能正确解码，如果切换点不在GOP的结束处，为了保证切换前后内容的连续性，需要进行适当的延迟处理；第二假设各视频流的PTS始终是同步的。
(2)接收用户要求的压缩比K，根据PTS确定相应尺寸流媒体内容传输的起始位置，把相应尺寸的流媒体内容发送给客户端4。
假设子画面在水平和垂直方向均压缩成原画面的1/K，K就称为压缩比。若K值取得过大，会使子画面因采样值过少导致清晰度下降，因此，为了保证子画面有一定的清晰度，K就不宜取得过大；但K值若取得过小，则子画面面积过大，影响到主画面应有的显示范围，而且要求客户端硬件处理与存储空间的容量变大。综合考虑，通常K值取3或4。
2、对于点播、时移应用(1)根据DTS(Decoding time-stamp，解码时间戳)，定位视频流的切换位置。设大尺寸流媒体内容的初始DTS为DTSil，当前DTS为DTScl，相应小尺寸流媒体内容的初始DTS为DTSis，当前DTS为DTScs，则DTScl-DTSil＝DTScs-DTSis。这里需要做一个约定，即码流切换一定要在GOP的结束处，否则不能正确解码，如果切换点不在GOP的结束处，为了保证切换前后内容的连续性，需要进行适当的延迟处理。
(2)接收用户要求的压缩比K，根据DTS确定相应尺寸流媒体内容传输的起始位置，把相应尺寸的流媒体内容发送给客户端4。
三、客户端4(包括电脑、机顶盒、电视机等)客户端4不仅能够实现对同步性要求不高的常见终端画中画技术处理，这些技术处理包括但不限于显示变换、画面移动等；而且能够通过与边缘/分发服务器3的交互，利用时间戳信息来实现众多对同步性要求较高的终端画中画技术处理，这些技术处理包括但不限于画面缩放、频道切换、子画面冻结、子画面屏蔽等。
1、显示变换为了将子画面插入到主画面中，通常要设置一个视频切换开关，适时地切换，按要求接入主画面或子画面信号，送显像管显示图像。主画面信号和子画面信号分别送入视频切换开关，视频切换开关受开关脉冲控制，而开关脉冲与主画面的水平、垂直同步信号有严格的关系。在开关脉冲的作用下，主画面的信号在特定时间被切断，插入子画面信号，相当于在主画面的特定位置上开了一个插入窗口，把子画面镶嵌在主画面的窗口内(如图2所示)。设在主画面的第m行至n行插入子画面，那么在除了m行至n行间的各行，视频开关都接通主画面信号；而在m至n行，当行扫描从左扫描到像素c点之前时，视频开关仍接通主画面信号；当扫描到c与d之间时，视频开关切断主画面信号，接通子画面信号，以便在mncd区域显示子画面，过了d点再切换回主画面信号。
2、若要改变插入子画面的窗口位置，只需改变水平延迟时间TH和垂直延迟时间TV即可，改变水平延迟时间和垂直延迟时间的控制信号由画中画控制电路产生。
3、当需要对画面进行缩放(包括主画面和子画面的相互切换)操作时，客户端4向边缘/分发服务器3发送新的压缩比K，由边缘/分发服务器3根据PTS把对应的流媒体内容发送过来，然后再次进行显示变换即可。
4、切换画面频道的原理与上述画面缩放原理类似，客户端4向边缘/分发服务器3请求用新的画面频道替代原先的画面频道。以直播(广播)应用为例，设原来画面频道内容的初始PTS为PTSio，当前PTS为PTSco，新画面频道内容的初始PTS为PTSin，当前PTS为PTScn，则PTSco-PTSjo＝PTScn-PTSin。边缘/分发服务器3根据压缩比K确定需要传输的新视频流，根据PTS确定新视频流传输的起始位置，然后把新的内容发送到客户端4进行显示变换。点播、时移应用的原理与此类似，用DTS取代PTS即可。
5、需要冻结子画面时，只需要在原子画面位置停止处理子画面信号即可。点播、时移情况下根据DTS向边缘/分发服务器3重新请求该子画面频道即可使冻结前与解冻后的子画面保持连续。对于直播(广播)情况，若要求解冻后的子画面与冻结前保持连续，则需要客户端4有相应的硬件处理与存储设备，解冻时不需要再向边缘/分发服务器3发送请求；若不要求解冻后的子画面与冻结前连续，则根据PTS向边缘/分发服务器3重新请求该子画面频道即可。
6、需要屏蔽子画面时，只需要切断子画面信号，在原子画面位置显示主画面内容即可。点播、时移情况下根据DTS向边缘/分发服务器3重新请求该子画面频道即可使屏蔽前与解屏蔽后的子画面保持连续。对于直播(广播)情况，若要求解屏蔽后的子画面与屏蔽前保持连续，则需要客户端4有相应的硬件处理与存储设备，解屏蔽时不需要再向边缘/分发服务器3发送请求；若不要求解屏蔽后的子画面与屏蔽前连续，则根据PTS向边缘/分发服务器3重新请求该子画面频道即可。
IPTV画中画系统大大降低了网络传输带宽和对客户端硬件处理与存储空间的要求，子画面存储在IPTV头端系统2和各个边缘/分发服务器3上，仅当用户提出请求时才向用户传送相应尺寸的子画面。但对画面进行缩放(包括对主画面与子画面进行切换)、频道切换、冻结、屏蔽等操作时，IPTV画中画系统比传统的画中画系统多了一个同步性要求传统电视把多个频道的内容都传过来，用户想看哪个频道的小画面，就对哪个视频流的内容进行解码、下采样，不存在同步问题。而在IPTV中，每个频道可能有多个内容相同但尺寸不同的视频流，用户要看哪个尺寸的视频流，边缘/分发服务器3就传哪个；进行切换尺寸、切换频道、解冻、解屏蔽等操作时，边缘/分发服务器3通常需要让新尺寸的视频流从旧尺寸的视频流停止的地方开始放，因此需要同步，需要利用到时间戳信息。
最后应说明的是以上实施例仅用以说明本发明而并非限制本发明所描述的画中画实现方法；因此，尽管本说明书参照上述实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或者等同替换；而一切不脱离本发明的精神和范围的技术方案及其改进，均应涵盖在本发明的权利要求范围当中。
权利要求
1.一种在IPTV中实现画中画的方法，其是将内容提供商提供的多媒体信号通过IPTV头端系统的视频转码转换成多个内容相同，尺寸不同的视频流，并复制分发到各边缘/分发服务器上，由边缘/分发服务器根据客户端对视频流的请求，利用时间戳信息，对客户端请求进行切换视频流的同步操作。
2.如权利要求1所述的一种在IPTV中实现画中画的方法，其特征在于对于直播或广播时的客户切换请求，边缘/分发服务器根据展现时间戳定位视频流的切换位置。
3.如权利要求2所述的一种在IPTV中实现画中画的方法，其特征在于根据展现时间戳定位视频切换位置时，设大尺寸流媒体内容的初始PTS为PTSil，当前PTS为PTScl，相应小尺寸流媒体内容的初始PTS为PTSis，当前PTS为PTScs，则PTScl-PTSil＝PTScs-PTSis。
4.如权利要求3所述的一种在IPTV中实现画中画的方法，其特征在于根据展现时间戳定位视频流的切换位置时，需要做两个约定第一码流切换一定要在图像组的结束处，如果切换点不在图像组的结束处，要进行适当的延迟处理；第二假设各视频流的展现时间戳始终是同步的。
5.如权利要求4所述的一种在IPTV中实现画中画的方法，其特征在于根据展现时间戳定位视频流的切换位置时，需要做两个约定第一码流切换一定要在图像组的结束处，如果切换点不在图像组的结束处，要进行适当的延迟处理；第二假设各视频流的展现时间戳始终是同步的。
6.如权利要求1所述的一种在IPTV中实现画中画的方法，其特征在于对于点播、时移时的客户切换请求，边缘/分发服务器根据解码时间戳定位视频流的切换位置。
7.如权利要求6所述的一种在IPTV中实现画中画的方法，其特征在于根据解码时间戳定位视频流的切换位置时，设大尺寸流媒体内容的初始DTS为DTSil，当前DTS为DTScl，相应小尺寸流媒体内容的初始DTS为DTSis，当前DTS为DTScs，则DTScl-DTSil＝DTScs-DTSis。
8.如权利要求6所述的一种在IPTV中实现画中画的方法，其特征在于根据解码时间戳定位视频流的切换位置时，需要做一个约定即码流切换一定要在图像组的结束处，如果切换点不在图像组的结束处，要进行适当的延迟处理。
9.如权利要求7所述的一种在IPTV中实现画中画的方法，其特征在于根据解码时间戳定位视频流的切换位置时，需要做一个约定即码流切换一定要在图像组的结束处，如果切换点不在图像组的结束处，要进行适当的延迟处理。
10.如权利要求1或2或3或4或5或6或7或8或9所述的一种在IPTV中实现画中画的方法，其特征在于当用户要求将子画面插入到主画面时，边缘/分发服务器则根据客户端请求，将主画面信号和子画面信号分别送入视频切换开关，在开关脉冲的作用下，主画面的信号在特定时间位置被切断，插入子画面信号。
11.如权利要求1或2或3或4或5或6或7或8或9或10所述的一种在IPTV中实现画中画的方法，其特征在于当用户要求冻结子画面时，客户端即在原子画面位置停止处理子画面信号。
12.如权利要求11所述的一种在IPTV中实现画中画的方法，其特征在于在点播、时移情况下，用户要求解冻子画面，根据解码时间戳，客户端向边缘/分发服务器重新请求该子画面频道，即可使冻结前与解冻后的子画面保持连续。
13.如权利要求11所述的一种在IPTV中实现画中画的方法，其特征在于在直播或广播时，用户要求解冻子画面，且要求子画面保持连续，则客户端需要有相应的储存设备，而不必再向边缘/分发服务器发送请求。
14.如权利要求11所述的一种在IPTV中实现画中画的方法，其特征在于在直播或广播时，用户要求解冻子画面，且不要求解冻后的子画面与冻结前连续，则根据展现时间戳，客户端向边缘/分发服务器重新请求该子画面频道。
15.如权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14所述的一种在IPTV中实现画中画的方法，其特征在于当用户要求屏蔽子画面时，客户端即切断子画面信号，在原子画面位置显示主画面内容。
16.如权利要求15所述的一种在IPTV中实现画中画的方法，其特征在于在点播、时移情况下，当用户要求解屏蔽子画面时，根据解码时间戳，向边缘/分发服务器重新请求该子画面频道即可使屏蔽前与解屏蔽后的子画面保持连续。
17.如权利要求15所述的一种在IPTV中实现画中画的方法，其特征在于在直播或广播情况下，用户要求解屏蔽子画面，且要求子画面保持连续，则客户端需要有相应的储存设备，而不必再向边缘/分发服务器发送请求。
18.如权利要求15所述的一种在IPTV中实现画中画的方法，其特征在于在直播或广播时，用户要求解屏蔽子画面，且不要求解屏蔽后的子画面与解屏蔽前连续，则根据展现时间戳，客户端向边缘/分发服务器重新请求该子画面频道。
19.如权利要求1或2或3或4或5或6或7或8或9或10或11或12或13或14或15或16或17或18所述的一种在IPTV中实现画中画的方法，其特征在于所述边缘/分发服务器接收用户要求的压缩比，并由此选择相应尺寸的视频流。
全文摘要
本发明涉及一种在IPTV中实现画中画的方法，其是将内容提供商提供的多媒体信号通过IPTV头端系统的视频转码转换成多个内容相同，尺寸不同的视频流，并复制分发到各边缘/分发服务器上，由边缘/分发服务器根据客户端对视频流的请求，利用时间戳信息，对客户端请求进行切换视频流的同步操作。本发明通过展现时间戳与解码时间戳的使用，不仅大大降低了对网络传输带宽和客户端硬件处理与存储空间的要求，还提供了现有画中画技术所不具备的交互性，可以在客户端实现众多对同步性要求较高的终端画中画技术处理。本发明的具体实施非常灵活，既可以在现有IPTV系统中不添加任何硬件处理与存储设备来实现，也可以通过添加适当的硬件处理与存储设备来优化或增加本发明的功能。
文档编号H04N21/431GK1972440SQ20061016513
公开日2007年5月30日 申请日期2006年12月13日 优先权日2006年12月13日
发明者高文, 黄倩, 陈熙霖, 王强 申请人:北京大学, 中国科学院计算技术研究所, 中国网通集团宽带业务应用国家工程实验室有限公司