专利名称：多视角互动电视的影音串流方法
技术领域：
本发明是有关于一种多视角互动电视的影音串流方法，根据用户不同的切换角度需求，实时换算出正确的角度及时间点，根据换算后的角度及时间点，将对应到的一连串小影片组合成一条用户专属的频道，通过串流的网络传输方式传送到客户端收看。
背景技术：
在本案之前并无确切的技术可达到此效果，目前的网络电视(IPTV)所提供的频道，皆是由先前录制或者是通过专业人士的操作下(例如实时球赛转播、演唱会等)所拍制而成的影片，用户仅能使用频道切换的功能，从中选择较适合自己的频道收看，而无法改变频道的内容。随着科技的进步，互动时代的来临，单靠频道的切换将不能满足使用者多样化的需求。 为了满足使用者求新求变的需求，因此，提供与用户互动的功能将会带给用户不同的感受，要达到多视角互动电视的效果，传统作法是将每个角度视为不同的频道，供用户做切换，但如此一来，视频服务器需同时传送各个角度的频道内容供用户选择，造成网络负载倍增以及用户将难以收看到同一时间不同角度的画面，而且实质上还是提供频道切换的功能，而非真正与使用者做互动。由此可见，上述传统方式仍有诸多不足，不是一个良善的设计，而亟待加以改良。鉴于上述传统方式所衍生的各项缺点，加以改良创新，研发完成一种多视角互动电视的影
音串流方法。
发明内容
本发明的目的即在于提供一种多视角互动电视的影音串流方法，即在不额外增加网络负载下，提供用户收看到不同视角的影像，达到与用户互动的效果。可达成上述发明目的的多视角互动电视的影音串流方法，是指一种依使用者收视喜好，传递不同角度影音的串流传输方法；主要是采用影像切割的技术，将多台摄影机所同时同步在不同角度所拍下的影像，压缩成MPEG-2/H. 264传输流(Transport Stream),再依每组的连续画面(Group of Pictures,GOP)切割成一个个的小影片,其中，每个小影片皆记录着时间及空间的信息，储存于串流媒体服务器(Streaming Server)中，当用户通过硬件播放器(STB或PC)收看视讯节目时，想要切换到其他视角观赏，即可利用STB的遥控器或个人计算机的播放接口向串流媒体服务器发出切换角度信息，串流媒体服务器接收到信息后，会计算出相对应的时间及空间信息，找出相对应的一连串小影片，通过网络串流的传输方式传送到客户端。由于在收看多视角互动电视时，每个用户所要看的角度皆不尽相同，所以在此我们提出了一个虚拟频道的概念，目的就是要提供使用者一个量身订作的频道，当用户收看时，只建立一条用户专属的频道，任何切换视角的操作皆利用同一条频道进行，而频道传输的视讯内容是由一连串的小影片所组成，本发明所采用的影像切割及串流传输的技术，目的就是将原本拍摄的影片切割成ー个个独立的小影片，用户可以通过硬件播放器(STB或PC)来根据个人喜好自由选择，Streaming Server会根据使用者的选择实时安排出所对应到的ー连串小影片，再通过串流技术实时将影片传到客户端，订作出ー个用户专属的频道。因此通过本发明所采用的串流影音技术下，Streaming Server只需耗费单ー频道的带宽，即可让使用者观赏到不同角度的画面，故不会增加额外的网络负载，另外，用户在收看多视角互动电视时，除了可以通过硬件播放器(STB或PC)享有原本的服务技术(例如播放、暂停、停止、快转、倒转)タト，还可以享有更进一歩的互动模式(例如切换视角(ViewSwitching)、环场预览(View Sweeping)及时间冻结的环场预览(Frozen Sweeping)等)，以达到与使用者真正的互动，提供更多元化的服务。本发明所提供的多视角互动电视的影音串流方法，与其化习用技术相互比较时，更具备下列优点I.本发明可在不增加额外网络负载下，让用户在同一频道观赏到不同角度的影片，井根据使用者的需求，实时传送相对应的ー连串影片，重组出用户专属的频道，提供与用户互动的服务。 2.本发明的多视角互动电视的影音串流方法，除了可以通过硬件播放器(STB或PC)享有原有的服务技术(例如播放、暂停、停止、快转、倒转)タト，还可以享有更进一歩的互动模式(例如切换视角(View Switching)、环场预览(View Sweeping)及时间冻结的环场预览(Frozen Sweeping)等)，以达到与使用者真正的互动,提供更多元化的服务。
请參阅以下有关本发明较佳实施例的详细说明及其附图，将可进ー步了解本发明的技术内容及其目的功效；有关所述实施例的附图为图I为本发明多视角互动电视的影音串流方法的系统架构图；图2为本发明多视角互动电视的影音串流方法的切换视角概念图；图3为本发明多视角互动电视的影音串流方法的切换视角示意图；图4为本发明多视角互动电视的影音串流方法的环场预览概念图；图5为本发明多视角互动电视的影音串流方法的冻结环场预览示意图；图6为本发明多视角互动电视的影音串流方法的环场预览示意图。附图标记说明11多视角视讯内容提供単元2串流媒体服务器21影片压缩处理单元22MPEG-2/H. 264 传输流23左箭头键24右箭头键31影像切割单元32小单位影片33 时间4Internet
41影片推播单元42使用者43遥控器44硬件播放器45用户收看需求信息46小单位影片的播放路径47专属的播放影片48客户端播放设备
49环场预览
具体实施例方式请參考图1，为本发明多视角互动电视的系统架构图，由图中可知，由多视角视讯内容提供単元11，在不同角度环绕架设摄影机，同时同步对同一物品进行取像的作业，所拍摄的影片会经影片压缩处理单元21,输出成MPEG-2/H. 264传输流(Transport Stream) 22,存至串流媒体服务器2，再通过影像切割単元31，根据GOP切成小単位影片32，供后续影片推播单元41用；当用户42通过硬件播放器44 (数字机顶盒STB或计算机PC)所搭配的遥控器43或个人计算机的播放接ロ选择要观赏的模式，除了原有的播放、暂停、停止、快转、倒转等基本功能外，还提供进ー步的互动模式，例如视角切换(View Switching)、环场预览(View Swee ping)、冻结环场预览(Frozen Sweeping)等，一旦用户按下按钮后，硬件播放器44就会将用户收看需求信息45，通过Internet 4的方式传送到串流媒体服务器
2(Streaming Server)中，串流媒体服务器2收到用户收看需求信息45后,会针对使用者所选择的角度，找出小単位影片的播放路径46，组合出专属的播放影片47，称之为虚拟频道，再通过串流的方式将这些小単位影片32传输到客户端播放设备48，供使用者收看。本发明通过虚拟频道的概念以及影像切割、重组的技术，使得推播影片吋，串流媒体服务器2可在不增加额外的网络负载下，根据用户的需求，使用单ー频道的带宽，让用户在同一频道观赏到不同角度的画面。请參考图2，为本发明多视角互动电视的影音串流方法中视角切换(ViewSwitching)概念图，使用者可以操作遥控器的左箭头键23、右箭头键24来切换视角，按下后会立即观赏到邻近摄影机在不同角度所拍下的画面，让使用者可以自己选择所喜好的视角收看。若使用者在第j秒时间点观赏第i角度的多媒体档案Vi，j时按下了时间冻结键，并且按下了向右的箭头键，则当串流媒体服务器接收时，由于时间是静止的，因此只会将第1+1角度的第j秒的多媒体档案v(i+l)，j传送给使用者，直到使用者再按下播放键，串流媒体服务器才会继续送后续的连续多媒体档案给用户。请參考图3，为本发明多视角互动电视的影音串流方法中视角切換示意图，其运作模式为在时间33仍持续在进行的状态下，切換到邻近摄影机所拍到的画面。若目前使用者在第j秒时间点观赏第2角度的多媒体档案V2，j时按下了向右的箭头键，此时串流媒体服务器接收到由硬件播放器送出的信息后会立即算出所对应的多媒体档案，由于时间仍持续在进行，因此会将第3角度的第j+Ι秒后的连续多媒体档案V3, (j+l)，V3，(j+2), V3, (j+3),……传送到客户端，反之，若使用者按下了向左的箭头键，则会将VI，(j+l),Vl, (j+2), VI, (j+3),……传送到客户端。请参考图4，为本发明多视角互动电视的影音串流方法中环场预览(ViewSweeping)概念图，使用者可以操作摇控器的环场预览键来观赏环场预览49的效果，其主要是顺着逆时钟方向轮流播放所架设的每一台摄影机在各个角度拍摄到的画面，让使用者能短时间浏览拍摄物体在不同角度所呈现的不同面向。请参考图五，为本发明多视角互动电视的影音串流方法中冻结环场预览(FrozenSweeping)示意图，其运作模式为在同一个时间点上浏览每一台摄影机所拍到的画面，若使用者在i秒时按下了冻结环场预览的按钮，Streaming Server接收后,则会将时间点i的每个角度(VI，i，V2，i，V3，i, - ,Vn, i)影片，通过串流的方式传送到客户端，而客户端的播放器就会以VI，i->V2, i->V3, i->…->Vn，i->Vl, i->V2, i…的顺序重复播放影片，用户可随时在某个角度取消冻结环场预览功能，串流媒体服务器接收到取消冻结环场预览信息后，会依用户按下按键时所播放到的画面Vm, i,继续播放角度m在所述时间点i后面的画面。 请参考图5及图6，为本发明多视角互动电视的影音串流方法中环场预览(ViewSweeping)示意图，其运作模式为在时间33仍持续在进行的状态下，浏览每一台摄影机所拍到的画面。因此在切换到其他观赏视角的同时，播放的画面并不会停留在所述时间点上，而是另一视角在所述时间点后的画面。因此若使用者在j秒时按下了环场预览的按钮，串流媒体服务器接收后，将会通过串流的方式传送VI, j, V2, (j+1)，V3, (j+2)，...，Vn, (j+ (n_l))，VI, (j+n)...的影片至客户端，让使用者在时间进行中看到环场预览的效果，使用者可随时停止环场预览功能，并继续播放停止瞬间所在角度的影片。当采用本发明多视角互动电视的影音串流方法中冻结环场预览(FrozenSweeping)时，用户按下冻结环场预览的按钮时，用户可在所述时间点上，观赏到每台摄影机所拍摄的画面，直到使用者取消冻结环场预览，并以取消当时的角度及时间点继续播放影片。当采用本发明多视角互动电视的影音串流方法中环场预览(View Sweeping)时，用户按下环场预览的按钮时，用户可在时间持续进行中，观赏到每台摄影机所拍摄的画面，直到使用者取消环场预览，并以取消当时的角度及时间点继续播放影片。以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
权利要求
1.一种多视角互动电视的影音串流方法，其特征在于，包括步骤 a.由多视角视讯内容提供单元产生影片； b.将所述影片通过影片压缩处理单元编码成MPEG-2/H.264传输流，再经影像切割单元切割所述影片的连续画面成小単位影片，并将所述小单位影片储存在串流媒体服务器中； c.客户端通过硬件播放器传送选择信息至所述串流媒体服务器；以及 d.所述串流媒体服务器根据所述选择信息将对应的小単位影片通过网络串流方式传至所述客户端。
2.如权利要求I所述的多视角互动电视的影音串流方法，其特征在于，所述的硬件播放器为数字机顶盒或计算机。
3.如权利要求I所述的多视角互动电视的影音串流方法，其特征在于，所述的串流媒体服务器采用切換邻近视角的方法或环场预览的方法将对应的小単位影片传至所述客户端。
4.如权利要求3所述的多视角互动电视的影音串流方法，其特征在于，所述的切换邻近视角的方法，包括当观赏时进行切换步骤 a.客户端在第j秒时间点观赏第i角度的影片档案Vi，j时进行切换视角的选择；以及 b.所述串流媒体服务器接收到所述选择信号后，则将第i土 I角度的第j+Ι秒后的连续影片档案 V(i±l)，(j+l)，V(i±l)，(j+2)，"·，να±1)，(j+m),传送到所述客户端。
5.如权利要求3所述的多视角互动电视的影音串流方法，其特征在于，所述的切换邻近视角的方法，包括先暂停再切换步骤 a.客户端在第j秒时间点观赏第i角度的影片档案Vi，j时先暂停影片播放，并接着进行切换视角的选择；以及 b.所述串流媒体服务器接收到所述选择信号后，则将第i土 I角度的第j秒的影片档案V(i±l)，j传送到所述客户端。
6.如权利要求3所述的多视角互动电视的影音串流方法，其特征在于，所述的环场预览的方法，包括当观赏时进行切换步骤 a.客户端在第j秒时间点观赏第i角度的影片档案Vi，j时进行环场预览的选择；以及 b.所述串流媒体服务器接收到所述选择信号后，则依序将第i+l、i+2、…、i+n角度所对应到的第j+1、i+2、…、j+m秒后的连续影片档案V(i+1)，(j+l),V(i+2), (j+2)^··,V(i+n), (j+m)传送到所述客户端。
7.如权利要求3所述的多视角互动电视的影音串流方法，其特征在于，所述的环场预览的方法，包括先暂停再切换步骤 a.客户端在第j秒时间点观赏第i角度的影片档案Vi，j时先暂停影片播放，并接着进行切换视角的选择；以及 b.所述串流媒体服务器接收到所述选择信号后，则将第i+l、i+2、…、i+n角度所对应到的第j秒的连续影片档案V (i+1), j, V (i+2), j,…，V (i+n), j传送到所述客户端。
全文摘要
一种多视角互动电视的影音串流方法，是一种依使用者需要，传递不同角度影音的串流传输方法；主要利用影像切割的方法，将多部摄影机同时同步于不同角度所拍摄的影像，根据每组连续的画面切割成一个个的小影片，最后视客户端收看及切换角度的需要，通过串流的网络传输方式将特定角度的连续小影片传送至客户端，客户端再经由硬件播放器来接收影像以及选择收看视角；本发明可在不增加额外网络负载的情况下，提供客户端与电视互动及选择收看视角的自主权，以提升用户的收看质量及丰富度。
文档编号H04N21/2387GK102833584SQ20121035170
公开日2012年12月19日 申请日期2012年9月20日 优先权日2012年5月22日
发明者林念珍, 张鹤薰, 陈伟修 申请人:中华电信股份有限公司