专利名称：一种多视点视频节目传输方法及系统的制作方法
技术领域：
本发明涉及视频传输领域，尤其涉及的是一种多视点视频节目传输方法及系 统。
背景技术：
多视点视频节目是由多个摄像机从不同位置对准同一场景拍摄得到的一组视频 信号。多视点视频节目中包含丰富的三维信息，能够生动地再现自然场景，给人身临其 境的感觉，主要用于三维电视和任意视点电视等新型媒体。多视点视频节目流包含了不同位置的编码数据信息，目前虽然采用了各种方法 进行数据压缩，但是现有技术在整体实时传输方面依然存在数据量大、需求带宽高，解 析复杂等缺陷。因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种多视点视 频节目传输方法及系统，其采用按需传输，大大减少多视点视频节目传输的带宽占用， 从而提升重现的流畅性。本发明解决技术问题所采用的技术方案如下
一种多视点视频节目传输方法，所述多视点视频节目包括一个基本流和若干个不同 视角的附加流，其中，包括
a、由视角获取装置获取观看者的欣赏角度，并由MCU控制将所述欣赏角度传送给 节目发送单元；
b、节目发送单元根据所述欣赏角度从若干个视角的附加流中查找出匹配的附加
流；
C、节目发送单元将所述基本流和所述匹配的附加流发送到视频处理单元；
d、视频处理单元将接收到的所述基本流和所述匹配的附加流复合并解码输出到显示
装置显示。所述的多视点视频节目传输方法，其中，所述多视点视频节目存储在电视的存 取区或者通过外部接口输入。所述的多视点视频节目传输方法，其中，所述步骤b具体包括通过节目发送 单元的视角匹配模块读取所述附加流的视角参数，然后从所有视角参数中查找最接近所 述欣赏角度的视角参数，将该视角参数对应的附加流作为所述匹配的附加流。所述的多视点视频节目传输方法，其中，所述步骤a进一步包括由视角获取 装置通过图像识别方法、红外探测方法或超声波探测方法获取观看者的欣赏角度。所述的多视点视频节目传输方法，其中，所述步骤a进一步包括播出节目 时，通过摄像头按照一定的频率获取显示装置前方0-180度范围内的图像，并对图像的内容进行人脸识别分析，得出欣赏者的位置相对于显示装置的角度即为欣赏角度。所述的多视点视频节目传输方法，其中，当存在多个观看者在显示装置前观看 所述多视点视频节目时，
所述步骤a还包括通过视角获取装置分别获取各个观看者的欣赏角度，并由MCU 控制将各个观看者的欣赏角度传送给节目发送单元；
所述步骤b还包括节目发送单元根据各个观看者的欣赏角度从若干个视角的附加 流中分别查找出匹配的附加流；
所述步骤c还包括节目发送单元将基本流和多个匹配的附加流发送到视频处理单
元；
所述步骤d还包括视频处理单元将接收到的基本流和多个匹配的附加流复合并解 码输出到显示装置显示。一种多视点视频节目传输系统，所述多视点视频节目包括一个基本流和若干个 不同视角的附加流，其中，包括节目源提供单元、视角获取装置、MCU、节目发送单 元、视频处理单元、显示装置，
所述节目源提供单元与节目发送单元连接，用于将多视点视频节目发送到节目发送 单元；
所述视角获取装置与MCU连接，用于以一定的频率实时获取观看者的欣赏角度，并 将所述欣赏角度通过MCU传送给节目发送单元；
所述MCU与节目发送单元连接，用于控制视角获取装置获取观看者的欣赏角度并传 送给节目发送单元；
所述节目发送单元与视频处理单元连接，用于根据所述欣赏角度从若干个不同视角 的附加流中查找与所述欣赏角度匹配的附加流，并将所述匹配的附加流与基本流一起发 送给视频处理单元；
所述视频处理单元与显示装置连接，用于将基本流和匹配的附加流复合并解码输出 到显示装置；
显示装置，用于显示经视频处理单元复合并解码后的基本流和匹配的附加流。所述的多视点视频节目传输系统，其中，所述节目发送单元进一步包括
视角匹配模块，用于读取所述附加流的视角参数，并从所有视角参数中查找最接近 所述欣赏角度的视角参数，将该视角参数对应的附加流作为所述匹配的附加流； 节目发送模块，用于将基本流和匹配的附加流发送到视频处理单元。所述的多视点视频节目传输系统，其中，所述视角获取装置是通过图像识别方 法、红外探测方法或超声波探测方法实时获取观看者的欣赏角度。所述的多视点视频节目传输系统，其中，所述视角获取装置进一步包括
第一获取及计算单元，用于在播出节目时，通过摄像头按照一定的频率获取显示装 置前方0-180度范围内的图像，并对图像的内容进行人脸识别分析，得出欣赏者的位置 相对于显示装置的角度即为欣赏角度。本发明所提供的多视点视频节目传输方法及系统，由于采用了通过视角获取装 置以一定的频率实时探测及计算观看者的欣赏角度Ax，并将计算出来的欣赏角度Ax传 送给MCU; MCU将观看者的欣赏角度Ax传送给节目发送单元，节目发送单元根据该欣
5赏角度Ax从若干个视角的附加流中查找与该欣赏角度Ax最佳匹配的一个或多个视角附 加流Ay;节目发送单元发送基本流B和视角附加流Ay到视频处理单元，视频处理单元 将基本流B和视角附加流Ay复合、解码输出到显示装置。实现了按照观看者的欣赏角 度组织节目源发送的数据内容；节目源发送的多视点内容与观看者控制指令或探测到的 观看者欣赏角度对应，实现按需传输，大大减少多视点视频节目的传输带宽，降低播出 端的运算负荷和硬件成本。
图1是本发明实施例的多视点视频节目传输系统结构示意图。图2是本发明实施例的多视点视频节目传输系统的视角获取装置内部原理框图 连接结构示意图。图3是本发明实施例多视点视频节目传输方法流程图。
具体实施例方式本发明所提供的一种多视点视频节目传输方法及系统，为使本发明的目的、技 术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应 当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。本发明实施例提供的一种多视点视频节目传输系统，如图1所示，主要包括 节目源提供单元110、视角获取装置120、MCU (微控制单元)130、节目发送单元140、 视频处理单元150、显示装置160。如图1所示，其中，所述节目源提供单元110与节目发送单元140连接，用于将 多视点视频节目传送给节目发送单元140。该多视点视频节目存储在电视的存取区或者 通过外部接口输入，由一个视频基本流B和若干个不同视角的附加流组成，其中，附加 流由其视角参数An表示(例如附加流Al、附加流A2、…、附加流An)，视角参数An 对应观看者的最佳欣赏角度。所述视角获取装置120与MCU 130连接，用于以一定的频率实时探测及计算观 看者的欣赏角度Ax，并将计算出来的欣赏角度Ax传送给MCU。所述MCU 130与节目发送单元140连接，用于将欣赏角度Ax传送给节目发送单 元 140。所述节目发送单元140与视频处理单元150连接，用于获取视频基本流B，以及 根据该欣赏角度Ax从若干个视角的附加流中查找与欣赏角度Ax最佳匹配的一个甚至多 个视角附加流Ay，并发送基本流B和视角附加流Ay到视频处理单元150。所述视频处理单元150，用于将基本流B和视角附加流Ay复合、解码输出到显 示装置160 ；
显示装置160与视频处理单元150连接，用于显示经视频处理单元复合、解码后的基 本流B和视角附加流Ay。进一步地，如图2所示，所述视角获取装置120进一步包括第一获取及计算单 元121、第二获取及计算单元122。第一获取及计算单元121与摄像头连接，用于在播出节目时，通过摄像头按照
6每秒一次的频率获取显示装置前方0-180度范围内的图像，并对一预定距离内的图像内 容采用人脸识别分析，得出欣赏者的位置相对于显示装置的角度即为欣赏角度Αχ。其 中，所述摄像头可安装在显示装置160上。第二获取及计算单元122与安装在显示装置160上的红外扫描式感应器连接， 用于在播出节目时，通过红外扫描式感应器按照每秒一次的频率扫描显示装置前方0-180 度范围内的物体，并对一定距离内的物体的红外特征进行分析，得出欣赏者的位置相对 于显示装置的角度即为欣赏角度Αχ。进一步地，如图1所示，所述节目发送单元140包括
视角匹配模块141，用于读取所有视角附加流的视角参数，然后从所有视角参数中 查找最接近欣赏角度Ax的视角参数Ay，将该视角参数Ay对应的附加流作为匹配的附 加流，即将所有视角参数分别与欣赏角度Ax相减，其差值绝对值最小者即为视角附加流 Ay。节目发送模块142，用于发送基本流B和视角附加流Ay到视频处理单元。本发明实施例的一种多视点视频节目传输方法，如图3所示，主要包括以下步 骤
步骤S310、将节目源存储在电视的存取区或者通过外部接口输入，并设置节目源中 的多视点视频节目包括一个基本流B和若干个视角的附加流(如图1所示的Al、A2、 Α3···Αη)，其中，附加流的视角参数An对应观看者的最佳欣赏角度。步骤S320、通过视角获取装置以一定的频率实时探测及计算观看者的欣赏角度 Ax,并将计算出来的欣赏角度Ax传送给MCU，参见图1。可以通过采用图像识别方法、红外探测方法或超声波探测方法获取观看者欣赏 角度Αχ。即获取观看者欣赏角度Ax的方法可以采用图像识别、红外探测、超声波探测 等方法。譬如探测观看者欣赏角度的方法一在显示装置上安装摄像头，播出节目时 按照每秒一次的频率检取显示装置前方0-180度范围内的图像，对一定距离内(例如2 5米)的图像内容采用人脸识别分析，得出欣赏者的位置相对于显示装置的角度即为欣赏 角度Αχ。探测观看者欣赏角度的方法二 在显示装置上安装红外扫描式感应器，播出节 目时按照每秒一次的频率扫描显示装置前方0-180度范围内的物体，对一定距离内(例 如2 5米)的物体的红外特征进行分析，得出欣赏者的位置相对于显示装置的角度即为 欣赏角度Ax
步骤S330、MCU将观看者的欣赏角度Ax传送给节目发送单元，节目发送单元根据 该欣赏角度Ax从若干个视角的附加流中查找与该欣赏角度Ax最佳匹配的一个或多个视 角附加流Ay。其中，所述步骤C中的查找与欣赏角度Ax最佳匹配的一个或多个视角附加流Ay 的方法包括
Cl、通过节目发送单元的视角匹配模块读取所有视角附加流的视角参数；C2、将所 有视角参数分别与欣赏角度Ax相减，其差值绝对值最小者即为视角附加流Ay。譬如如图1所示，通过MCU将欣赏角度Ax传送给节目发送单元，节目发送单元包括一个视角匹配单元，该视角匹配单元根据该欣赏角度Ax从若干个视角的附加流 Al An中查找与Ax最佳匹配的一个或多个视角附加流Ay。查找Ay的方法较佳为通过视角匹配单元读取所有视角附加流的视角参数 Al An (该参数标识附加流的视角)，然后将所有视角参数Al An分别与欣赏角度 Ax相减，其差值绝对值最小者为Ay，即从所有视角参数Al An中查找到最接近欣赏 角度Ax的视角参数Ay，将该视角参数Ay对应的附加流Ay就是最佳匹配的附加流。步骤S340、节目发送单元发送基本流B和视角附加流Ay到视频处理单元，视频 处理单元将基本流B和视角附加流Ay复合、解码输出到显示装置进行显示。进一步地，所述的多视点视频节目传输方法，当存在多个观看者观看电视节目 时，视角获取装置可以分别获取各个观看者的欣赏角度Alx Amx，并由MCU控制将各 个观看者的欣赏角度传送给节目发送单元。譬如当存在多个观察者时，可以通过3D成像 器或其他扫描系统以持续和同时的方式来检测并定义多个观看者中的每一个的个人形状 和位置，以便追踪多个用户中的每一个的位置和方位，从而得以启动和控制与每一个单 独观看者相关联的个人图像数据流以及空间反射，并对其进行分析获取各个观看者的欣 赏角度Alx Amx。上述通过图像识别技术等识别技术确定观看者的位置和形状特征、以 及追踪观看者的移动的方法为现有技术，在此不再赘述。然后将上述欣赏角度Alx Amx通过MCU全部发送给节目发送单元分别匹配出 适合各观看者观看的视角附加流Aly Amy，例如通过节目发送单元根据各个观看者的欣 赏角度从若干个视角的附加流中分别查找出匹配的附加流，并将基本流和多个匹配的附 加流发送到视频处理单元；最后视频处理单元将基本流B和视角附加流Aly Amy复合、 解码，输出到显示装置。综上所述，本发明所提供的多视点视频节目传输方法及系统，由于采用了通过 视角获取装置以一定的频率实时探测及计算观看者的欣赏角度Ax，并将计算出来的欣赏 角度Ax传送给MCU; MCU将观看者的欣赏角度Ax传送给节目发送单元，节目发送单 元根据该欣赏角度Ax从若干个视角的附加流中查找与该欣赏角度Ax最佳匹配的一个或 多个视角附加流Ay;节目发送单元发送基本流B和视角附加流Ay到视频处理单元，视 频处理单元将基本流B和视角附加流Ay复合、解码输出到显示装置。实现了按照观看者 的欣赏角度组织节目源发送的数据内容；节目源发送的多视点内容与观看者控制指令或 探测到的观看者欣赏角度对应，实现按需传输，大大减少多视点视频节目的传输带宽， 降低播出端的运算负荷和硬件成本。应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来 说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利 要求的保护范围。
8
权利要求
1.一种多视点视频节目传输方法，所述多视点视频节目包括一个基本流和若干个不 同视角的附加流，其特征在于，包括a、由视角获取装置获取观看者的欣赏角度，并由MCU控制将所述欣赏角度传送给 节目发送单元；b、节目发送单元根据所述欣赏角度从若干个视角的附加流中查找出匹配的附加流；C、节目发送单元将所述基本流和所述匹配的附加流发送到视频处理单元；d、视频处理单元将接收到的所述基本流和所述匹配的附加流复合并解码输出到显示装置显示。
2.根据权利要求1所述的多视点视频节目传输方法，其特征在于，所述多视点视频节 目存储在电视的存取区或者通过外部接口输入。
3.根据权利要求1所述的多视点视频节目传输方法，其特征在于，所述步骤b具体包 括通过节目发送单元的视角匹配模块读取所述附加流的视角参数，然后从所有视角参 数中查找最接近所述欣赏角度的视角参数，将该视角参数对应的附加流作为所述匹配的 附加流。
4.根据权利要求1-3任一项所述的多视点视频节目传输方法，其特征在于，所述步骤 a进一步包括由视角获取装置通过图像识别方法、红外探测方法或超声波探测方法获取 观看者的欣赏角度。
5.根据权利要求1-3任一项所述的多视点视频节目传输方法，其特征在于，所述步骤 a进一步包括播出节目时，通过摄像头按照一定的频率获取显示装置前方0-180度范围 内的图像，并对图像的内容进行人脸识别分析，得出欣赏者的位置相对于显示装置的角 度即为欣赏角度。
6.根据权利要求1-3任一项所述的多视点视频节目传输方法，其特征在于，当存在多 个观看者在显示装置前观看所述多视点视频节目时，所述步骤a还包括通过视角获取装置分别获取各个观看者的欣赏角度，并由MCU 控制将各个观看者的欣赏角度传送给节目发送单元；所述步骤b还包括节目发送单元根据各个观看者的欣赏角度从若干个视角的附加 流中分别查找出匹配的附加流；所述步骤c还包括节目发送单元将基本流和多个匹配的附加流发送到视频处理单元；所述步骤d还包括视频处理单元将接收到的基本流和多个匹配的附加流复合并解 码输出到显示装置显示。
7.一种多视点视频节目传输系统，所述多视点视频节目包括一个基本流和若干个不 同视角的附加流，其特征在于，包括节目源提供单元、视角获取装置、MCU、节目发 送单元、视频处理单元和显示装置，其中所述节目源提供单元与节目发送单元连接，用于将多视点视频节目发送到节目发送 单元；所述视角获取装置与MCU连接，用于以一定的频率实时获取观看者的欣赏角度，并 将所述欣赏角度通过MCU传送给节目发送单元；所述MCU与节目发送单元连接，用于控制视角获取装置获取观看者的欣赏角度并传 送给节目发送单元；所述节目发送单元与视频处理单元连接，用于根据所述欣赏角度从若干个不同视角 的附加流中查找与所述欣赏角度匹配的附加流，并将所述匹配的附加流与基本流一起发 送给视频处理单元；所述视频处理单元与显示装置连接，用于将基本流和匹配的附加流复合并解码输出 到显示装置；所述显示装置，用于显示经视频处理单元复合并解码后的基本流和匹配的附加流。
8.根据权利要求7所述的多视点视频节目传输系统，其特征在于，所述节目发送单元 进一步包括视角匹配模块，用于读取所述附加流的视角参数，并从所有视角参数中查找最接近 所述欣赏角度的视角参数，将该视角参数对应的附加流作为所述匹配的附加流；节目发送模块，用于将基本流和匹配的附加流发送到视频处理单元。
9.根据权利要求7所述的多视点视频节目传输系统，其特征在于，所述视角获取装置 是通过图像识别方法、红外探测方法或超声波探测方法实时获取观看者的欣赏角度。
10.根据权利要求7所述的多视点视频节目传输系统，其特征在于，所述视角获取装 置进一步包括第一获取及计算单元，用于在播出节目时，通过摄像头按照一定的频率获取显示装 置前方0-180度范围内的图像，并对图像的内容进行人脸识别分析，得出欣赏者的位置 相对于显示装置的角度即为欣赏角度。
全文摘要
本发明涉及视频传输领域，公开了一种多视点视频节目传输方法及系统。本发明由于采用了通过视角获取装置以一定的频率实时探测及计算观看者的欣赏角度Ax，并将计算出来的欣赏角度Ax传送给MCU；MCU将观看者的欣赏角度Ax传送给节目发送单元，节目发送单元根据该欣赏角度Ax从若干个视角的附加流中查找与该欣赏角度Ax最佳匹配的一个或多个视角附加流Ay；节目发送单元发送基本流B和视角附加流Ay到视频处理单元，视频处理单元将基本流B和视角附加流Ay复合、解码输出到显示装置。节目源发送的多视点内容与观看者欣赏角度对应，实现按需传输，大大减少多视点视频节目的传输带宽，降低播出端的运算负荷和硬件成本。
文档编号H04N13/00GK102014280SQ20101060047
公开日2011年4月13日 申请日期2010年12月22日 优先权日2010年12月22日
发明者余潘虎 申请人:Tcl集团股份有限公司