专利名称：基于图像视觉质量的视频传输方法、系统及装置的制作方法
技术领域：
本发明涉及图像技术领域，特别涉及一种基于视觉质量的自由视点或多视点视频 传输方法、系统及装置。
背景技术：
自由视点视频是一种全新的视频形式，是继平面数字电视、立体数字电视之后，能 提供丰富的人机交互、灵活地以平面和立体的形式进行显示的视频形式。随着移动多媒体 时代的到来，越来越多的人利用手机、个人数字助理(PDA)和笔记本电脑等终端设备接入 通信网络，并借助终端移动性和网络覆盖性，享受无处不在的视听娱乐。具有灵活交互手 段的自由视点视频与无所不在的通信网络之间相结合，将为未来3G移动通信、IPv6拓展新 的、更具吸引力的业务平台。当前各国主流研究机构、大学都对基于各种技术条件下的自由视点视频展开了研 究，许多公司都对这一前沿领域进行了实用化、产品化的探索。但是，这些方案主要是针对 自由视点视频业务的数据量大的特点，采用一些诸如H. 264视频压缩标准、JMVM多视点视 频压缩平台等措施来对自由视点视频数据进行压缩。这些方法都默认网络在任何时候都有 充足的能力来处理自由视点视频流。这显然是不够合理的。众所周知，基于移动互联网络 的多媒体系统存在异构性因素，即节目源在压缩方式、时间和空间分辨率以及信息速率方 面都存在不同，不同终端之间的处理能力也存在明显差异。所以，将视频编解码和网络协议 简单组合的方法是很难对各种终端奏效的，尤其是在网络可用资源的限制将对视频服务的 质量造成重大影响的情况下。因此，如何在网络资源有限的情况下进一步提高客户端重构的图像质量成为了亟 待解决的问题。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一，提出了一种用于基于视觉质量的 自由视点视频或多视点视频传输方法、系统及装置。为达到上述目的，本发明一方面提出一种基于视觉质量的自由视点视频或多视点 视频传输方法，包括以下步骤服务器接收原始或经编解码后的自由视点视频或多视点视 频信号；所述服务器计算虚拟视点图像的视觉质量；所述服务器根据所述虚拟视点图像的 视觉质量确定上述自由试点视频或多视点视频信号编码的量化参数QP ；和所述服务器根 据确定的所述QP对所述自由视点视频或多视点视频信号重新进行编码压缩，并向一个或 多个客户端发送。本发明另一方面还提出了一种基于视觉质量的自由视点视频或多视点视频传输 系统，包括服务器和一个或多个客户端，所述服务器，用于接收原始或经编解码后的自由视 点视频或多视点视频信号，并计算虚拟视点图像的视觉质量，以及根据所述虚拟视点图像 的视觉质量确定上述自由试点视频或多视点视频信号编码的量化参数QP，和根据确定的所述QP对所述自由视点视频或多视点视频信号重新进行编码压缩，并向一个或多个客户端 发送；所述客户端，用于接收所述服务器发送的码流，并根据用户选择的虚拟视点，利用视 频及对应视差进行虚拟视点的绘制，并将绘制结果显示给用户。本发明再一方面还提出了一种服务器，包括编码器和QP调整模块，所述编码器， 用于接收原始或经编解码后的自由视点视频或多视点视频信号，并根据量化参数QP对所 述自由视点视频或多视点视频信号进行编码压缩，并向一个或多个客户端发送；所述QP调 整模块，用于计算虚拟视点图像的视觉质量，并根据所述虚拟视点图像的视觉质量调整所 述QP。本发明再一方面还提出了 一种客户端，包括权重判定模块、解码与差错隐藏模块 和视点选择与虚拟视点绘制模块，所述权重判定模块，用于判断接收到的帧码流是否应该 被舍弃以及是否为不能解码的差错帧；所述解码与差错隐藏模块，用于当接收到的帧为差 错帧时，则将其同时刻所有视点的视频帧，视差帧所对应的码率全部舍弃，并将前一时刻的 对应视点的视频帧和视差帧拷贝至当前时刻，并且重复拷贝动作，直至当前时刻的帧能正 确解码重建，或者当前时刻帧的权重大于前一时刻帧的权重；所述视点选择与虚拟视点绘 制模块，用于根据解码结果和用户选择的视点绘制虚拟视点。本发明能够根据虚拟视点图像的视觉质量对QP进行调整，从而使得客户端所得 到的图像质量具有较高水平。在本发明的优选实施例中，可根据视觉质量和网络拥塞状况 同时对QP进行优化，从而能进一步保证客户端得到的图像的质量。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为本发明实施例的由视点传输系统的框架图；图2为本发明实施例一的自由视点视频或多视点视频传输方法流程图；图3为本发明实施例二的自由视点视频或多视点视频传输方法流程图；图4为本发明实施例的服务器的结构图；图5为本发明实施例的客户端的结构图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。目前，基于网络的自由视点视频系统，其客户端所观看到的视频图像质量主要由 真实视点图像重建质量、深度/视差像重建质量、虚拟视点绘制算法等因素决定。具体 包括(a)真实视点图像在客户端的重建质量主要由编码端进行视频压缩时所采用的量 化参数(QP)所决定，QP值越大，重建质量越低；反之，越高。
(b)真实视点图像在客户端的重建质量也受到差错控制算法的影响。(c)深度/视差图的图像重建质量与真实视点图像的情况相同。(d)虚拟视点的图像质量同时受到真实视点图像重建质量、深度/视差图的重建 质量、虚拟视点绘制算法的影响。真实视点图像与深度/视差图的重建质量越高，所采用的 虚拟视点绘制算法约好，则虚拟视点图像的视觉质量越高。本发明的目的在于改善以往自由视点视频或多视点视频系统在设计中没有考虑 图像视觉质量的因素，从而提出了一种自由视点传输方法和系统，该方法和系统能够具有 以下多项功能1、能够利用图像视觉质量评价方法进行多视点视频与视差进行QP优化编码；2、能够设置权重等级进行网络拥塞状况自适应传输；3、能够通过判断网络与码流权重进行客户端差错控制。通过上述几项功能，本发明能够确保客户端所得到的图像质量具有较高的水平。 并且该发明所针对的是客户端设备类型与计算能力多样化、网络带宽具有波动、客户端对 图像视觉质量具有较高要求的环境。但是需要说明的是，上述3项功能既可以同时采用，也 可以分开采用，例如仅根据图像视觉质量对QP进行优化，或者仅根据网络拥塞状况对QP进 行调整，等等，这些均应包含在本发明的保护范围之内。如图1所示，为本发明实施例的由视点传输系统的框架图。服务器101采用多层 次B帧的多视点视频编码方案对所有视频信号、视差图序列进行压缩，并将所有视频码流、 视差码流向客户端102进行传输。客户端102在接收到服务器101发来的码流后进行解码， 并显示当前客户所选视点的图像。当客户选择到虚拟视点时，则利用视频与对应视差进行 虚拟视点绘制，并将绘制结果向客户显示。在本发明实施例中，上述视差所表示的是具有相 同语义的同一个像素点在两个视点图像间水平坐标的差异，一个视点图像中所有像素的视 差构成该视点的视差图；上述虚拟视点为介于两个相机视点之间的任意一个视点，且该视 点上不具有相机对场景进行拍摄。在本发明的一个实施例中，服务器101采用质量识别策 略优化视频编码与视差编码的方案。在本发明的优选实施例中，服务器101还需要参考网 络拥塞的程度，同时根据网络拥塞的程度和图像视觉质量对QP进行优化。客户端102在接 收到通过网络传输的码流之后，采用识别策略对其进行判断，然后根据判断的结果进行图 像重构。实施例一，如图2所示，为本发明实施例一的自由视点视频或多视点视频传输方法流程图， 该实施例主要根据图像的视觉质量S对QP进行优化。该方法包括以下步骤步骤S201，获得自由视点视频或多视点视频信号，其中，包括视频信号和视差图序列等。步骤S202，计算虚拟视点的图像质量S。在本发明的一个实施例中，可根据基于 Contourlet的虚拟视点图像质量评价方法计算虚拟视点图像质量S。具体实施步骤如下(2al)、对所得到的虚拟视点图像按块大小为NXN进行分块，由此得到图像中每 行、每列各有I、J个块。取N=2n，其中η≥6。(2a2)、对虚拟视点图像中的每一个块Bvij(C)≤i≤1，0≤j≤J)，利用基于MSE 最小准则的块匹配方法，分别在其左右视点图像中按水平方向找到对应的最佳匹配块B1ij和BKU，其中在左视点图像中，B、在右视点图像中。(2a3)、对所得到的块Bvu和获得的最佳匹配块进行Contourle小波分解，以得到U 个高频子带块Bu, J (u = 1，2，...，U)和一个低频块Q/，此处X e {V, R，L}，集合中的元素 分别代表着虚拟视点、右视点、左视点图像。(2a4)、对分解得到的每一个高频子带块Bu,进一步采用u_层方向滤波器组分 解，得到 2U 个子带块 Cu,。，J(o = 1，2，. . .，2U)。(2a5)、计算每一个子带块(；,。」/的方差o ,。」/。(2a6)、在o u,。, J的基础上进一步得到整幅图像的o u,。X = E i,」(o u,。,力。(2a7)、计算得到虚拟视点图像与左、右视点图像在同层分解序数之间的误差参数 5U,。= min{| ou,。v-ou,。K|，| o u,。v-o u,。L|}。(2a8)、对每一层的误差参数进行加权整合A =E u,。2_uSu,。。(2a9)、计算虚拟视点图像的视觉质量SM/Cl+logu^Aq +1))，其中CQ为常实数调节
因子，范围是Qe [丨，^^，建议范围是^曰[6,8] ；S为实数，代表主观视觉质量分值，值域 为(0，1]。S分值越高，视觉质量越好。步骤S203，根据虚拟视点的视觉质量S对QP进行调整，其中，如果视觉质量S越 高，则选择的QP值越小，反之如果视觉质量S越低，则选择的QP值越大。如QP可选范围为 [a, b]，则QP可采用与S相关的线性或非线性等的一一映射关系进行调整，其基本原则在于 S值越高，QP值越低，但无论其采用何种方法，都属于本专利的保护范围。步骤S204，根据选择的QP值对自由视点视频或多视点视频信号进行压缩编码，并 将视频码流和视差码流发送给客户端102。在本发明实施例中，不仅适用于在线编码，还适 用于离线编码，具体包括1、针对在线编码，其特点为视频压缩编码的参数根据网络拥塞、客户端图像质量 需求反馈的情况动态地调整，对视频与视差信号实时压缩并发送至客户端。2、针对离线编码，其特点在于服务器采用各种编码参数对视频与视差信号提前进 行压缩，将码流存放在服务器以根据网络与客户端的不同反馈，及时提取码流并发送至客 户端。其中，在在线编码和离线编码中，如何选择QP将在以下的实施例中进行详细描 述，在此不再赘述。实施例二，该实施例为本发明的优选实施例，不仅根据图像视觉质量对QP进行优化，还需要 根据网络拥塞的程度对QP进行自适应调整。如图3所示，为本发明实施例二的自由视点视 频或多视点视频传输方法流程图，该实施例具体包括以下步骤步骤S301，服务器获得原始或经编解码后的自由视点视频或多视点视频信号，其 中，包括视频信号和视差图序列等。步骤S302，服务器计算虚拟视点的图像质量S和网络拥塞的程度。步骤S303，服务器根据虚拟视点的图像质量S和网络拥塞的程度对QP进行调整。 具体包括(3b)针对实时系统，其特点为视频压缩编码的参数根据网络拥塞、客户端图像质 量需求反馈的情况动态地调整，对视频与视差信号实时压缩并发送至客户端。具体包括
(3bl)该优化策略体现在视频编码与视差编码过程中所采用的编码量化参数QP 是根据网络带宽和虚拟视点的图像质量S共同约束而进行的，QP值越大压缩效率越高，解 码端图像的重建质量越低；反之压缩效率越低，重建质量越高。QP取值范围根据系统所采 用的编码标准有所不同。(3b2)视差编码所采用的QP小于等于同视点视频编码所采用的QP，即 QPvi彡QPdi(vi为第i个视点，di为第i个视点的视差图)。(3b3)视频编码所采用的QPvi根据虚拟视点的图像质量S的评价结果，为保证客
户端视频的重建质量，其取值范围为
。(3b4)假设某一视频编解码平台的QP允许范围为[a，b]之间的整数(a，b彡0)， 其中越小的QP值代表压缩效率越低。令QP = a时的S = 1，QP = b时的S = 0，[Sb_d，1] 为用户自定义的虚拟视点质量范围，则QPuppCT-b_d = b*(l-Sb_d)。(3b5)视点视频编码所采用的QPvi除了满足(3b4)的限制外，为适应网络带宽的 波动，视频编码所采用的QPvi根据当前的带宽状况实时进行细微调整，调整量定义为QP/， 值域范围为
。带宽越小，QPvi*越大；反之，QPvi*越小。(3b6)QPvi*的确定方法为编码平台采用QPvi+QPvi*进行编码之后所输出的码率 rate(out) 小于网络带宽rate
(band) °(3b7) AQPi = QPvi-QPdi根据网络带宽条件进行自适应调整，网络带宽越低、拥塞 情况越严重，八(》^值越大。客户端要求虚拟视点图像绘制的视觉质量越高，AQPi值越小； 反之，越大。(3b8)为保证客户端虚拟视点图像的绘制视觉质量，AQPi具有取值范围
°(3b9)视差图编码所采用的 QPdi 根据 AQPi = QPvi_QPdi 以及
和
共同确定，由此得到QPdi的范围为[QPd，——，QPd广CT_b_d]，并令QPdi =
fyp upper-bound(3c)针对离线系统，其特点在于服务器采用各种编码参数对视频与视差信号提 前进行压缩，将码流存放在服务器以根据网络与客户端的不同反馈，及时提取码流并发送 至客户端。其中，离线系统与在线系统选择QP的方式类似，不同的是在线系统是在线压 缩，离线系统是根据确定的QP进行选择。在离线系统中，该优化策略体现在视频编码与 视差编码过程中所采用的编码量化参数分别使用[QPlower-bound，QPupper-bound]范 围内所有的QP进行编码，并将码流在服务器进行保存。即在服务器具有各个视点视频 分别在[QPlower-bound，QPupper-bound]范围内所有QP编码条件下所得到的A QP = QPupper-bound-QPlower-bound组码流，以及对应的A QP组视差码流。QP值越大压缩效率 越高，解码端图像的重建质量越低；反之压缩效率越低，重建质量越高。QP取值范围根据系 统所采用的编码标准有所不同。步骤S304，服务器根据确定的QP进行对自由视点视频或多视点视频信号重新进 行视频编码，并采用针对编码帧权重大小进行码流发送的自适应策略。具体是，服务器根据 权重的大小，对部分帧进行特殊处理，包括(3dl)权重设置是按照多层次B帧编码方案中，位于层次编号越低的帧，其权重越 高；反之，位于层次编号越高的帧，其权重越低。层次编号为整数{0，1，2，...，W}，其对应的
9权重则为{W, ff-l,ff-2,...，0}。(3d2)网络拥塞等级对应于层次编号数设为(Bc^BpB2,...，BW}，其中B。拥塞状况 高于B1,随后依次递减，至Bw时网络拥塞状况最低。(3d3)对应于网络的不同拥塞等级Bx，(a)对于实时系统而言，对权重范围为{W， W-l，W-2，...，W-x}的所有帧进行编码，并向客户端发送码流；(b)对于离线系统而言，抽取 权重范围为{W，W-l，W-2，...，W-x}的所有帧对应的码流，并向客户端发送。步骤S305，客户端在接收到通过网络传输的码流之后，采用识别策略对其进行判 断，然后根据判断结果进行图像重构。在本发明的一个实施例中，客户端还需要将网络拥塞 状况等信息反馈给服务器。具体包括1、识别策略，主要用于判断接收到的帧码流是否该舍弃以及是否为不能解码的差 错帧。具体实施步骤根据以下几个环节，描述如下(3el)帧识别策略中的舍弃策略是根据当前网络拥塞状况以及用户当前所使用的 设备运算能力共同决定的。(3e2)对应于服务器的设置，将网络拥塞状况定义为{B。，B1, B2, ... , Bj，其中B。 拥塞状况高于B1,随后依次递减，至Bw时网络拥塞状况最低。(3e3)当网络处在不同的拥塞等级Bx时，客户端仅接收权重范围为{W，W_l， W-2, . . . , ff-x}的所有帧码流。如果还有其他权重的码流发送至客户端，则全部予以舍弃。(3a4)用户当前所使用的设备其运算能力也对客户端接收权重范围{W，ff-Ι, W-2，... , ff-x}有所影响，运算能力越差的，权重范围越小。2、解码与差错隐藏(3fl)当接收到的帧为差错帧，不能正确重建当前时刻的图像时，则将其同时刻所 有视点的帧、视差帧所对应的码率全部舍弃，并将前一时刻的对应视点的帧和视差帧拷贝 至当前时刻。(3f2)重复(3fl)的拷贝动作，直至当前时刻的帧能正确解码重建，或者当前时刻 帧的权重大于前一时刻帧的权重为止。3、视点选择和虚拟视点绘制根据解码结果和用户选择的视点绘制虚拟视点。如图1所示，该系统包括服务器101和一个或多个客户端102。服务器101用于 接收原始或经编解码后的自由视点视频或多视点视频信号，并计算虚拟视点图像的视觉质 量，以及根据所述虚拟视点图像的视觉质量确定量化参数QP，和根据确定的所述QP对所述 自由视点视频或多视点视频信号重新进行编码压缩，并向一个或多个客户端发送。客户端 102用于接收所述服务器发送的码流，并根据用户选择的虚拟视点，利用视频及对应视差进 行虚拟视点的绘制，并将绘制结果显示给用户。如图4所示，为本发明实施例的服务器的结构图。该服务器101包括编码器200 和QP调整模块203。编码器200用于接收原始或经编解码后的自由视点视频或多视点视频 信号，并根据量化参数QP对所述自由视点视频或多视点视频信号重新进行编码压缩，并向 一个或多个客户端发送。QP调整模块203用于计算虚拟视点图像的视觉质量，并根据所述 虚拟视点图像的视觉质量调整所述QP。在本发明的一个实施例中，服务器101还包括用户与网络状况反馈模块204，用于接收用户的反馈，以及网络拥塞状况的反馈。QP调整模块203还用于根据所述网络拥塞状 况调整所述QP。在本发明的一个实施例中，编码器200包括在线编码器201和离线编码器202。在本发明的一个实施例中，服务器101还包括权重设置模块205，用于根据网络拥 塞等级选择相应权重的帧进行发送或编码。如图5所示，为本发明实施例的客户端的结构图。客户端包括权重判定模块301、 解码与差错隐藏模块302和视点选择与虚拟视点绘制模块303。权重判定模块301用于判 断接收到的帧码流是否应该被舍弃以及是否为不能解码的差错帧。解码与差错隐藏模块 302用于当接收到的帧为差错帧时，则将其同时刻所有视点的视频帧，视差帧所对应的码率 全部舍弃，并将前一时刻的对应视点的视频帧和视差帧拷贝至当前时刻，并且重复拷贝动 作，直至当前时刻的帧能正确解码重建，或者当前时刻帧的权重大于前一时刻帧的权重。视 点选择与虚拟视点绘制模块303用于根据解码结果和用户选择的视点绘制虚拟视点。本发明能够根据虚拟视点图像的视觉质量对QP进行调整，从而使得客户端所得 到的图像质量具有较高水平。在本发明的优选实施例中，可根据视觉质量和网络拥塞状况 同时对QP进行优化，从而能进一步保证客户端得到的图像的质量。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换 和变型，本发明的范围由所附权利要求及其等同限定。
权利要求
一种基于视觉质量的自由视点视频或多视点视频传输方法，其特征在于，包括以下步骤服务器接收原始或经编解码后的自由视点视频或多视点视频信号；所述服务器计算虚拟视点图像的视觉质量；所述服务器根据所述虚拟视点图像的视觉质量确定所述自由试点视频或多视点视频信号编码的量化参数QP；和所述服务器根据确定的所述QP对所述自由视点视频或多视点视频信号重新进行编码压缩，并向一个或多个客户端发送。
2.如权利要求1所述的基于视觉质量的自由视点视频或多视点视频传输方法，其特征 在于，所述服务器采用多视点视频编码方法或单视点视频编码方法对所述自由视点视频或 多视点视频信号进行压缩。
3.如权利要求2所述的基于视觉质量的自由视点视频或多视点视频传输方法，其特征 在于，所述服务器计算虚拟视点图像的视觉质量进一步包括对所得到的虚拟视点图像按块大小为NXN进行分块，其中，每行有I个块，每列有J个 块，其中，N = 2n，其中n彡6 ；对所述虚拟视点图像中的每一个块Bvu，利用基于MSE最小准则的块匹配方法，分别在 其左右视点图像中按水平方向找到对应的最佳匹配块妒。_和BKU，其中，B、在左视点图像 中，VKU在右视点图像中；对所得到的块Bvu和获得的最佳匹配块进行Contourle小波分解，以得到U个高频子 带块Bu, i/，其中，u = 1，2，. . .，U和一个低频块Q/，其中，X G {V，R，L}，其中，V为虚拟视 点图像、R为右视点图像、L为左视点图像；对分解得到的每一个高频子带块Bua/进一步采用u-层方向滤波器组分解，得到2U个 子带块 Cu,。」/，其中，o= 1，2，...，2U;分别计算每一个子带块(；,“/的方差o u,。,^ ；根据得到整幅图像的Qu,。X=E ^(0.0,,/)；计算得到所述虚拟视点图像与左、右视点图像在同层分解序数之间的误差参数S u,。= min{| ou,。v-ou,。K|，| o u,。v-o u,。L|}；对每一层的误差参数进行加权整合A =E u,。2_uSu,。；计算所述虚拟视点图像的视觉质量 其中C(1为常实数调节因子， 范围是 CQ G [1，10]。
4.如权利要求3所述的基于视觉质量的自由视点视频或多视点视频传输方法，其特征 在于，所述服务器根据所述虚拟视点图像的视觉质量确定量化参数QP进一步包括所述虚拟视点图像的视觉质量S越高，则选择的QP越低。
5.如权利要求4所述的基于视觉质量的自由视点视频或多视点视频传输方法，其特征 在于，QP可选范围为[a，b]，则QP可采用与S相关的线性或非线性的一一映射关系进行调 整，其基本原则在于S值越高，QP值越低。
6.如权利要求3所述的基于视觉质量的自由视点视频或多视点视频传输方法，其特征 在于，所述服务器采用在线编码或离线编码方式对所述自由视点视频信号或多视点视频进行编码。
7.如权利要求4所述的基于视觉质量的自由视点视频或多视点视频传输方法，其特征 在于，还包括所述服务器根据网络拥塞状况调整所述QP，其中，网络拥塞状况越严重，调整的Δ QPi 值越大。
8.如权利要求7所述的基于视觉质量的自由视点视频或多视点视频传输方法，其特征 在于，还包括所述服务器根据网络拥塞等级选择相应权重的帧进行发送或编码。
9.如权利要求8所述的基于视觉质量的自由视点视频或多视点视频传输方法，其特征 在于，还包括所述客户端判断接收到的帧码流是否应该被舍弃以及是否为不能解码的差错帧；如果接收到的帧为差错帧时，则所述客户端将其同时刻所有视点的视频帧，视差帧所 对应的码率全部舍弃，并将前一时刻的对应视点的视频帧和视差帧拷贝至当前时刻；所述客户端重复拷贝动作，直至当前时刻的帧能正确解码重建，或者当前时刻帧的权 重大于前一时刻帧的权重。
10.一种基于视觉质量的自由视点视频或多视点视频传输系统，其特征在于，包括服务 器和一个或多个客户端，所述服务器，用于接收原始或经编解码后的自由视点视频或多视点视频信号，并计算 虚拟视点图像的视觉质量，以及根据所述虚拟视点图像的视觉质量确定上述自由试点视频 或多视点视频信号编码的量化参数QP，和根据确定的所述QP对所述自由视点视频或多视 点视频信号重新进行编码压缩，并向一个或多个客户端发送；所述客户端，用于接收所述服务器发送的码流，并根据用户选择的虚拟视点，利用视频 及对应视差进行虚拟视点的绘制，并将绘制结果显示给用户。
11.一种服务器，其特征在于，包括编码器和QP调整模块，所述编码器，用于接收原始或经编解码后的自由视点视频或多视点视频信号，并根据 量化参数QP对所述自由视点视频或多视点视频信号重新进行编码压缩，并向一个或多个 客户端发送；所述QP调整模块，用于计算虚拟视点图像的视觉质量，并根据所述虚拟视点图像的视 觉质量调整上述自由试点视频或多视点视频信号编码的所述QP。
12.如权利要求11所述的服务器，其特征在于，还包括用户与网络状况反馈模块，用于 接收用户的反馈，以及网络拥塞状况的反馈；所述QP调整模块，还用于根据所述网络拥塞状况调整所述QP。
13.如权利要求11或12所述的服务器，其特征在于，所述编码器包括在线编码器和离 线编码器。
14.如权利要求11所述的服务器，其特征在于，还包括权重设置模块，用于根据网络拥 塞等级选择相应权重的帧进行发送或编码。
15.一种客户端，其特征在于，包括权重判定模块、解码与差错隐藏模块和视点选择与 虚拟视点绘制模块，所述权重判定模块，用于判断接收到的帧码流是否应该被舍弃以及是否为不能解码的差错帧；所述解码与差错隐藏模块，用于当接收到的帧为差错帧时，则将其同时刻所有视点的 视频帧，视差帧所对应的码率全部舍弃，并将前一时刻的对应视点的视频帧和视差帧拷贝 至当前时刻，并且重复拷贝动作，直至当前时刻的帧能正确解码重建，或者当前时刻帧的权 重大于前一时刻帧的权重；所述视点选择与虚拟视点绘制模块，用于根据解码结果和用户选择的视点绘制虚拟视点o
全文摘要
本发明提出一种基于视觉质量的自由视点视频或多视点视频传输方法，包括以下步骤服务器接收原始或经编解码后的自由视点视频或多视点视频信号；所述服务器计算虚拟视点图像的视觉质量；所述服务器根据所述虚拟视点图像的视觉质量确定上述自由试点视频或多视点视频信号编码的量化参数QP；和所述服务器根据确定的所述QP对所述自由视点视频或多视点视频信号重新进行编码压缩，并向一个或多个客户端发送。本发明能够根据虚拟视点图像的视觉质量对QP进行调整，从而使得客户端所得到的图像质量具有较高水平。
文档编号H04L29/06GK101895752SQ201010227359
公开日2010年11月24日 申请日期2010年7月7日 优先权日2010年7月7日
发明者戴琼海, 杨铀 申请人:清华大学