专利名称：一种多视点视频编码边信息融合的方法
技术领域：
本发明涉及一种多视点视频编码边信息融合的方法。
背景技术：
近年来，传统的视频编码技术在诸如无线传感器网络等应用时遇到瓶颈，如何减 轻编码端的运算负担成为重要的课题。针对这一问题，学者所提出的分布式视频编码技术 可以将运算负担由编码端转移至解码端。同时，多视点视频可从多个不同的视角对场景进 行观测，能够获取更为丰富的信息，使得多视点视频编码被大量应用于教育、娱乐、生产等 诸多领域。在分布式视频编码中，边信息的质量是关乎系统性能的重要因素，同样，在分布式 多视点视频编码的研究中，如何得到高质量的边信息亦是关键所在。多视点带来了视点间 的相关性，有学者们开始在如何利用时间，视点间的联合相关性以期得到质量更好的边信 息的方向上进行了一些有意义的探索与尝试，并取得了可观的成果。但现有的相关技术多 具有因主观性过强而导致普适性较差的缺陷，导致作者在论文中所进行的实验难以得到复 现，而当测试视频序列有变化时，解码性能的波动是较明显的。本项发明就是致力于减少这 种主观性的影响，使得所提出的边信息生成技术更具有普遍适用的特性。在现有的相关技术中，通过制定相应的评价准则以实现对时间与视点间边信息的 融合。这其中，目标物体的运动显著与否是重要的评价因素。在已有的技术中，多通过设定 阈值以进行评价判决，而阈值的合理设定并非易事。
发明内容
本发明所要解决的技术问题是提出一种杜绝了阈值设定等所带入的主观因素的 影响的多视点视频编码边信息融合的方法。具体如何设定阈值，没有明确的量化标准来界定，即没有量化标准来界定何为显 著。因而基于控制论中的模糊控制技术，本发明提出了一种基于模糊控制的边信息融合技 术，不需要设定阈值来获取边信息。具体来说，本发明提供一种多视点视频编码边信息融合的方法，包括如下步骤参考帧步骤在一时刻点，标准视点获取目标帧，并同时分别在所述标准视点附近 的第一参考视点和第二参考视点获取第一参考帧和第二参考帧；所述标准视点在该时刻点 前获取前参考帧，在该时刻点之后获取后参考帧；运动估计步骤采用运动估计的方式，分别由所述前参考帧估计出标准视点在该 时刻点的前估计帧，由所述后参考帧估计出标准视点在该时刻点的后估计帧，并获得所述 前估计帧和后估计帧的加权值为时间估计帧；视差估计步骤采用视差补偿的方式，分别由第一参考帧估计出该目标帧在所述 第一参考视点的第一估计帧，由第二参考帧估计出该目标帧在所述第二参考视点的第二估 计帧，并获得所述第一估计帧和第二估计帧的加权值为空间估计帧； 边信息估计步骤构建隶属度函数，并获得所述时间估计帧和空间估计帧的该隶 属度函数值，由此获得边信息。上述技术方案基于模糊控制理论，构造一个隶属度函数，以期能够更加充分地利 用视点内、视点间的联合相关性。本方法阵对环形摄像机阵列，给定需解码的当前帧作为目 标帧，分别确定其视点内与视点间的参考帧。利用运动估计得到视点内时间上预测结果，并 通过视差补偿得到视点间的预测结果。由所构造的隶属度函数得到相应的权值，对所得到 的两种预测结果进行融合，得到解码所需的边信息。不同于传统的阈值判别进行信息融合，在降低了阈值设定所带入的主观因素的影 响。在上述技术方案中，不仅进行融合时的权值是跟随视频内容的特点自适应调节的，且隶 属度函数也能够进行自适应的调整，这就提高了本方法的普遍适用性。同时，在实践过程 中，可以对隶属度函数的形式加以后期改进，具有较大的发展空间。且该技术方案方法计算 简单，易于物理实现。优选的，所述运动估计步骤包括分别估计出前参考帧对目标帧的前运动向量，和后参考帧对目标帧的后运动向 量；由所述前运动向量和后运动向量分别获得所述前估计帧和前后估计帧。进一步的，所述运动估计步骤中，设所述前运动向量为Vf，所述后运动向量为vb，
所述前估计帧为只所述后估计帧为/1.所述时间估计帧为则
Γ00181 优选的，所述视差估计步骤包括分别估计出第一参考帧对目标帧的第一运动向量，和第二参考帧对目标帧的第二 运动向量；由所述前第一运动向量和第二运动向量分别获得所述第一估计帧和第二后估计 帧。进一步的，所述视差估计步骤中，设所述第一运动向量V1,所述第二运动向量为 Vr,所述第一估计帧为/1，所述第二估计帧为/丨，所述空间估计帧为/V，则 优选的，所述边信息估计步骤包括如下步骤构建隶属度函数f 分别定义Λ(Χ)= 优选的，所述第一参考视点设置在标准视点左边，所述第二参考视点设置在标准 视点右边。
与现有技术相比，本发明的技术方案的优点在于，不仅避免了阈值设定所带入的 主观因素的影响，还在进行融合时的权值是跟随视频内容的特点自适应调节的，而且，隶属 度函数也能够进行自适应的调整，这样该技术方案更加具有良好的普遍适用性。
图1是本发明的方法一种实施例中获取相应的图像帧的硬件设置结构示意图；图2是本发明的方法一种实施方式的结构示意图。
具体实施例方式下面结合附图，对本发明的较优的实施例作进一步的详细说明如图1所示，为一环形摄像机阵列。其中，摄像机M为标准视点，摄像机L为第一参考视点，摄像机R为第二参考视点， 分别对观测场景获取图像帧。如图2所示，一种多视点视频编码边信息融合的方法包括如下步骤1)在分布式多视点视频编码中，对摄像机M所给定需要解码的当前帧FL作为目标 帧，确定该帧在视点内时间顺序上的前后两个参考帧fm，以及左右相邻摄像机L、R的视 点在同一时刻的两个参考帧/丨Jr。在其他的实施例的实时系统中，也可设定一个虚拟后向参考帧，令其与前向参考帧相等，本方法同样适用；2)通过运动估计技术分别得到视点内参考帧对目标帧的前后运动向量vf、vb。可 将视频帧分为若干像素块，从参考帧的某个位置的等大小的块对目标帧的当前块进行预 测，预测的过程中只有平移，平移的大小被称为运动向量；3)根据所得的运动向量可以分别计算得到时间预测结果冗fm
、 ο4)采用视差补偿技术分别得到视点间参考帧对目标帧的左右方向两个运动向量 V1,、。视差补偿技术在原理上类似于运动补偿技术，将时间顺序上的参考帧用摄像机之间 的参考帧代替，对目标帧进行预测，以获取运动向量；5)根据所得的运动向量可以分别计算得到视点间预测结果只、只。6)计算四个运动向量的模 7)通过 得到时间预测结果/r;8)计算 得到视点间预测结果/V。9)构造隶属度函数 该隶属度函数具有以下特点①单调递增性；②由于视点内时间相关性在多数情况下是强于视点间关联性的，所以即使有χ = 1时，函数值不应为1，以保证视点内时间相关性的可利用性；③由于t为一变量，所构造的函数具有自适应调节能力，可根据视频内容进行调 节。上述三点也是在构造合适隶属度函数是所必须考虑的因素。10)定义 fT(x) = l-fv(x)；通过所构造的模糊变量与隶属度函数分别得到进行融合时视点间边信息与视点 内边信息所占有的权重，利用这种方式得到的权值可根据视频内容进行自适应调整，消除 了阈值设定等环节所带来的主观因素影响。11)解码所需的边信息为 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定 本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在 不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的 保护范围。
权利要求
一种多视点视频编码边信息融合的方法，其特征在于，包括如下步骤参考帧步骤在一时刻点，标准视点获取目标帧，并同时分别在所述标准视点附近的第一参考视点和第二参考视点获取第一参考帧和第二参考帧；所述标准视点在该时刻点前获取前参考帧，在该时刻点之后获取后参考帧；运动估计步骤采用运动估计的方式，分别由所述前参考帧估计出标准视点在该时刻点的前估计帧，由所述后参考帧估计出标准视点在该时刻点的后估计帧，并获得所述前估计帧和后估计帧的加权值为时间估计帧；视差估计步骤采用视差补偿的方式，分别由第一参考帧估计出该目标帧在所述第一参考视点的第一估计帧，由第二参考帧估计出该目标帧在所述第二参考视点的第二估计帧，并获得所述第一估计帧和第二估计帧的加权值为空间估计帧；边信息估计步骤构建隶属度函数，并获得所述时间估计帧和空间估计帧的该隶属度函数值，由此获得边信息。
2.如权利要求1所述的多视点视频编码边信息融合的方法，其特征在于，所述运动估 计步骤包括分别估计出前参考帧对目标帧的前运动向量，和后参考帧对目标帧的后运动向量； 由所述前运动向量和后运动向量分别获得所述前估计帧和前后估计帧。
3.如权利要求2所述的多视点视频编码边信息融合的方法，其特征在于，所述运动估计步骤中，设所述前运动向量为vf，所述后运动向量为vb，所述前估计帧为只，所述后估计帧为所述时间估计帧为贝U: ？i - lv/l f ι IkJ/r "OTJ7m OTJ7m。
4.如权利要求1所述的多视点视频编码边信息融合的方法，其特征在于，所述视差估 计步骤包括分别估计出第一参考帧对目标帧的第一运动向量，和第二参考帧对目标帧的第二运动 向量；由所述前第一运动向量和第二运动向量分别获得所述第一估计帧和第二后估计帧。
5.如权利要求4所述的多视点视频编码边信息融合的方法，其特征在于，所述视差估 计步骤中，设所述第一运动向量V1,所述第二运动向量为、，所述第一估计帧为/I，所述第二 估计帧为K，所述空间估计帧为/V，则,_ IM f, Ikl .
6.如权利要求3所述的多视点视频编码边信息融合的方法，其特征在于，所述视差估 计步骤包括分别估计出第一参考帧对目标帧的第一运动向量，和第二参考帧对目标帧的第二运动 向量；由所述前第一运动向量和第二运动向量分别获得所述第一估计帧和第二后估计帧； 其中，所述视差估计步骤中，设所述第一运动向量Vl，所述第二运动向量为\，所述第2一估计帧为/丨，所述第二估计帧为/丨，所述空间估计帧为/V，则
7.如权利要求6所述的多视点视频编码边信息融合的方法，其特征在于，所述边信息 估计步骤包括如下步骤构建隶属度函数 分别定义 ，以及4“) = i-fv(x)； 则边信息为
8.如权利要求1所述的多视点视频编码边信息融合的方法，其特征在于，所述第一参 考视点设置在标准视点左边，所述第二参考视点设置在标准视点右边。
全文摘要
本发明提供一种多视点视频编码边信息融合的方法，包括如下步骤参考帧步骤在一时刻点，标准视点获取目标帧，并同时分别在所述标准视点附近的第一参考视点和第二参考视点获取第一参考帧和第二参考帧；所述标准视点在该时刻点前获取前参考帧，在该时刻点之后获取后参考帧；运动估计步骤采用运动估计的方式，分别估计出前估计帧和后估计帧，并获得所述前估计帧和后估计帧的加权值为时间估计帧；视差估计步骤采用视差补偿的方式，分别估计第一估计帧和第二估计帧，并获得所述第一估计帧和第二估计帧的加权值为空间估计帧；边信息估计步骤构建隶属度函数，并获得所述时间估计帧和空间估计帧的该隶属度函数值，由此获得边信息。
文档编号H04N7/32GK101883287SQ20101022651
公开日2010年11月10日 申请日期2010年7月14日 优先权日2010年7月14日
发明者刘晓冬, 王好谦, 郭城 申请人:清华大学深圳研究生院