基于流媒体的3d视频显示与交互方法及装置的制造方法
【专利摘要】本发明公开了基于流媒体的3D视频显示与交互方法与装置，包括：接收双目立体内容，对双目立体内容进行解码与缓存，获得双目立体内容的左视点图像和右视点图像；对每一个视频帧包含的左视点图像、右视点图像进行双目立体匹配，获得对应于该视频帧的视差图；根据用户的控制指令，对视频帧的视差图进行立体效果调整，得到新的立体图像。本发明提出了利用双目立体内容进行视差图计算的关键技术步骤，利用该步骤为符合人类视觉生理的立体效果调整提供了依据；提出了利用视差图进行立体效果调整的技术步骤：利用该步骤改变了现有技术中只能进行图像平移的现状；通过上述技术点组合的处理，能够有效地提升立体内容调整后的视觉质量。
【专利说明】
基于流媒体的3D视频显示与交互方法及装置
技术领域
[0001]本发明涉及媒体通信技术领域，尤其涉及基于流媒体的3D视频显示与交互方法与
目.ο
【背景技术】
[0002]现有3D视频的显示是通过3D内容生成技术，得到用于显示的3D视频内容，如3D电影、3D电视节目等。在通常的显示情况下(即利用偏振、快门、色差等)，3D内容的立体显示效果(即立体感的强弱等)只能在节目下发之前、内容生成的环节进行调整，而不能在用户端、显示终端上进行调整。由于立体感是一种因人而异的生理感应，因此在内容生成阶段就固化立体效果，不利于3D内容的观看，也不利于3D内容的传播。
[0003]此问题已引起现有电视机厂商的关注，并试图通过现有技术进行解决。主要技术手段在于通过平移用于立体显示的左、右两视点图像以达到调整的目的。这样的手段与人类立体视觉的生理机制不符，极易造成观看立体节目的过程中头晕、恶心、呕吐等现象，已经成为当前观看立体节目的最主要诟病。
[0004]本发明针对上述问题进行解决，尤其是解决立体效果的调整方法，以适应人类立体视觉机制，避免不良生理反应。
【发明内容】
[0005]针对上述问题中存在的不足之处，本发明提供基于流媒体的3D视频显示与交互方法与装置。
[0006]为实现上述目的，本发明提供一种基于流媒体的3D视频显示与交互方法，包括:
[0007]步骤一、接收双目立体内容，对双目立体内容进行解码与缓存，获得双目立体内容的左视点图像和右视点图像;所述双目立体内容至少缓存一个画面组GOP所包含的所有视频帧，每个视频帧包含左视点图像和右视点图像；
[0008]步骤二、对每一个视频帧包含的左视点图像、右视点图像进行双目立体匹配，获得对应于该视频帧的视差图；
[0009]步骤三、根据用户的控制指令，对视频帧的视差图进行立体效果调整，得到新的立体图像;所述控制信令包括调整方向信令和调整幅度信令。
[0010]作为本发明的进一步改进，所述步骤二包括:
[0011 ]步骤1、对每一个视频帧进行超像素分割；
[0012]步骤2、利用双目立体匹配算法对每一个视频帧中左视点图像和右视点图像的每一个超像素进行匹配，得到具有超像素特征的视差图；
[0013]步骤3、对步骤2具有超像素特征的视差图进行平滑滤波，得到滤波后的视差图；
[0014]步骤4、基于Canny算子对步骤I中每一个视频帧的左视点图像和右视点图像进行纹理检测，得到纹理信息；
[0015]步骤5、基于步骤3滤波后的视差图，找出滤波后的视差图与纹理信息的对应关系；
[0016]步骤6、基于步骤5的对应关系，以纹理周边的错误视差值按照临近视差取值的原则对步骤3滤波后的视差图进行优化，从而获得对应于该视频帧的视差图。
[0017]作为本发明的进一步改进，所述步骤I中，每个超像素所包含像素点的个数不超过20个。
[0018]作为本发明的进一步改进，所述步骤3中，所述平滑滤波包括高斯平滑、中值滤波、均值滤波、双边滤波中的一种。
[0019]作为本发明的进一步改进，所述步骤6中，对滤波后的视差图进行优化的方法为:准确描述滤波后的视差图中的纹理信息，并把纹理周边的错误视差值按照临近视差取值的原则，校正为前景与背景。
[°02°]作为本发明的进一步改进，所述步骤三包括:
[0021]步骤11、接收用户输入的控制信令，所述控制信令还包括:移动图像时的基础图像;所述基础图像包括:左视点图像或右视点图像；
[0022]步骤12、调整方向信令与调整幅度信令进行乘积，并将乘积结果作为视差调整的方向和幅度；
[0023]步骤13、将所述视差图的所有视差值与所述乘积结果求和，得到新的视差值；
[0024]步骤14、基础图像与新的视差值相结合绘制新视点图像；当基础图像为左视点图像时，新视点图像为新右视点图像;当基础图像为右视点图像时，新视点图像为新左视点图像；
[0025]步骤15、基础图像与新视点图像组合，得到新的立体图像。
[0026]作为本发明的进一步改进，所述调整方向指令分为增强立体效果和减弱立体效果，其中增强立体效果记为正I，减弱立体效果记为负I;
[0027]所述调整幅度指令采用归一化的值域范围，所述值域范围为[O，255];
[0028]当基础图像为左视点图像时，调整方向信令与调整幅度信令的乘积结果为正数时表不放大，负数时表不缩小。
[0029]作为本发明的进一步改进，当基础图像为右视点图像时，调整方向信令与调整幅度信令的乘积结果为负数时表示放大，正数时表示缩小。
[0030]本发明还提供一种基于流媒体的3D视频显示与交互装置，包括:立体视频压缩码流接收单元、立体视频压缩码流解码单元、立体视频缓存单元、视差计算单元、用户交互单元、新视图计算单元和立体视频显示单元；
[0031 ]所述立体视频压缩码流接收单元用于接收双目立体内容；
[0032]所述立体视频压缩码流解码单元与所述立体视频压缩码流接收单元相连，用于对接收的双目立体内容进行解码；
[0033]所述立体视频缓存单元与所述立体视频压缩码流解码单元相连，用于对解码后的双目立体内容进行缓存，获得双目立体内容的左视点图像和右视点图像；
[0034]所述视差计算单元与所述立体视频缓存单元相连，用于对左视点图像、右视点图像进行双目立体匹配，获得视频帧的视差图；
[0035]所述用户交互单元与所述视差计算单元相连，用于接受控制信令；
[0036]所述新视图计算单元分别与所述用户交互单元和立体视频显示单元相连，用于在控制信令下对视频帧的视差图进行立体效果调整，得到新的立体图像，并将新的立体图像显示在立体视频显示单元上。
[0037]与现有技术相比，本发明的有益效果为:
[0038]本发明公开的基于流媒体的3D视频显示与交互方法与装置，提出了利用双目立体内容进行视差图计算的关键技术步骤，利用该步骤为符合人类视觉生理的立体效果调整提供了依据;提出了利用视差图进行立体效果调整的技术步骤:利用该步骤改变了现有技术中只能进行图像平移的现状;通过上述技术点组合的处理，能够有效地提升立体内容调整后的视觉质量。
【附图说明】
[0039]图1为本发明一种实施例公开的基于流媒体的3D视频显示与交互方法的流程图；
[0040]图2为本发明一种实施例公开的基于流媒体的3D视频显示与交互装置的框架图。[0041 ]图中:1、立体视频压缩码流接收单元;2、立体视频压缩码流解码单元;3、立体视频缓存单元;4、视差计算单元;5、用户交互单元;6、新视图计算单元;7、立体视频显示单元。
【具体实施方式】
[0042]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]下面结合附图对本发明做进一步的详细描述:
[0044]实施例1:如图1所示，本发明提供一种基于流媒体的3D视频显示与交互方法，包括:
[0045]SlOl、接收双目立体内容，对双目立体内容进行解码与缓存，获得双目立体内容的左视点图像和右视点图像;双目立体内容中的每一帧图像本身即包含左、右两个视点的图像，每一帧图像是由这两个视点图像拼接而成，或为左右格式，或为上下格式等。缓存帧数(即时间)与流媒体本身所采用的G0P(G0P为画面组)长度相关，双目立体内容应至少缓存一个GOP所包含的所有帧，否则解码器难以完成重排序的处理流程。
[0046]S102、对每一个视频帧包含的左视点图像、右视点图像进行双目立体匹配，获得对应于该视频帧的视差图；具体方法为:
[0047]步骤1、对每一个视频帧进行超像素分割，每个超像素所包含像素点的个数不超过20个;
[0048]步骤2、利用双目立体匹配算法对每一个视频帧中左视点图像和右视点图像的每一个超像素进行匹配，得到同样具有超像素特征的视差图；
[0049]步骤3、对步骤2具有超像素特征的视差图进行平滑滤波，得到滤波后的视差图，平滑滤波为高斯平滑、中值滤波、均值滤波、双边滤波等中的一种。
[0050]步骤4、基于Canny算子(Canny算子是一种图像边缘纹理检测方法)对步骤I中每一个视频帧的左视点图像和右视点图像进行纹理检测，得到纹理信息；
[0051]步骤5、基于步骤3滤波后的视差图，找出滤波后的视差图与纹理信息的对应关系；
[0052]步骤6、基于步骤5的对应关系，以纹理周边的错误视差值按照临近视差取值的原则对步骤3滤波后的视差图进行优化，从而获得对应于该视频帧的视差图；对滤波后的视差图进行优化的方法为:准确描述滤波后的视差图中的纹理信息，并把纹理周边的错误视差值按照临近视差取值的原则，校正为前景与背景。
[0053]S103、根据用户的控制指令，对视频帧的视差图(每一视频帧都有各自的视差图)进行立体效果调整，得到新的立体图像;控制信令包括调整方向信令和调整幅度信令;具体方法为:
[0054]步骤11、首先接收用户输入的控制信令，控制信令还包括:移动图像时的基础图像;基础图像包括:左视点图像或右视点图像;一般情况下调整方向指令分为增强立体效果和减弱立体效果，其中增强立体效果记为正I，减弱立体效果记为负I;调整幅度信令在本发明中我们采用归一化的值域范围，即所有参数仅因为便于计算而被映射为整数，其原始状态可为任意实数。调整幅度信令的值域范围为[0，255];根据此调整幅度信令与调整方向指令(即正I或负I)的乘积结果决定视差调整的方向及幅度；
[0055]步骤12、调整方向信令与调整幅度信令进行乘积，并将乘积结果作为视差调整的方向和幅度；
[0056]步骤13、将视差图的所有视差值与乘积结果求和，得到新的视差值；
[0057]步骤14、基础图像与新的视差值相结合绘制新视点图像；当基础图像为左视点图像时，新视点图像为新右视点图像;当基础图像为右视点图像时，新视点图像为新左视点图像；
[0058]步骤15、基础图像与新视点图像组合，得到新的立体图像;其中:当基础图像为左视点图像时，调整方向信令与调整幅度信令的乘积结果为正数时表示放大，负数时表示缩小；当基础图像为右视点图像时，调整方向信令与调整幅度信令的乘积结果为负数时表示放大，正数时表示缩小。
[0059]实施例2:如图2所示，本发明提供一种基于流媒体的3D视频显示与交互装置，包括:立体视频压缩码流接收单元1、立体视频压缩码流解码单元2、立体视频缓存单元3、视差计算单元4、用户交互单元5、新视图计算单元6和立体视频显示单元7 ；
[0060]立体视频压缩码流接收单元I用于接收双目立体内容；
[0061]立体视频压缩码流解码单元2与立体视频压缩码流接收单元I相连，用于对接收的双目立体内容进行解码；
[0062]立体视频缓存单元3与立体视频压缩码流解码单元2相连，用于对解码后的双目立体内容进行缓存，获得双目立体内容的左视点图像和右视点图像；
[0063]视差计算单元4与立体视频缓存单元3相连，用于对左视点图像、右视点图像进行双目立体匹配，获得视频帧的视差图；
[0064]用户交互单元5与视差计算单元4相连，用于接受控制信令；
[0065]新视图计算单元6分别与用户交互单元5和立体视频显示单元相连7，用于在控制信令下对视频帧的视差图进行立体效果调整，得到新的立体图像，并将新的立体图像显示在立体视频显示单元7上。
[0066]本发明公开的基于流媒体的3D视频显示与交互方法与装置，提出了利用双目立体内容进行视差图计算的关键技术步骤，利用该步骤为符合人类视觉生理的立体效果调整提供了依据;提出了利用视差图进行立体效果调整的技术步骤:利用该步骤改变了现有技术中只能进行图像平移的现状;通过上述技术点组合的处理，能够有效地提升立体内容调整后的视觉质量。
[0067]以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种基于流媒体的3D视频显示与交互方法，其特征在于，包括: 步骤一、接收双目立体内容，对双目立体内容进行解码与缓存，获得双目立体内容的左视点图像和右视点图像;所述双目立体内容至少缓存一个画面组GOP所包含的所有视频帧，每个视频帧包含左视点图像和右视点图像； 步骤二、对每一个视频帧包含的左视点图像、右视点图像进行双目立体匹配，获得对应于该视频帧的视差图； 步骤三、根据用户的控制指令，对视频帧的视差图进行立体效果调整，得到新的立体图像;所述控制信令包括调整方向信令和调整幅度信令。2.如权利要求1所述的基于流媒体的3D视频显示与交互方法，其特征在于，所述步骤二包括: 步骤1、对每一个视频帧进行超像素分割； 步骤2、利用双目立体匹配算法对每一个视频帧中左视点图像和右视点图像的每一个超像素进行匹配，得到具有超像素特征的视差图； 步骤3、对步骤2具有超像素特征的视差图进行平滑滤波，得到滤波后的视差图； 步骤4、基于Canny算子对步骤I中每一个视频帧的左视点图像和右视点图像进行纹理检测，得到纹理信息； 步骤5、基于步骤3滤波后的视差图，找出滤波后的视差图与纹理信息的对应关系； 步骤6、基于步骤5的对应关系，以纹理周边的错误视差值按照临近视差取值的原则对步骤3滤波后的视差图进行优化，从而获得对应于该视频帧的视差图。3.如权利要求2所述的基于流媒体的3D视频显示与交互方法，其特征在于，所述步骤I中，每个超像素所包含像素点的个数不超过20个。4.如权利要求2所述的基于流媒体的3D视频显示与交互方法，其特征在于，所述步骤3中，所述平滑滤波包括高斯平滑、中值滤波、均值滤波、双边滤波中的一种。5.如权利要求2所述的基于流媒体的3D视频显示与交互方法，其特征在于，所述步骤6中，对滤波后的视差图进行优化的方法为:准确描述滤波后的视差图中的纹理信息，并把纹理周边的错误视差值按照临近视差取值的原则，校正为前景与背景。6.如权利要求1所述的基于流媒体的3D视频显示与交互方法，其特征在于，所述步骤三包括: 步骤U、接收用户输入的控制信令，所述控制信令还包括:移动图像时的基础图像;所述基础图像包括:左视点图像或右视点图像； 步骤12、调整方向信令与调整幅度信令进行乘积，并将乘积结果作为视差调整的方向和幅度； 步骤13、将所述视差图的所有视差值与所述乘积结果求和，得到新的视差值； 步骤14、基础图像与新的视差值相结合绘制新视点图像；当基础图像为左视点图像时，新视点图像为新右视点图像;当基础图像为右视点图像时，新视点图像为新左视点图像；步骤15、基础图像与新视点图像组合，得到新的立体图像。7.如权利要求6所述的基于流媒体的3D视频显示与交互方法，其特征在于，所述调整方向指令分为增强立体效果和减弱立体效果，其中增强立体效果记为正1，减弱立体效果记为负I; 所述调整幅度指令采用归一化的值域范围，所述值域范围为[0，255]; 当基础图像为左视点图像时，调整方向信令与调整幅度信令的乘积结果为正数时表示放大，负数时表示缩小。8.如权利要求7所述的基于流媒体的3D视频显示与交互方法，其特征在于，当基础图像为右视点图像时，调整方向信令与调整幅度信令的乘积结果为负数时表示放大，正数时表示缩小。9.一种实现权利要求1所述的基于流媒体的3D视频显示与交互方法的装置，其特征在于，包括:立体视频压缩码流接收单元、立体视频压缩码流解码单元、立体视频缓存单元、视差计算单元、用户交互单元、新视图计算单元和立体视频显示单元； 所述立体视频压缩码流接收单元用于接收双目立体内容； 所述立体视频压缩码流解码单元与所述立体视频压缩码流接收单元相连，用于对接收的双目立体内容进行解码； 所述立体视频缓存单元与所述立体视频压缩码流解码单元相连，用于对解码后的双目立体内容进行缓存，获得双目立体内容的左视点图像和右视点图像； 所述视差计算单元与所述立体视频缓存单元相连，用于对左视点图像、右视点图像进行双目立体匹配，获得视频帧的视差图； 所述用户交互单元与所述视差计算单元相连，用于接受控制信令； 所述新视图计算单元分别与所述用户交互单元和立体视频显示单元相连，用于在控制信令下对视频帧的视差图进行立体效果调整，得到新的立体图像，并将新的立体图像显示在立体视频显示单元上。
【文档编号】H04N13/00GK105847783SQ201610327098
【公开日】2016年8月10日
【申请日】2016年5月17日
【发明人】杨铀, 朱光喜
【申请人】武汉鸿瑞达信息技术有限公司