面向互联网应用3d视频/图像生成方法
【技术领域】
[0001]本发明涉及电子成像技术领域，尤其涉及一种面向互联网应用3D视频/图像生成方法。
【背景技术】
[0002]当前3D视频或图像的成像主要依赖于双目摄像机的同步拍摄，一般具有较高的制作成本，并在后期使用过程中需要较为专业的对齐、校正过程，给广大普通使用者带来不便，也因此限制了 3D视频或图像成像产品的应用。
[0003]现有2D转3D办法分为两大类，一类是不做场景内容的分析，直接通过图像的几何变形，生成3D所需要的2个视点图像。这类方法速度快，但是其3D质量差。第二类方法是做场景分析，换算出场景深度信息，然后通过虚拟视点绘制的办法生成所需要的2个视点图像。这类方法会对图像中的每一个像素计算深度信息，其质量高，但是速度慢。
【发明内容】
[0004]针对上述问题中存在的不足之处，本发明提供一种面向互联网应用3D视频/图像生成方法。
[0005]为实现上述目的，本发明提供了一种面向互联网应用3D视频/图像生成方法，包括:
[0006]步骤一、对输入的2D视频/图像进行色彩空间的转换，得到YUV或YCRCB色彩空间下的图像；
[0007]步骤二、计算图像的Y分量，对Y分量图像进行超像素分割；
[0008]步骤三、计算每个超像素区域内Y分量均值Y’，相邻的超像素根据Y’值的差异性进行合并;所述相邻超像素合并的原则为:相邻超像素的Y’的差值的绝对值不大于阈值；
[0009]步骤四、统计合并后超像素的个数N，将[0，255]均分为N等份，得到N个取值区间；
[0010]步骤五、计算合并后超像素区域内Y分量均值Y”，Y”大小排序得到序号N’，根据序号的大小找到步骤四中的对应区间，取区间内一数值作为该超像素的深度值，得到深度图；
[0011]步骤六、基于深度图的3D场景绘制方法，进行另一视点视频或者图像的绘制，完成空洞填补后，与原始所输入的视频联合输出成3D视频或图像。
[0012]作为本发明的进一步改进，所述步骤二中，每个超像素所包含像素的个数不超过20个。
[0013]作为本发明的进一步改进，所述阈值为2。
[0014]作为本发明的进一步改进，所述步骤四中，将[0，255]均分为N等份，不满足等分要求的向下取整。
[0015]作为本发明的进一步改进，所述步骤五中，取区间内的中值或均值作为该超像素的深度值。
[0016]作为本发明的进一步改进，所述另一视点视频或者图像的绘制为:基于深度的图像绘制或基于视差的图像绘制。
[0017]作为本发明的进一步改进，所述空洞用均值、中值或者inpainting方法进行填补。
[0018]与现有技术相比，本发明的有益效果为:
[0019]本发明提供了面向互联网应用3D视频/图像生成方法，对互联网的2D视频或图像进行基于图像内容的计算与处理，通过分析其场景中物体的三维空间关系，恢复其场景深度信息，并以此进行3D视频或图像的生成，从而避免通过双目摄像机进行拍摄的3D内容生成方式，通过超像素的方法，减少像素数量，从而提高速度，节省了制作成本与时间。
【附图说明】
[0020]图1为本发明一种实施例公开的面向互联网应用3D视频/图像生成方法的流程图。
【具体实施方式】
[0021]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0022]本发明提供一种面向互联网应用3D视频/图像生成方法，包括:
[0023 ]步骤一、对输入的2D视频/图像进行色彩空间的转换，得到YUV或YCRCB色彩空间下的图像；
[0024]步骤二、计算图像的Y分量，对Y分量图像进行超像素分割；
[0025]步骤三、计算每个超像素区域内Y分量均值Y’，相邻的超像素根据Y’值的差异性进行合并;所述相邻超像素合并的原则为:相邻超像素的Y’的差值的绝对值不大于阈值；
[0026]步骤四、统计合并后超像素的个数N，将[0，255]均分为N等份，得到N个取值区间；
[0027]步骤五、计算合并后超像素区域内Y分量均值Y”，Y”大小排序得到序号N’，根据序号的大小找到步骤四中的对应区间，取区间内一数值作为该超像素的深度值，得到深度图；
[0028]步骤六、基于深度图的3D场景绘制方法，进行另一视点视频或者图像的绘制，完成空洞填补后，与原始所输入的视频联合输出成3D视频或图像。
[0029]本发明通过分析其场景中物体的三维空间关系，恢复其场景深度信息，并以此进行3D视频或图像的生成，通过超像素的方法，减少像素数量，从而提高速度，节省了制作成本与时间。
[0030]下面结合附图对本发明做进一步的详细描述:
[0031]如图1所示，本发明提供一种面向互联网应用3D视频/图像生成方法，其具体包括:
[0032]SlOl、对输入的2D视频/图像进行色彩空间的转换，得到YUV或YCRCB色彩空间下的图像；
[0033]YUV是模拟信号的处理方式，YCRCB是数字信号的处理方式。虽然有不同，但是对于Y分量的计算是一样的。
[0034]S102、计算图像的Y分量，对Y分量图像进行超像素分割;每个超像素所包含像素的个数不超过20个。
[0035]像素三个分量的视觉属性是一致的，人类视觉生理系统对Y分量的敏感程度比其他两个分量高;所以选择对Y分量图像进行超像素分割。超像素分割是将数字图像细分为多个图像子区域(像素的集合)(也被称作超像素)的过程。超像素有一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。图像分割的结果是图像上子区域的集合(这些子区域的全体覆盖了整个图像)，或是从图像中提取的轮廓线的集合(例如边缘检测)。一个子区域中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的，例如颜色、亮度、纹理。邻接区域在某种特性的度量下有很大的不同。
[0036]S103、对超像素进行基于邻域的聚类，计算每一个超像素区域内的Y分量均值Y’；对于相邻的超像素，根据Y’值的差异性进行合并;其合并的公式是|Yi’-Y2’ I <阈值，满足要求则进行合并;其中:Yi’、Y2’表示两个相邻的超像素；阈值的大小决定了合并后新的超像素所涵盖的面积大小，同样也决定了后续计算的复杂度和最终所形成的图像质量，绝对值越大的阈值将导致超像素面积越大，后续计算复杂度越低，但图像质量越差;反之，则超像素面积越小，计算复杂度越高，图像质量越高;一般可取阈值为2。
[0037]S104、统计合并后的超像素的个数为N，将[0，255]均分为N等份，不满足等分条件的，按下取整方法，比如1.4则为I; 1.9也为I;得到N个取值区间。
[0038]S105、计算合并后超像素区域内Y分量均值Y”，Y”从大到小得到序号N’(也可以从小到大排序)，根据序号的大小找到S104中的对应区间，取区间内某一个值作为该超像素的深度值(取值方法可为中值、均值等任意一种)；从而得到深度图；
[0039]S106、根据基于深度图的3D场景绘制方法，进行另一视点视频或者图像的绘制；具体绘制方法可为基于深度的图像绘制方法(即DIBR)，也可以是基于视差的图像绘制方法；在完成空洞填补后，即可与原始所输入的视频联合输出成3D视频或图像。空洞是指在绘制过程中出现的一种图像空洞，这是由于整数计算所带来的问题，也是常见的问题。通常可用均值、中值或者用inpainting方法进行填补。本发明提供了面向互联网应用3D视频/图像生成方法，通过算法在步骤三?五的整合以及步骤五中的深度图生成办；，对互联网的2D视频或图像进行基于图像内容的计算与处理，通过分析其场景中物体的三维空间关系，恢复其场景深度信息，并以此进行3D视频或图像的生成，从而避免通过双目摄像机进行拍摄的3D内容生成方式，通过超像素的方法，减少像素数量，从而提高速度，节省了制作成本与时间。
[0040]以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种面向互联网应用3D视频/图像生成方法，其特征在于，包括: 步骤一、对输入的2D视频/图像进行色彩空间的转换，得到YUV或YCRCB色彩空间下的图像； 步骤二、计算图像的Y分量，对Y分量图像进行超像素分割； 步骤三、计算每个超像素区域内Y分量均值Y’，相邻的超像素根据Y’值的差异性进行合并;所述相邻超像素合并的原则为:相邻超像素的Y’的差值的绝对值不大于阈值； 步骤四、统计合并后超像素的个数N，将[0，255]均分为N等份，得到N个取值区间； 步骤五、计算合并后超像素区域内Y分量均值Y”，Y”大小排序得到序号N’，根据序号的大小找到步骤四中的对应区间，取区间内一数值作为该超像素的深度值，得到深度图；步骤六、基于深度图的3D场景绘制方法，进行另一视点视频或者图像的绘制，完成空洞填补后，与原始所输入的视频联合输出成3D视频或图像。2.如权利要求1所述的面向互联网应用3D视频/图像生成方法，其特征在于，所述步骤二中，每个超像素所包含像素的个数不超过20个。3.如权利要求1所述的面向互联网应用3D视频/图像生成方法，其特征在于，所述阈值为2。4.如权利要求1所述的面向互联网应用3D视频/图像生成方法，其特征在于，所述步骤四中，将[0，255]均分为N等份，不满足等分要求的向下取整。5.如权利要求1所述的面向互联网应用3D视频/图像生成方法，其特征在于，所述步骤五中，取区间内的中值或均值作为该超像素的深度值。6.如权利要求1所述的面向互联网应用3D视频/图像生成方法，其特征在于，所述另一视点视频或者图像的绘制为:基于深度的图像绘制或基于视差的图像绘制。7.如权利要求1所述的面向互联网应用3D视频/图像生成方法，其特征在于，所述空洞用均值、中值或者inpainting方法进行填补。
【专利摘要】本发明公开了一种面向互联网应用3D视频/图像生成方法，包括：对2D视频/图像进行色彩的转换，计算YUV或YCRCB图像的Y分量，对Y分量图像进行超像素分割；计算每个超像素区域内Y分量均值Y’，相邻的超像素根据Y’值的差异性进行合并；统计合并后超像素的个数N，将[0,255]均分为N等份，得到N个取值区间；合并后超像素均值大小排序得到序号N’，根据序号的大小找到对应区间，取区间内一数值作为深度值，得到深度图；进行另一视点视频或者图像的绘制，与原始所输入的视频联合输出成3D视频或图像。本发明通过分析其场景中物体的三维空间关系，恢复其场景深度信息，并以此进行3D视频或图像的生成，提高速度，节省了制作成本与时间。
【IPC分类】H04N13/00
【公开号】CN105611273
【申请号】CN201511028125
【发明人】杨铀, 朱光喜
【申请人】武汉鸿瑞达信息技术有限公司
【公开日】2016年5月25日
【申请日】2015年12月31日