帧图像转换方法、帧视频转换方法及装置制造方法
【专利摘要】本发明涉及一种帧图像转换方法、帧视频转换方法及装置，其中，帧视频转换方法包括：提取2D帧视频的最长线段；根据所述最长线段的方向确定所述2D帧视频的第一深度图；根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息；根据所述运动信息确定所述2D帧视频的第二深度图；根据所述第一深度图、所述第二深度图以及所述2D帧视频生成所述2D帧视频对应的3D帧视频。本发明实施例提供的帧图像转换方法、帧视频转换方法及装置，与仅用一个深度线索合成的深度图相比具有更高的可靠性，且能保持良好的深度边缘信息，从而使生成深度图更加真实，转换而成的3D帧视频逼真自然，有利于提高用户体验。
【专利说明】帧图像转换方法、帧视频转换方法及装置
【技术领域】
[0001]本发明涉及图像处理领域，尤其涉及一种帧图像转换方法、帧视频转换方法及装置。
【背景技术】
[0002]3D技术能将真实世界中的事物以更加逼真的效果展现给人们。然而，相比于3D显示的硬件设备来说，3D内容的数量明显不足。尽管可以使用3D设备拍摄3D内容，但若能将已有丰富的2D资源转换为3D资源，无疑能有效地解决3D资源匮乏的问题。
[0003]目前，基于深度图的3D合成技术是一种比较主流的2D转3D技术。该技术主要利用2D转3D时人的视觉经验和视觉记忆构成的人眼的心理立体视觉。2D图像存在的深度线索，如运动视差、聚焦/散焦、线性透视、大气散射、阴影、遮挡、相对高度以及相对大小等，通过对这些深度线索进行分析，可以将2D图像中的深度信息估计出来，从而根据估计出来的深度信息生成对应的深度图。根据原始视图及其对应的深度图，利用基于深度图像绘制(Depth image based rendering,DIBR)技术,可以合成虚拟的左右视图，将左右视图合成，通过3D显示设备即可得到具有3D效果的立体图。
[0004]随着DIBR技术的成熟，基于深度图的3D合成技术被广泛研究，如何准确估计出2D图像的深度信息成为了该技术的关键。
【发明内容】
[0005]抟术问是页
[0006]有鉴于此，本发明要解决的技术问题是，如何准确估计出2D图像的深度信息，从而提高基于该深度信息的3D合成技术得到的深度图像的真实性。
[0007]解决方案
[0008]为了解决上述技术问题，根据本发明一实施例，在第一方面，提供了一种帧图像转换方法，包括:
[0009]提取2D帧图像的最长线段；
[0010]根据所述最长线段的方向，确定所述2D帧图像的第一深度图；
[0011]根据所述第一深度图及所述2D帧图像，生成所述2D帧图像对应的3D帧图像。
[0012]结合第一方面，在一种可能的实现方式中，所述提取2D帧图像的最长线段，包括:
[0013]利用双边滤波对所述2D帧图像进行平滑去噪处理；
[0014]利用霍夫变换技术检测双边滤波后的所述2D帧图像，以提取所述2D帧图像的最长线段。
[0015]结合第一方面，在一种可能的实现方式中，所述根据所述最长线段的方向确定所述2D帧图像的第一深度图，包括:
[0016]根据所述最长线段的方向确定与所述2D帧图像对应的初始深度模板的深度变换方向；[0017]将双边滤波后的所述2D帧图像进行分块，并对分块结果进行分组聚类；
[0018]基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。
[0019]结合第一方面，在一种可能的实现方式中，所述根据所述最长线段的方向确定与所述2D帧图像对应的初始深度模板的深度变换方向，包括:
[0020]以双边滤波后的所述2D帧图像中的任一点为原点，以双边滤波后的所述2D帧图像的水平向右方向为X轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系；
[0021]如果所述最长线段按顺时针方向与X轴正方向的夹角在(112.5°，157.5° )或(292.5° ,337.5° )的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像左下向右上变换；
[0022]如果所述最长线段按顺时针方向与X轴正方向的夹角在(22.5°，67.5° )或(202.5° ,247.5° )的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像右下向左上变换；
[0023]如果所述最长线段按顺时针方向与X轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像底部向上部变换。
[0024]结合第一方面，在一种可能的实现方式中，在所述基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图后，还包括:
[0025]利用交叉双边滤波处理所得到的所述第一深度图。
[0026]为了解决上述技术问题，根据本发明另一实施例，在第二方面，提供了一种帧视频转换方法，包括:
[0027]提取2D帧视频的最长线段；
[0028]根据所述最长线段的方向确定所述2D帧视频的第一深度图；
[0029]根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息；
[0030]根据所述运动信息确定所述2D帧视频的第二深度图；
[0031]根据所述第一深度图、所述第二深度图以及所述2D帧视频生成所述2D帧视频对应的3D帧视频。
[0032]结合第二方面，在一种可能的实现方式中，所述提取2D帧视频的最长线段，包括:
[0033]利用双边滤波对所述2D帧视频进行平滑去噪处理；
[0034]利用霍夫变换技术检测双边滤波后的所述2D帧视频，以提取所述2D帧视频的最长线段。
[0035]结合第二方面，在一种可能的实现方式中，所述根据所述最长线段的方向确定所述2D帧视频的第一深度图，包括:
[0036]根据所述最长线段的方向确定与所述2D帧视频对应的初始深度模板的深度变换方向；
[0037]将双边滤波后的所述2D帧视频进行分块，并对分块结果进行分组聚类；
[0038]基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。
[0039]结合第二方面，在一种可能的实现方式中，所述根据所述最长线段的方向确定与所述2D帧视频对应的初始深度模板的深度变换方向，包括:[0040]以双边滤波后的所述2D帧视频中的任一点为原点，以双边滤波后的所述帧视频的水平向右方向为X轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系，
[0041]如果所述最长线段按顺时针方向与X轴正方向的夹角在(112.5°，157.5° )或(292.5° ,337.5° )的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频左下向右上变换；
[0042]如果所述最长线段按顺时针方向与X轴正方向的夹角在(22.5°，67.5° )或(202.5° ,247.5° )的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频右下向左上变换；
[0043]如果所述最长线段按顺时针方向与X轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频底部向上部变换。
[0044]结合第二方面，在一种可能的实现方式中，在所述基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图后，还包括:
[0045]利用交叉双边滤波处理所得到的所述第一深度图。
[0046]结合第二方面，在一种可能的实现方式中，根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息，包括:
[0047]根据与所述2D帧视频相邻的一帧视频，估计得到所述2D帧视频的每个像素的运
动矢量；
[0048]根据所述每个像素的运动矢量得到所述每个像素的运动信息。
[0049]结合第二方面，在一种可能的实现方式中，所述根据所述运动信息确定所述2D帧视频的第二深度图，包括:
[0050]根据所述每个像素的运动信息，得到所述每个像素的深度信息；
[0051]根据所述每个像素的深度信息得到所述2D帧视频的第二深度图。
[0052]结合第二方面，在一种可能的实现方式中，所述根据所述第一深度图、所述第二深度图以及所述2D帧视频生成所述2D帧视频对应的3D帧视频，包括:
[0053]将所述第一深度图与所述第二深度图融合生成所述2D帧视频的第三深度图；
[0054]根据所述第三深度图及所述2D帧视频生成所述2D帧视频对应的3D帧视频。
[0055]为了解决上述技术问题，根据本发明又一实施例，在第三方面，提供了一种帧图像转换装置，包括:
[0056]第一提取模块，用于提取2D帧图像的最长线段；
[0057]第一确定模块，与所述第一提取模块连接，用于根据所述最长线段的方向确定所述2D帧图像的第一深度图；
[0058]第一生成模块，与所述第一确定模块连接，用于根据所述第一深度图及所述2D帧图像生成所述2D帧图像对应的3D帧图像。
[0059]结合第三方面，在一种可能的实现方式中，所述第一提取模块包括:
[0060]第一双边滤波处理单元，用于利用双边滤波对所述2D帧图像进行平滑去噪处理；
[0061]第一提取单元，与所述第一双边滤波处理单元连接，用于利用霍夫变换技术检测双边滤波后的所述2D帧图像，以提取所述2D帧图像的最长线段。
[0062]结合第三方面，在一种可能的实现方式中，所述第一确定模块包括:
[0063]第一深度变换方向确定单元，用于根据所述最长线段的方向确定与所述2D帧图像对应的初始深度模板的深度变换方向；
[0064]第一分块单元，用于将双边滤波后的所述2D帧图像进行分块，并对分块结果进行分组聚类；
[0065]第一确定单元，与所述第一深度变换方向确定单元和第一分块单元连接，用于基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。
[0066]结合第三方面，在一种可能的实现方式中，所述第一深度变换方向确定单元用于:
[0067]以双边滤波后的所述2D帧图像中的任一点为原点，以双边滤波后的所述帧图像的水平向右方向为X轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系，
[0068]如果所述最长线段按顺时针方向与X轴正方向的夹角在(112.5°，157.5° )或(292.5° ,337.5° )的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像左下向右上变换；
[0069]如果所述最长线段按顺时针方向与X轴正方向的夹角在(22.5°，67.5° )或(202.5° ,247.5° )的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像右下向左上变换；
[0070]如果所述最长线段按顺时针方向与X轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像底部向上部变换。
[0071]结合第三方面，在一种可能的实现方式中，还包括:
[0072]第一交叉双边滤波处理模块，用于利用交叉双边滤波处理所得到的所述第一深度图。
[0073]为了解决上述技术问题，根据本发明又一实施例，在第四方面，提供了一种帧视频转换装置，包括:
[0074]第二提取模块，用于提取2D帧视频的最长线段；
[0075]第二确定模块，与所述第二提取模块连接，用于根据所述最长线段的方向确定所述2D帧视频的第一深度图；
[0076]第三确定模块，用于根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息；以及用于根据所述运动信息确定所述2D帧视频的第二深度图；
[0077]第二生成模块，与所述第二确定模块与第三确定模块连接，用于根据所述第一深度图、所述第二深度图以及所述2D帧视频生成所述2D帧视频对应的3D帧视频。
[0078]结合第四方面，在一种可能的实现方式中，所述第二提取模块包括:
[0079]第二双边滤波处理单元，用于利用双边滤波对所述2D帧视频进行平滑去噪处理；
[0080]第二提取单元，与所述第二双边滤波处理单元连接，用于利用霍夫变换技术检测双边滤波后的所述2D帧视频，以提取所述2D帧视频的最长线段。
[0081]结合第四方面，在一种可能的实现方式中，所述第二确定模块包括:
[0082]第二深度变换方向确定单元，用于根据所述最长线段的方向确定与所述2D帧视频对应的初始深度模板的深度变换方向；
[0083]第二分块单元，用于将双边滤波后的所述2D帧视频进行分块，并对分块结果进行分组聚类；
[0084]第二确定单元，与所述第二深度变换方向确定单元和第二分块单元连接，基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。
[0085]结合第四方面，在一种可能的实现方式中，所述第二深度变换方向确定单元用于:
[0086]以双边滤波后的所述2D帧视频中的任一点为原点，以双边滤波后的所述帧视频的水平向右方向为X轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系，
[0087]如果所述最长线段按顺时针方向与X轴正方向的夹角在(112.5°，157.5° )或(292.5° ,337.5° )的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频左下向右上变换；
[0088]如果所述最长线段按顺时针方向与X轴正方向的夹角在(22.5°，67.5° )或(202.5° ,247.5° )的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频右下向左上变换；
[0089]如果所述最长线段按顺时针方向与X轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频底部向上部变换。
[0090]结合第四方面，在一种可能的实现方式中，所述帧视频转换装置还包括:
[0091]第二交叉双边滤波处理模块，用于利用交叉双边滤波处理所得到的所述第一深度图。
[0092]结合第四方面，在一种可能的实现方式中，所述第三确定模块用于:
[0093]根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的每个像素的运动矢量;
[0094]根据所述每个像素的运动矢量得到所述每个像素的运动信息。
[0095]结合第四方面，在一种可能的实现方式中，所述第三确定模块还用于:
[0096]根据所述每个像素的运动信息，得到所述每个像素的深度信息；
[0097]根据所述每个像素的深度信息确定所述2D帧视频的第二深度图。
[0098]结合第四方面，在一种可能的实现方式中，所述第二生成模块用于:
[0099]将所述第一深度图与所述第二深度图融合生成所述2D帧视频的第三深度图；
[0100]根据所述第三深度图及所述2D帧视频生成所述2D帧视频对应的3D帧视频。
[0101]有益.效果
[0102]本发明实施例的帧图像转换方法、帧视频转换方法及装置，能够根据所提取的最长线段的方向，准确估计该2D帧图像的基于相对高度线索的深度信息，从而使根据该深度信息生成的深度图更加真实，转换而成的3D图像逼真自然。本发明实施例的帧视频转换方法、帧视频转换方法及装置，能够根据所述最长线段的方向，准确的估计出该2D帧视频的基于相对高度线索的深度信息以及该2D帧视频的运动信息，估计出该2D帧视频的基于运动线索的深度信息，结合基于相对高度线索的深度信息和基于运动线索的深度信息来合成深度图。这样，与仅用一个深度线索合成的深度图相比具有更高的可靠性，且能保持良好的深度边缘信息，从而使生成深度图更加真实，转换而成的3D帧视频逼真自然，有利于提高用户体验。
[0103]根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。【专利附图】
【附图说明】
[0104]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。
[0105]图1示出根据本发明一实施例的帧图像转换方法的流程图；
[0106]图2示出根据本发明另一实施例的帧图像转换方法的流程图；
[0107]图3示出根据本发明一实施例的帧视频转换方法的流程图；
[0108]图4示出根据本发明另一实施例的帧视频转换方法的流程图；
[0109]图5示出根据本发明一实施例的帧图像转换装置的结构框图；
[0110]图6示出根据本发明另一实施例的帧图像转换装置的结构框图；
[0111]图7示出根据本发明一实施例的帧视频转换装置的结构框图；
[0112]图8示出根据本发明另一实施例的帧视频转换装置的结构框图；
[0113]图9示出根据本发明又一实施例的帧图像转换装置的结构框图；
[0114]图10示出根据本发明又一实施例的帧视频转换装置的结构框图。
【具体实施方式】
[0115]以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
[0116]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
[0117]另外，为了更好的说明本发明，在下文的【具体实施方式】中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。
[0118]如【背景技术】和
【发明内容】
所述，本申请的方法是基于深度图的3D合成技术。该技术主要是根据对2D图像或视频存在的深度线索，如运动视差、聚焦/散焦、线性透视、大气散射、阴影、遮挡、相对高度以及相对大小等进行分析，将2D图像或视频中的深度信息估计出来，从而根据估计出来的深度信息生成对应的深度图。生成该2D图像或视频对应的深度图一个非常关键的地方在于估计出来的深度信息是否准确。因此，本申请提出了一种基于相对高度信息的帧图像转换方法，根据该帧图像转换方法，可以将2D帧图像转换成3D帧图像，从而生成对应的3D图像。以及在此基础上提出了一种基于相对高度信息和运动信息的帧视频转换方法，根据该帧视频转换方法，将2D帧视频转换成3D帧视频，从而生成对应的3D视频。这两种方法的具体描述可以详见下面实施例的阐述。
[0119]实施例1
[0120]图1示出根据本发明一实施例的帧图像转换方法的流程图。如图1所示，该方法主要可以包括:
[0121]步骤S100、提取2D帧图像的最长线段；
[0122]步骤S110、根据所述最长线段的方向确定所述2D帧图像的第一深度图；
[0123]步骤S120、根据所述第一深度图及所述2D帧图像生成所述2D帧图像对应的3D帧图像。[0124]根据本发明实施例的帧图像转换方法，首先，提取所述2D帧图像的最长线段；然后，根据所述最长线段的方向，确定所述2D帧图像的第一深度图；最后，根据所述第一深度图及所述2D帧图像，生成所述2D帧图像对应的3D帧图像。
[0125]本发明实施例提供的帧图像转换方法，是一种基于相对高度线索来估计该2D帧图像的深度信息的方法，该方法能够根据所提取的最长线段的方向，准确估计该2D帧图像的基于相对高度线索的深度信息，从而使根据该深度信息生成的深度图更加真实，转换而成的3D图像逼真自然。
[0126]实施例2
[0127]图2示出根据本发明另一实施例的帧图像转换方法的流程图。图2中标号与图1相同的步骤具有相同的功能，为简明起见，省略对这些步骤的详细说明。
[0128]如图2所示，图2所示的帧图像转换方法与图1所示帧图像转换方法的主要区别在于，上述步骤SlOO具体可以包括以下步骤:
[0129]步骤S1001、利用双边滤波对所述2D帧图像进行平滑去噪处理；
[0130]步骤S1002、利用霍夫变换技术检测双边滤波后的所述2D帧图像，以提取所述2D帧图像的最长线段。
[0131]对于上述步骤S1001，对帧图像It，先对该帧图像It进行平滑去噪处理，以减少噪声和杂乱边缘，保留该帧图像It中的最长线段。在一种可能的实现方式中，其公式如(I)所示:
【权利要求】
1.一种帧图像转换方法，其特征在于，包括: 提取2D帧图像的最长线段； 根据所述最长线段的方向，确定所述2D帧图像的第一深度图； 根据所述第一深度图及所述2D帧图像，生成所述2D帧图像对应的3D帧图像。
2.根据权利要求1所述的帧图像转换方法，其特征在于，所述提取2D帧图像的最长线段，包括: 利用双边滤波对所述2D帧图像进行平滑去噪处理； 利用霍夫变换技术检测双边滤波后的所述2D帧图像，以提取所述2D帧图像的最长线段。
3.根据权利要求1或2所述的帧图像转换方法，其特征在于，所述根据所述最长线段的方向，确定所述2D帧图像的第一深度图，包括: 根据所述最长线段的方向，确定与所述2D帧图像对应的初始深度模板的深度变换方向； 将双边滤波后的所述2D帧图像进行分块，并对分块结果进行分组聚类； 基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。`
4.根据权利要求3所述的帧图像转换方法，其特征在于，所述根据所述最长线段的方向，确定与所述2D帧图像对应的初始深度模板的深度变换方向，包括: 以双边滤波后的所述2D帧图像中的任一点为原点，以双边滤波后的所述2D帧图像的水平向右方向为X轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系； 如果所述最长线段按顺时针方向与X轴正方向的夹角在(112.5°，157.5° )或(292.5° ,337.5° )的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像左下向右上变换； 如果所述最长线段按顺时针方向与X轴正方向的夹角在(22.5°，67.5° )或(202.5° ,247.5° )的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像右下向左上变换； 如果所述最长线段按顺时针方向与X轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像底部向上部变换。
5.根据权利要求3或4所述的帧图像转换方法，其特征在于，在所述基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图后，还包括: 利用交叉双边滤波处理所得到的所述第一深度图。
6.一种帧视频转换方法，其特征在于，包括: 提取2D帧视频的最长线段； 根据所述最长线段的方向，确定所述2D帧视频的第一深度图； 根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息； 根据所述运动信息确定所述2D帧视频的第二深度图； 根据所述第一深度图、所述第二深度图以及所述2D帧视频，生成所述2D帧视频对应的3D帧视频。
7.根据权利要求6所述的帧视频转换方法，其特征在于，所述提取2D帧视频的最长线段，包括: 利用双边滤波对所述2D帧视频进行平滑去噪处理； 利用霍夫变换技术检测双边滤波后的所述2D帧视频，以提取所述2D帧视频的最长线段。
8.根据权利要求6或7所述的帧视频转换方法，其特征在于，所述根据所述最长线段的方向，确定所述2D帧视频的第一深度图，包括: 根据所述最长线段的方向，确定与所述2D帧视频对应的初始深度模板的深度变换方向； 将双边滤波后的所述2D帧视频进行分块，并对分块结果进行分组聚类； 基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。
9.根据权利要求8所述的帧视频转换方法，其特征在于，所述根据所述最长线段的方向，确定与所述2D帧视频对应的初始深度模板的深度变换方向，包括: 以双边滤波后的所述2D帧视频中的任一点为原点，以双边滤波后的所述帧视频的水平向右方向为X轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系； 如果所述最长线段按顺时针方向与X轴正方向的夹角在(112.5°，157.5° )或(292.5° ,337.5° )的第一`范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频左下向右上变换； 如果所述最长线段按顺时针方向与X轴正方向的夹角在(22.5° ,67.5° )或(202.5° ,247.5° )的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频右下向左上变换； 如果所述最长线段按顺时针方向与X轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频底部向上部变换。
10.根据权利要求8或9所述的帧视频转换方法，其特征在于，在所述基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图后，还包括: 利用交叉双边滤波处理所得到的所述第一深度图。
11.根据权利要求6-10中任一项所述的帧视频转换方法，其特征在于，根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息，包括: 根据与所述2D帧视频相邻的一帧视频，估计得到所述2D帧视频的每个像素的运动矢量; 根据所述每个像素的运动矢量，得到所述每个像素的运动信息。
12.根据权利要求11所述的帧视频转换方法，其特征在于，所述根据所述运动信息确定所述2D帧视频的第二深度图，包括: 根据所述每个像素的运动信息，得到所述每个像素的深度信息； 根据所述每个像素的深度信息，得到所述2D帧视频的第二深度图。
13.根据权利要求6-12中任一项所述的帧视频转换方法，其特征在于，所述根据所述第一深度图、所述第二深度图以及所述2D帧视频，生成所述2D帧视频对应的3D帧视频，包括: 将所述第一深度图与所述第二深度图融合，以生成所述2D帧视频的第三深度图；根据所述第三深度图及所述2D帧视频，生成所述2D帧视频对应的3D帧视频。
14.一种帧图像转换装置，其特征在于，包括: 第一提取模块，用于提取2D帧图像的最长线段； 第一确定模块，与所述第一提取模块连接，用于根据所述最长线段的方向确定所述2D帧图像的第一深度图； 第一生成模块，与所述第一确定模块连接，用于根据所述第一深度图及所述2D帧图像，生成所述2D帧图像对应的3D帧图像。
15.根据权利要求14所述的帧图像转换装置，其特征在于，所述第一提取模块包括: 第一双边滤波处理单元，用于利用双边滤波对所述2D帧图像进行平滑去噪处理； 第一提取单元，与所述第一双边滤波处理单元连接，用于利用霍夫变换技术检测双边滤波后的所述2D帧图像，以提取所述2D帧图像的最长线段。
16.根据权利要求14或15所述的帧图像转换装置，其特征在于，所述第一确定模块包括: 第一深度变换方向确定单元，用于根据所述最长线段的方向，确定与所述2D帧图像对应的初始深度模板的深度变换方向； 第一分块单元，用于将双边滤波后的所述2D帧图像进行分块，并对结果分块进行分组聚类；` 第一确定单元，与所述第一深度变换方向确定单元和第一分块单元连接，用于基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。
17.根据权利要求16所述的帧图像转换装置，其特征在于，所述第一深度变换方向确定单元用于: 以双边滤波后的所述2D帧图像中的任一点为原点，以双边滤波后的所述帧图像的水平向右方向为X轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系； 如果所述最长线段按顺时针方向与X轴正方向的夹角在(112.5°，157.5° )或(292.5° ,337.5° )的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像左下向右上变换； 如果所述最长线段按顺时针方向与X轴正方向的夹角在(22.5° ,67.5° )或(202.5° ,247.5° )的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像右下向左上变换； 如果所述最长线段按顺时针方向与X轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧图像底部向上部变换。
18.根据权利要求16或17所述的帧图像转换装置，其特征在于，还包括: 第一交叉双边滤波处理模块，用于利用交叉双边滤波处理所得到的所述第一深度图。
19.一种帧视频转换装置，其特征在于，包括: 第二提取模块，用于提取2D帧视频的最长线段； 第二确定模块，与所述第二提取模块连接，用于根据所述最长线段的方向，确定所述2D帧视频的第一深度图； 第三确定模块，用于根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的运动信息；以及用于根据所述运动信息确定所述2D帧视频的第二深度图；第二生成模块，与所述第二确定模块和第三确定模块连接，用于根据所述第一深度图、所述第二深度图以及所述2D帧视频，生成所述2D帧视频对应的3D帧视频。
20.根据权利要求19所述的帧视频转换装置，其特征在于，所述第二提取模块包括: 第二双边滤波处理单元，用于利用双边滤波对所述2D帧视频进行平滑去噪处理； 第二提取单元，与所述第二双边滤波处理单元连接，用于利用霍夫变换技术检测双边滤波后的所述2D帧视频，以提取所述2D帧视频的最长线段。
21.根据权利要求19或20所述的帧视频转换装置，其特征在于，所述第二确定模块包括: 第二深度变换方向确定单元，用于根据所述最长线段的方向，确定与所述2D帧视频对应的初始深度模板的深度变换方向； 第二分块单元，用于将双边滤波后的所述2D帧视频进行分块，并对分块结果进行分组聚类； 第二确定单元，与所述第二深度变换方向确定单元和第二分块单元连接，基于所述初始深度模板，根据所述深度变换方向和分组聚类结果，得到所述第一深度图。
22.根据权利要求21所述的帧视频转换装置，其特征在于，所述第二深度变换方向确定单元用于: 以双边滤波后的所述2D帧视频中的任一点为原点，以双边滤波后的所述帧视频的水平向右方向为X轴正方向，竖直向下方向为y轴正方向建立平面直角坐标系；` 如果所述最长线段按顺时针方向与X轴正方向的夹角在(112.5°，157.5° )或(292.5° ,337.5° )的第一范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频左下向右上变换； 如果所述最长线段按顺时针方向与X轴正方向的夹角在(22.5° ,67.5° )或(202.5° ,247.5° )的第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频右下向左上变换； 如果所述最长线段按顺时针方向与X轴正方向的夹角不在所述第一范围和第二范围内，则所述深度变换方向为梯度方向从双边滤波后的所述2D帧视频底部向上部变换。
23.根据权利要求21或22所述的帧视频转换装置，其特征在于，所述帧视频转换装置还包括: 第二交叉双边滤波处理模块，用于利用交叉双边滤波处理所得到的所述第一深度图。
24.根据权利要求19-23中任一项所述的帧视频转换装置，其特征在于，所述第三确定模块用于: 根据与所述2D帧视频相邻的一帧视频，确定所述2D帧视频的每个像素的运动矢量； 根据所述每个像素的运动矢量，得到所述每个像素的运动信息。
25.根据权利要求24所述的帧视频转换装置，其特征在于，所述第三确定模块还用于: 根据所述每个像素的运动信息，得到所述每个像素的深度信息； 根据所述每个像素的深度信息，确定所述2D帧视频的第二深度图。
26.根据权利要求19-25中任一项所述的帧视频转换装置，其特征在于，所述第二生成模块用于: 将所述第一深度图与所述第二深度图融合，以生成所述2D帧视频的第三深度图；根据所述第三深度图及所述`2D帧视频，生成所述2D帧视频对应的3D帧视频。
【文档编号】H04N13/04GK103686139SQ201310712466
【公开日】2014年3月26日 申请日期:2013年12月20日 优先权日:2013年12月20日
【发明者】韩明臣, 郑喆坤, 王磊, 侯彪 申请人:华为技术有限公司