专利名称：可配置多场景模型的深度估计方法及使用该方法的系统的制作方法
技术领域：
本发明涉及计算机视觉技术领域，特别涉及一种可配置多场景模型的深度估计方法及使用该方法的系统。
背景技术：
立体视频通过让观看者左右眼看到具有视差的图像而产生立体感，营造了更加逼真的视觉观赏体验，让观看者产生真实的临场感。正因为立体视频丰富的视频信息以及这种前所未有的观看体验，在各领域都有着广阔的发展前景，尤其在消费电子市场，立体电影及电视作品将成为未来广播电视的潜在发展方向。
目前，在立体视频产业中，主要通过双目或者多目采集以及单目图像转换两种方式进行立体视频制作。在第一种方法中，双目或者多目采集的图像为视频制作源，通过后期处理生成所需要的立体视频对应视角的图像，有时还会进行建模等精细化处理，这种立体视频制作对设备要求，后期人工参与成本以及时间成本都较高。在第二种方法中，单目图像转换方式则以平面图像作为视频处理源，通过处理直接生成所需要的具有视差的图像，从而使观看者产生立体观影感，这种方法可以实现对大量平面视频的立体转换，成本低，转换速度快，能够解决立体视频片源匮乏的现状。但是，目前的单目图像转换存在处理效果单一，边缘效果不协调，实时性差，兼容性不足，转换质量较差的问题，无法满足观众对于立体视频效果的要求。为了实现单目图像的高质量立体转换，有一种解决方法是通过利用先验知识对单目图像进行深度估计，再通过深度估计进行所需视角图像的生成。因此，对单目图像进行深度估计的过程至关重要。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种可配置多场景模型的深度估计方法及使用该方法的系统。为了实现本发明的上述目的，根据本发明的一个方面，本发明提供了一种可配置多场景模型的深度估计方法，其包括如下步骤SI :输入图像像素数据，对输入的所述图像像素数据进行亮度计算，得到初始亮度值；S2 :对所述初始亮度值的范围进行选择并进行截断处理，得到截断亮度值；S3 :根据场景设置，运用预设的场景模板以及所述截断亮度值，求取初始深度；S4:运用边缘处理模板，对图像边缘所述初始深度进行更新，求得最终深度估计值。本发明的可配置多场景模型的深度估计方法基于单目图像进行多场景深度估计，该方法不仅能够提高深度估计的质量与场景的契合度，提高实时性和兼容性，提升深度图效果，改善边缘效果，同时转化过程无需人工参与。
为了实现本发明的上述目的，根据本发明的另一个方面，本发明提供了一种可配置多场景模型的深度估计系统，其包括输入变量接口，存储模块，计算模块和输出变量接口，所述输入变量接口和存储模块分别与计算模块相连，所述计算模块与输出变量接口相连；所述输入变量接口用于接收输入信息，所述输入信息包括图像像素数据、场景模板选型参数、同步信号以及像素时钟；所述存储模块用于存储本发明所采用的函数，所述函数包括不同场景模板所对应的函数以及边缘处理模板对应的函数；所述计算模块根据输入变量接口传输来的图像像素数据和场景模板选型参数并读取存储模块相应函数计算得到最终深度估计值；所述输出变量接口用于输出最终深度估计值以及相应的同步信号。本发明的可配置多场景模型的深度估计系统处理速度快，实时输出深度数据，平台兼容性强，能够满足高质量平面视频立体转换的需求，使大量平面视频快速实时转化为具有场景辨识度的立体视频，从而大大的解决了立体视频素材缺乏且质量不高的现状。本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中图I是本发明可配置多场景模型的深度估计方法的流程图；图2是本发明预设的场景模板的示意图；图3是本发明边缘处理模板的示意图；以及图4是本发明一种优选实施方式中可配置多场景模型的深度估计系统的结构图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底” “内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。图I是本发明可配置多场景模型的深度估计方法的流程图，从图中可见，该可配置多场景模型的深度估计方法包括如下步骤SI :输入图像像素数据，对输入的图像像素数据进行亮度计算，得到初始亮度值；S2 :对初始亮度值的范围进行选择并进行截断处理，得到截断亮度值；
S3 :根据场景设置，运用预设的场景模板以及截断亮度值，求取初始深度；S4 运用边缘处理模板，对图像边缘初始深度进行更新，求得最终深度估计值。在本发明的一中优选实施方式中，该可配置多场景模型的深度估计方法的具体步骤为第一步输入图像像素数据，并对输入的图像像素数据进行亮度计算，得到初始亮度值，作为深度估计的主要信息来源，在本实施方式中，对图像像素数据进行亮度计算的公式为br= (1/2) (B-G) + (1/2) (B-R)，其中，br为每个像素的亮度值，R、G、B分别为输入的像素数据，即视频图像输入的
三通道分量值，也就是图像像素数据的三刺激值。 第二步对初始亮度值的范围进行选择并进行截断处理，得到截断亮度值，在本实施方式中，需要对亮度进行有范围的保留，去除极大与极小的亮度值，对亮度进行截断处理，截断亮度计算公式为min_br=min (d, max (_d, br)) +d+1,其中，min_br为每个像素的截断亮度值，d为亮度截断阈值。第三步根据场景设置，运用预设的场景模板以及截断亮度值，求取初始深度，在本实施方式中，需要结合不同场景下的场景模板进行初始深度估计，因此需要预设场景模板数值，然后将截断亮度值与模板数值进行拟合，求取初始深度。图2是本发明预设的场景模板的示意图，预设的场景模板为抛物线型场景模板、折线型场景模板和离散点集型场景模板之一。在具体的实施例中，不同场景下场景模板数值呈现不同变化趋势。深度变化较小且由近及远的图像场景，凸抛物线型场景模板拟合性度较高；深度变化较小且由远及近的图像场景，凹抛物线型场景模板拟合度较高；深度变化较大且由近及远的图像场景，凸折线型场景模板拟合度较高；深度变化较大且由远及近的图像场景，凹折线型场景模板拟合度较高；一些情况较为特殊的图像场景，可进一步采用拟合度高的离散点集作为模板。在本实施方式中，抛物线型场景模板的公式为Fl (X) =ts*x* (W-1-X) / (w*w)-ts,其中，X为当前像素点的列号，w为图像宽度，ts为深度度量系数。折线型场景模板的公式为F2 (X) =ts+m*x,当 0〈x〈w/2 时；F2 (X) =ts+m*w_m*x,当 w/2 ^ x<w 时；其中，X为当前像素点的列号，w为图像宽度，ts为深度度量系数,m为深度增长系数。离散点集型场景模板的公式为F3 (x) =tsn,其中，n为正整数,w为图像宽度，tsn为离散数列tsl, ts2, tsn0根据以上预设的场景模板，本发明初始深度计算公式为dataDepth=min_br+Fnum (x),其中，dataDepth为初始深度值，Fnum (X)为所选取的场景模板，Fnum (X)为Fl(x)、F2 (X)或 F3 (X)。
第四步运用边缘处理模板，对图像边缘初始深度进行更新，求得最终深度估计值，在本实施方式中，为了提高图像边缘效果，需要对图像边缘的初始深度进行更新，其他深度估计值沿用初始深度值，得到最终深度估计值，结合图3所示，对图像边缘的初始深度进行更新的公式为dataDepth(0, y) = (250*sqrt (y/h)-180)*2.5其中，y为当前像素点的行号，h是图像高度。本发明的可配置多场景模型的深度估计方法基于单目图像进行多场景深度估计，该方法不仅能够提高深度估计的质量与场景的契合度，提高实时性和兼容性，提升深度图效果，改善边缘效果，同时转化过程无需人工参与。图4是本发明一种优选实施方式中利用本发明的深度估计方法进行深度估计的系统，从图中可见，该可配置多场景模型的深度估计系统，其包括输入变量接口，存储模块， 计算模块和输出变量接口，其中，输入变量接口和存储模块分别与计算模块相连，计算模块与输出变量接口相连，该输入变量接口用于接收输入信息，输入信息包括图像像素数据、场景模板选型参数、同步信号以及像素时钟；存储模块用于存储本发明中所采用的函数，这些函数具体包括不同场景模板所对应的函数以及边缘处理模板对应的函数；计算模块根据输入变量接口传输来的图像像素数据和场景模板选型参数并读取存储模块相应函数计算得到最终深度估计值；输出变量接口用于输出最终深度估计值以及相应的同步信号。利用该深度估计的系统进行深度估计时，首先，输入变量接口接收输入信息，在本发明的一种优选实施方式中，输入变量接口接收的输入信息包括图像像素数据RGB三通道分量、场景模板选型参数、行同步信号、帧同步信号、场同步信号、数据有效信号以及像素时钟。存储模块用于存储对深度进行估计中所需要的五种不同场景模板所对应的具体函数值以及边缘处理模板对应的具体函数值，用于进行深度估计，以得到不同场景模型下的深度估计值。本实施方式中，场景模板为抛物线型场景模板、折线型场景模板和离散点集型场景模板之一。更为具体地，场景模板具体公式如下抛物线型场景模板的公式为Fl (X) =ts*x*(w-l-x)/(w*w)_t s,其中，X为当前像素点的列号，w为图像宽度，ts为深度度量系数。折线型场景模板的公式为F2 (X) =ts+m*x,当 0〈x〈w/2 时；F2 (X) =ts+m*w_m*x，当 w/2 < x<w 时；其中，X为当前像素点的列号，w为图像宽度，ts为深度度量系数,m为深度增长系数。离散点集型场景模板的公式为F3 (x)=tsn,其中，n为正整数,w为图像宽度，tsn为离散数列tsl, ts2, tsn0然后，计算模块根据输入变量接口传输来的图像像素数据以及场景模板选型参数并读取存储模块相应函数值计算得到最终深度估计值。在本实施方式中，计算模块进一步包括初始亮度计算模块，截断亮度计算模块，初始深度计算模块，最终深度估计模块，其中，初始亮度计算模块与输入变量接口相连，用于接收输入变量接口传输来的输入信息并对输入的像素数据进行亮度计算求得初始亮度值，初始亮度计算的公式为br= (1/2) (B-G) + (1/2) (B-R)，其中，br为每个像素的亮度值，R、G、B分别为输入的像素数据，即视频图像输入的
三通道分量值，也就是图像像素数据的三刺激值。截断亮度计算模块与初始亮度计算模块相连，用于接收初始亮度计算模块计算的初始亮度值并根据亮度保留范围对初始亮度进行截断处理计算求得截断亮度值，截断亮度计算公式为min_br=min (d, max (_d, br)) +d+1，
其中，min_br为每个像素的截断亮度值；d为亮度截断阈值。初始深度计算模块与截断亮度计算模块和存储模块相连，用于接收截断亮度计算模块计算的截断亮度值以及读取存储模块内预设的场景模板计算求得初始深度，初始深度计算公式为dataDepth=min_br+Fnum (x),其中，dataDepth为初始深度值，Fnum (X)为所选取的场景模板，Fnum (X)为Fl(x)、F2 (X)或 F3 (X)。最终深度估计模块与初始深度计算模块和存储模块相连，用于接收初始深度计算模块计算的初始深度值以及读取存储模块内存储的边缘处理模板对图像边缘的初始深度进行更新，其他深度估计值沿用初始深度值，求得最终深度估计值，对图像边缘的初始深度进行更新的公式为dataDepth(0, y) = (250*sqrt (y/h)-180)*2.5其中，y为当前像素点的行号，h是图像高度。最终深度估计模块还与输出变量接口相连，通过输出变量接口将最终深度估计值和相应的同步信号输出，在本实施方式中，输出变量接口输出的信息包括最终深度估计数据以及相应的行同步信号、帧同步信号、场同步信号、数据有效信号。本发明的可配置多场景模型的深度估计系统处理速度快，实时输出深度数据，平台兼容性强，能够满足高质量平面视频立体转换的需求，使大量平面视频快速实时转化为具有场景辨识度的立体视频，从而大大的解决了立体视频素材缺乏且质量不高的现状。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
权利要求
1.一种可配置多场景模型的深度估计方法，其特征在于，包括如下步骤 Si:输入图像像素数据，对输入的所述图像像素数据进行亮度计算，得到初始亮度值； 52:对所述初始亮度值的范围进行选择并进行截断处理，得到截断亮度值； 53:根据场景设置，运用预设的场景模板以及所述截断亮度值，求取初始深度；54:运用边缘处理模板，对图像边缘所述初始深度进行更新，求得最终深度估计值。
2.如权利要求I所述的可配置多场景模型的深度估计方法，其特征在于，在所述步骤SI中，对所述图像像素数据进行亮度计算的公式为br=(l/2) (B-G)+ (1/2) (B-R)， 其中，br为所述每个像素的亮度值，R、G、B分别为图像像素数据的三刺激值。
3.如权利要求I所述的可配置多场景模型的深度估计方法，其特征在于，在所述步骤S2中，所述截断亮度计算公式为min_br=min(d, max(_d, br)) +d+1, 其中，min_br为所述每个像素的截断亮度值，d为亮度截断阈值。
4.如权利要求I所述的可配置多场景模型的深度估计方法，其特征在于，在所述步骤S3中，预设的场景模板为抛物线型场景模板、折线型场景模板和离散点集型场景模板之一。
5.如权利要求4所述的可配置多场景模型的深度估计方法，其特征在于，所述抛物线型场景模板的公式为Fl (x) =ts*x*(w-l-x)/(w*w)-ts, 其中，x为当前像素点的列号，w为图像宽度，ts为深度度量系数。
6.如权利要求4所述的可配置多场景模型的深度估计方法，其特征在于，所述折线型场景模板的公式为F2 (X) =ts+m*x ;当 0〈x〈w/2 时，F2 (X) =ts+m*w_m*x,当 w/2 < x<w 时， 其中，X为当前像素点的列号，w为图像宽度，ts为深度度量系数,m为深度增长系数。
7.如权利要求4所述的可配置多场景模型的深度估计方法，其特征在于，所述离散点集型场景模板的公式为F3 (X) =tsn, 其中，n为正整数,w为图像宽度，tsn为离散数列tsl, ts2,…，tsn。
8.如权利要求1、4、5、6、7之一所述的可配置多场景模型的深度估计方法，其特征在于，所述初始深度计算公式为dataDepth=min_br+Fnum (x), 其中，dataDepth为初始深度值，Fnum (x)为所选取的场景模板，Fnum (x)为Fl (X)、F2 (X)或F3 (X)。
9.如权利要求I所述的可配置多场景模型的深度估计方法，其特征在于，在所述步骤S4中，对图像边缘的初始深度进行更新的公式为dataDepth(0, y) = (250*sqrt (y/h)-180)*2. 5 其中，y为当前像素点的行号，h是图像高度。
10.一种可配置多场景模型的深度估计系统，其特征在于，包括输入变量接口，存储模块，计算模块和输出变量接口，所述输入变量接口和存储模块分别与计算模块相连，所述计算模块与输出变量接口相连； 所述输入变量接口用于接收输入信息，所述输入信息包括图像像素数据、场景模板选型参数、同步信号以及像素时钟； 所述存储模块用于存储权利要求1-9中所采用的函数，所述函数包括不同场景模板所对应的函数以及边缘处理模板对应的函数； 所述计算模块根据输入变量接口传输来的图像像素数据和场景模板选型参数并读取存储模块相应函数计算得到最终深度估计值； 所述输出变量接口用于输出最终深度估计值以及相应的同步信号。
11.如权利要求10所述的可配置多场景模型的深度估计系统，其特征在于，所述计算模块包括初始亮度计算模块，截断亮度计算模块，初始深度计算模块，最终深度估计模块， 所述初始亮度计算模块与输入变量接口相连，用于接收输入变量接口传输来的输入信息并对输入的像素数据进行亮度计算求得初始亮度值； 所述截断亮度计算模块与初始亮度计算模块相连，用于接收初始亮度计算模块计算的初始亮度值并根据亮度保留范围对所述初始亮度进行截断处理计算求得截断亮度值； 所述初始深度计算模块与所述截断亮度计算模块和存储模块相连，用于接收所述截断亮度计算模块计算的截断亮度值以及读取存储模块内预设的场景模板计算求得初始深度； 所述最终深度估计模块与所述初始深度计算模块和存储模块相连，用于接收所述初始深度计算模块计算的初始深度值以及读取存储模块内存储的边缘处理模板对图像边缘的初始深度进行更新计算求得最终深度估计值； 所述最终深度估计模块还与所述输出变量接口相连，通过所述输出变量接口将最终深度估计值输出。
全文摘要
本发明提出了一种可配置多场景模型的深度估计方法及使用该方法的系统，该深度估计方法的步骤为输入图像像素数据并进行亮度计算得到初始亮度值；对初始亮度值的范围进行选择并进行截断处理得到截断亮度值；求取初始深度；求得最终深度估计值。该深度估计系统包括输入变量接口，存储模块，计算模块和输出变量接口。本发明的深度估计方法不仅能够提高深度估计的质量与场景的契合度，提升深度图效果，改善边缘效果，同时转化过程无需人工参与。本发明的深度估计系统处理速度快，实时输出深度数据，平台兼容性强，能够满足高质量平面视频立体转换的需求，使平面视频能够快速实时转化为具有场景辨识度的立体视频。
文档编号H04N13/02GK102724527SQ20121021028
公开日2012年10月10日 申请日期2012年6月19日 优先权日2012年6月19日
发明者季向阳, 张晶, 戴琼海 申请人:清华大学