专利名称：深度图的生成的制作方法
技术领域：
这个发明涉及用于生成深度图的方法和系统。在一个实施例中，本发明能够用于 3D图片创建的问题界面(question interface)0例如，本发明可以应用于数码相框中或应用于互动网站上。
背景技术：
或许在不久的将来，三维(3D)显示设备将在家庭和商业环境中变得越来越普遍。 这样的设备或是立体的，其需要用户佩戴特殊的眼镜来观看3D图像，或者这样的设备是自动立体的，其不需要任何特殊的眼镜来观看3D图像。为了创建3D图像，需要两个不同的2D 图像，提供其中一个图像给用户的左眼，并提供另一个图像给用户的右眼。提供单个图像以及或附加的深度图或视差图也是足够的，其中附加的深度图或视差图包含足够的信息以允许生成第二图像。这后一种解决方案具有许多优点，因为其在3D图像的最终交付方面允许更多的灵活性。然而，事实是在目前以及对于可预见的未来，大多数图像和视频将作为2D 图像帧而生成。为了在原始来源是2D图像时创建3D图像，则需要创建深度图。这个深度图能够用于创建第二图像，或者能够用于为第二图像创建视差图。存在各种已知的方法来利用最少的用户输入创建这样的深度图。Vezhnevets和 Konouchine已研制一种方法，其中用户使用涂鸦来指示前景和背景区域中的小部分，并且分段算法从用户涂鸦中导出边缘对齐的分段。用户必须随后将深度值分配给所指示的区 _。
Μ.^ Η ，^= JiL Vezhnevets V. >Konouchine V.Grow-Cut' -Interactive Multi-Label N-D Image Segmentation by cellular automata，，，Proc. Graphicon 2005 http://www. graphicon. ru/2005/proceedings/papers/VezhntvetsKonushin. pdf。类似地，美国专利US703M51披露了一种创建深度图的方法，其包括以下步骤将深度分配给图像中的至少一个像素或部分；为图像中的至少一个像素或部分中的每一个确定相对位置和图像特性；利用一个或多个深度、图像特性以及相应的位置来确定算法，以便将深度特性确定(ascertain)为与位置和图像特性相关的函数；利用所述算法来为图像中的每一个像素或部分计算深度特性，其中这些深度特性形成该图像的深度图。在处理的第二阶段，深度图形成关键帧，以便使用相对位置、图像特性以及相对于一个或多个关键帧的距离来为非关键帧生成深度图。该专利描述用于将某个深度分配给一组像素并将此传播至全深度图的方法。然而，所有的生成深度图的已知方法都要求用户给至少一个图像的一个或多个部分分配(绝对的或相对的)深度。必须绘制深度图的问题是需要向用户解释复杂的计算机绘图程序和解释他们必须如何为指定图片绘制深度图。通常，对于不熟练的用户而言，获得具有合理均勻度的满意结果是几乎不可能的任务。对于大量的图像而言，不熟练的用户将无法足够好地操作深度分配程序来提供可接受的深度图。另外，绘制深度图的方案也需要使用笔来描画物体轮廓或指向物体的界面。因此，构造在使用之前需要极少解释或不需要解释的简单的用户界面并不是容易的。
发明内容
因此，本发明的目的是对已知技术进行改进。根据本发明的第一方面，提供一种为图像生成深度图的方法，包括
a)显示图像；
b)显示多个语义图像类型；
c)接收将图像定义成显示的图像类型之一的用户输入；
d)根据定义的图像类型，选择多个标签；
e)根据预定分段算法，将图像分段成区域； f )在图像的第一区域中在图像上显示指示；
g)显示多个标签；
h)接收选择多个标签之一的用户输入；
i)将用于第一区域的标签设置成选择的标签；
j)对于不同的区域，重复步骤f)到i)，直至预定事件已发生； k)存取用于将标签地图(label map)转换成深度图的预定方案；以及 1)根据预定方案以及按照用户输入设置的标签，生成深度图。根据本发明的第二方面，提供一种用于为图像生成深度图的系统，其包括显示设备，被安排为显示图像、显示多个语义图像类型、显示多个标签、以及重复地在图像的不同区域中在图像上显示指示；用户界面，被安排为接收将图像定义成显示的图像类型之一的用户输入、以及对于相应区域的指示的每一次显示而接收选择多个标签之一的多个用户输入；以及处理器，被安排为根据定义的图像类型来选择多个标签、根据预定算法将图像分段成区域、将用于每一个相应区域的标签设置成所选择的标签、存取用于将标签地图转换成深度图的预定方案、以及根据预定方案和按照用户输入设置的标签来生成深度图。根据本发明的第三方面，提供一种用于为图像生成深度图的计算机可读介质上的计算机程序产品，该产品包括用于以下的指令
a)显示图像；
b)显示多个语义图像类型；
c)接收将图像定义成所显示的图像类型之一的用户输入；
d)根据定义的图像类型，选择多个标签；
e)根据预定分段算法，将图像分段成区域；
f)在图像的第一区域中在图像上显示指示；
g)显示多个标签；
h)接收选择多个标签之一的用户输入；
i)将用于第一区域的标签设置成选择的标签；
j)对于不同的区域，重复指令f)到i)，直至预定事件已发生； k)存取用于将标签地图转换成深度图的预定方案；以及 1)根据预定方案以及按照用户输入设置的标签，生成深度图。归因于本发明，有可能提供一种生成深度图的方法，该方法首先不要求用户选择图像内的任何区域，并且不要求用户为所考虑的图像的任何部分提供任何深度值，但是能够为图像提供工作深度图而不需要任何附加的预处理或附加的自动深度计算。提供用于处理图像的界面而不需要深度图或如何创建深度图的知识。询问有关图片的多个(语义)问题，而不是不得不绘制深度图。对于用户输入的这些问题的回答有效地为特定区域提供标签。这样，用户可以提供小部分的(加)标签，即，此时校正自动生成的(加)标签，或者可以提供大部分的(加)标签。一旦已回答了这些问题，就自动地计算深度图并且在例如3D相框上可以观看3D图片。提供一种允许用户为静止图像创建深度图的方法，由此用户被要求输入某些图像位置的语义信息。该系统将例如依据所呈现的图像以及已给出的回答来自动地确定被询问信息的位置。用户能够使用按钮界面来输入语义信息(例如，所指示的区域代表地面还是天空等等)。用户不需要分配深度值或者直接地与深度图本身交互。如果询问有关图像中的元素的简单问题，则不需要向用户解释任何事。该系统被有效地设计成询问有关图片中的不同元素的问题。这些问题能够涉及在某个图像位置上的物体，其中该图像位置使用诸如圆圈或问号之类的符号来自动地指示。对这些问题的回答随后自动地用于计算深度图。因此，也不需要用户查看深度图，该深度图能够完全被创建并被使用而用户不知道深度图的处理或存在。用户只需要在例如自动立体显示器上查看中间的或最终的结果。有利地，将用于区域的标签设置成选择的标签的步骤包括将用于相应区域的选择标签的置信水平设置成1。置信水平能够与图像中的一个或多个区域相关使用、与不同的可能的标签相关使用。例如，三个不同的标签Li、L2和L3可以与图像相关使用。语义上， 它们可以分别地与地面、天空和物体相关。如果用户被问及特定的区域并且他们将标签“地面”分配给那个区域，则标签Ll将具有与那个区域相关的置信水平1。该区域具有与其他两个标签L2和L3相关的置信水平0。优选地，该方法进一步包括在将用于区域的标签设置成选择的标签之后，根据预定算法，为与相应区域接壤(border)的区域的选择标签设置置信水平。对于附着于区域上的标签使用置信水平的优点在于当用户为区域选择标签时，这个能够用于推断出有关连接到当前区域的分段的信息。例如，类似的颜色或形状信息可以用于为相邻区域的相同选择的标签设置介于0与1之间的置信水平。这样，标签信息将通过该图像传播而用户不被问及每一个单个区域。实际上，随着用户已为之选择标签的区域的数量增加，所有的区域对于至少一个标签将具有超过零的置信水平的可能性也增加。这样，为整个图像生成标签地图。在一个实施例中，在图像的不同区域中在图像上显示指示的步骤有利地包括选择具有标签的最低置信水平的不同区域。一旦用户已为区域进行了标签选择，那么该系统将为被问及的用户选择新的区域。实现此的一种有利方法是选择对于标签、或作为单个标签或作为所有标签上的总和(total)具有最低置信水平的当前区域。这增加能够用于生成标签地图的速度，并且减少用户需要就图像中的特定区域而被问及的次数。在不同的实施例中，在图像的不同区域中在图像上显示指示的步骤能够包括选择对于两个不同的标签具有的置信水平二者都超过预定阈值的不同区域。由于该方法在用户选择之后利用被分配置信水平的相邻区域来增强，所以有可能单个区域对于两个或更多不同的标签将具有超过零的置信水平。该系统能够被故意配置成识别这样的区域，这些区域对于两个不同的标签具有的置信水平二者都超过预定阈值；并且选择该区域以便用户选定标签，从而将一个标签置信水平升到一(1)，并且消除标签地图中明显的不确定性。该方法进一步包括显示多个图像类型，接收将图像定义成显示的图像类型之一的用户输入，以及根据定义的图像类型来选择将要显示的标签。在用户开始就被检查的图像而被询问的处理之前，他们能够被询问简单的问题，诸如该图像是在内部还是在外部被获取的，或者该图像是否包含例如人。被呈现给用户的标签随后根据由用户响应于这个问题而选定的图像类型来调节。这使得该处理精简，并允许使用更恰当的用于将标签地图转换成深度图的预定方案。有利地，该方法进一步包括根据预定的过分段(oversegmentation)算法来过分段图像，其中该图像被分成多个像素区域。能够用于使用这些区域的一种简单方法是在第一区域中向用户显示指示，并且在用户已进行了标签选择时，则将该指示移到新的区域。
现在将参考附图仅利用示例来描述本发明的实施例，其中 图1是用于生成深度图的设备的示意图2是图像类型和标签分级结构的图表； 图3是显示从图像中创建深度图的示意图； 图4是用于生成深度图的方法的流程图； 图5是用于生成深度图的设备和服务器的示意图；和图6a-c是图像、标签地图和深度图的示意图。
具体实施例方式在图1中显示数码相框10。该相框具有正在显示图像14的显示设备12、处理器 15并且也包括用户界面部件16，该部件包括三个按钮17。每一个按钮17显示标签18，在这个示例中这些标签是标签“天空”、“建筑物”和“地面”。利用单个按钮17显示的特定标签18能够利用相框10来改变，因为每个按钮17实际上是单个显示部件。在图像14的区域中，在处理器15的控制下，在图像14上显示指示20。图片14中的位置20利用圆圈(可以使用问号或箭头)来指示。用户能够选择被呈现为选择选项的小集合标签18中的一个标签。图1提供所建议的用于3D图片创建的用户界面。通过按压三个按钮17中的一个按钮，用户设置在利用圆圈指示的位置20上的物体的分类。只要已进行了选择，圆圈20就改变位置，并且能够由用户给出新的输入。对于第一个问题，圆圈20 的位置是固定的。在每一个后面的问题之后，该圆圈20取决于分类结果而被重新定位。该圆圈20以区域的中心位置为中心，而对于该区域，任一给定分类中的确定性是最低的。不为用户所知的是在优选实施例中，处理器15已执行图像14的颜色过分段，以推导出密集分类(dense class)标签地图。当用户选择标签18时，这个标签18被分配到该指示20落入其中的区域。对于这个区域，分类标签被设置成用户选择的标签18，并且置信度被设置成1.0 (这是最大的)。该指示20随后由处理器15移动到新的位置，并且该处理被重复。当用户对结果满意时，该处理停止，或者作为选择，这也能够在固定数量的问题之后或者在对于总质量或置信度自动计算的量度达到预定水平时停止。在这一点上，仍具有许多尚未被分配分类号的区域。这能够被视为“未分配集合”的区域。对于这些区域，分类标签随后使用以下算法来查找
1.将所有区域和所有可能标签的置信度设置成零；
2.将圆圈的位置设置在图像的中心(对于第一问题的位置)；
3.当用户还没有退出该处理时
a.对于所指示的区域，获得用户输入；
b.将用于所指示的区域的分类标签设置成选择的标签；
c.对于所有的分类标签，将“未分配集合”中的所有区域设置成0；
d.对于所有的分类标签k=l..K: i.对于Nito次迭代
1.对于处于“未分配集合”中的所有区域 a.更新分类标签k中的置信度；
e.对于所有的区域
i.选择具有最高置信度的标签；
f.更新分类标签地g.更新深度h.将圆圈重新定位到在任何分类中具有最低置信度的区域；结束。 标签k中置信度的更新以相邻区域的标签k中的置信度为基础。对于具有相邻区域j的区域i，使用下式来更新置信度
权利要求
1.一种为图像(14)生成深度图(26)的方法，包括a)显示图像(14)；b)显示多个语义图像类型(22);c)接收将图像(14)定义成显示的图像类型(22)之一的用户输入；d)根据定义的图像类型(22)，选择多个标签(18)；e)根据预定分段算法，将图像(14)分段成区域(36)；f)在图像(14)的第一区域(36)中在图像(14)上显示指示(20)；g)显示多个标签(18)；h)接收选择多个标签(18)之一的用户输入(28)；i)将用于第一区域(36)的标签(18)设置成选择的标签(18)；j)对于不同的区域(36)，重复步骤f)到i)，直至预定事件已发生；k)存取用于将标签地图(24 )转换成深度图(26 )的预定方案(30 )；和1)根据预定方案(30 )和按照用户输入(28 )设置的标签(18 )，生成深度图(26 )。
2.根据权利要求1的方法，其中将用于区域(36)的标签(18)设置成选择的标签(18) 的步骤包括将用于相应区域(36)的选择标签(18)的置信水平设置成1。
3.根据权利要求1或2的方法，并且进一步包括在将用于区域(36)的标签(18)设置成选择的标签(18)之后，根据预定算法，为与相应区域(36)接壤的区域(36)的选择标签 (18)设置置信水平。
4.根据权利要求3的方法，其中在图像(14)的不同区域(36)中在图像(14)上显示指示(20)的步骤包括选择具有标签(18)的最低置信水平的不同区域(36)。
5.根据权利要求3的方法，其中在图像(14)的不同区域(36)中在图像(14)上显示指示(20)的步骤包括选择对于两个不同的标签(18)具有的置信水平二者超过预定阈值的不同区域(36)。
6.一种用于为图像(14)生成深度图(26)的系统，包括 显示设备(12)，被安排为显示图像(14)，显示多个语义图像类型(22)，显示多个标签 (18)，以及重复地在图像(14)的不同区域(36)中在图像(14)上显示指示(20)；用户界面(16)，被安排为接收将图像(14)定义为显示的图像类型(22)之一的用户输入，以及接收选择多个标签(18)之一的多个用户输入(28)，用于相应区域(36)的指示(20) 的每一次显示；以及处理器(15)，被安排为根据定义的图像类型(22)来选择多个标签(18)，根据预定算法将图像(14)分段成区域(36)，将用于每一个相应区域(36)的标签(18)设置成选择的标签(18 )，存取用于将标签地图(24 )转换成深度图(26 )的预定方案(30 )，以及根据预定方案 (30 )和按照用户输入(28 )设置的标签(18 )来生成深度图(26 )。
7.根据权利要求6的系统，其中该系统包括数码相框(10)。
8.根据权利要求6的系统，其中该系统包括计算机(10)和服务器(32)。
9.一种用于为图像(14)生成深度图(26)的计算机可读介质上的计算机程序产品，该产品包括用于以下的指令a)显示图像(14)；b)显示多个语义图像类型(22);c)接收将图像(14)定义成显示的图像类型(22)之一的用户输入；d)根据定义的图像类型(22)，选择多个标签(18)；e)根据预定分段算法，将图像(14)分段成区域(36)；f)在图像(14)的第一区域(36)中在图像(14)上显示指示(20)；g)显示多个标签(18)；h)接收选择多个标签(18)之一的用户输入(28)；i)将用于第一区域(36)的标签(18)设置成选择的标签(18)；j)对于不同的区域(36)，重复指令f)到i)，直至预定事件已发生；k)存取用于将标签地图(24)转换成深度图(26 )的预定方案(30 )；以及1)根据预定方案(30)以及按照用户输入(28)设置的标签(18)，生成深度图(26)。
全文摘要
为图像生成深度图的方法包括以下步骤显示图像；在图像的第一区域中在图像上显示指示；显示多个标签；接收选择多个标签之一的用户输入；将用于第一区域的标签设置成所选择的标签；对于不同的区域，重复步骤2到5，直至预定事件已发生；存取用于将标签地图转换成深度图的预定方案；以及根据预定方案和按照用户输入设置的标签，生成深度图。
文档编号G06T7/00GK102239504SQ200980148288
公开日2011年11月9日 申请日期2009年11月26日 优先权日2008年12月2日
发明者瓦雷坎普 C., L. E. 范德瓦勒 P. 申请人:皇家飞利浦电子股份有限公司