一种移动终端中3d图像的生成方法和装置制造方法
【专利摘要】本发明实施例公开了一种3D图像的生成方法和装置，该方法包括：获取目标物体在至少两个拍摄角度的图像；识别目标物体在每一个图像中的轮廓线；从所述目标物体在至少两个拍摄角度的图像中选择一个图像，根据目标物体在所述一个图像中的轮廓线确定所述目标物体的物体类别；对于每一个图像，根据目标物体在该图像中的轮廓线和所述物体类别从该图像中获取目标物体的前景图像和背景图像；所述前景图像是目标物体部分对应的图像，所述背景图像是目标物体的背景部分对应的图像；根据目标物体的前景图像和背景图像拼接得到3D图像。本发明实施例能够根据拍摄的目标物体的图像生成目标物体的3D图像，从而实现目标物体3D图像的拍摄。
【专利说明】一种移动终端中3D图像的生成方法和装置
【技术领域】
[0001]本发明涉及图像处理技术，尤其涉及一种移动终端中3D图像的生成方法和装置。【背景技术】
[0002]传统移动终端，例如手机、平板电脑、数码相机等进行拍照时，都是基于取景的某一特定平面和角度，采用即拍即得的原则获得二维的平面图像，所以当将某一物体作为拍摄目标时，移动终端只能在某一拍摄角度拍摄该目标物体的二维平面图像，而无法拍摄目标物体的3D图像。
[0003]因此，现有技术中无法使用移动终端实现目标物体的3D图像的拍摄。
【发明内容】
[0004]本发明实施例中提供了一种移动终端中3D图像的生成方法和装置，能够根据拍摄的目标物体的二维平面图像生成3D图像，从而实现目标物体3D图像的拍摄。
[0005]第一方面，提供一种移动终端中3D图像的生成方法，包括:
[0006]获取目标物体在至少两个拍摄角度的图像；
[0007]识别目标物体在每一个图像中的轮廓线；
[0008]从所述目标物体在至少两个拍摄角度的图像中选择一个图像，根据目标物体在所述一个图像中的轮廓线确定所述目标物体的物体类别；
[0009]对于每一个图像，根据目标物体在该图像中的轮廓线和所述物体类别从该图像中获取目标物体的前景图像和背景图像；所述前景图像是目标物体部分对应的图像，所述背景图像是目标物体的背景部分对应的图像；
[0010]根据目标物体的前景图像和背景图像拼接得到3D图像。
[0011]结合第一方面，在第一方面第一种可能的实现方式中，根据目标物体在所述一个图像中的轮廓线确定所述目标物体的物体类别包括:
[0012]预先存储每一种物体类别对应的至少一个三维参考矩阵；
[0013]从目标物体在所述一个图像中的轮廓线上确定二维位置特征点；
[0014]根据所述二维位置特征点在所述一个图像中的坐标建立目标物体相对于所述一个图像的特征点矩阵；
[0015]依次计算所述特征点矩阵与各个三维参考矩阵的相似度，得到与所述特征点矩阵的相似度超过预设相似度阈值的三维参考矩阵；
[0016]将所述相似度超过预设相似度阈值的三维参考矩阵所对应的物体类别确定为所述目标物体的物体类别。
[0017]结合第一方面，和/或第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，根据目标物体在该图像中的轮廓线和所述物体类别从该图像中获取目标物体的前景图像和背景图像包括:
[0018]根据目标物体在该图像中的轮廓线和所述物体类别确定目标物体在该图像中的图像特征值；
[0019]根据所述轮廓线和所述图像特征值从该图像中获取目标物体的前景图像和背景图像。
[0020]结合第一方面,和/或第一方面第一种可能的实现方式，和/或第一方面第二种可能的实现方式，在第一方面第三种可能的实现方式中，识别目标物体在每一个图像中的轮廓线包括:
[0021]对于每一个图像，获取用户在该图像中的触控点；
[0022]以触控点作为基点向周边延展直到深度跳变点，所述深度跳变点的集合构成所述目标物体在该图像中的轮廓线。
[0023]结合第一方面，和/或第一方面第一种可能的实现方式，和/或第一方面第二种可能的实现方式，和/或第一方面第三种可能的实现方式，在第一方面第四种可能的实现方式中，根据目标物体的前景图像和背景图像拼接得到目标物体的3D图像包括:
[0024]将目标物体的前景图像进行3D拼接，得到目标物体拼接图像；并且，将所述目标物体的背景图像进行广角拼接，得到背景拼接图像；
[0025]将所述目标物体拼接图像和所述背景拼接图像合并，得到目标物体的3D图像。
[0026]第二方面，提供一种移动终端中3D图像的生成装置，包括:
[0027]第一获取单元，用于获取目标物体在至少两个拍摄角度的图像，将所述图像发送给识别单元和第二获取单元；
[0028]识别单元，用于识别目标物体在每一个图像中的轮廓线；
[0029]类别确定单元，用于从所述目标物体在至少两个拍摄角度的图像中选择一个图像，根据识别单元识别出的目标物体在所述一个图像中的轮廓线确定所述目标物体的物体类别；
[0030]第二获取单元，用于对于每一个图像，根据识别单元识别出的目标物体在该图像中的轮廓线和类别确定单元确定的所述物体类别从该图像中获取目标物体的前景图像和背景图像；所述前景图像是目标物体部分对应的图像，所述背景图像是目标物体的背景部分对应的图像；
[0031]拼接单元，用于根据第二获取单元获取到的目标物体的前景图像和背景图像拼接得到3D图像。
[0032]结合第二方面，在第二方面第一种可能的实现方式中，类别确定单元具体包括:
[0033]存储子单元，用于预先存储每一种物体类别对应的至少一个三维参考矩阵；
[0034]特征点确定子单元，用于从目标物体在所述一个图像中的轮廓线上确定二维位置特征点；
[0035]矩阵建立子单元，用于根据所述二维位置特征点在所述一个图像中的坐标建立目标物体相对于所述一个图像的特征点矩阵；
[0036]矩阵比对子单元，用于依次计算所述特征点矩阵与各个三维参考矩阵的相似度，得到与所述特征点矩阵的相似度超过预设相似度阈值的三维参考矩阵；
[0037]类别确定子单元，用于将所述相似度超过预设相似度阈值的三维参考矩阵所对应的物体类别确定为所述目标物体的物体类别。
[0038]结合第二方面，和/或第二方面第一种可能的实现方式，在第二方面第二种可能的实现方式中，第二获取单元具体包括:
[0039]特征值确定子单元，用于根据目标物体在该图像中的轮廓线和所述物体类别确定目标物体在该图像中的图像特征值；
[0040]图像获取子单元，用于根据所述轮廓线和所述图像特征值从该图像中获取目标物体的前景图像和背景图像。
[0041]结合第二方面，和/或第二方面第一种可能的实现方式，和/或第二方面第二种可能的实现方式，在第二方面第三种可能的实现方式中，识别单元具体包括:
[0042]触控点获取子单元，用于对于每一个图像，获取用户在该图像中的触控点；
[0043]轮廓线确定子单元，用于以触控点作为基点向周边延展直到深度跳变点，所述深度跳变点的集合构成所述目标物体在该图像中的轮廓线。
[0044]结合第二方面，和/或第二方面第一种可能的实现方式，和/或第二方面第二种可能的实现方式，和/或第二方面第三种可能的实现方式，在第二方面第四种可能的实现方式中，拼接单元具体包括:
[0045]拼接子单元，用于将目标物体的前景图像进行3D拼接，得到目标物体拼接图像；并且，将所述目标物体的背景图像进行广角拼接，得到背景拼接图像；
[0046]合并子单元，用于将所述目标物体拼接图像和所述背景拼接图像合并，得到3D图像。
[0047]本实施例中，获取目标物体在至少两个拍摄角度的图像；识别目标物体在每一个图像中的轮廓线；从所述目标物体在至少两个拍摄角度的图像中选择一个图像，根据目标物体在所述一个图像中的轮廓线确定所述目标物体的物体类别；对于每一个图像，根据目标物体在该图像中的轮廓线和所述物体类别从该图像中获取目标物体的前景图像和背景图像；所述前景图像是目标物体部分对应的图像，所述背景图像是目标物体的背景部分对应的图像；根据目标物体的前景图像和背景图像拼接得到3D图像。本实施例中，移动终端可以通过目标物体在至少两个拍摄角度的二维图像，最终拼接得到3D图像，从而生成目标物体的3D图像，实现了目标物体3D图像的拍摄；
[0048]而且，移动终端确定目标物体的物体类别，对于每一个图像，根据目标物体在该图像中的轮廓线和所述物体类别从该图像中获取目标物体的前景图像和背景图像，从而使得获取到的前景图像和背景图像更为准确，进而使得根据目标物体的前景图像和背景图像拼接得到3D图像更为准确，贴近所要拍摄的目标物体的实际形状。
【专利附图】
【附图说明】
[0049]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0050]图1为本发明移动终端中3D图像的生成方法第一实施例示意图；
[0051]图2为本发明移动终端中3D图像的生成方法第二实施例示意图；
[0052]图2A为本发明移动终端根据触控点识别目标物体在第一图像中的轮廓线的示意图；[0053]图2B为本发明目标物体的轮廓线上二维位置特征点示意图；
[0054]图2C为本发明前景图像获取方法示意图；
[0055]图2D为本法明前景拼接图像和背景拼接图像合并方法示意图；
[0056]图3为本发明移动终端中3D图像的生成装置示意图；
[0057]图4为本发明手机结构示意图；
[0058]图5为本发明手机内部结构示意图。
【具体实施方式】
[0059]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0060]在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0061]应当理解，尽管在本发明实施例中可能采用术语第一图像来描述目标物体在至少两个拍摄角度的图像中的一个图像，但是该图像不应限于该术语，该术语仅用来将所述一个图像与目标物体在至少两个拍摄角度的图像中的其他图像彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一图像也可以被称为第二图像等等。
[0062]参见图1，为本发明移动终端中3D图像的生成方法第一实施例示意图，该方法包括:
[0063]步骤SlOl:移动终端获取目标物体在至少两个拍摄角度的图像；
[0064]其中，拍摄角度可以包括拍摄高度、拍摄方向和拍摄距离。拍摄高度可以包括:平拍、俯拍和仰拍等。拍摄方向可以包括正面角度、侧面角度、斜侧角度、背面角度等。拍摄距离是决定景别的元素之一，本发明实施例中拍摄距离可以为移动终端与目标物体之间的距离。
[0065]步骤S102:移动终端识别目标物体在每一个图像中的轮廓线；
[0066]步骤S103:移动终端从所述目标物体在至少两个拍摄角度的图像中选择一个图像；根据目标物体在所述一个图像中的轮廓线确定所述目标物体的物体类别；
[0067]在实际应用中，移动终端可以从目标物体在至少两个拍摄角度的图像中任意选择一个图像；可选地，移动终端可以将获取到的第一个图像选择为所述一个图像。
[0068]步骤S104:对于每一个图像，移动终端根据目标物体在该图像中的轮廓线和所述物体类别从该图像中获取目标物体的前景图像和背景图像；所述前景图像是目标物体部分对应的图像，所述背景图像是目标物体的背景部分对应的图像；
[0069]步骤S105:移动终端根据目标物体的前景图像和背景图像拼接得到3D图像。
[0070]本实施例中，移动终端可以通过目标物体在至少两个拍摄角度的二维图像，最终拼接得到3D图像，从而实现了目标物体3D图像的生成，进而实现了目标物体3D图像的拍摄;[0071]而且，移动终端确定目标物体的物体类别，对于目标物体在每一个拍摄角度的图像，根据目标物体在该图像中的轮廓线和所述物体类别从该图像中获取目标物体的前景图像和背景图像，从而使得获取到的前景图像和背景图像更为准确，进而使得根据目标物体的前景图像和背景图像拼接得到3D图像更为准确，贴近目标物体的实际形状。
[0072]参见图2，为本发明移动终端中3D图像的生成方法第二实施例示意图，该方法包括:
[0073]在本发明实施例中移动终端可以获取目标物体在至少两个拍摄角度的图像；以下，首先通过步骤S201?步骤S204说明移动终端对于第一图像的获取和处理过程；其中，第一图像是从移动终端获取的目标物体在至少两个拍摄角度的图像中选择的一个图像；第一拍摄角度是第一图像的拍摄角度。
[0074]步骤S201:移动终端获取目标物体在第一拍摄角度的第一图像；
[0075]其中，移动终端可以通过自身的摄像头获取目标物体在第一拍摄角度的第一图像；或者，
[0076]移动终端也可以从其他的摄像设备获取目标物体在第一拍摄角度的第一图像。在本发明实施例中，对获取第一图像的技术方式不做限定。
[0077]步骤S202:移动终端识别目标物体在第一图像中的轮廓线。
[0078]所述轮廓线是图像中目标物体的外边缘界线，是图像中目标物体与背景之间的分界线。一般的，轮廓线上的像素点与其周围像素点相比，RGB分量中的至少两个分量会存在较大的跳变，在图像中查找到这些分量存在较大跳变的像素点即可从图像中识别出目标物体的轮廓线。因此，本步骤可以包括:
[0079]移动终端获取用户在第一图像中的触控点；
[0080]以触控点作为基点向周边延展直到深度跳变点，所述深度跳变点的集合构成所述目标物体在该图像中的轮廓线。
[0081]其中，所述深度跳变点是指:RGB分量中的至少一个分量的取值与周围各个像素点该分量的取值之差超过该分量的差值阈值的像素点。
[0082]其中，移动终端可以将第一图像在屏幕上显示给用户，指示用户点击第一图像中目标物体图像的某一点，并对用户的指定操作进行检测，所述指定操作可以为单击、双击、滑动等；当移动终端检测到用户的指定操作时，获取用户在第一图像中的触控点。具体的，所述指定操作为单击或双击时，用户在屏幕上点击的第一图像中的点可以作为所述触控点；所述指定操作为滑动时，用户在屏幕上开始滑动时点击的第一图像中的点或者滑动结束时点击的第一图像中的点可以作为触控点；其中，所述用户的指定操作和所述触控点可以通过检测屏幕压力或者检测屏幕电容值变化的方法来检测得到，具体使用方法这里不赘述。
[0083]参见图2A所示，假设将用户手指在屏幕上点击的图像中的像素点A作为触控点，由于像素点A是目标物体图像的一个像素点，以该像素点A作为基点向周边延展直到深度跳变点，所述深度跳变点的集合可以构成所述目标物体在第一图像中的轮廓线M。
[0084]其中，本步骤中移动终端根据所述触控点识别目标物体在第一图像中的轮廓线的方法仅为示例，在实际应用中还可以通过其他的方法实现，这里并不限定。
[0085]步骤S203:移动终端根据目标物体在第一图像中的轮廓线确定所述目标物体的物体类别。
[0086]其中，本步骤可以包括:
[0087]移动终端预先存储每一种物体类别对应的至少一个三维参考矩阵；
[0088]移动终端从目标物体在第一图像中的轮廓线上确定二维位置特征点；
[0089]移动终端根据所述二维位置特征点在所述第一图像中的坐标建立目标物体相对于第一图像的特征点矩阵；
[0090]移动终端依次计算所述特征点矩阵与各个三维参考矩阵的相似度，得到与所述特征点矩阵的相似度超过预设相似度阈值的三维参考矩阵；
[0091]移动终端将所述相似度超过预设相似度阈值的三维参考矩阵所对应的物体类别确定为所述目标物体的物体类别。
[0092]其中，所述物体类别是对人、动物、植物、物品等世界上存在的物体的种类划分。物体类别可以根据划分精度、划分标准的不同而不同，本发明并不限定。例如，物体类别可以包括:动物、植物、人、物品；或者，物体类别可以包括:狗、猫、蛇等不同动物，树、草等不同植物，男孩儿、女孩儿、男人、女人等不同人，桌子、椅子、电脑、汽车等不同物品。
[0093]每一种物体类别对应的每一个三维参考矩阵是该物体类别下一种具体物体的三维参考矩阵；所述三维参考矩阵可以根据该矩阵对应物体表面的多个三维位置特征点的三维坐标建立。所述三维位置特征点可以是物体表面位置比较特殊的点。具体如何选择所述三维位置特征点本发明并不限制，例如立方体的8个顶点等。
[0094]其中，从目标物体的轮廓线上确定二维位置特征点时，所述二维位置特征点是在轮廓线上所处位置比较特殊的点。例如所述二维位置特征点可以是轮廓线的拐点、切点、角点等，其中，角点是目标轮廓线上曲率超过一定阈值的局部极大值点，切点是圆弧和直线的平滑过渡点，拐点是凹圆弧和凸圆弧的平滑过渡点。例如，图2B所示为目标物体的轮廓线，其中的点Al、B1、Cl、Dl、El、Fl、Gl、Hl可以作为目标物体轮廓线的二维位置特征点；具体的，点El为拐点，点D1、F1为切点，其余点为角点。
[0095]在确定各个二维位置特征点的坐标时，坐标系如何建立，本发明并不限定。例如可以以某一个二维位置特征点作为坐标原点，以水平方向为X轴，竖直方向为y轴等。一般的，建立三维参考矩阵和建立特征点矩阵时坐标系的建立规则应该是相同的，以使得后续矩阵之间相似度的计算结果准确。
[0096]在根据二维位置特征点建立特征点矩阵时，可以按照二维位置特征点的不同类型建立矩阵，例如图2B所示的目标物体的特征点矩阵可以为:
【权利要求】
1.一种移动终端中3D图像的生成方法，其特征在于，包括: 获取目标物体在至少两个拍摄角度的图像； 识别目标物体在每一个图像中的轮廓线； 从所述目标物体在至少两个拍摄角度的图像中选择一个图像，根据目标物体在所述一个图像中的轮廓线确定所述目标物体的物体类别； 对于每一个图像，根据目标物体在该图像中的轮廓线和所述物体类别从该图像中获取目标物体的前景图像和背景图像；所述前景图像是目标物体部分对应的图像，所述背景图像是目标物体的背景部分对应的图像； 根据目标物体的前景图像和背景图像拼接得到3D图像。
2.根据权利要求1所述的方法，其特征在于，根据目标物体在所述一个图像中的轮廓线确定所述目标物体的物体类别包括: 预先存储每一种物体类别对应的至少一个三维参考矩阵； 从目标物体在所述一个图像中的轮廓线上确定二维位置特征点； 根据所述二维位置特征点在所述一个图像中的坐标建立目标物体相对于所述一个图像的特征点矩阵； 依次计算所述特征点矩阵与各个三维参考矩阵的相似度，得到与所述特征点矩阵的相似度超过预设相似度阈值的三维参考矩阵； 将所述相似度超过预设相似度阈值的三维参考矩阵所对应的物体类别确定为所述目标物体的物体类别。
3.根据权利要求1或2所述的方法，其特征在于，根据目标物体在该图像中的轮廓线和所述物体类别从该图像中获取目标物体的前景图像和背景图像包括: 根据目标物体在该图像中的轮廓线和所述物体类别确定目标物体在该图像中的图像特征值； 根据所述轮廓线和所述图像特征值从该图像中获取目标物体的前景图像和背景图像。
4.根据权利要求1至3任一项所述的方法，其特征在于，识别目标物体在每一个图像中的轮廓线包括: 对于每一个图像，获取用户在该图像中的触控点； 以触控点作为基点向周边延展直到深度跳变点，所述深度跳变点的集合构成所述目标物体在该图像中的轮廓线。
5.根据权利要求1至4任一项所述的方法，其特征在于，根据目标物体的前景图像和背景图像拼接得到目标物体的3D图像包括: 将目标物体的前景图像进行3D拼接，得到目标物体拼接图像；并且，将所述目标物体的背景图像进行广角拼接，得到背景拼接图像； 将所述目标物体拼接图像和所述背景拼接图像合并，得到目标物体的3D图像。
6.一种移动终端中3D图像的生成装置，其特征在于，包括: 第一获取单元，用于获取目标物体在至少两个拍摄角度的图像，将所述图像发送给识别单元和第二获取单元； 识别单元，用于识别目标物体在每一个图像中的轮廓线； 类别确定单元，用于从所述目标物体在至少两个拍摄角度的图像中选择一个图像，根据识别单元识别出的目标物体在所述一个图像中的轮廓线确定所述目标物体的物体类别； 第二获取单元，用于对于每一个图像，根据识别单元识别出的目标物体在该图像中的轮廓线和类别确定单元确定的所述物体类别从该图像中获取目标物体的前景图像和背景图像；所述前景图像是目标物体部分对应的图像，所述背景图像是目标物体的背景部分对应的图像； 拼接单元，用于根据第二获取单元获取到的目标物体的前景图像和背景图像拼接得到3D图像。
7.根据权利要求6所述的装置，其特征在于，类别确定单元具体包括: 存储子单元，用于预先存储每一种物体类别对应的至少一个三维参考矩阵； 特征点确定子单元，用于从目标物体在所述一个图像中的轮廓线上确定二维位置特征占.矩阵建立子单元，用于根据所述二维位置特征点在所述一个图像中的坐标建立目标物体相对于所述一个图像的特征点矩阵； 矩阵比对子单元，用于依次计算所述特征点矩阵与各个三维参考矩阵的相似度，得到与所述特征点矩阵的相似度超过预设相似度阈值的三维参考矩阵； 类别确定子单元，用于将所述相似度超过预设相似度阈值的三维参考矩阵所对应的物体类别确定为所述目标物体的物体类别。
8.根据权利要求6或7所述的装置，其特征在于，第二获取单元具体包括: 特征值确定子单元，用于根据目标物体在该图像中的轮廓线和所述物体类别确定目标物体在该图像中的图像特征值；` 图像获取子单元，用于根据所述轮廓线和所述图像特征值从该图像中获取目标物体的前景图像和背景图像。
9.根据权利要求6至8任一项所述的装置，其特征在于，识别单元具体包括: 触控点获取子单元，用于对于每一个图像，获取用户在该图像中的触控点； 轮廓线确定子单元，用于以触控点作为基点向周边延展直到深度跳变点，所述深度跳变点的集合构成所述目标物体在该图像中的轮廓线。
10.根据权利要求6至9任一项所述的装置，其特征在于，拼接单元具体包括: 拼接子单元，用于将目标物体的前景图像进行3D拼接，得到目标物体拼接图像；并且，将所述目标物体的背景图像进行广角拼接，得到背景拼接图像； 合并子单元，用于将所述目标物体拼接图像和所述背景拼接图像合并，得到3D图像。
【文档编号】G06T15/00GK103679788SQ201310656876
【公开日】2014年3月26日 申请日期:2013年12月6日 优先权日:2013年12月6日
【发明者】刘吉林, 贺真, 黄茂胜, 李腾跃 申请人:华为终端有限公司