三维场景构建方法及装置的制造方法
【专利摘要】本发明提供了一种三维场景构建方法，该三维场景构建方法包括：获取用于构建三维场景的第一视图和第二视图，两视图基于同一场景，具有视差；对第一视图和第二视图进行特征点提取，以在第一视图中确定M个特征点，在第二视图中确定X个特征点，M、X为大于1的自然数；对第一视第二视图中的特征点进行一级滤波，以在所述M个特征点中确定小于M的N个特征点，在X个特征点中确定小于X的Y个特征点；基于第一视图的N个特征点和第二视图的Y个特征点进行特征匹配，以确定两视图中的对应特征点；根据对应特征点，构建三维场景。本发明提供的三维场景构建方法，通过降低特征点数量，降低计算机的运算量，提高匹配精度，达到更佳的三维构建效果。
【专利说明】
Ξ维场景构建方法及装置
技术领域
[0001] 本发明设及立体显示和立体拍摄领域，具体设及一种Ξ维场景构建方法及Ξ维场 景构建装置。
【背景技术】
[0002] 人类是通过右眼和左眼所看到的物体的细微差异来感知物体的深度，从而识别出 立体图像的，运种差异被称为视差。立体显示技术就是通过人为的手段来制造人的左、右眼 的视差，给左、右眼分别送去有视差的两幅图像，使大脑在获取了左、右眼看到的不同图像 之后，产生观察真实Ξ维物体的感觉。
[0003] 技术人员可W根据双目摄像头同时拍摄两幅具有视差的图像、也可W通过单摄 像头针对同一场景拍摄两幅具有视差的图像，之后，计算机利用两幅视图进行立体场景构 建。在立体场景构建过程中，现有技术可W通过特征点匹配等方式实现，但是通常特征点提 取之后，能够提取到大量特征点，运给两幅视图中的特征点进行匹配取得对应特征点，带来 了极大困难，可能造成运算量大，匹配不精确的问题，为此如何减少运算量并且提高匹配精 度，是亟待解决的问题。
【发明内容】
[0004] 本发明的目的提供一种Ξ维场景构建方法，W降低Ξ维场景构建中的运算量，并 且提高双视图中的对应特征点匹配精度。
[0005] 为实现上述目的，本发明第一方面提供了一种Ξ维场景构建方法，该种Ξ维场景 构建方法包括：
[0006] 获取用于构建Ξ维场景的第一视图和第二视图，该第一视图和第二视图基于同一 场景，具有视差；
[0007] 对所述第一视图和第二视图进行特征点提取，W在所述第一视图中确定Μ个特征 点，在所述第二视图中确定X个特征点，Μ、X为大于1的自然数；
[0008] 对所述第一视图和所述第二视图中的特征点进行一级滤波，W在所述Μ个特征点 中确定小于Μ的Ν个特征点，在所述X个特征点中确定小于X的Υ个特征点；
[0009] 基于所述第一视图的Ν个特征点和所述第二视图的Υ个特征点进行特征匹配，W 确定两视图中的对应特征点；
[0010] 根据所述对应特征点，构建所述Ξ维场景。
[0011] 第二方面，本发明实施例提供了一种Ξ维场景构建装置，该种Ξ维场景构建装置 包括：
[0012] 视图获取单元，用于获取用于构建Ξ维场景的第一视图和第二视图，该第一视图 和第二视图基于同一场景，具有视差；
[0013] 特征点提取单元，用于对所述第一视图和第二视图进行特征点提取，W在所述第 一视图中确定Μ个特征点，在所述第二视图中确定X个特征点，Μ、X为大于1的自然数；
[0014] 一级滤波单元，用于对所述第一视图和所述第二视图中的特征点进行一级滤波， W在所述Μ个特征点中确定小于Μ的N个特征点，在所述X个特征点中确定小于X的Y个 特征点；
[0015] 特征点匹配单元，用于基于所述第一视图的Ν个特征点和所述第二视图的Υ个特 征点进行特征匹配，W确定两视图中的对应特征点；
[0016] Ξ维场景构建单元，用于根据所述对应特征点，构建所述Ξ维场景。
[0017] 通过本发明实施例提供的Ξ维场景构建方法，通过对具有视差的双视图进行特征 点提取，并且对提取到的特征点进行滤波，W保留主要特征点，擬弃非主要特征点，W达到 降低特征点数量的目的，通过降低特征点数量，降低计算机的运算量，并且提高匹配精度， 达到更佳的Ξ维构建效果。
【附图说明】
[0018] 图1是本发明实施例提供的Ξ维场景构建方法的一种实施例的流程图；
[0019] 图2是本发明实施例提供的Ξ维场景构建方法中一级滤波的一种实施状态参考 图；
[0020] 图3是本发明实施例提供的Ξ维场景构建方法的另一种实施例的流程图；
[0021] 图4为本发明提供的Ξ维场景构建装置的一种实施例的结构图；
[0022] 图5为本发明提供的Ξ维场景构建装置的另一种实施例的结构图。
【具体实施方式】
[0023] 下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。需要注意的 是，在本申请中采用的部分术语，例如"第一"、"第二"等术语，仅是为了对具有类似名称的 参数进行区分，W便于所属领域的技术人员理解本申请的技术方案，并非用于限制本申请， 根据不同的需求，可W对该些术语进行更换或者替换。
[0024] 请参考图1，本发明实施例提供了一种Ξ维场景构建方法，该种Ξ维场景构建方法 可W应用于单个用于图形图像处理的计算机，由图1可见，该种方法可W包括： 阳0巧]S101，获取用于构建Ξ维场景的第一视图和第二视图，该第一视图和第二视图基 于同一场景，具有视差；
[00%] 具体而言，在该步骤中计算机获取到的第一视图和第二视图，可W通过多种方式 获得。例如，独立的双目深度摄像头拍摄之后，传输到计算机；通过单目摄像头获得之后，传 输到计算机；也可W是计算机本身具有摄像组件，能够拍摄基于同一场景的具有视差的双 视图，不作为限制。
[0027] S102,对所述第一视图和第二视图进行特征点提取；
[0028] 在该步骤中，计算机可W采用FAST、SIFT、Harris、SUFR、ORB等算法提取两幅视图 中的特征点，其中，特征点例如可W是不同物体的交点等具有一定特性的点，或者像素的坐 标。
[0029] 进一步地，通过该步骤计算机可W在所述第一视图中确定Μ个特征点，在所述第 二视图中确定X个特征点，Μ、X为大于1的自然数；
[0030] 通常的，特征点的特征可W通过描述符体现，例如通过化ief算法提取每个特征 点的描述符。需要注意的是，描述符仅仅是体现特征点特征的一种方式，也可w被称为特 性、属性等，不作为限制。
[00川特征点的特征，例如描述符，可W用于后续的特征点匹配。
[0032] S103,对所述第一视图和所述第二视图中的特征点进行一级滤波；
[0033] 在该步骤中，通过对两视图进行一级滤波，例如在所述Μ个特征点中确定小于Μ的 Ν个特征点，在所述X个特征点中确定小于X的Υ个特征点，计算机能够大幅度减少两视图 中的特征点数量，擬弃非必要特征点，能够降低后续步骤中特征点匹配的复杂度和运算量， 通过该步骤可W确定特征点集合(巧η,巧>)，其中，Ff为第一视图（例如左图）中的保留的 特征点集合，职为第二视图（例如右图）中保留的特征点集合。
[0034] 更进一步地说，在该步骤中可W选取多种方式进行一级滤波，优选的，可W采用滑 动窗口实现一级滤波。
[0035] S104,基于所述第一视图的N个特征点和所述第二视图的Y个特征点进行特征匹 配，W确定两视图中的对应特征点；
[0036] 在该步骤中，计算机可W根据步骤S103之后的一级滤波结果，对两视图进行特征 匹配，例如通过可选的算法实现特征点集合{巧,巧1)对应的描述符集合(Df, D巧中，左 图描述符集合Df和右图描述符集合之间的一对一对应关系，实现(巧η,巧)的特征匹 配。
[0037] S105,根据所述对应特征点，构建所述Ξ维场景。
[0038] 在该步骤中，计算机根据步骤S104后得到的两视图中的对应特征点还原Ξ维场 景空间点的坐标（x，y，z)。
[0039] 更进一步的，在该步骤中计算机可W使用反向投影法进行Ξ维重建。
[0040] 通过上述的实施例，可W通过对具有视差的双视图进行特征点提取，并且对提取 到的特征点进行滤波，W保留主要特征点，擬弃非主要特征点，W达到降低特征点数量的目 的，通过降低特征点数量，降低计算机的运算量，并且提高匹配精度，达到更佳的Ξ维构建 效果。
[0041] 在一种更具体的实施方式中，计算机采用滑动窗口滤波方式，实现对双视图特征 点集合进行一级滤波。在网格的交界处还有可能出现较为密集的特征点，需要进一步使用 移动网格进行滤波，通过滑动窗口滤波，移动网格的方式滤波能够过滤网格交界处的冗余 特征点。
[0042] 请参考图2,对所述第一视图和所述第二视图中的特征点进行一级滤波的方法，计 算机可W首先将第一视图和第二视图分别划分为Q个等尺寸网格，Q为大于1的自然数；
[0043] 之后，计算机W包含多个第一尺寸窗口的第二虚拟框按照第一步长在每幅视图上 进行T次滑动滤波，每次滑动滤波每幅视图上与该第一尺寸窗口重合的区域内至多保留P 个特征点，T为不小于1的自然数，P为大于等于0的自然数。
[0044] 由图2可见，优选的，所述对每幅视图的T次滑动滤波沿每幅视图的对角线方向， 首次滑动滤波的起始点为对应视图的一个角点。
[0045] 需要注意的是，Q个网格等尺寸正方形划分是最佳的实施方式，也可W选择长方形 划分，或者同形状非等尺寸划分，不多寶述。第二虚拟框初始状态与对应视图的形状和尺寸 相同，随着滑动滤波次数，可逐渐缩小，第二虚拟框中的第一尺寸窗口优选与所述Q个等尺 寸网格的尺寸相同。
[0046] 在每次滑动滤波中，每次滑动滤波的移动步长，即第一步长，由所述网格的横向尺 寸、纵向尺寸和滑动滤波次数确定，例如假设网格对角线长度为N(pixle)，滑动滤波次数 为T，则移动第一步长S = N(pixle)/T，但是需要注意的是沿着对角线方向移动的步长，也 可W通过横向和纵向两个方向移动实现，因此步长计算方式可通过横向和纵向结合之后计 算，不作为限制。
[0047] 每次滤波后，每个网格内过滤部分冗余特征点，在过滤冗余特征点的过程中，计算 机优选保留对比度较强的特征点，因此经过T次滤波后，每个网格内最多保留所述P个特征 点为每幅视图上与该第一尺寸窗口重合的区域内强度最高的P个特征点。
[0048] 此外，也可W随机确定需要擬弃的特征点，或者按照其他的选定规则在每次过滤 部分冗余特征点。
[0049] 通过上述的实施例，一级滤波后的，通过描述符提取获取了 Ρ;"的描述符Df和巧 的描述符Df，之后可W通过算法实现左图特征描述符Df和右图特征描述符D梦的一对一 对应关系，即实现（P/1, P声）的特征匹配，取得两视图对应特征点之后，根据左、右两幅图匹 配的对应特征点还原物理世界Ξ维空间点的坐标（X，y，Z)。
[0050] 通过上述的实施例，能够擬弃非主要特征点，W达到降低特征点数量的目的，通过 降低特征点数量，降低计算机的运算量，并且提高匹配精度，达到更佳的Ξ维构建效果。
[0051] 由Ξ维重建得到左、右两幅图的特征点与现实物理Ξ维空间的关系
其中，M"用于标记两视图特征点映射的关系，P品描述现实物 理Ξ维空间特征点。
[0052] 在另一种优选的实施方式中，为进一步提高准确度，计算机可W重建的Ξ维关 系
依据1?的每一点通过Ξ维空间滤波，得到合理的
实现对不合理Ξ维空间特征点的过滤。
[0053] 在另一种优选的实施方式中计算机可W对Ξ维空间特征点进行 四图闭环滤波，得到更合理Ξ维空间特征点
，
作为四图闭环滤波的第n-1帖的特征点输入。
[0054] 通过前述的实施例，将两视图的特征点采用反向投影法重建Ξ维，之后，在每一个 Ξ维特征点的领域范围内，必须并存m(m〉l)个Ξ维特征点，该Ξ维特征点才能存活下来， 反之则剔除。m可W被称之为Ξ维特征点阔值，该阔值m可W根据实际需求设定，m越来大， Ξ维特征点存活条件越苛刻。
[0055] 其中，假设对于场景中的的Ξ维特征点，左、右相机在第η帖的映射二维特征点为 巧η和巧，在第n-1帖的映射二维特征点为巧n-1和A为场景中的某一个Ξ维特征 点，A在第η帖左、右相机的映射二维特征点为Af和'A异，A在第n-1帖左右相机的映射二 维特征点天
勺元 素。
与都必须同时匹配成功和才 能存活，该实施例可参考流程如图3所示。对Jf、巧、If ^和巧全部元素进行该种 操作，即可实现四图闭环滤波。
[0056] 该种闭环处理的原理为，立体视觉同一时刻的左右图像的特征点必须能一一对应 匹配，某一路相机在较短时间内的前后两帖图像的特征点也能一一匹配。
[0057] 通过该实施例的处理能够，去除场景中过于激烈运动物体的特征点，留取场景中 较为稳定的特征点。
[0058] 在又一种实施方式中，计算机可W对前一实施例四图闭环滤波后的Ξ维特征点进 行稳定性统计滤波，对Ξ维特征点的深度分布进行统计，剔除异常深度的Ξ维特征点。例 如，对全部的Ξ维特征点的深度信息做累计直方图，使用百分比3%获取最小深度和百分 比（100 -巧骑获取最大深度，即：
么 后，经过统计滤波后等到的合理特征点
，.
[0059] 通过上述实施例，可W实现Ξ维空间特征点在左、右图像上的均匀分布，Ξ维空间 特征点的准确稳定的测量，具有很强的鲁棒性。
[0060] 相应的，本发明实施例还提供了一种Ξ维场景构建装置，该种Ξ维场景构建装置， 可W应用于单个用于图形图像处理的计算机，计算机或者其特征在于，所述装置包括：
[0061] 视图获取单元401，用于获取用于构建Ξ维场景的第一视图和第二视图，该第一视 图和第二视图基于同一场景，具有视差；
[0062] 特征点提取单元402,用于对所述第一视图和第二视图进行特征点提取，W在所述 第一视图中确定Μ个特征点，在所述第二视图中确定X个特征点，M、X为大于1的自然数；
[0063] 一级滤波单元403,用于对所述第一视图和所述第二视图中的特征点进行一级滤 波，W在所述Μ个特征点中确定小于Μ的Ν个特征点，在所述X个特征点中确定小于X的Υ 个特征点；
[0064] 特征点匹配单元404,用于基于所述第一视图的Ν个特征点和所述第二视图的Υ个 特征点进行特征匹配，W确定两视图中的对应特征点；
[00化]Ξ维场景构建单元405,用于根据所述对应特征点，构建所述Ξ维场景。
[0066] 较佳的，所述一级滤波为滑动窗口滤波。
[0067] 在上述实施例中，进一步地，该一级滤波单元，进一步包括：
[0068] 网格划分子单元，用于将所述第一视图和第二视图分别划分为Q个等尺寸网格，Q 为大于1的自然数；
[0069] 滑动滤波子单元，用于W包含多个第一尺寸窗口的第二虚拟框按照第一步长在每 幅视图上进行Τ次滑动滤波，每次滑动滤波每幅视图上与该第一尺寸窗口重合的区域内至 多保留Ρ个特征点，Τ为不小于1的自然数，Ρ为大于等于0的自然数。
[0070] 更进一步地，所述滑动滤波子单元对每幅视图的Τ次滑动滤波沿每幅视图的对角 线方向，首次滑动滤波的起始点为对应视图的一个角点。
[0071] 优选的，所述第一尺寸窗口与所述Q个等尺寸网格的尺寸相同，所述虚拟框尺寸、 形状与对应视图相同。
[0072] 优选的，所述P个特征点为每幅视图上与该第一尺寸窗口重合的区域内强度最高 的P个特征点。
[0073] 优选的，第一步长由所述网格的横向尺寸、纵向尺寸和滑动滤波次数确定。
[0074] 该装置实施例是与图3中的Ξ维场景构建方法实施例对应的虚拟装置实施例，因 此关于该虚拟装置的实施例，可参考前述方法实施例，不多寶述。
[00巧]此外，需要注意的是，为了进一步提高滤波效果，获得更加准确的Ξ维空间特征点 的可W设置与前述方法实施例部分对应的滤波单元，例如Ξ维空间滤波单元、四图闭环滤 波单元、统计滤波单元等，不多寶述。
[0076] 通过上述实施例提供的Ξ维空间重建装置，可W实现Ξ维空间特征点在左、右图 像上的均匀分布，Ξ维空间特征点的准确稳定的测量，具有很强的鲁棒性。
[0077] 相应的，本发明实施例提供了一种Ξ维空间重建装置，图5是该种显示设备的结 构图，该装置可W是具有图像显示功能的计算机，该种Ξ维空间重建装置包括显示器、处理 器和存储器，所述存储器中存储有程序代码，所述处理器调用所述存储器中的程序代码，执 行W下操作：
[0078] 控制所述追踪设备跟踪处于裸眼3D图像观看状态的用户，确定该用户与显示设 备的显示面板的第二距离；
[0079] 所述处理器获取用于构建Ξ维场景的第一视图和第二视图，该第一视图和第二视 图基于同一场景，具有视差；
[0080] 对所述第一视图和第二视图进行特征点提取，W在所述第一视图中确定Μ个特征 点，在所述第二视图中确定X个特征点，Μ、X为大于1的自然数；
[0081] 对所述第一视图和所述第二视图中的特征点进行一级滤波，W在所述Μ个特征点 中确定小于Μ的Ν个特征点，在所述X个特征点中确定小于X的Υ个特征点；
[0082] 基于所述第一视图的Ν个特征点和所述第二视图的Υ个特征点进行特征匹配，W 确定两视图中的对应特征点；
[0083] 根据所述对应特征点，构建所述Ξ维场景。
[0084] 通过上述实施例提供的Ξ维空间重建装置，可W实现Ξ维空间特征点在左、右图 像上的均匀分布，Ξ维空间特征点的准确稳定的测量，具有很强的鲁棒性。
[0085] 专业人员应该还可W进一步意识到，结合本文中所公开的实施例描述的各示例的 单元及算法步骤，能够W电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬 件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。 运些功能究竟W硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。 专业技术人员可W对每个特定的应用来使用不同方法来实现所描述的功能，但是运种实现 不应认为超出本发明的范围。
[0086] 结合本文中所公开的实施例描述的方法或算法的步骤可W用硬件、处理器执行的 软件模块，或者二者的结合来实施。软件模块可W置于随机存储器（RAM)、内存、只读存储器 (ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域 内所公知的任意其它形式的存储介质中。
[0087] W上所述的【具体实施方式】，对本发明的目的、技术方案和有益效果进行了进一步 详细说明，所应理解的是，W上所述仅为本发明的【具体实施方式】而已，并不用于限定本发明 的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含 在本发明的保护范围之内。
【主权项】
1. 一种三维场景构建方法，其特征在于，所述方法包括： 获取用于构建三维场景的第一视图和第二视图，该第一视图和第二视图基于同一场 景，具有视差； 对所述第一视图和第二视图进行特征点提取，以在所述第一视图中确定Μ个特征点， 在所述第二视图中确定X个特征点，Μ、X为大于1的自然数； 对所述第一视图和所述第二视图中的特征点进行一级滤波，以在所述Μ个特征点中确 定小于Μ的Ν个特征点，在所述X个特征点中确定小于X的Υ个特征点； 基于所述第一视图的Ν个特征点和所述第二视图的Υ个特征点进行特征匹配，以确定 两视图中的对应特征点； 根据所述对应特征点，构建所述三维场景。2. 如权利要求1所述的方法，其特征在于，所述一级滤波为滑动窗口滤波。3. 如权利要求2所述的方法，其特征在于，所述对所述第一视图和所述第二视图中的 特征点进行一级滤波，进一步包括： 将所述第一视图和第二视图分别划分为Q个等尺寸网格，Q为大于1的自然数； 以包含多个第一尺寸窗口的第二虚拟框按照第一步长在每幅视图上进行Τ次滑动滤 波，每次滑动滤波每幅视图上与该第一尺寸窗口重合的区域内至多保留Ρ个特征点，Τ为不 小于1的自然数，Ρ为大于等于〇的自然数。4. 如权利要求3所述的方法，其特征在于，所述对每幅视图的Τ次滑动滤波沿每幅视图 的对角线方向，首次滑动滤波的起始点为对应视图的一个角点。5. 如权利要求3所述的方法，其特征在于，所述第一尺寸窗口与所述Q个等尺寸网格的 尺寸相同，所述虚拟框尺寸、形状与对应视图相同。6. 如权利要求3所述的方法，其特征在于，所述Ρ个特征点为每幅视图上与该第一尺寸 窗口重合的区域内强度最高的Ρ个特征点。7. 如权利要求3所述的方法，其特征在于，第一步长由所述网格的横向尺寸、纵向尺寸 和滑动滤波次数确定。8. -种三维场景构建装置，其特征在于，所述装置包括： 视图获取单元，用于获取用于构建三维场景的第一视图和第二视图，该第一视图和第 二视图基于同一场景，具有视差； 特征点提取单元，用于对所述第一视图和第二视图进行特征点提取，以在所述第一视 图中确定Μ个特征点，在所述第二视图中确定X个特征点，Μ、X为大于1的自然数； 一级滤波单元，用于对所述第一视图和所述第二视图中的特征点进行一级滤波，以在 所述Μ个特征点中确定小于Μ的Ν个特征点，在所述X个特征点中确定小于X的Υ个特征 占. 特征点匹配单元，用于基于所述第一视图的Ν个特征点和所述第二视图的Υ个特征点 进行特征匹配，以确定两视图中的对应特征点； 三维场景构建单元，用于根据所述对应特征点，构建所述三维场景。9. 如权利要求8所述的装置，其特征在于，所述一级滤波为滑动窗口滤波。10. 如权利要求9所述的装置，其特征在于，所述一级滤波单元，进一步包括： 网格划分子单元，用于将所述第一视图和第二视图分别划分为Q个等尺寸网格，Q为大 于1的自然数； 滑动滤波子单元，用于以包含多个第一尺寸窗口的第二虚拟框按照第一步长在每幅视 图上进行T次滑动滤波，每次滑动滤波每幅视图上与该第一尺寸窗口重合的区域内至多保 留P个特征点，T为不小于1的自然数，P为大于等于0的自然数。11. 如权利要求10所述的装置，其特征在于，所述滑动滤波子单元对每幅视图的T次滑 动滤波沿每幅视图的对角线方向，首次滑动滤波的起始点为对应视图的一个角点。12. 如权利要求10所述的装置，其特征在于，所述第一尺寸窗口与所述Q个等尺寸网格 的尺寸相同，所述虚拟框尺寸、形状与对应视图相同。13. 如权利要求10所述的装置，其特征在于，所述P个特征点为每幅视图上与该第一尺 寸窗口重合的区域内强度最高的P个特征点。14. 如权利要求10所述的装置，其特征在于，第一步长由所述网格的横向尺寸、纵向尺 寸和滑动滤波次数确定。
【文档编号】G06T17/00GK105989626SQ201510069696
【公开日】2016年10月5日
【申请日】2015年2月10日
【发明人】李其昌, 崔春晖, 宋磊, 刘宁
【申请人】深圳超多维光电子有限公司, 深圳市墨克瑞光电子研究院