通过特征跟踪和模型配准进行3D多视图重建的方法与流程

本申请根据35u.s.c§119(e)要求于2016年3月9日提交的题为“methodfor3dmultiviewreconstructionbyfeaturetrackingandmodelregistration”的美国临时专利申请序列号no.62/305,696的优先权，其全部内容通过引用并入本文用于所有目的。

本发明涉及成像分析。更具体地，本发明涉及3d成像分析。

背景技术

典型的人类视觉受到通常仅覆盖整个场景的狭窄视图的其视野的限制。为了能够扩展视野以获得更广泛的环境或对象认知，几个视图被用来在人脑海中重建该环境。类似地，对于计算机视觉，典型的成像器/相机仅捕获感兴趣的对象或场景的有限部分。通过提供不同视图的几个镜头(shot)，机器将以3d形式更广泛地了解其周围的世界。

技术实现要素：

3d多视图重建方法从窄视野成像器(例如，相机)取得一系列2d立体图像，并重建宽视野对象或场景的3d表示。3d多视图重建方法跨相邻帧跟踪2d图像像素和用于通过3d模型构建进行帧集成的约束。

在一个方面，一种在设备的非暂时性存储器中编程的方法，包括：获取一个或多个2d立体图像；使用所述一个或多个2d立体图像重建3d多视图图像；和显示所述3d多视图图像。获取所述一个或多个2d立体图像包括利用多个相机来捕获所述一个或多个2d立体图像。获取所述一个或多个2d立体图像包括从服务器下载所述一个或多个2d立体图像。所述一个或多个2d立体图像具有窄视野。重建所述3d多视图图像包括：修正所述一个或多个图像，估计图像之间的差异(disparity)，实现跨相邻帧的2d像素跟踪，通过将跟踪的2d像素映射到3d坐标来估计3d姿态，以及基于3d姿态构建3d模型。重建所述3d多视图图像包括：选择所述一个或多个图像的帧以加速；如果图像的噪声高于阈值，则执行噪声检查以丢弃所述一个或多个图像中的图像；和选择所述一个或多个图像中的感兴趣区域以加速。所述3d图像包括3d表面。所述3d图像包括3d点云。

另一方面，一种装置，包括：用于存储应用的非暂时性存储器，该应用用于：获取一个或多个2d立体图像，使用所述一个或多个2d立体图像重建3d多视图图像并显示3d多视图图像；和耦合到所述存储器的处理组件，所述处理组件被配置为用于处理所述应用。获取所述一个或多个2d立体图像包括利用多个相机来捕获所述一个或多个2d立体图像。获取所述一个或多个2d立体图像包括从服务器下载所述一个或多个2d立体图像。所述一个或多个2d立体图像具有窄视野。重建所述3d多视图图像包括：修正所述一个或多个图像，估计图像之间的差异，实现跨相邻帧的2d像素跟踪，通过将跟踪的2d像素映射到3d坐标来估计3d姿态，以及基于3d姿态构建3d模型。重建该3d多视图图像包括：选择所述一个或多个图像的帧以加速，如果图像的噪声高于阈值，则执行噪声检查以丢弃所述一个或多个图像中的图像，以及选择所述一个或多个图像中的感兴趣区域以加速。所述3d图像包括3d表面。所述3d图像包括3d点云。

另一方面，一种系统，包括：多个相机，用于获取一个或多个2d立体图像；以及计算装置，被配置用于：接收所述一个或多个2d立体图像，使用所述一个或多个2d立体图像重建3d多视图图像并显所述示3d多视图图像。获取所述一个或多个2d立体图像包括利用多个相机来捕获所述一个或多个2d立体图像。获取所述一个或多个2d立体图像包括从服务器下载所述一个或多个2d立体图像。所述一个或多个2d立体图像具有窄视野。重建所述3d多视图图像包括：修正一个或多个图像，估计图像之间的差异，实现跨相邻帧的2d像素跟踪，通过将跟踪的2d像素映射到3d坐标来估计3d姿态，以及基于3d姿态构建3d模型。重建所述3d多视图图像包括：选择所述一个或多个图像的帧以加速，如果图像的噪声高于阈值，则执行噪声检查以丢弃所述一个或多个图像中的图像，和选择所述一个或多个图像中的感兴趣区域以加速。所述3d图像包括3d表面。所述3d图像包括3d点云。

附图说明

图1示出了根据某些实施例的3d多视图重建方法的流程图。

图2示出了根据某些实施例的使用2d立体图像重建3d多视图图像的图。

图3示出了根据某些实施例的多视图重建的示例性结果。

图4示出了根据某些实施例的被配置为实现3d多视图重建方法的示例性计算设备的框图。

图5示出了根据某些实施例的设备网络的图。

具体实施方式

3d多视图重建方法从窄视野成像器(例如，相机)获取一系列2d立体图像，并重建宽视野对象或场景的3d表示。

图1示出了根据某些实施例的3d多视图重建方法的流程图。在步骤100中，获取2d立体图像。可以以任何方式获取2d立体图像，诸如使用一个或多个相机来获取2d立体图像或从诸如服务器的设备中(例如，在云系统或因特网中)下载2d立体图像。在某些实施例中，2d立体图像具有窄视野(fov)。2d立体图像来自期望对象或场景的多个角度(例如，来自各种角度的立体图像，以便捕获该对象的每一面——顶部、底部、左侧、右侧、前侧、后侧和/或其之间的角度)。在某些实施例中，2d图像是从视频中提取的。在步骤102中，使用2d立体图像重建3d多视图图像。在某些实施例中，3d表示具有宽fov。在步骤104中，显示和/或分析2d或3d图像。在某些实施例中，更少或额外的步骤被实现。在某些实施例中，步骤的顺序被修改。

图2示出了根据某些实施例的使用2d立体图像重建3d多视图图像的图。接收2d立体输入帧(窄fov)。在步骤200中，选择帧用于加速。在某些实施例中，步骤200是可选的。在步骤202中，图像或所选择的帧被修正以将图像投影到共同的图像平面上。在步骤204中，计算图像之间的差异的估计。在步骤206中，3d表示被投影。在某些实施例中，步骤202-206是标准3d立体重建流水线的一部分。在步骤208中，实现噪声检查。噪声检查能够以任何方式实现，诸如确定帧中的噪声量并将噪声量与阈值进行比较，并且如果噪声量高于阈值，则丢弃该帧。在某些实施例中，步骤208是可选的。在某些实施例中，在步骤208之后，该过程进行到步骤214。在步骤210中，选择图像中的感兴趣区域(roi)。例如，仅选择帧的一部分(例如，roi)。在某些实施例中，步骤210是可选的。在步骤212中，实现跨相邻帧的2d像素跟踪(例如，光流)。例如，通过跟踪2d中像素的移动，可以确定2d对象正在移动的方向。在步骤214中，估计3d姿态。在某些实施例中，2d跟踪点被映射到3d坐标以用于3d姿态估计。3d姿态由跟踪的2d特征利用3d刚性变换(旋转、平移)通过随机采样一致(ransac)算法估计。通过检查帧模型配准(registration)的错误来修改ransac。在步骤216中，基于估计的3d姿态构建3d模型。通过顺序地集成所有变换的输入来构建3d模型。例如，组合3d姿态以生成3d模型。基于应用通过3d表面渲染或采样来构建期望的3d输出。在某些实施例中，3d模型以不同方式构建。在步骤218中，生成3d表面。在步骤220中，生成3d点云。在某些实施例中，步骤218和220中的任一个或两个是可选的。在某些实施例中，更少或额外的步骤被实现。在某些实施例中，步骤的顺序被修改。

图3示出了根据某些实施例的多视图重建的示例性结果。3d多视图重建方法使用2d立体图像300来生成如本文所述的3d重建模型302和/或采样的3d点云304。

图4示出了根据某些实施例的被配置为实现3d多视图重建方法的示例性计算设备的框图。计算设备400能够用于获取、存储、计算、处理、通信和/或显示诸如图像和视频之类的信息。一般地，适合于实现计算设备400的硬件结构包括网络接口402、存储器404、处理器406、i/o设备408、总线410和存储设备412。处理器的选择不苛刻，只要选择了具有足够速度的合适处理器即可。存储器404可以是本领域中已知的任何传统计算机存储器。存储设备412可以包括硬盘驱动器、cdrom、cdrw、dvd、dvdrw、高清晰度盘/驱动器、超高清驱动器、闪存卡或任何其他存储设备。计算设备400可以包括一个或多个网络接口402。网络接口的示例包括连接到以太网或其他类型的lan的网卡。i/o设备408可以包括以下中的一个或多个：键盘、鼠标、监视器、屏幕、打印机、调制解调器、触摸屏、按钮接口和其他设备。用于执行患者间脑配准方法的3d多视图重建应用430可存储在存储设备412和存储器404中，并且如同应用通常被处理一样被处理。图4中示出的更多或更少的组件可以被包括在计算设备400中。在某些实施例中，包括3d多视图重建方法硬件420。尽管图4中的计算设备400包括用于3d多视图重建方法的应用430和硬件420，但是3d多视图重建方法能够以硬件、固件、软件或其任何组合在计算设备上实现。例如，在某些实施例中，3d多视图重建方法应用430被编程在存储器中并使用处理器执行。在另一示例中，在某些实施例中，3d多视图重建方法硬件420被编程为硬件逻辑，包括专门设计用于实现3d多视图重建方法的门。

在某些实施例中，3d多视图重建方法应用430包括若干应用和/或模块。在某些实施例中，模块还包括一个或多个子模块。在某些实施例中，更少或额外的模块可以被包括。

合适的计算设备的示例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能设备、游戏控制台、数字相机、数字摄像机、相机电话、智能电话、便携式音乐播放器、平板电脑、移动设备、视频播放器、视频盘刻录机/播放器(例如，dvd刻录机/播放器、高清盘刻录机/播放器、超高清盘刻录机/播放器)、电视、家庭娱乐系统、增强现实设备、虚拟现实设备、智能饰品(例如，智能手表)或任何其他合适的计算设备。

图5示出了根据某些实施例的设备网络的图。利用多个相机500(例如，立体对)来获取图像/视频内容。该图像/视频内容通过网络502(例如，因特网、蜂窝网络或任何其他网络)被发送到计算设备504。在某些实施例中，该内容在没有网络的情况下直接发送到计算设备。计算设备504被配置为执行本文描述的3d多视图重建。计算设备504可以是任何设备，诸如服务器、个人计算机、智能电话或本文描述的任何设备或本文描述的设备的任何组合。在某些实施例中，计算设备504是多个相机500中的一个或多个。换句话说，相机500实现3d多视图重建方法。

为了利用本文描述的3d多视图重建方法，使用相机的立体对来获取图像。然后使用3d多视图重建处理图像。处理能够在没有人为参与的情况下自动进行。

在操作中，3d多视图重建方法使得能够将具有窄fov的2d图像有效地转换为3d内容。通过在2d中跟踪来获得速度并使用3d中的模型构建来获得精确度，实现了更好的结果。该3d多视图重建方法能够用在3d对象和场景建模中，用于增强现实、3d打印、虚拟现实以及定位(localization)和映射。

通过特征跟踪和模型配准进行3d多视图重建的方法的一些实施例

1.一种在设备的非暂时性存储器中编程的方法，包括：

获取一个或多个2d立体图像；

使用所述一个或多个2d立体图像重建3d多视图图像；和显示所述3d多视图图像。

2.如条款1所述的方法，其中获取所述一个或多个2d立体图像包括利用多个相机来捕获所述一个或多个2d立体图像。

3.如条款1所述的方法，其中获取所述一个或多个2d立体图像包括从服务器下载所述一个或多个2d立体图像。

4.如条款1所述的方法，其中所述一个或多个2d立体图像具有窄视野。

5.如条款1所述的方法，其中重建所述3d多视图图像包括：

修正所述一个或多个图像；

估计图像之间的差异；

实现跨相邻帧的2d像素跟踪；

通过将跟踪的2d像素映射到3d坐标来估计3d姿态；和

基于所述3d姿态构建3d模型。

6.如条款5所述的方法，其中重建所述3d多视图图像包括：

选择所述一个或多个图像的帧以加速；

如果图像的噪声高于阈值，则执行噪声检查以丢弃所述一个

或多个图像中的图像；和

选择所述一个或多个图像中的感兴趣区域以加速。

7.如条款1所述的方法，其中所述3d图像包括3d表面。

8.如条款1所述的方法，其中所述3d图像包括3d点云。

9.一种装置，包括：

用于存储应用的非暂时性存储器，所述应用用于：

获取一个或多个2d立体图像；

使用所述一个或多个2d立体图像重建3d多视图图像；

和

显示所述3d多视图图像；和

耦合到所述存储器的处理组件，所述处理组件被配置用于处理所述应用。

10.如条款9所述的装置，其中获取所述一个或多个2d立体图像包括利用多个相机来捕获所述一个或多个2d立体图像。

11.如条款9所述的装置，其中获取所述一个或多个2d立体图像包括从服务器下载所述一个或多个2d立体图像。

12.如条款9所述的装置，其中所述一个或多个2d立体图像具有窄视野。

13.如条款9所述的装置，其中重建所述3d多视图图像包括：

修正所述一个或多个图像；

估计图像之间的差异；

实现跨相邻帧的2d像素跟踪；

通过将跟踪的2d像素映射到3d坐标来估计3d姿态；和

基于所述3d姿态构建3d模型。

14.如条款13所述的装置，其中重建所述3d多视图图像包括：

选择所述一个或多个图像的帧以加速；

如果图像的噪声高于阈值，则执行噪声检查以丢弃所述一个或多个图像中的图像；和

选择所述一个或多个图像中的感兴趣区域以加速。

15.如条款9所述的装置，其中所述3d图像包括3d表面。

16.如条款9所述的装置，其中所述3d图像包括3d点云。

17.一种系统，包括：

多个相机，用于获取一个或多个2d立体图像；和

计算设备，被配置用于：

接收所述一个或多个2d立体图像；

使用所述一个或多个2d立体图像重建3d多视图图像；和

显示所述3d多视图图像。

18.如条款17所述的系统，其中获取所述一个或多个2d立体图像包括利用多个相机来捕获所述一个或多个2d立体图像。

19.如条款17所述的系统，其中获取所述一个或多个2d立体图像包括从服务器下载所述一个或多个2d立体图像。

20.如条款17所述的系统，其中所述一个或多个2d立体图像具有窄视野。

21.如条款17所述的系统，其中重建所述3d多视图图像包括：

修正所述一个或多个图像；

估计图像之间的差异；

实现跨相邻帧的2d像素跟踪；

通过将跟踪的2d像素映射到3d坐标来估计3d姿态；和基于所述3d姿态构建3d模型。

22.如条款21所述的系统，其中重建所述3d多视图图像包括：

选择所述一个或多个图像的帧以加速；

如果图像的噪声高于阈值，则执行噪声检查以丢弃所述一个或多个图像中的图像；和

选择所述一个或多个图像中的感兴趣区域以加速。

23.如条款17所述的系统，其中所述3d图像包括3d表面。

24.如条款17所述的系统，其中所述3d图像包括3d点云。

本发明根据结合细节的特定实施例已经被描述，以便于理解本发明的构造和操作的原理。本文对特定实施例及其细节的这种参考并非意图限制所附权利要求的范围。对于本领域技术人员来说明晰的是，在不脱离由所述权利要求限定的本发明的精神和范围的情况下，可以在用于说明而选择的实施例中进行其他各种修改。