三维重建成像系统和三维重建成像方法与流程

本发明实施例涉及图像处理领域，尤其涉及一种三维重建成像系统和一种三维重建成像方法。

背景技术：

三维技术的应用越来越普遍。三维重建是指对要成像的三维对象建立适合计算机表示和处理的三维数学模型。传统的三维重建方法包括人工渲染、激光点云、多视角照相等方法。人工渲染的方法工作量大，而且模型的几何精准性和纹理精准性都无法保证。激光点云的方案能够得到精准的几何模型，但是无法得到精确的纹理。多视角照相的方法既可以恢复几何模型，也能够同时得到模型的表面纹理。但是基于多视角照相的三维重建的精度很大程度上取决于所拍摄的图像对对象的覆盖程度。过少覆盖会造成重建精度降低，甚至产生变形及空洞，过多覆盖会降低重建速度，甚至无法产生最终模型。

传统地，基于多视角照相的三维重建方法从不同视角拍摄的图像中计算对象的空间形状，并利用这些图像为对象的几何模型添加纹理。因此，图像的成像位置和角度、图像之间的夹角、图像内容的分辨率会综合影响三维重建结果的几何精度，也会直接影响纹理的清晰度。

因此，需要提供一种三维重建成像系统和三维重建成像方法来克服或缓解上述技术问题的至少一部分。

技术实现要素：

根据本发明实施例的一个方面，提供了一种三维重建成像系统，包括：

至少一个图像采集设备；以及

控制器，配置为设置针对所述图像采集设备的至少一个拍摄参数；根据至少一个拍摄参数计算所述图像采集设备的多个拍摄位置；进行控制以使所述图像采集设备在所述拍摄位置处分别对待成像对象进行拍摄以获取与待成像对象对应的多个图像；对所述多个图像进行三维重建以得到待成像对象的三维模型。

例如，拍摄参数可以包括图像采集设备的环绕层数n、每一个环绕层的环绕圈数mi、环绕半径rij、竖直拍摄夹角和相邻两个拍摄位置之间的水平拍摄夹角，其中n和mi是大于1的整数，i表示第i环绕层，i＝1......n，j表示第j环绕圈，j是大于等于1的整数。

例如，可以根据待成像对象的尺寸和外观复杂度来设置所述拍摄参数。

例如，拍摄参数可以被设置为：外侧环绕层的环绕圈数小于等于内侧环绕层的环绕圈数；外侧环绕层的水平拍摄夹角大于等于内侧环绕层的水平拍摄夹角；同一环绕层中不同环绕圈的水平拍摄夹角差不超过15％；同一环绕层中不同环绕圈的环绕半径在第一平面上的投影长度差不超过15％；以及外侧环绕层中的所有环绕圈在第一平面上的最小投影半径大于内侧环绕层中的所有环绕圈在第一平面上的最大投影半径。

例如，控制器可以被配置为执行以下步骤来计算第i环绕层、第j环绕圈处的多个拍摄位置：步骤s221，令计数值num为初始计数值0；步骤s223，确定(θij*num)是否小于360°，如果是则执行步骤s225；步骤s225，将极坐标(rij，θij*num，)转换为直角坐标(xnum+1，ynum+1，znum+1)；令num＝num+1，并返回步骤s223。

例如，控制器可以被配置为如果在步骤s223中的确定结果为否，则执行步骤s227，其中将步骤s225中得到的直角坐标(x1，y1，z1)......(xnum+1，ynum+1，znum+1)作为相应拍摄位置。

根据本发明实施例的另一方面，提供了一种三维重建成像方法，包括：设置针对图像采集设备的至少一个拍摄参数；根据至少一个拍摄参数计算所述图像采集设备的多个拍摄位置；使所述图像采集设备在所述多个拍摄位置处分别对待成像对象进行拍摄以获取与待成像对象对应的多个图像；对所述多个图像进行三维重建以得到待成像对象的三维模型。

根据本发明实施例，能够根据例如待成像对象的尺寸和复杂程度，自动生成图像采集设备的多个拍摄位置，从而获取适当数目及视角的图像以便进行三维重建，提高图像的拍摄效率。

附图说明

通过参考附图更加清楚地理解本发明实施例的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了根据本发明实施例的三维重建成像系统的方框图；

图2示出了根据本发明实施例的三维重建成像方法的流程图；

图3a示出了一种多层环绕方式设置的拍摄位置的示意图；

图3b示出了图像采集设备在图3a所示位置处获取的图像；

图4a～4c示出了根据本发明实施例的三维重建成像方法中设置拍摄参数的示例示意图；

图5示出了图2中计算拍摄位置的方法示例流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于多视角照相的三维重建方法由不同视角拍摄的图像计算对象的空间形状以进行三维重建。在利用图像采集设备对待成像对象进行拍摄时，图像采集设备的多个拍摄位置的分布是三维重建算法对数据源的内在要求，决定着数据源的质量。适当的拍摄位置分布能充分发挥三维重建算法的优势，以得到几何精准、纹理清晰的三维模型。

图1示出了根据本发明实施例的三维重建成像系统的方框图。如图1所示，根据本发明实施例的三维重建成像系统100可以包括：至少一个图像采集设备110_1～110_p以及控制器120，p是大于0的整数。本领域技术人员可以理解，尽管图1中将图像采集设备110_1～110_p与控制器120直接相连，这二者之间当然可以包括其他组件。此外，图像采集设备110_1～110_p与控制器120可以通过任意有线或无线的方式相连。

根据本发明实施例，控制器120设置针对至少一个图像采集设备的至少一个拍摄参数；根据至少一个拍摄参数计算图像采集设备的多个拍摄位置；进行控制以使图像采集设备在多个拍摄位置处分别对待成像对象进行拍摄以分别获取与待成像对象对应的多个图像；对多个图像进行三维重建以得到待成像对象的三维模型。

本领域技术人员可以理解，根据本发明实施例的三维重建成像系统可以包括一个图像采集设备。该图像采集设备在多个拍摄位置处分别待成像对象进行拍摄以分别获取与待成像对象对应的多个图像。根据本发明实施例的三维重建成像系统可以包括多个图像采集设备，例如两个或更多个图像采集设备，这些图像采集设备可以在多个拍摄位置处分别对待成像对象进行拍摄。

图2示出了根据本发明实施例的三维重建成像方法200的流程图。如图2所示，在步骤s210，设置针对图像采集设备的至少一个拍摄参数。

在步骤s220，根据至少一个拍摄参数计算图像采集设备的多个拍摄位置。

在步骤s230，进行控制以使图像设备在多个拍摄位置处分别对待成像对象进行拍摄以分别获取与待成像对象对应的多个图像。

在步骤s240，对多个图像进行三维重建以得到待成像对象的三维模型。

图3a示出了一种多层环绕方式设置的图像拍摄位置的顶视示意图。多层环绕拍摄模式是指沿着不同方向和距离，对目标对象实现多层次、环绕视角的拍摄，以完整覆盖目标对象360°表面，得到不同细节和分辨率的多组图像数据。图3a示出了环绕层数n＝3的情况。如图3a所示，s表示待成像对象，以s的几何中心为中心，按照从内向外的方向，由照相机表示的拍摄位置分别设置在第1层、第2层和第3层。环绕层数n表示由远到近、整体到细节的拍摄层次。图3b示出了图像采集设备在图3a所示的拍摄位置处获取的图像。如图3b所示，按照从左到右的顺序，图3b依次示出了图像采集设备分别在第1层、第2层和第3层的拍摄位置处对同一对象获取的图像。取决于待拍摄对象的大小和外观复杂度，对象越大且外观越复杂则使用越多的环绕层数。本领域技术人员可以理解，术语“外观复杂度”是指对象外观的复杂程度，例如可以包含但不局限于的纹理复杂度、色彩复杂度等度量，本发明实施例不对此进行限制。此外，本领域技术人员可以理解，本文所称的“一层”实质上是指距离中心在预定范围内的一个环形区间。

图4a～4c示出了根据本发明实施例的三维重建成像方法中设置拍摄参数的示例示意图；图5示出了根据本发明实施例的计算图像采集设备的拍摄位置的方法示例流程图。接下来将参考图3～图5来详细描述图2中的步骤s220的具体流程。

在步骤s220中，根据设置的拍摄参数计算多个图像拍摄位置。拍摄参数包括拍摄位置的环绕层数n、每一个环绕层的环绕圈数mj、环绕半径rij、竖直拍摄夹角和相邻两个拍摄位置之间的水平拍摄夹角，其中n和mi是大于1的整数，i表示第i环绕层，i＝1......n，j表示第j环绕圈，j是大于等于1的整数。例如，

在每一个环绕层i，可以根据对象高度以多个环绕圈进行拍摄。例如，按照竖直方向从上到下依次可分为顶圈大倾角环绕、上圈俯视环绕、中圈平视环绕，下圈仰视环绕、底圈大倾角环绕等五个圈次环绕拍摄。根据物体表面复杂程度，可以每隔5～15度设置一个图像采集位置。类似地，待成像对象的外观复杂度越高，则相邻两个拍摄位置的水平夹角可以越小。

图4a示出了根据本发明实施例的环绕层和环绕半径的示例示意图。图4a为顶视角，其中示出了按照竖直方向上从上到下第j圈的情况。如图4a所示，o表示待成像对象s的几何中心，以n＝3为例，以o为中心，按照从内向外的方向，i分别等于1、2和3。由此，处于第1层第j圈的图像采集位置的环绕半径为r1j，处于第2层第j圈的图像采集位置的环绕半径为r2j，以及处于第3层第j圈的图像采集位置的环绕半径为r3j。

图4b示出了根据本发明实施例的竖直拍摄夹角和相邻两个拍摄位置之间的水平拍摄夹角的示例示意图。图4b示出了第i层、第j圈的情况。如图4b所示，o表示待成像对象s的几何中心，点p1和点p2分别表示处于第i层、第j圈的相邻两个拍摄位置(即，图像采集位置)。如图4b所示，竖直拍摄夹角是指从点o到点p1的线段op1或点o到点p2的线段op2与竖直轴z的夹角。θij表示相邻两个拍摄位置之间的水平拍摄夹角，在图4b中表示为op1和op2在xy平面内的投影的夹角。本领域技术人员可以理解，图4b中的p1和p2具有相同的环绕半径rij以及相同的竖直拍摄夹角。可以将水平拍摄夹角设置为相等的(即，等距设置图像采集位置)或不相等的(即，不等距设置图像采集位置)，本发明实施例并不对此进行限制。

图4c示出了根据本发明实施例的多层多圈环绕设置图像采集位置的示例立体图。如图4c所示，长方体表示待成像对象s，o表示待成像对象s的几何中心，n＝3，即，包括3层。其中当i＝1时，m1＝2，即，j＝1和j＝5的圈，当i＝2时，m2＝2，即，j＝2和j＝4的圈，当i＝3时，m3＝1，即，j＝3的圈。

根据本发明实施例，可以根据以下规则来设置拍摄参数：

(1)外侧环绕层的环绕圈数小于等于内侧环绕层的环绕圈数；

(2)外侧环绕层的水平拍摄夹角大于等于内侧环绕层的水平拍摄夹角；

(3)同一环绕层中不同环绕圈的水平拍摄夹角差不超过15％；

(4)同一环绕层中不同环绕圈的环绕半径在xy平面上的投影长度差不超过15％；以及

(5)外部环绕层中的所有环绕圈在xy平面上的最小投影半径大于内部环绕层中的所有环绕圈在xy平面上的最大投影半径。

水平拍摄夹角取值可以在5°～15°之间。为保证对待成像对象的多视角覆盖，同一环绕层中不同环绕圈的水平拍摄夹角差可以不超过15％。

图5示出了在步骤s220中根据至少一个拍摄参数计算图像采集设备的多个拍摄位置。针对第i层、第j圈的拍摄位置，首先，步骤s221，令计数值num为初始计数值0。

在步骤s223，确定(θij*num)是否小于360°，如果是则执行步骤s225；如果否，则执行步骤s227。

在步骤s225，将极坐标(rij，θij*num，)转换为直角坐标(xnum+1，ynum+1，znum+1)；令num＝num+1，并返回步骤s223。

在步骤s227，将步骤s225中得到的直角坐标(x1，y1，z1)......(xnum+1，ynum+1，znum+1)作为多个相应拍摄位置。

本领域技术人员可以理解，在步骤s225中，当num等于0时，可以得到对应直角坐标(x1，y1，z1)，当num等于1时，可以得到对应直角坐标(x2，y2，z2)，以此类推，针对第i层、第j圈的所有拍摄位置，最终可以得到一组直角坐标(x1，y1，z1)......(xnum+1，ynum+1，znum+1)。

本领域技术人员还可以理解，以上示例针对第i层、第j圈的拍摄位置，可以针对所有环绕层i和环绕圈j来执行以上操作。

根据本发明实施例，能够根据例如待成像对象的尺寸和外观复杂度设置图像采集设备的拍摄参数，并根据拍摄参数自动生成图像采集设备的多个拍摄位置，从而获取适当数目及视角的图像以便进行三维重建，提高三维模型的拍摄效率。

在以上实施例中，本领域技术人员应该理解，通过使用方框图、流程图和/或示例，已经阐述了设备和/或工艺的众多实施例。在这种方框图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种方框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本公开所述主题的若干部分可以通过专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(cd)、数字通用盘(dvd)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。