立体图像采集系统的制作方法

本申请涉及建筑物室内三维建模技术领域，更具体地涉及一种新颖的用于三维建模的前期立体图像采集系统与方法。

背景技术：

室内建模是个早已存在的领域，其所制作的模型形式基本上以室内全景图像为主，如图1所示，这是房地产销售业所普遍使用的室内3d场景再现。

如图2所示以三维模型形式存在的室内模型数量一直很小，其原因主要是数据采集的难度和建模处理的难度以及费时、费力的制作过程。近几年对室内三维模型的需求正在增长，很多城市已陆续立项制作了一些大型公共场所的室内三维模型。

目前在业内普遍采用两种室内三维建模技术路径。技术路径1：派人现场勘测获得相关模型部件的尺寸信息，然后交由设计师通过专业的绘图软件进行手工制作。此技术路径的缺点在于原始数据的人工勘测获取过程费时、费力。技术路径2：针对技术路径1的缺点，技术路径2采用lidar或红外测深/距设备来获取室内模型的结构信息，避开了人工勘测的过程。但也因为lidar扫描的盲目性而造成了巨大的数据冗余，有用点的比率大概只占千分之一。例如，一个3米×5米的长方形墙面，当平均点间距为5厘米时，打在墙面上的总点数为：100×60＝6000(个点)，但定义这面墙形状的只有4个角点，有效率为4：6000。

另外，技术路径2一般是使用lidar或红外技术获取室内结构的“点云数据”，使用多个相机(有时为减少相机数量甚至使用鱼眼相机)拍摄平面360°无重叠的或极少重叠的全景图像，这样获取的全景图像只提供纹理，不参与提取结构信息。

建模基础数据的采集方法和结果决定了后续建模过程的内容、方法和效率。虽然技术路径2减少了大量的现场人工勘测，却增加了大量的内业人工操作。

技术实现要素：

在下文中给出了关于本实用新型的简要概述，以便提供关于本实用新型的某些方面的基本理解。应当理解，这个概述并不是关于本实用新型的穷举性概述。它并不是意图确定本实用新型的关键或重要部分，也不是意图限定本实用新型的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于以上问题，做出本实用新型，本实用新型旨在解决现有技术路径1的费时、费力、低效的人工劳动问题和技术路径2的高成本以及且超大数据量所导致的低效建模流程的问题。

根据本实用新型一方面，提供一种立体图像采集系统，包括：至少两台照相机；云台，在所述立体图像采集系统的中心节点处安装至支撑架的一端，中心节点是支撑架的延伸方向与连接臂的延伸方向的交点；至少两个连接臂，每个连接臂的一端与所述云台连接，且每个连接臂的另一端和/或中部与一台照相机连接；底座，与支撑架的另一端相连接；支撑架，连接在底座与云台之间，用于支撑云台。

根据本实用新型另一方面，提供一种立体图像采集方法，包括：设置云台的预定旋转次数以及每次的旋转角度，以及上下位移的幅度；使用至少两台照相机拍摄图像，其拍摄的图像具有重叠部分；判断云台的旋转是否达到预定旋转次数，如果没有达到，继续拍摄图像；如果达到了预定旋转次数，工作过程结束。

根据本实用新型的方法和系统既能避开现场的费时、费力的人工勘测，又能提供简单、直接、直观的立体图像，使得在不增加大量内业人工数据处理的情况下也可以完成室内三维建模的工作，将极大地提高室内三维建模的技术和效率，并进而推动室内三维模型的推广和使用。

附图说明

本实用新型可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，且用来进一步举例说明本实用新型的优选实施例和解释本实用新型的原理和优点。在附图中：

图1示出了现有技术中有序全景照片形式的室内模型的一个例子。

图2示出现有技术中室内三维模型的一个例子。

图3(a)示出了根据本实用新型实施方式的立体图像采集系统的示意性结构图。

图3(b)示出了图3(a)的侧视图。

图4示出了从一个视角得到的立体图像采集系统的三维视图。

图5示出了根据本实用新型实施方式的样本立体图像对。

图6示出了从另一个视角得到的立体图像采集系统的三维视图。

图7示出了根据本实用新型实施方式的立体图像采集方法的示例流程图。

图8是示出了可作为用来实现根据本实用新型实施例的立体图像采集方法的通用计算机系统的结构简图。

本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，不一定按比例绘制。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本实用新型实施例的理解。

具体实施方式

下面参照附图来说明本实用新型的实施例。在本实用新型的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本实用新型无关的、本领域普通技术人员已知的部件和处理的表示和描述。

根据本实用新型一方面，提供一种立体图像采集系统。图3(a)示出了根据本实用新型实施方式的立体图像采集系统的示意性结构图。图3(b)示出了图3(a)的结构的侧视图。如图3(a)和(b)所示，该立体图像采集系统主要包括：至少两台照相机320、云台310、连接臂330、支撑架340、底座350、托盘360、控制设备370以及激光测距仪380。下面逐一对各部件进行详细说明。为了方便说明，在以下描述中，如图3(a)所示，将其中一个连接臂330的延伸方向定义为x轴，将支撑架的延伸方向定义为z轴，并且将与x轴和z轴垂直的方向定义为y轴。

至少两台照相机320由控制设备370进行控制拍摄和曝光，当然照相机的操作也可以由工作人员现场手动控制。图中示出两台照相机320仅为示例，本领域技术人员可以根据实际情况需要设置更多台或一台。两台照相机320的拍摄和曝光可以是同时的，也可以不同时，只要拍摄位置与照片进行了绑定即可，这样就可以如稍后所述，利用拍摄位置提取照片中部件的结构特征点的位置信息。

照相机的参数可以如下设置：ccd、镜头、焦距的组合选择使得所拍照片的像素分辨率在1厘米左右；ccd的像素数在5千万以上或尽量大，可以考虑使用变焦相机或替换相机。

云台310安装于支撑架340的一端，可以被配置成与支撑架可活动地连接，能够相对于支撑架在xy平面内旋转(即绕z轴旋转)。这样就可以在保持底座350和支撑架不移动的情况下，更加灵活地使用本系统拍摄图像。当然，云台也可以固定连接到支撑架一端，这时可通过移动底座来旋转拍摄室内图像。

云台310连接有在xy平面内等间距布置的至少两个连接臂330，每个连接臂330的一端与云台310连接，而另一端经由托盘360连接照相机320。如图4所示，托盘360经由支撑柱361连接至连接臂330的另一端。支撑柱361的延伸方向与连接臂330的延伸方向垂直，并且托盘360可以绕支撑柱361的延伸方向旋转。在图3(a)和图4所示的示例中，支撑柱361的延伸方向与z轴方向重叠，从而托盘能够绕z轴旋转。在本实用新型的一个优选示例中，连接臂330能够绕自身的延伸方向旋转(在图3(a)中绕x轴旋转)，此时支撑柱361的延伸方向可能与z轴不重叠。托盘360和支撑柱361仅是示例，连接臂330还可以采用其他方式与照相机320连接，比如在连接臂330的端部设有一框体，照相机320可设于其间，或照相机320通过各种连接方法设于连接臂330端部的下方，连接臂330也可直接与照相机320的侧面连接，本实用新型在此不受限制。另外，照相机也不限于连接至连接臂330的一端，还可以固定到比如连接臂的中部，或者在连接臂的端部和中部均设有照相机。

连接臂330可以是可伸缩的，能够提前设置好几个固定长度作为连接臂的默认值，比如拉一截是30公分，拉两截是60公分，全拉出来是80公分等。每个连接臂也可分成若干段，比如分成三段，且每段之间能够成角度地连接在一起，即连接臂可以“折叠”，进而精度更高地控制照相机拍摄的角度(在此情况下，两台照相机320的距离和角度关系可被定义为：每台相机到云台中心点和坐标轴的距离和角度差。关于坐标轴的限定方法可参见以下关于摄影测量原理的描述)。连接臂330还可以通过可固定的铰接机构与云台310连接，进而可相对于云台进行俯仰运动，控制照相机拍摄的高度。

优选地，上述立体图像采集系统的至少两台照相机320相对于彼此的角度关系可被设置成：使得其拍摄的图像的重叠部分最大化，最大可达到100％的重叠。

如图3(a)所示，支撑架340的另一端与底座350固定连接，底座350的底部可安装有带脚刹的万向轮，以便移动采集系统并且在将采集系统移动到目的地时通过脚刹来限制万向轮的移动。图3(a)中的底座350具有方形轮廓，并且其底部的各个角点附近安装有4个万向轮。然而，底座350的结构不限于此，其还可以具有其他轮廓，诸如图4所示的u形轮廓。在图4所示的底座350中，其底部安装有3个万向轮。3个万向轮中的一个为导向轮，位于u形的底部；其他两个轮子位于u形的端部。

优选地，支撑架340连接在底座350的重心处，以保持采集系统的平稳。

如图3(a)、图3(b)和图4所示，支撑架340为柱状的单个臂，该臂优选地可以伸缩以调整云台的高度。然而，支撑架340构造不限于此，诸如支撑架340可以包括可伸缩的3个臂。此时，可以通过同时调节三个臂的长度来调整云台相对于底座的高度，并且优选地，支撑架340上安装有水平仪以通过微调三个臂的长度来使云台处于水平面内。优选地，支撑架340可折叠，进而可更方便地控制系统整体的高度。

云台的一侧安装有激光测距仪380，图6示出了其安装示意图。激光测距仪用于测量房间高度，并且控制设备370将所测量的房间高度与相应的拍摄图像相绑定。激光测距仪可以通过粘贴、螺纹固定、磁铁吸附等方式来固定至云台。

激光测距仪并不是必需的部件，本领域技术人员可以根据激光测距仪的作用和自身需要来选择是否安装。安装激光测距仪的主要作用如下：

当被拍摄部件的局部被遮挡时，可以通过激光测距仪来辅助得到部件的一些位置数据以构建部件模型；或者可以仅采集部件的部分结构特征点，并结合激光测距仪得到的高度信息，来构建部件模型，例如在对正方形墙面进行建模时，可以仅获取墙面水平方向的角点的位置数据，此时结合测距仪得到的墙高数据即可构建墙的三维模型。其中，如上所述，结构特征点是决定部件的外形的点。

激光测距仪可以跟照片曝光同步，每次曝光测量一次，高度数据即与照片绑定。激光测距仪也可以不与照片的曝光同步，在每次测距后将高度数据与照片数据绑定即可。

优选地，如图4所示，云台310上安装有指北针390，用于指示云台的旋转角度。在初始工作时，云台自动归北，之后根据提前设置的参数旋转并且照相机进行拍摄。比如从正北开始，顺时针每30°拍摄一组相片。优选地，云台的旋转角度的精度优于1°。

另外，云台310的绕z轴旋转和在z轴上的移动、连接臂的伸缩、托盘的旋转可以由工作人员现场手动控制。

如图3(b)所示，控制设备370安装在支撑架340的上部，其用于控制照相机370的拍摄。

云台310的旋转和移动还可以由电动设备控制。故此控制设备370还可以配置成：控制连接臂330的伸缩长度，控制托盘绕支撑柱340的延伸方向的旋转角度，控制支撑架340的伸缩高度，以及控制云台绕z轴的旋转角度。优选地，控制设备370还可以控制连接臂330相对于自身的延伸方向的旋转角度。

控制设备370可以通过多种方式来实现对云台、伸缩臂和托盘等的控制。例如，可以提前设置云台的旋转次数、每次的旋转角度、上下位移的幅度等。该控制设备还可以将每次的旋转角度、位移幅度、连接臂的长度数据与每次拍摄的图像绑定，用于日后对图像的调取和进一步利用。

图4是从一个视角得到的立体图像采集系统的三维视图，其中示出了该控制设备370的安装示例图。如图4所示，该控制设备安装在支撑架340一侧，且在与激光测距仪相反的侧上(图6是其背面图)。在实际应用中，该控制设备可根据实际需要，安装在支撑架的任一侧，也可以安装在云台的任一侧，或安装在支撑架/云台的内部。控制设备包括一个屏幕，用于显示设置的旋转次数、旋转角度、位移幅度等。

上述控制设备还可以是手持设备，便于用户在其上设置云台的旋转角度、旋转次数和上下位移幅度，并且用户可以实时观看拍摄的图像，且根据拍摄的图像的角度、重叠度等随时调节旋转角度、上下位移幅度、相机角度等。

下面描述根据上述实施方式的立体图像采集系统所采集的图像以及在此基础上进行建模的过程。

图5示出了使用上述系统拍摄出的图像对。如图5所示，两张照片从不同角度拍摄，且都包含中间的带窗的墙，也就是三维建模的对象。与现有技术不同的是，根据本实用新型实施方式的技术方案，用来建模的原始数据是室内立体图像对，即组成一对的两张照片。两张照片之间具有重叠，可以形成立体，也被称为“立体像对”。

下面描述从该立体图像对，对重叠部分中包含的部件(即图4所示的墙)进行三维建模的示例方法。

具体来说，可以从重叠部分中选取上述部件也就是墙的结构特征点，结构特征点是决定部件的外形的点；利用摄影测量的原理来获取结构特征点的位置数据。

上述摄影测量原理的公式如下：

首先列出空间中的点(x，y，z)的双线性方程：

公式(1)和(2)是双线性方程，定义了物方点(空间或大地坐标系中的点)、外方位元素(即图像的拍摄位置和拍摄方向角，共六个参数)、相机参数与图像上的点之间的严格投影与数学关系。

对该方程中的参数解释如下：x0和y0为相机的主点偏移量，x0、y0、z0为图像的曝光点坐标，f为相机焦距，都是已知量。其中m11-m33为这张图像的旋转矩阵m的元素，旋转矩阵由这张图像曝光时的三个方位角(下面描述具体设定方式)决定。假设三个方位角分别为：ω、φ、κ，则旋转矩阵m为：

每一对立体图像各自的外方位元素即拍摄位置和拍摄方位角，在拍摄图像时已经确定了下来，因此可被视为已知量。

具体来说，拍摄位置可以这样设置：在使用两台照相机的情况下，可以设置两台照相机的中心为坐标原点，以坐标原点来设置坐标轴，比如向右为正x方向，向上为正y方向，正z方向为垂直于屏幕向外的方向。两台照相机每次相对于坐标原点在坐标轴上的位置即为拍摄位置。

关于方位角，可以是一台或多台照相机相对于上述坐标轴的角度差。

关于位置和方位角，本领域技术人员还可以根据实际情况需要进行其他设置，只要能列出双线性方程求出图像中的点在空间中的物方坐标即可。

利用双线性方程，我们可以算出图像中一对同名点(比如图4两张图像中带窗墙面左上角位置的点)在空间中的物方坐标。每一个空间中的点(物方点，坐标：x、y、z)与其在某一张图像上的投影点(坐标：x，y)定义了两个方程，当这个物方点也同时出现在另一张图像(立体像对)中时，一共就有了四个方程，三个未知量(x、y、z)，直接按最小误差求解可得。

然后，再基于部件的结构特征点的位置数据来得到部件(即照片中的墙)的基础三维模型，最终得到墙的结构数据。

根据本实用新型实施方式得到的部件三维模型的纹理像素都有三维坐标，根据部件即中间的墙的纹理边界或角点与部件边界或角点之间的一一对应关系，为墙贴图，从而得到的墙的三维模型既有结构也有纹理。在此，纹理边界(角点)指的是部件表面上需要贴纹理的部分的边界(角点)。

以上描述了在三维模型建模中得到房间中一个部件比如墙的三维模型的示例流程。作为室内三维建模流程的第一步，建模基础数据的采集不但决定整个建模流程效率，同时其采集的数据也决定了后续建模步骤的内容、方式和效率。在背景技术部分描述的两种技术路径的一个共同点是它们都无一例外地只采集无重叠(即无立体)的全景影像。对于室内建模的最终目的来讲，纹理与结构都是必需的基础数据，而这两种技术路径都不能同时提供两种数据。

在本实用新型实施方式的立体图像采集系统得到的立体图像对的基础上，不但可以得到结构信息还可以得到纹理信息，可谓一举两得。

此外，在本实用新型实施方式的立体图像采集系统得到的立体图像对的基础上进行建模，这要比现有技术中通过红外打点的方式进一步节约后期工作人员的劳动力，降低了整体工作成本。

此外，本实用新型的技术方案不需要使用lidar或红外设备，进一步降低了成本。而且，根据本实用新型实施方式的技术方案得到的部件三维模型是单体化的，可拆除，这为以后的工作提供了便利。

我们可以继续对房间内其他部件(比如屋顶、地面等)进行这样的建模，步骤与以上相似。在此之后，把得到的各部件的三维模型拼接起来，就得到一个房间的三维模型。在拼接时，根据本实用新型实施方式，所有部件的采集都是在有外方位元素存在、控制的条件下完成的，所有部件的位置坐标能反应它们之间的真实空间位置关系，可以利用该条件把坐标相近的点或线接在一起，自动化地或高度自动化地完成室内拼接工作，形成完整的房间模型。

在此所列的具体实施方案和数值均是为了解释本实用新型，不用于限制本实用新型的范围。本领域技术人员可以根据需要进行其他设置。另外，以上在三维模型建模的场景下描述了立体图像对的采集系统，该系统还可以应用于其他场景。

根据本实用新型另一实施方式，还提供一种使用以上立体图像采集系统采集立体图像的方法。图7示出了该方法的示例流程图。如图7所示，该方法包括：步骤s701，设置云台的预定旋转次数以及每次的旋转角度，以及上下位移的幅度；s702，使用至少两台照相机拍摄图像，其拍摄的图像具有重叠部分；s703，判断云台的旋转是否达到预定旋转次数；s704，如果没有达到，继续拍摄图像；如果达到了预定旋转次数，工作过程结束。通过以上方法来实现对房间内的所有物体的自动拍摄。上述预定旋转次数的设置可以根据房间大小、房间里设备的多少来进行，比如设备比较多时，可以将每次旋转角度设置得小一些，旋转次数多一些；并且设备比较少时，可以将每次旋转角度设置得大一些，旋转次数多一些。

该方法还可以包括：通过支撑在云台与底座之间的可伸缩支撑臂和/或与云台通过铰接方式连接的可伸缩连接臂的升降，来决定云台的高度，从而拍摄位于不同高度的图像；确定两台照相机相对于彼此的角度，使得重叠部分最大化，最大重叠可达到100％；在拍摄后将每次的旋转角度、上下位移幅度、连接臂长度的数据与每次拍摄的图像绑定；通过激光测距仪测量房间的高度，且测量的高度数据与照相机拍摄的图像绑定。

可以看出，本实用新型实施例的立体图像采集方法可以执行与前述系统实施例的部件相类似的处理，因此，方法实施例中未详述部分，请参见系统实施例中相应描述，这里不再赘述。

上面已通过流程图对本实用新型实施例的采集方法进行了详细描述。本领域的技术人员明白，该实施例中的各功能和/或操作可以通过各种硬件(如云台、步进器、数字传感器等)、软件、固件或实质上它们的任意组合而单独地和/或共同地实施。在一种实施方式中，本说明书中描述的主题的几个部分可通过特定用途集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)或其他集成形式实现。然而，本领域的技术人员会认识到，本说明书中描述的实施方式的一些方面能够全部或部分地在集成电路中以在一个或多个计算机上运行的一个或多个计算机程序的形式(例如，以在一个或多个计算机系统上运行的一个或多个计算机程序的形式)、以在一个或多个处理器上运行的一个或多个程序的形式(例如，以在一个或多个微处理器上运行的一个或多个程序的形式)、以固件的形式、或以实质上它们的任意组合的形式等效地实施，并且，根据本说明书中公开的内容，设计用于本公开的电路和/或编写用于本公开的软件和/或固件的代码完全是在本领域技术人员的能力范围之内。

例如，上述立体图像采集方法的处理流程图中的各个步骤可以通过软件、固件、硬件或其任意组合的方式来执行。在通过软件或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的计算机(例如图8所示的通用计算机800)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能。

因此，本实用新型还提出了一种存储有机器可读取的指令代码的程序产品。指令代码由机器读取并执行时，可执行上述根据本实用新型实施例的立体图像采集方法。相应地，用于承载这种程序产品的上面列举的各种存储介质也包括在本实用新型的公开中。

图8是示出了可作为用来实现根据本实用新型实施例的立体图像采集方法的通用计算机系统的结构简图。计算机系统800只是一个示例，并非暗示对本实用新型的方法和装置的使用范围或者功能的局限。也不应将计算机系统800解释为对示例性操作系统800中示出的任一组件或其组合具有依赖或需求。

在图8中，中央处理单元(cpu)801根据只读存储器(rom)802中存储的程序或从存储部分808加载到随机存取存储器(ram)803的程序执行各种处理。在ram803中，还根据需要存储当cpu801执行各种处理等等时所需的数据。cpu801、rom802和ram803经由总线804彼此连接。输入/输出接口805也连接到总线804。

下述部件也连接到输入/输出接口805：输入部分806(包括键盘、鼠标等等)、输出部分807(包括显示器，例如阴极射线管(crt)、液晶显示器(lcd)等，和扬声器等)、存储部分808(包括硬盘等)、通信部分809(包括网络接口卡例如lan卡、调制解调器等)。通信部分809经由网络例如因特网执行通信处理。根据需要，驱动器810也可连接到输入/输出接口805。可拆卸介质811例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器180上，使得从中读出的计算机程序可根据需要被安装到存储部分808中。

在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质811安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图7所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质811。可拆卸介质811的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(cd-rom)和数字通用盘(dvd))、磁光盘(包含迷你盘(md)(注册商标))和半导体存储器。或者，存储介质可以是rom802、存储部分808中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

尽管根据有限数量的实施例描述了本实用新型，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本实用新型的范围内，可以设想其他实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本实用新型的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是明显的。关于本实用新型的范围，对本实用新型所做的公开是说明性的，而非限制性的，本实用新型的范围由所附权利要求书限定。