多深度摄像头紧凑型全景扫描设备的制作方法

本发明涉及一种3d全景扫描和成像设备，尤其是一种具有多个深度摄像头的小体积紧凑型全景扫描装置。

背景技术：

虚拟现实(vr)技术中经常需要进行真实环境的3d全景建模，其中有很多的环境空间狭小，例如轿车的车厢内部、飞机的驾驶室等。对这些狭小环境的扫描或拍摄均不太方便。例如使用手持的设备时，可能会出现扫描到持着设备的人体，或者出现某些地方拍摄不到的情况，并且操作不够灵活快速。

vr中实现全景建模的设备包括全景摄像机，通常使用多个摄像头的方案，例如公告号cn106506925a的中国发明专利“一种全景摄像球”，采用多个摄像头实现360°的全景摄像。这类全景摄像机结构紧凑，可以在狭小环境内使用；但一般只能拍摄照片或视频，缺乏场景的深度信息，并非真正的3d全景模型；对狭小环境来说，缺乏景深会导致比较严重的失真，不利于vr的展示效果。

为获得较完整的3d深度信息，可以使用3d激光扫描仪。通常的激光扫描仪具有单个激光器，通过手持或者配备转台/滑台来工作，但扫描速度较慢。为了增加复用性和扫描速度，也有使用多个激光器的方案，例如公告号cn106500628a的中国发明专利“一种含有多个不同波长激光器的三维扫描方法及扫描仪”，包括了至少两个激光器。这类激光扫描仪适合精度要求很高的工业场所，对于消费级vr应用来说价格偏贵，且对狭小环境扫描来说体积偏大。

基于深度摄像头(例如kinect等)的3d成像设备对非工业级精度的vr应用场合具有更好的性价比。常见的也是采用单个深度摄像头的方案；若采用多个深度摄像头则大多配备多个支架进行支撑，例如公告号cn202293994u的中国发明专利“基于三维深度摄像头实时人体扫描三维雕塑装置”，使用了三根竖直设置的支架，并在每根支架上安装有多个深度摄像头。类似这样的配置不够紧凑，不适合在狭小环境中使用。

技术实现要素：

为了克服现有的3d扫描设备不太适合于狭小环境的全景建模，以及全景摄像机只能拍摄全景照片或视频而无3d深度信息的问题，本发明提供了一种多深度摄像头紧凑型全景扫描设备，集成了多个小型深度摄像头并配合单轴伺服转台来实现3d全景扫描，在综台考虑性价比的情况下，使设备结构尽量紧凑，适合对狭小环境进行3d全景建模，使用方便。

本发明解决其技术问题所采用的技术方案是：一种多深度摄像头紧凑型全景扫描设备，利用深度摄像头实现3d成像，包括至少一组从上到下紧密排列的三个深度摄像头，这些深度摄像头固连在壳体内腔的侧面，并和一个集线器电性连接，该集线器再与一个片上系统电性连接；该片上系统内包含了对深度和彩色图像的处理单元；该片上系统又与一个伺服驱动器电性连接，该伺服驱动器再与单轴伺服转台电性连接，该伺服转台的定于固连在壳体内腔的底面。

上述的多深度摄像头紧凑型全景扫描设备，所述的深度摄像头，是满足紧凑型要求的小型化成像设备，其中集成有深度传感器和彩色传感器，可同时拍摄深度图像和彩色图像。所述深度传感器包括红外发射器和红外接收器，而所述彩色传感器通常使用cmos感光芯片。本发明可选用primcsense深度摄像头，或者intel公司的realsense深度摄像头等型号；其中realsense深度摄像头的体积更小，作为优选方案。

所述一组三个深度摄像头的相互位置关系由深度摄像头的光心和光轴来确定。在本发明中，深度摄像头的光心是指深度摄像头中彩色传感器的感光中心；而光轴是指通过光心，垂直于彩色传感器感光平面并且指向拍摄方向的射线。深度摄像头中深度传感器的光心和光轴与彩色传感器的不同，但可以通过图像后处理操作将深度图像配准到彩色图像上，从而在逻辑上使两个光心和两个光轴相互重合。

所述一组三个深度摄像头的相互位置关系是：三个深度摄像头的光轴位于同一个竖直平面内，并且都指向同一个半平面；位于上方的第一深度摄像头的光轴指向该半平面的斜下方向，位于中间的第二深度摄像头的光轴指向该半平面的水平方向，位于下方的第三深度摄像头的光轴指向该半平面的斜上方向，从而保证三个深度摄像头在有部分视野相互重叠的前提下，总视野尽可能大。三个深度摄像头的相互位置关系将作为深度摄像头标定数据的一部分；另一部分标定数据包括深度摄像头的焦距等内参数。

上述的多深度摄像头紧凑型全景扫描设备，所述的集线器使用了星型拓扑结构来连接每个深度摄像头以及片上系统，将一个深度摄像头接口扩展成多个独立工作的深度摄像头接口，其中对深度摄像头接口的类型不做限制；作为本发明的优选方案，深度摄像头可采用usb接口，而该集线器则相应的采用usb集线器。

上述的多深度摄像头紧凑型全景扫描设备，所述的片上系统(soc)就是在芯片上集成了处理器、存储器以及外围电路等器件在内的完整的嵌入式系统。所述片上系统内固化了对深度/彩色图像的处理单元。所述片上系统的实施方式不做限制，可以采用基于arm、dsp、fpga、gpu或intelcpu芯片的片上系统。作为本发明的优选方案，采用基于arm和gpu芯片的片上系统。

所述片上系统中所包含的深度/彩色图像处理单元，具体包括电性串联的定点全景拼接单元、移动位置估算单元以及整体网格生成单元，这三个单元又各自与数据存储器电性连接。

所述片上系统中所包含的定点全景拼接单元，在本发明的设备放置于某一个地点时，将通过片上系统发出令设备旋转一周并同时进行扫描的指令，利用可预知的旋转角度以及预存在数据存储器中的深度摄像头标定数据，把接收到的深度/彩色图像扫描数据拼接起来，得到该固定点处的深度/彩色全景图，并把全景图的结果以及原始的深度/彩色图像数据缓存到数据存储器中。

所述片上系统中所包含的移动位置估算单元，在本发明的设备移动到一个新的临近地点后，将调用定点全景拼接单元所输出的当前点的全景图，并调用数据存储器中缓存的已有点的全景图和深度摄像头标定数据，通过图像匹配操作来估算当前点和已有点之间的相对位置，并把结果缓存到数据存储器中。如果无法估算当前点和已有点之间相对位置，则放弃当前点并重新移动到一个新地点。如果仅需要在一个地点进行全景扫描，则此单元不工作；

所述片上系统中所包含的整体网格生成单元，将调用移动位置估算单元所输出的当前点的位置，并调用数据存储器中缓存的深度/彩色图像数据和已有点的位置，通过深度图像的融合和网格化操作来生成整个已扫描场景的3d网格，并以彩色图像作为该网格的表面纹理；生成的3d整体网格及表面纹理将存入数据存储器中。如果仅需要在一个地点进行全景扫描，则所述整体网格就是由该地点处所扫描的深度和彩色图像所生成的3d网格。

上述的多深度摄像头紧凑型全景扫描设备，所述的伺服驱动器(又称伺服控制器)用来控制伺服转台的旋转，即控制旋转角度、角速度和角加速度，实现高精度的传动定位。伺服驱动器的启动指令由所述片上系统发出，具体的控制逻辑可预先设置，例如设置成匀速旋转一周，边旋转边扫描；或者旋转固定角度后暂停并拍摄，并重复这一过程直至满一周。

上述的多深度摄像头紧凑型全景扫描设备，所述的单轴伺服转台，其唯一的转动轴线位于所述深度摄像头的光轴所在的竖直平面内，并保持竖直。该伺服转台固定在壳体内腔的底面，即转台的定子与壳体固连，而转台的转子则伸出壳体之外，将与三脚架等外接支撑设备通过螺丝来固连；当伺服转台旋转时，将带动本发明的设备相对于固定的外接支撑设备作旋转。可通过三脚架等外接支撑设备来调整水准，使伺服转台的转动轴线接近于垂直地面，但这不是强制性的，本发明在转动轴线不垂直地面的情况下仍可正常工作，因为定点全景拼接单元和移动位置估算单元等部件均基于相对角度和相对位置来做运算。

上述的多深度摄像头紧凑型全景扫描设备，包含至少一组深度摄像头(即至少三个深度摄像头)，而具体的组数不做限制，但组数过多会增加设备的体积和成本。作为本发明的优选方案，采用一组三个深度摄像头。如果多于一组，则各组深度摄像头以所述单轴伺服转台的转动轴线为旋转对称中心，平均分布在壳体内腔的侧面。例如有两组深度摄像头时，如果其中一组深度摄像头绕着所述伺服转台的转动轴线旋转180°，则与另一组深度摄像头的位置重合，依此类推。如果有多于一组深度摄像头，则所述集线器的接口数量相应增加，而所述伺服驱动器所控制的旋转角度则相应减少。

本发明的有益效果是，在本发明中集成了至少一组的三个深度摄像头，可以拼接成大视野，配合伺服转台的旋转，适合做3d全景扫描；多个深度摄像头通过前述的特定排列方式和位置关系，使整体结构更加紧凑；所述伺服转台为单轴，比双轴的成本低且体积小，使整个设备可放置在狭小环境内，例如小轿车的车厢内部：本发明中包含的片上系统对扫描的深度和彩色图像进行处理，计算出深度/彩色全景图，并输出带有彩色纹理的3d网格，实现狭小环境的3d全景建模。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明结构示意图；

图2为本发明各单元电性连接关系图；

图3为单个深度摄像头结构示意图；

图4为一组三个深度摄像头的相对位置关系图；

图5为片上系统内部结构和工作流程图；

图6为伺服转台安装位置示意图；

图中，

1.第一深度摄像头，101.第一深度摄像头的深度传感器，102.第一深度摄像头的彩色传感器，103.第一深度摄像头的光心，104.第一深度摄像头的光轴，105.第一深度摄像头的视野，

2.第二深度摄像头，204.第二深度摄像头的光轴，205.第二深度摄像头的视野，

3.第三深度摄像头，304.第三深度摄像头的光轴，305.第三深度摄像头的视野，

4.壳体，

5.集线器，

6.片上系统，601.定点全景拼接单元，602.移动位置估算单元，603.整体网格生成单元，604.数据存储器，

7.伺服驱动器，

8.伺服转台，801.伺服转台的转动轴线，802.伺服转台定子，803.伺服转台转子。

具体实施方式

【实施例1】

多深度摄像头紧凑型全景扫描设备，如图1所示，包括一组从上到下紧密排列的第一深度摄像头1，第二深度摄像头2，以及第三深度摄像头3，这些深度摄像头固连在壳体4内腔的侧面，并和一个集线器5电性连接(如图2)，该集线器5再与一个片上系统6电性连接；该片上系统6内包含了对深度和彩色图像的处理单元；该片上系统6又与一个伺服驱动器7电性连接，该伺服驱动器7再与单轴伺服转台8电性连接，该伺服转台8的定子固连在壳体4内腔的底面。

如图3所示，第一深度摄像头1集成了深度传感器101和彩色传感器102，可同时拍摄深度图像和彩色图像。第一深度摄像头的光心103是指第一深度摄像头中彩色传感器102的感光中心，而第一深度摄像头的光轴104是通过光心103，垂直于彩色传感器感光平面并且指向拍摄方向的射线(如图4)。第二深度摄像头2、第三深度摄像头3的结构与图3中的第一深度摄像头1完全相同。

三个深度摄像头的光轴104、204和304位于同一个竖直平面内，并且都指向同一个半平面，如图4中的本发明的侧视图所示，位于上方的第一深度摄像头1的光轴104指向该半平面的斜下方向，位于中间的第二深度摄像头2的光轴204指向该半平面的水平方向，位于下方的第三深度摄像头3的光轴304指向该半平面的斜上方向，保证了三个深度摄像头的视野105、205和305在有部分重叠的前提下，总视野尽可能大，即总视野的边缘贴近于壳体4的边缘。

集线器5使用了星型拓扑结构连接深度摄像头1、2、3以及片上系统6，如图2所示，将片上系统6上的一个深度摄像头接口扩展成了多个独立工作的深度摄像头接口。本实施例中深度摄像头采用usb接口，而集线器5则相应的采用usb集线器。

如图5所示，片上系统6中包含了深度/彩色图像处理单元，具体包括电性串联的定点全景拼接单元601、移动位置估算单元602以及整体网格生成单元603，这三个单元又各自与数据存储器604电性连接。

定点全景拼接单元601在本发明的设备安放于某一地点时，通过片上系统6向伺服驱动器7发出使伺服转台8旋转一周的指令，并同时启动扫描，利用可预知的伺服转台8的旋转角度以及预存在数据存储器604中的深度摄像头标定数据，把接收到的深度/彩色图像扫描数据拼接起来，得到该固定点处的深度/彩色全景图；并把全景图的结果以及原始的深度/彩色图像数据缓存到数据存储器604中。

移动位置估算单元602在本发明的设备移动到一个新的地点后，调用定点全景拼接单元601所输出当前点的全景图，以及数据存储器604中缓存的已有点的全景图和深度摄像头标定数据，基于图像匹配操作来估算当前点和已有点之间的相对位置，并把结果缓存到数据存储器604中。

整体网格生成单元603调用移动位置估算单元602所输出的当前点的位置，以及数据存储器604中缓存的深度/彩色图像数据和已有点的位置，基于深度图像融合以及网格化操作来生成整个已扫描场景的3d网格，并以彩色图像作为该网格的表面纹理；生成的整体网格及表面纹理存入数据存储器604中。

伺服驱动器7用来控制伺服转台8的旋转，伺服驱动器7的启动指令由片上系统6发出。在本实施例中，伺服驱动器7的控制逻辑可设置为伺服转台8旋转个固定角度(如60°)后暂停一次，同时启用深度摄像头1、2、3进行拍摄，然后重复这一过程直至满一周360。

单轴伺服转台8的唯一转动轴线801位于三个深度摄像头1、2、3的光轴所在的竖直平面内，并且保持竖直，如图6中的本发明的正视图所示。伺服转台8固定在壳体4内腔的底面，即伺服转台的定子802与壳体4固连，而伺服转台的转子803则伸出壳体4之外。

在本实施例中，伺服转台的转子803将与三脚架通过螺丝来固定；以支撑本发明的设备。当伺服转台8旋转时，将带动本发明的设备相对于三脚架作旋转，实现在某个位置的全景扫描。然后可搬动三脚架到下一个临近位置，并再次启动旋转和全景扫描过程，直至完成对整个场景的扫描。

【实施例2】

在本实施例中，伺服转台的转子803将通过螺丝固定在一个移动平台之上，例如机器人之上。机器人可自动或遥控移动到某一位置停下，并自动启动伺服控制器7，驱动伺服转台8旋转从而进行该位置处的全景扫描；然后机器人自动或遥控移动到下一个位置停下，再次自动启动伺服控制器7，重复旋转及全景扫描的过程；依此类推。

本实施例中的各方面可以和实施例1中不冲突的任何方面相结合，以构成进一步的实施例，而不会丢失所要寻求的效果。

【实施例3】

本发明包含至少一组深度摄像头(即至少三个深度摄像头)，具体的组数不做限制，在本实施例中将使用两组深度摄像头。各组深度摄像头以单轴伺服转台8的转动轴线801为旋转对称中心，平均分布在壳体4内腔的侧面。即其中一组深度摄像头如果绕伺服转台8的转动轴线801旋转180°，则与另一组深度摄像头的位置重合。因为本实施例中有两组深度摄像头，则集线器5的接口数量相应增加，即共有六个接口；而伺服驱动器7所控制的旋转角度则相应减少，即只要旋转半周180°即可。

本实施例中的各方面可以和实施例1和2中不冲突的任何方面相结合，以构成进一步的实施例，而不会丢失所要寻求的效果。

【实施例4】

在本实施例中可以为本发明的设备添加无线传输单元，例如添加wifi或蓝牙模块，该无线传输单元与所述片上系统6电性连接，其目的包括但不限于远程观测全景扫描过程，远程读取最终的全景扫描结果，以及远程发送遥控指令等，例如向片上系统6远程发送伺服控制器7的启动指令。但该无线传输单元并不是必需的，本发明的实现并不依赖于无线传输单元。

本实施例中的各方面可以和实施例1、2和3中不冲突的任何方面相结合，以构成进一步的实施例，而不会丢失所要寻求的效果。