用于获取物体表面三维形貌的无线手持式三维扫描设备的制作方法

文档序号:16005374发布日期:2018-11-20 19:59阅读:254来源:国知局

本实用新型属于物体表面几何形状的三维扫描领域,尤其是一种具有数据前端处理功能的无线手持三维扫描设备。



背景技术:

物体表面的何形状的三维扫描和数字化技术现在被普遍地应用于很多工业和服务中,它的应用领域是非常广泛的。这些应用领域的一些例子如下:工业生产系统中的外形一致性检查和测量;工业造型设计中的设计模型和样件的数字化;具有复杂几何形状的零部件的逆向工程;多媒体和游戏应用中的交互式虚拟现实技术;文物,艺术品等高价值物品的非接触三维数字化。

测距传感器可以测量传感器和物体表面上一组点之间的距离,从而获得目标表面上各点在传感器坐标系上的三维坐标。但此时获得的三维坐标集合仅仅是表面可见部分的距离测量。为了完整的获得整个物体的数字化形状,传感器必须移动视角以覆盖整个物体表面。根据各个视角在全球公用坐标系统上的方位以及对应视角传感器坐标系上的局部三维坐标,旋转平移组合全部的局部坐标集合,即可以获得整个目标物的完整数字化外部形状。

关于测距传感器发展了很多不同的理论,其中,干涉度量法(interferometry),飞行时间(TOF) 和多视角摄影测量法的原理是公知的理论,根据精度要求、传感器和物体之间的距离以及景深要求,每一种理论都有其适用的范围。

我们特别关注基于多视角摄影测量原理的测距传感器,此类传感器通常适用于近距离测量,尤其是分米~米长度级别的距离测量。此类方法模拟生物的立体双目视觉,人们必须从两个不同视角收集同一目标的两个观测值,这两个视角相对位置固定。综合视角顶点的连线和两个光线方向,可以获知被观测点的相对位置,即使用三角形中的一条边长和两个角求解三角形顶点。进一步的,如果用在己知方向上发射一组光线的光线投影器来替代光线检测器,那么使用投影器的方向线替代双目方案的其中一个视角,也可以检测光线求解三角形。

光线投影器的使用替代了图像目标物的复杂检测,同时可以提供密集的表面点测量集。典型的光源有投射点光线、光照平面或其他简单几何图案排布的激光光源。CCD和CMOS 数码相机是最常用的光线检测器。

扫描一个物体的就是要收集物体表面上点的信息,并将其构造成曲线(轮廓)或深度图像的形式。为了扫描物体的整个表面,需要移动传感器实现全方位覆盖。一般来说,传感器通常至少包含一个光线检测器和一个投影器,且光线检测器和投影器是刚性集成的。通过利用机械系统带动或手持围绕物体转动扫描,非常适合快速扫描物体或物体必须在现场扫描的情况。

以上步骤获得了物体在设备坐标系下的扫描数据,扫描整体轮廓需要将数据转换到相对于物体来说是固定的全球公用坐标系统,这需要连续评估仪器的位置和方向。一类方法是通过使用与测距传感器相耦合的定位装置来完成,但存在增加仪器的复杂度和成本以及可能限制集成数据质量的问题。另一种替代方案是使用在刚性物体上收集到的测量结果来计算仪器和物体之间相对位置和方向,但是这种系统完全依赖于物体的几何形状并且对所保持姿势的准确评估较为困难。

为了改进上述的方法,可以使用从场景中的提取的固定点及特征,通过多视角特征匹配,就可以使用照相测量法理论。但这种场景中的自然点存在密度或质量是不充分的问题,进一步的,使用人工设置的固定目标,可以较好的解决特征点不足或难以精确检测的问题。使用这种类型的系统,一般首先测量和建立特征目标的框架,使用扫描图像中的目标信息,实现当前位置检测数据和整体目标数据的拼合。

通过利用机械系统带动或手持围绕物体转动扫描,非常适合快速扫描物体或物体必须在现场扫描的情况。现有的手持设备受到电源和数据线长度的限制,扫描大型或表面结构较复杂的目标时,操作受限或非常不便,为了改进上述的方法,可以使用无线传输和电池供电的模式,同时为了解决附加高数据传输量的问题,采用前端处理+无线的方式可以获得更好的使用体验。

然而,前端图像处理需要的大量计算和无线设备功耗,如何提高设备的续航能力;高帧速原始图像的数据量大于有效带宽的条件下,如何稳定传输大量的检测数据;前端处理和无线传输带来的设备重量变化和便携性的冲突如何协调,是本实用新型要解决的技术问题。



技术实现要素:

本实用新型的目的在于克服现有技术的不足之处,提供一种在世界坐标系内获得物体表面空间坐标点的便携式手持3D激光测量设备。

本实用新型解决技术问题所采用的技术方案是:

一种具有数据前端处理功能的无线手持三维扫描设备,图案投射装置,图像传感设备,无线通信模块,移动电源模块,还包括一组用于分析图像数据和控制前端设备状态的移动处理平台,实现图像数据到目标检测结果压缩数据的输出,实现设备状态探测,实现与上位机的数据和命令交流。

图案投射装置,图像传感设备,无线通信模块,移动电源模块,温度传感器均连接在处理单元的接口上。图案投射装置,图像传感设备,无线通信模块,移动电源模块和核心的移动处理单元可以集成到一个结构件内部,也可以将移动处理单元外挂到现有的仅包含图案投射装置,图像传感设备和驱动电路的有线手持设备上。本设备还包括音频信息反馈设备,告警设备的异常状态;移动电源模块采用双模供电模块,可使用外接电源和电池两种供电模式。图案投射装置是由若干激光器和LED按一定投射角度组合,具有独立或统一点亮时序的设备。

所述移动处理平台包括至少一个移动处理单元,移动处理单元包括至少一个前端计算器,所述前端计算器用于进行前端数据运算;所述的前端计算器从图像中提取扫描目标物表面标记点和表面点的2D特征数据,根据2D特征数据集进行三维重建得到三维特征数据集。

其中,移动处理单元使用CPU+GPU的构成方案,其中高速图像处理模块使用GPU实现;也可以使用DSP、FPGA、ARM实现。上述移动处理单元及其支撑电路构成的移动处理平台,替代了现有的传输图像的手持前端中包含的相机控制电路,由于上述核心方案的高集成度,即使额外包含了电池和散热装置,优化设计了结构的前端设备重量也仅仅是略高于现有的手持前端,由于扫描中无需使用电源和网线,或二者集成的连接线,使用的便利性大大提高。

移动处理单元包括前端图像处理器,该模块以高帧速接收相机图像,该模块可以从图像中提取至少4个扫描目标物表面标记物的几何参数和光学参数,也可以从图像中提取图案投射装置在扫描目标物表面上漫反射得到的图样的坐标位置和光学参数;本方案的表面标记物为圆形,对应几何参数为椭圆的5个几何参数;光学参数为目标范围内点的分段亮度分布统计值。上述两种检测功能可同时运行,也可单独运行。本模块使用计算平衡技术,把计算中可以同时进行的部分,分配到构成所述移动处理单元的不同电子芯片中,可以充分利用前端有限的资源,降低硬件要求。

移动处理单元包括实时设备参数调控模块,使用高速图像处理模块两个分支计算的光学参数的统计值,计算修改图案投射装置和图像传感设备的运行参数;通过与移动处理平台,根据参数控制上述设备完成接收图像的实时控制。由于上述设备直接与移动处理单元连接,信号的速率和完整度均高于现有的上位机发送控制的连接方式,控制的实时性更好。

移动处理单元包括数据压缩和发送模块,上述检测数据使用结构化的数据存储,压缩模块将数据通过压缩算法合并成信息相同但数据量较少的数据包;然后将上述数据包向上位机发送,压缩数据可在上位机还原为原始结构化数据。由于使用前端图像处理器,上述发送数据的数据量低于原始图像数据量的10%,在无线传输速率一定的条件下,单位时间可以传输更多帧更大分辨率图像的检测数据,有效支撑整体系统的更高速扫描。上述数据压缩模块还包含数据校验,能有效检测并处理传输导致的局部数据异常,对比难以纠错的原始图像数据,有效降低传输错误带来的突发扫描精度异常。

移动处理单元包括状态接收和发送模块,移动处理平台与外围设备的接口,获取设备参数,电源模块参数,设备温度信息,设备按键动作等信息构成设备状态数据包,然后将上述数据发送至上位机和前端便携显示屏;同时,上述信息的部分信息还可以使用设备端包含的警示灯和声音模块完成异常告警。

移动处理单元包括设备连接控制模块,模块通过获取上位机提供的包含连接信息的二维码,识别设备对应的上位机目标并设置实现设备和上位机的无线或有线连接。

最后,移动处理单元还包括功能调度和核心控制模块,该模块实现上述全部模块的调度和移动处理单元硬件状态的控制,可将移动处理单元设置为全性能,普通和低功耗等多种工作模式;根据前端图像处理器的状态切换模式,有效延长了前端设备的续航时间。

本设备包含连接在移动处理单元上的无线通信模块,使用WiFi芯片和内置天线实现;同时使用无线和有线两种可切换模式,传输所述压缩数据;所述无线模式使用WiFi收发命令和数据,所述有线模式使用USB3.0和千兆网线收发命令和数据;所述切换方法使用人工和自动检测前端连接条件两种模式,不存在有线连接时自动启用无线连接,也可以在不适合无线的环境中改为有线连接。

此外,设备的实现形式不仅限于上述的一体化前端,也可以使用分体式设计进一步减轻扫描负重。方案为,移动处理单元,无线通信模块和移动电源模块共同组成外置的处理盒;图像传感器,图案投射装置和其他传感器构成最小化的前端;处理盒挂在使用者衣物表面或衣袋中,通过短距离的柔性电缆与的最小化前端相连;最小化前端重量极大减小,长时间扫描更不容易疲劳。此外,仅移动电源模块外置的方案也是可以的。

除了传统的上位机显示外,本设备存在连接在所述前端设备上的便携显示屏,所述显示屏用于显示设备状态信息和扫描模型图像;所述扫描模型图像由上位机生成,使用无线的 HDMI传输;所述信息包含所述图案投射装置的配置参数;包含所述移动电源模块的状态信息。传统的有线手持扫描大物体是需要上位机设备两端不停的来回观察上位机屏幕上的扫描结果和前端对着的扫描位置,受限于连接线长度和操作人员的视力,扫描件较大时可能还需要不断搬移上位机,极为不便,本方案的随身显示设计,极大的提高了操作的便利性和扫描效率。

本设备与上位机连接构成完整的测量系统,上位机包括后端立体重构设备,立体拼接设备,模型生成设备和模型展示设备等。

图案投射装置包含激光器和LED光源,使用固定在前端设备上的激光投影器将图案投影在所述表面上;使用由至少3个LED光源正多边形排布构成,几何中心与一个传感器镜头组的光学中心接近且发射方向和传感器镜头组的光轴方向近似平行的光源照射所述标记物;所述标记物为不同反光率材质构建的对称双层几何图案,所述几何图案为圆形但不仅限于圆形,所述标记固定在所述物体的表面上且可在扫描过程中补充添加。

所述图案投射装置包含使用特定波长的光过滤装置的镜头,所述过滤装置透过的光为两种频率,分别与所述激光投射器和LED投射装置各自的光频率对应;

所述图像传感设备包含同步触发控制模块,用于在一个图像采集周期的开始触发所述激光投射器和LED投射装置;

移动处理单元读取所述图像传感设备采集的图像,计算所述表面上标记物和表面上漫反射的图样的位置数据和光学参数,并将其压缩传输;所述数据在上位机接收并完全还原为所述位置数据和光学参数;

移动处理单元读取所述表面上标记物和漫反射得到的图样的光学参数,计算并控制所图案投射装置的参数,实现最佳的检测效果。

本实用新型的优点和有益效果:

1、本设备具有更高扫描速度,现有手持扫描设备仅实现图像接收传输的方案,改为无线时,受限于带宽,扫描速度较差,本方案使用处理后的数据,配合数据压缩,突破原有限制,可以实现更高速度的扫描。

2、本设备具有更高的扫描精度,具有前端处理能力的设备支持更高的扫描分辨率,较少的带宽占用支持前端设备采用更高分辨率的相机,提供更高的扫描精度。

3、本设备具有更高的整体扫描系统速度,前端计算和现有的传输原始图像的模式相比,减少了上位机端的计算量,有助于整体达到更高的扫描速度。

4、本设备采用无线连接,电池供电,不受数据线和电源线的长度限制,10米以内稳定连接,扫描更加便利,特别是扫描大物体时;移动处理单元包含二维码扫描模式,可简易实现设备到上位机的连接。

5、本设备具有显示屏,当扫描位置远离上位机而无法看清显示屏幕时,提供随身的扫描过程显示,便于使用者随时调整;设备状态和告警信息可以直观的显示到屏幕上,远优于现有有线扫描常用的上位机端和设备发声提示,极大的提高了操作的便利性和扫描效率。

附图说明

图1为本设备的电路框图;

图2为本设备的立体结构图;

图3为参考目标附着在其上并且图形投射到其上的表面部分的图示;

图4为本设备的处理流程模块图示;

图5为本设备分体式设计的结构示意图。

具体实施方式

本实用新型可以通过以下所述实例来实践,在以下描述中,参考附图是为了说明实例。本实用新型可以通过所述实例来实践,也可以在不脱离所揭示的本实用新型的范围的情况下通过实施其它实施例来实现。

一种具有数据前端处理功能的无线手持三维扫描设备,如图1所示,包括移动处理平台,及分别与移动处理平台连接的图案投射装置(激光投射装置、LED投射装置)、图像传感器、电池模块、随身显示屏、距离报警装置、按键、设备状态传感器。移动处理平台包括智能设备控制模块、图像和数据处理器及数据发送模块。智能设备控制模块分别与图像和数据处理器、数据发送模块连接,图像和数据处理器与数据发送模块连接。

移动处理平台实现图像数据到目标检测结果压缩数据的输出,实现设备状态探测,实现与上位机端后处理部分的数据和命令交流。

图2为本设备的立体结构图,包括壳体、激光投射装置3、图像传感器1及LED投射装置2,所述壳体由底座4及手持部6两部分构成,在底座的顶面竖向固装一条形的手持部,在手持部的正面上下间隔对称固装两图像传感器,在每一图像传感器上均固装一环形的LED 投射装置,在两图像传感器之间的壳体上固装激光投射装置,在手持部侧面安装的显示屏5,在底座内安装电路板及电池。上述显示屏可以通过活动转轴和卡扣与手持部侧壁连接,以设备侧边和屏幕的连接的活动转轴为转轴,打开另一侧的卡扣向外翻起,可以使屏幕面向使用者;显示屏也可以将显示屏完全拿出,手持观察。

此外,上述结构还存在外挂模式的变形分支,所述的移动处理平台,数据发送模块和移动电源模块共同组成外置的处理盒7,图像传感设备,图案投射装置和对应的传感器构成最小化的前端9,处理盒挂在使用者衣物表面或衣袋中,通过短距离的柔性电缆8与最小化前端相连,如图5所示。

图3为参考目标附着在其上并且图形投射到其上的表面部分的图示,设备运行前,首先将高反光率的目标附着到场景和被测物上。在此实例中,参考目标是表面具有回归反射特性的目标,其图案在多边形灯组的发光波段下是可见的,材料被低反射率颜色(例如黑色)的环包围,有助于在传感器的图像中准确识别目标。由于采用了具有回归反射特性的材料,物体的表面需要被照亮以允许对参考目标的恰当识别。

图4为本设备的处理流程模块图示,在此实例中,首先使用上述装置将多边形灯的灯光和激光器的交叉线图案投射被测物表面,相机可以同时同步捕获场景的两个图像,使用计算芯片内封装的二维图像处理技术,在每幅图像中获得所述目标和所述激光图样的2D位置;然后,使用无线通信模块将计算核心压缩的结构化数据发送到后端处理软件上;下一步,利用对极几何约束(epi-polar geometry constraints)来匹配在两幅图像中的所述2D位置;使用所述的两幅图像中的目标对应关系,使用三角立体成像方法获得设备坐标系下的所述目标和所述激光图样的3D位置,其中激光图样的3D位置就是图样投射区域的被测物表面的3D位置信息;最后通过匹配计算图像序列的参考目标的3D位置,构建单次采集图像的目标和激光点 3D位置和规定初始位置的转换关系,通过转换关系获得世界坐标系下的激光图样的3D位置集合,重构激光图样的3D位置集合得到被测物表面的3D位置信息。

在此实例中,使用由多个LED等距构成,正多边形排布,固定在相机前端附近,中心位于相机光轴上且方向和相机光轴观察方向一致的灯组实现标记目标的补光照亮,LED灯的强度可以经调整以便使图像中目标和背景有足够的亮度差,有助于在传感器的图像中准确识别目标。

在此实例中,激光投射装置安装在所述使用3对或更多交叉线图样的红色激光器,同样也可以使用其他类型的投影装置,如白光图形投影仪或蓝色LED图形投影仪;所提取图样投射区域的被测物表面的3D位置信息将根据激光投射装置的类型以及所应用的方法而变化。

在此实例中,使用一对相机,相机镜头前端存在和激光器匹配的滤光结构的光过滤装置;也可以向此装置添加若干个相机,以同样的原理获得更精确的匹配或更高精度的最终坐标。相机曝光过程和上述LED以及激光器发光过程同步,通过相机捕获的图像上可以清楚的获得目标和激光器图样的成像。

在此实例中,由于使用圆形的目标标记,在图像中提取反射目标的未失真轮廓可以用椭圆形轮廓来表示。因为相机被校准,未失真轮廓可以使用所属领域中熟知的方法来去除失真,在此实例中,需要从相机参数存储器获得相机的光学特性参数。根据图像中的椭圆形轮廓的方程,可计算所述椭圆形轮廓在3D空间中的定向,可以参考“对3D计算机视觉的介绍性技术(Introductory techniques for 3D computer vision)”的第11章以获得更详细的论述。因为所述圆投射到相机的投射中心,所以所述圆在3D空间中与圆锥相交。在提取轮廓点之后,拟合到局部的3D点集上的模型可以是平面或用于更大精度的二次多项式。在后者的情况中,利用以下模型来应用最小平方法,然后使用常用的椭圆参数计算方法获得其几何参数。

z=ax2+bxy+cy2+dx+ey+f

在此实例中,激光图样使用的是3对或更多交叉线图样,通过图像处理计算获得线上各点的2D坐标位置,同样的,因为相机被校准,未失真坐标可以使用所属领域中熟知的方法来去除失真。在此实例中,相机的曝光时间,增益和激光器的光强是可调节的,可以在传感器的图像生成狭窄清晰的线条图样,有助于精确地提取出图样上各点的2D坐标位置。

在此实例中,上述处理步骤在设备端的CPU和GPU上计算实现,获得了单帧采集的两幅图构建的目标点和表面点的坐标位置。上述数据需要传输到上位机端的处理软件中完成后续的3D重构和表面建模,在此实例中,使用无线通信传输上述数据,同时也支持在高电磁干扰的环境中切换到有线网络传输的模式。

在此实例中,目标的3D位置使用三角法计算,目标的法向使用视线方向关联的方法计算。首先需要从目标尺寸存储器获得两个相机的位置参数,一般以其中一个相机的光学中心为圆点,然后根据对极几何约束构建基础矩阵,通过极线方程搜索标记圆点的匹配关系;最后将一组匹配的标记点位置通过三角法计算出3D位置,即单个参考目标在设备坐标系下的空间位置。

在此实例中,激光图样的3D坐标计算方式和上述目标中心的坐标计算方法基本一致。考虑到单个激光点特征不足导致的匹配依据缺失和误匹配,需要将点按投射图样的几何特征组合,按组合结果计算带有几何特征的点集合的匹配,然后再使用和目标中心的坐标计算方法。在此实例中,投射图样为交叉线,因此使用线段作为匹配的几何特征,同样的,使用不同的投射图样,需要使用不同的特征和组合,原理是一致的。

在扫描过程中,使用者可能将物体传感器至少其一握在其手中移动来实现表面点的全覆盖,此时每一帧的以上步骤获得的数据都是基于当前帧的设备坐标系的,由于设备的运动,坐标系相对世界坐标系是不断变化的,传感器坐标系中的3D点需要六个刚性变换的自由度的参数传感器的坐标系映射到模型坐标系(世界坐标系)中。

在此实例中,使用标记点的匹配实现变换参数的计算。使用在当前帧计算的目标坐标和参数,在积累的目标模型中寻找基于位置三角位置关系的最佳匹配集合,获取积累的目标中与当前参考目标对应的匹配关系,由此计算所述将传感器的坐标系映射到模型坐标的刚性变换;然后将3D表面点使用相同的刚性变换,对应地从传感器的坐标系变换到模型坐标系;最后将新的变换后的参考目标和3D表面点积累到已有的目标框架和表面点集合中。

同样的,上述刚性变换也可以考虑使用空间位置或加速度感应装置直接获取。

考虑到扫描距离对精度的影响,在此实例中,设备端面向使用者的表面上存在一个距离指示器,通过颜色的变化反映当前设备和扫描物距离的状态。同样的,也可以使用声音提示的方式实现上述功能。

由于表面点存在噪声的影响,难以直接用于显示和测量,在此实例中,上述的3D表面点需要通过重构产生表面模型,最终,经重构表面被传送到用户界面显示器。

为了便于大体积目标的扫描,在此实例中,用户界面显示器分为上位机端连接的主显示器和所述随身显示屏,其中随身显示屏连接在前端设备上,显示扫描结果和设备状态,使用 HDMI接口传输数据。在此实例中,所述设备状态包含且不限于温度,电量,电源状态,靠近显示屏边缘叠加显示。所述的状态数据来源于连接设备上的各类温度,电量等传感器。

为了便于大体积目标的扫描,在此实例中,使用可更换的充电电池作为前端设备的电源,同样,也可以使用有线连接的适配电源。

尽管以上描述涉及如本实用新型人目前所考虑的实例实施例,但应理解,本实用新型在其广义方面包含本文中所描述的元件的等效物和过程的等效方法。上文描述的实施例仅希望为示例性的。因此,本实用新型的范围希望仅由所附权利要求书限制。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1