专利名称：基于主动全景视觉传感器的全方位三维建模系统的制作方法
技术领域：
本发明涉及激光光源、全方位视觉传感器以及计算机视觉技术在立体视觉测量方面的应用，尤其是一种基于主动立体全景视觉传感器的全方位三维模型重建技术，主要应用于机器人导航和三维立体重构。
背景技术：
基于计算机视觉的双目立体视觉三维测量与立体重构技术，是一门新兴的、极具发展潜力和实用价值的应用技术，可被广泛应用于工业检测、地理勘测、医学整容、骨科矫形、文物复制、刑侦取证、保安识别、机器人视觉、模具快速成型、礼品、虚拟现实、动画电影、游戏等许多应用领域。针对具有高精度的几何信息和真实感的颜色信息的三维模型的重建，一直是计算机视觉、人工智能、模式识别、计算机图形学和地理信息系统等领域的研究
三维模型的重建技术主要涉及到以下三个方面的内容1)几何的准确性；2)真实感；3)重建过程的自动化。三维模型的重建所需要的数据主要包括激光扫描的深度图像数据和图像传感器采集的图像数据两个方面。通常立体图像获取是通过采用由图像传感器构成的双目立体视觉进行场景图像采集，即同时从不同视点采集两幅同一场景的图像。但由于普通的图像传感器的视场角较小，只能获取有限视场内的局部图像。为了获取大视场场景图像，只能通过单个图像传感器旋转或者多个图像传感器组合得到全景图像，为此产生了系统设计复杂、运行实时性差等问题。全方位视觉传感器(ODVS)通过镜面折反射原理得到360°范围的环境图像信息，对于建立室内环境三维模型有着巨大优势。由于二次曲面的折反射使得获得的全景图像水平方向畸变很大，往往需要将全景图像进行展开，根据不同的需要全景图像可以展开成360°矩形展开图像、局部透视展开图像和Bird-View变换图像。中国发明专利申请号为200810062128. 5公开了一种基于双目全方位视觉传感器的立体视觉测量装置，该专利中组成立体视觉测量装置的两个全方位视觉传感器采用了平均角分辨率设计，采集图像的两个摄像机的参数完全一致，具有极好的对称性，能实现快速的点与点的匹配，从而达到立体视觉测量的目的。该发明利用全景图像具有大视场的优点，对两幅全景图像进行立体匹配获得场景深度图，并经过相关图像处理方式建立环境三维模型；但是从完成点对点匹配到立体测量仍需要较大的计算资源，要实现实时在线的立体测量以及三维立体重构仍然存在着一些“病态”计算问题。基于激光扫描所建立的三维模型只能得到精确的空间三维几何模型，而缺少场景的纹理信息；而基于图像立体匹配建立的室内环境三维模型虽然具有纹理信息，但模型精度很低，按目前的图像传感器的分辨率还难以达到真正有效地实用。因此，通过激光扫描得到准确的三维几何模型，通过数据关联与分割，在三维点云模型中构建环境表面，然后将图像中相应部分映射到模型表面，使得重构后的三维模型同时具有较高的精度和较好的纹理信息。
但是上述方法最大的问题是无法满足实时处理的要求，尤其难以满足移动机器人这样的实时导航定位的任务需求。
发明内容
为了克服已有的被动式全景立体视觉测量装置的计算机资源消耗大、实时性能差、实用性不强、鲁棒性不高等不足，以及全彩色全景LED光源的主动三维立体全景视觉测量装置容易受到环境光的干扰等不足，本发明提供一种通过直接获取空间三维点的位置几何信息以及颜色信息，能够减少计算机资源消耗、快速完成测量、实时性好、实用性强、鲁棒性高的基于主动全景视觉传感器的全方位三维建模系统。要实现上述发明内容，必须要解决三个核心问题(1)实现一种移动面激光光源；(2)实现一种能快速获得实际物体深度信息的主动式全景视觉传感器；(3)将激光扫描空间数据点与全景图像中相应像素点进行快速融合的方法；(4) 一种基于全方位视觉Bird-View变换的三维重建方法。
本发明解决其技术问题所采用的技术方案是一种基于主动全景视觉传感器的全方位三维建模系统，所述全方位三维建模系统包括全方位视觉传感器、用于产生三维体结构投射光源的移动面激光光源以及用于对全方位图像进行3D全景重构的微处理器，所述的全方位视觉传感器的中心与所述移动面激光光源的中心配置在同一根轴心线上；所述全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩；所述的双曲面镜面固定在所述的上盖上，所述的连接单元将所述的下固定座和透明半圆形外罩连接成一体，所述的透明半圆形外罩与所述的上盖以及所述的上罩固定在一起，所述的摄像单元固定在所述的摄像单元固定座上，所述的摄像单元固定座固定在所述的下固定座上，所述的全方位视觉传感器中的所述的摄像单元的输出与所述微处理器连接；所述的移动面激光光源包括绿光线激光发生单元、线激光发生组合单元、直线电机组件、导向支撑杆、直线电机固定支架、底盘和红光线激光发生单元；所述的绿光线激光发生单元固定在所述的线激光发生组合单元的孔中，经过这样组合后的线激光能形成一个发出绿光的全方位面激光光源；所述的红光线激光发生单元固定在所述的线激光发生组合单元的孔中，经过这样组合后的线激光能形成一个发出红光的全方位面激光光源；组合后的绿光的全方位面激光光源部分和组合后的红光的全方位面激光光源部分分别固定在所述的直线电机组件中齿条的两端；所述的导向支撑杆垂直固定在所述的底盘上，所述的直线电机固定支架垂直固定在所述的底盘上；所述的全方位视觉传感器通过连接板安装在所述的移动面激光光源中的所述的导向支撑杆上，构成一个主动式全方位视觉传感器；所述微处理器包括视频图像读取模块，用于读取全方位视觉传感器的视频图像，并保存在所述的存储单元中，其输出与所述的全方位视觉传感器标定模块、Bird-View变换模块和全方位面激光信息解析模块连接；全方位视觉传感器标定模块，用于确定三维空间点和摄像机成像平面上的二维图像点之间映射关系的参数，标定后的参数存放在所述的存储单元中；Bird-View变换模块，用于读取存放在所述的存储单元中的全方位视觉传感器的标定参数值，通过Bird-View变换来修正全方位视觉成像后严重扭曲变形,将全方位图像变换为Bird-View视图,Bird-View视图类似于鸟类俯瞰着这个地面上所形成的图像,变换后得到的Bird-View视图存放在所述的存储单元中，以便后续处理中调用；全方位面激光信息解析模块，用于在全景图像上解析出激光投影信息，产生点云信息；联合标定模块，用于对所述的主动式全方位视觉传感器进行标定；由于所述的全方位视觉传感器和所述的移动面激光光源在装配过程中不可避免的存在着各种装配误差，通过联合标定将这些误差减少到最低限度；移动面激光光源的直线电机的位置估计模块，用于估算所述的移动面激光光源的当前位置，为所述的移动面的点云几何信息的计算模块提供数据；移动面的点云几何信息的计算模块，用于对所述的移动面激光光源的直线电机的位置的估计值以及在全景图像上解析出激光投影信息的相关像素坐标值计算移动面的点云几何信息；点云的几何信息和颜色信息的融合模块，对每个点云用(R，α，β，r，g, b)来表达其几何信息和颜色信息，其中，R为点云到全方位视觉传感器单视点Om的距离，α为点云到全方位视觉传感器单视点Om的入射角，β为点云到全方位视觉传感器单视点Om的方位角，r为点云的RGB颜色空间的R颜色分量，g为点云的RGB颜色空间的G颜色分量，b为点云的RGB颜色空间的B颜色分量；以移动面的位置信息构建全景3D模型构建模块，用于逐步构建全景3D模型；所述的移动面激光光源完成一次垂直方向的扫描过程，即从一个极限位置到另一个极限位置就完成了全景3D模型的构建，扫描过程中每一移动步长都会产生在某一个高度情况下的切片点云数据，将这些数据以所述的移动面激光光源的高度值作为保存索引，这样就能按切片点云数据产生顺序进行累加，为最后构建带有几何信息和颜色信息的全景3D模型；从上极限位置到下极限位置重构过程为向下全景3D重构模式，从下极限位置到上极限位置重构过程为向上全景3D重构两种不同模式；3D全景模型生成模块，用于输出重构结果并为下一次重构做准备。进一步，所述的全方位视觉传感器标定模块中，建立一个成像平面的像点与入射光线之间的联系，即与入射角之间的对应关系，用公式(6)表示；
权利要求
1.一种基于主动全景视觉传感器的全方位三维建模系统，其特征在于所述全方位三维建模系统包括全方位视觉传感器、用于产生三维体结构投射光源的移动面激光光源以及用于对全方位图像进行3D全景重构的微处理器，所述的全方位视觉传感器的中心与所述移动面激光光源的中心配置在同一根轴心线上； 所述全方位视觉传感器包括双曲面镜面、上盖、透明半圆形外罩、下固定座、摄像单元固定座、摄像单元、连接单元和上罩；所述的双曲面镜面固定在所述的上盖上，所述的连接单元将所述的下固定座和透明半圆形外罩连接成一体，所述的透明半圆形外罩与所述的上盖以及所述的上罩固定在一起，所述的摄像单元固定在所述的摄像单元固定座上，所述的摄像单元固定座固定在所述的下固定座上，所述的全方位视觉传感器中的所述的摄像单元的输出与所述微处理器连接； 所述的移动面激光光源包括绿光线激光发生单元、线激光发生组合单元、直线电机组件、导向支撑杆、直线电机固定支架、底盘和红光线激光发生单元；所述的绿光线激光发生单元固定在所述的线激光发生组合单元的孔中，经过这样组合后的线激光能形成一个发出 绿光的全方位面激光光源；所述的红光线激光发生单元固定在所述的线激光发生组合单元的孔中，经过这样组合后的线激光能形成一个发出红光的全方位面激光光源；组合后的绿光的全方位面激光光源部分和组合后的红光的全方位面激光光源部分分别固定在所述的直线电机组件中齿条的两端；所述的导向支撑杆垂直固定在所述的底盘上，所述的直线电机固定支架垂直固定在所述的底盘上； 所述的全方位视觉传感器通过连接板安装在所述的移动面激光光源中的所述的导向支撑杆上，构成一个主动式全方位视觉传感器； 所述微处理器包括 视频图像读取模块，用于读取全方位视觉传感器的视频图像，并保存在所述的存储单元中，其输出与所述的全方位视觉传感器标定模块、Bird-View变换模块和全方位面激光信息解析模块连接； 全方位视觉传感器标定模块，用于确定三维空间点和摄像机成像平面上的二维图像点之间映射关系的参数，标定后的参数存放在所述的存储单元中； Bird-View变换模块,用于读取存放在所述的存储单元中的全方位视觉传感器的标定参数值,通过Bird-View变换来修正全方位视觉成像后严重扭曲变形，将全方位图像变换为Bird-View视图，Bird-View视图类似于鸟类俯瞰着这个地面上所形成的图像，变换后得到的Bird-View视图存放在所述的存储单元中，以便后续处理中调用； 全方位面激光信息解析模块，用于在全景图像上解析出激光投影信息，产生点云信息； 联合标定模块，用于对所述的主动式全方位视觉传感器进行标定；由于所述的全方位视觉传感器和所述的移动面激光光源在装配过程中不可避免的存在着各种装配误差，通过联合标定将这些误差减少到最低限度； 移动面激光光源的直线电机的位置估计模块，用于估算所述的移动面激光光源的当前位置，为所述的移动面的点云几何信息的计算模块提供数据； 移动面的点云几何信息的计算模块，用于对所述的移动面激光光源的直线电机的位置 的估计值以及在全景图像上解析出激光投影信息的相关像素坐标值计算移动面的点云几何信息； 点云的几何信息和颜色信息的融合模块，对每个点云用(R，α，β，r，g，b)来表达其几何信息和颜色信息，其中，R为点云到全方位视觉传感器单视点Om的距离，α为点云到全方位视觉传感器单视点Om的入射角，β为点云到全方位视觉传感器单视点Om的方位角，r为点云的RGB颜色空间的R颜色分量，g为点云的RGB颜色空间的G颜色分量，b为点云的RGB颜色空间的 B颜色分量； 以移动面的位置信息构建全景3D模型构建模块，用于逐步构建全景3D模型；所述的移动面激光光源完成一次垂直方向的扫描过程，即从一个极限位置到另一个极限位置就完成了全景3D模型的构建，扫描过程中每一移动步长都会产生在某一个高度情 况下的切片点云数据，将这些数据以所述的移动面激光光源的高度值作为保存索引，这样就能按切片点云数据产生顺序进行累加，为最后构建带有几何信息和颜色信息的全景3D模型；从上极限位置到下极限位置重构过程为向下全景3D重构模式，从下极限位置到上极限位置重构过程为向上全景3D重构两种不同模式； 3D全景模型生成模块，用于输出重构结果并为下一次重构做准备。
2.如权利要求I所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于所述的全方位视觉传感器标定模块中，建立一个成像平面的像点与入射光线之间的联系，即与入射角之间的对应关系，用公式(6)表示；(6)
3.如权利要求2所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于所述的Bird-View变换模块中,Bird-View变换看成全方位视觉传感器成像过程的一种逆变换，因此利用公式(6)标定的结果进行Bird-View变换，通过该标定结果将全方位图像转换成Bird-View图像，其中点云P到观测点Om在水平地面上的投影点之间的距离R用公式(7)进行计算，式中，R为点云P到观测点Om在水平地面上的投影点之间的距离，h为点云P到观测点Om在垂直面上的投影点之间的距离，α为点云P到观测点Om的入射角，β为点云P到观测点O111的方位角。
4.如权利要求3所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于所述的全方位面激光信息解析模块中，解析在全景图上绿色激光和红色激光投射点的方法是根据绿色激光和红色激光投射点的像素的亮度要大于成像平面上的平均亮度，首先是将全景图的RGB颜色空间转化成HIS颜色空间，然后将成像平面上的平均亮度的I. 2倍作为提取绿色激光和红色激光投射点的阈值，在提取出绿色激光和红色激光投射点后需要进一步区分绿色激光和红色激光投射点，根据HIS颜色空间中的色调值H进行判断，如果色调值H在(0，30)之间就判断为红色激光投射点，如果色调值H在(105，135)之间就判断为绿色激光投射点，其余像素点就判断为干扰；采用高斯近似方法来抽取出激光投射线的中心位置，具体实现算法是 Stepl :设置初始方位角β =0 ； St印2:在全景图像上以方位角β从全景图像的中心点开始检索红色和绿色激光投射点，对于方位角β上存在着若干个连续的红色激光投射的像素，选择HIS颜色空间中的I分量，即亮度值接近最高值的三个连续像素通过高斯近似方法来估算激光投射线的中心位置；具体计算方法由公式(8 )给出，j _ln( /'(/' - I)) - In( /'(/ -I-丨.))S 2 X[ln(/(/ -1)) - 2ln(/(/')) -f ln(/(/ + I))] 式中，f(i-l)、f(i)和f(i+l)分别为三个相邻像素接近最高亮度值的亮度值，d为修正值，i表示从图像中心点开始的第i个像素点；因此估算得到的红色激光投射线的中心位置为(i+d)，该值对应于公式(6)和公式(7)中的I |u" I |，即||u" I I (β)-= i+d;对于绿色激光投射点的估算方法类同，得到I Iu" I I (β)8Γ66η ； Step3 :改变方位角继续检索激光投射点，即β = β + Λ β，Δ β =0. 36 ； Step4 :判断方位角β =360,如果成立,检索结束；反之转到Step2。
5.如权利要求广4之一所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于所述以移动面的位置信息构建全景3D模型构建模块中，三维重构的处理流程是 StepA :通过视频图像读取模块读取全景视频图像； StepB:根据直线电机的移动速度以及到达两个极限点的时间估计移动面激光光源的直线电机的位置； StepC :在全景图像上解析出全方位面激光信息，计算移动面点云几何信息； StepD :从内存中读取无激光投射情况下的全景视频图像，根据StepC中处理结果将移动面几何信息和颜色信息进行融合； StepE :逐步构建全景3D模型；St印F :判断是否已经到达极限点位置，如果是的话转到St印G，不成立的话转到StepA ； StepG :设置所述的移动面激光光源为OFF，读取无激光投射情况下的全景视频图像，并将其保存在内存单元中，输出3D全景模型并保存到存储单元，设置所述的移动面激光光源为0N，转到St印A。
6.如权利要求广4之一所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于所述的移动面激光光源的直线电机的位置估计模块中，规定在重构开始时将移动面激光光源的初始位置定在上极限位置hup lim it，初始步长控制值Zmove (j) =0，相邻两帧时间移动面激光光源的移动步长为Λ z，即存在着以下关系，Zfflove(j+1) =Zfflove(j) + Λ z (9) 式中，zm_(j)为第j帧时步长控制值，Zfflove(j+1)为第j+Ι帧时步长控制值，Δζ为移动面激光光源的移动步长，这里规定从上极限位置huplim it向下方向移动时，Az=Imm;从下极限位置hd_limit向上方向移动时，Λ程序实现时通过以下关系式进行判断，
7.如权利要求广4之一所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于所述的移动面的点云几何信息的计算模块中，点云的空间位置信息用高斯坐标系来表示，每一个点云的空间坐标相对于全方位视觉传感器的单视点Om为高斯坐标原点的高斯坐标用3个值来确定，即(R，α，β )，R为某一个点云到全方位视觉传感器的单视点Om的距离，α为某一个点云到全方位视觉传感器的单视点Om的入射角，β为某一个点云到全方位视觉传感器的单视点Om的方位角，对于点 1点，其计算方法由公式(13)给出，
8.如权利要求广4之一所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于所述的点云的几何信息和颜色信息的融合模块中，为融合过程如下， Step①设置初始方位角β =0 ； St印②根据方位角β和在传感器平面上与点云数据相对应的||u" ||(@)^和Iu" I I (β)8_η两个点的信息，读取无激光投射情况下的全景视频图上的相关像素点的(r，g，b)颜色数据，与从所述的St印C中处理加工得到的相对应的(R，α，β)进行融合，得到相对应的点云几何信息和颜色信息(R，α，β，r，g, b)； Step③β — β + Δ β，Δ β =0. 36,判断β =360是否成立,如果成立结束计算，将计算结果保存在存储单元中；否则转到Step②。
9.如权利要求广4之一所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于所述的移动面的点云几何信息的计算模块中，点云点空间位置信息用笛卡尔坐标系Cf(Hz6)来表示，其计算方法由公式(14)给出，
10.如权利要求5所述的基于主动全景视觉传感器的全方位三维建模系统，其特征在于在所述的StepC计算过程中遍历了全方位360°的红色和绿色全方位面激光投射所产生的点云数据；这里采用计算步长为Λ β =0.36来遍历整个360°的方位角，遍历算法如下， Step I :设置初始方位角β =0 ; Step II :采用所述的全方位面激光信息解析模块，沿射线方向检索点云if和点云丨得到在传感器平面上与点云数据相对应的I Iu" 11 (β)Μ(^Ρ I Iu" 11 (β)@ 两个点，用公式(13)计算点云^/的距离值Rb和入射角α b，用公式(15)计算点云W的距离值Ra和入射角a a ;或者用公式(14)和公式(16)得到P/(x65_y6,Z6)和将上述的计算数据保存在内存单元中； Step III β — β + Δ β，Δ β =0. 36,判断β =360是否成立,如果成立结束计算,否则转到 Step II ο
全文摘要
一种基于主动全景视觉传感器的全方位三维建模系统，包括全方位视觉传感器、移动面激光光源以及用于对全方位图像进行3D全景重构的微处理器，所述的全方位视觉传感器的中心与所述移动面激光光源的中心配置在同一根轴心线上；所述微处理器包括视频图像读取模块、全方位视觉传感器标定模块、Bird-View变换模块、全方位面激光信息解析模块、联合标定模块、移动面激光光源的直线电机的位置估计模块、移动面的点云几何信息的计算模块，点云的几何信息和颜色信息的融合模块，以移动面的位置信息构建全景3D模型构建模块，3D全景模型生成模块和存储单元；本发明实现了3D全景模型重构的几何准确性、真实感和重建过程自动化的完美统一。
文档编号G01C11/00GK102679959SQ20121013720
公开日2012年9月19日 申请日期2012年5月3日 优先权日2012年5月3日
发明者刘康, 周静恺, 夏少杰, 徐海涛, 林璐璐, 汤一平, 王鼎 申请人:浙江工业大学