一种基于gpu处理器的双目3d畸变矫正方法
【专利摘要】本发明公开了一种基于GPU处理器的双目3D畸变矫正方法，使用GPU对左右眼画面进行分割，获取主要前景物体，将中心点附件物体置于零平面；对前景物体进行特征点筛选配准；对左右眼画面进行旋转和缩放校正；根据平移量调节视差，处理后的左右眼画面，对比左右眼原始画面，首先是图像边缘畸变减小了很多，其次原先的左右眼图像不在同一平面的问题也得到了解决，然后图像边缘黑边问题也基本不存在了，最后再对比左右眼画面视差，图像视差也减小了，目的画面相比原始画面明显提升了观看的舒适度。
【专利说明】
-种基于GPU处理器的双目3卵奇变矫正方法
技术领域
[0001 ]本发明设及一种基于GPU处理器的双目3D崎变矫正方法。
【背景技术】
[0002] 近年来，W娃基液晶、娃基OLm)为典型代表的微显示技术得到了迅速发展，与此同 时，3D成像及显示技术也于近期得到飞速发展，相应的产品在军事、野外探测、医学等方面 已经较为普及，特别是得力于大屏幕平板显示器(液晶显示面板、PDP显示面板)迅速普及， 在民用领域内的3D成像设备也屡见不鲜。根据对人眼的3D成像视差原理的研究得出，双目 3D成像技术理论上是最为真实的3D成像手段。
【发明内容】
[0003] 本发明的目的在于克服现有技术的不足，提供一种基于GPU处理器的双目3D崎变 矫正方法，使用GPU对左右眼画面进行分割，获取主要前景物体，将中屯、点附件物体置于零 平面;对前景物体进行特征点筛选配准;对左右眼画面进行旋转和缩放校正;根据平移量调 节视差。
[0004] 本发明的目的是通过W下技术方案来实现的：一种基于GPU处理器的双目3D崎变 矫正方法，它包括如下步骤：
[0005] SI:对摄像机拍摄的左右眼画面LImgl和RImgl进行摄像机标定，计算出摄像机的 内部参数，得到径向崎变和切向崎变信息，计算公式如下：
[0006] A." = X,/ U + V;2) + (诚 + 记）+ 如4而记
[0007] 义,=扔(1+)+足4 (為 +3切+2如斯
[000引其中，,;/=為+庙心<1，74)为理想投影坐标，（別，7。)为实际投影坐标，化1山)为摄 像机径向崎变，化3，k4 )为切向崎变；
[0009] S2:将左右眼画面LImgl和RImgl上行到GPU中，使用Sl得到的公式，逐像素对原始 左右眼画面进行内部参数的崎变校正，得到LImg2和RImg2;
[0010] S3:对崎变校正后的左右眼画面LImg2和RImg2在GPU中进行边缘提轮廓提取和图 像分割，分别获取左右眼画面的主要前景物体序列LOb j和ROb j ;
[0011] S4:在GPU中对左右眼画面的主要前景物体序列LObj和RObj进行特征提取，分别得 到LOb j和ROb j的旋转、平移和缩放信息；
[0012] S5:计算LObj和RObj的平均平移量，进而计算出拍摄3D视频画面的摄像机间的相 对距离；
[0013] S6:根据LObj和RObj的平均旋转和缩放信息，对左右眼画面LImg2和RImg2进行相 向的旋转和缩放校正，从而将左右眼画面旋转至同一个角度和保证左右眼画面主要前景物 体大小一致，得到左右眼校正匹配后的画面LIm的和RIm的；
[0014] S7:根据校正结果画面LImg3和RImg3,计算出左右眼中距离中屯、点最近的主要前 景物体作为摄像机零平面，并依据左右眼最佳视差在2%到3%之间的经验值，结合3D视频 拍摄时左右眼摄像机的距离，参考LObj和RObj的平均平移量，对左右眼画面的视差进行调 节，最后得到处理完毕的左右眼画面LIm曲和RIm曲。
[0015] 步骤Sl中所述的摄像机标定使用含有棋盘或网格线的图像进行自动标定或使用 手动方式选出多条平行直线进行标定。
[0016] 步骤S3中图像分割采用有限聚类思想的适合GPU计算的图像分割算法，此算法包 括如下流程步骤：
[0017] a.将待处理图像上行到GPU中记做ImgA,对ImgA中的每个像素从左上角到右下角 按照行列顺序从0开始依次赋值，将此信息上行至化PU中记做InfoA;
[001引b.将ImgA图像分割为8*8的子图像块，利用GPU的并行性同时对子图像块按照颜色 和距离信息进行子聚类，并将聚类结果记录在InfoA中；
[0019] C.将上一步骤得到的ImgA的子图像块上下左右四个为一组，看做新的子图像块， 根据子图像块边界像素值信息对Inf OA进行合并；
[0020] d.对合并后得到的ImgA的新子图像块按照颜色和距离信息进行子聚类，并将聚类 结果记录在InfoA中；
[0021] e.回退到步骤C顺序执行，直到整个图像ImgA只有一个子图像块，则停止聚类，执 行步骤f;
[0022] f.对InfoA记录的信息捜索8邻域，将孤立的点或小块进行吸收合并，则最终InfoA 记录的就是ImgA的图像分割结果。
[0023] 步骤S4中采用GPU优化的SURF算法，提取Lobj和Robj的特征点，使用欧式距离计算 得到特征点的相似度，依据相似度进行排序，取前二分之一特征点进行配准，通过RANSAC算 法对配对的特征点进行检验筛选，计算出Lobj和Robj的旋转、平移和缩放信息。
[0024] 所述的计算缩放信息时选取距离画面中屯、点最近的物体作为标准进行计算，加速 缩放信息的计算。
[0025] 本发明的有益效果是:本发明提供了一种基于GPU处理器的双目3D崎变矫正方法， 使用GPU对左右眼画面进行分割，获取主要前景物体，将中屯、点附件物体置于零平面;对前 景物体进行特征点筛选配准;对左右眼画面进行旋转和缩放校正;根据平移量调节视差。
【附图说明】
[0026] 图1为本发明方法的流程图；
[0027] 图2为双目3时暴像机成像模型示意图。
【具体实施方式】
[0028] 下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于 W下所述。
[0029] 如图2所示为双目3时暴像机成像模型示意图，图1中，Cl和C2为左右眼摄像机的角 点位置，（xl，yl，zl)和（x2，y2，z2)分别为左右眼摄像机的相机坐标系，（xl，0Il，yl)和 (x2,0I2，y2)分别为左右眼摄像机的像平面，世界坐标系中的点（Xw，Yw，Zw)在左右眼摄像 机的像平面的投影分别为(X1，Y1WP(X2，Y2)。
[0030] 本发明的技术方案W图2所示模型为基础，进行阐述。本发明的技术方案实现，由 W下几个步骤来完成。
[0031] 如图1所示，一种基于GPU处理器的双目3D崎变矫正方法，它包括如下步骤：
[0032] SI:输入颜色格式为BGRA的左眼原始画面LImgl和右眼原始画面RImgl到内存，对 摄像机拍摄的左右眼画面LImgl和RImgl进行摄像机标定，计算出摄像机的内部参数，得到 径向崎变和切向崎变信息，摄像机标定使用含有棋盘或网格线的图像进行自动标定或使用 手动方式选出多条平行直线进行标定，计算公式如下：
[0033]
[0034]
[003引 ：标，（xu，yu)为实际投影坐标，（ki，k2)为摄 像机径向崎变，化3，k4 )为切向崎变；
[0036] S2:将左右眼画面LImgl和RImgl上行到GPU中，使用Sl得到的公式，逐像素对原始 左右眼画面LImgl和RImgl进行内部参数的崎变校正，得到校正之后的左右眼画面LImg2和 民Img2;
[0037] S3:使用有限聚类方法的GHJ图像分割算法对崎变校正后的左右眼画面LImg2和 RImg2在GPU中进行边缘提轮廓提取和图像分割，分别获取左右眼画面的主要前景物体序列 LOb j 和ROb j ;
[003引 S4:使用SURF算法对步骤3得到的左右眼前景物体序列LObj和RObj进行特征提取， 得到左右眼前景物体对应的特征点，再使用欧氏距离计算得到特征点相似度，并根据相似 度排序，之后取相似度前二分之一的特征点进行配准。接着使用RANSAC算法对配对的特征 点进行检验筛选，最终计算出左右眼前景物体序列LObj和RObj的旋转、平移和缩放信息;计 算缩放信息时选取距离画面中屯、点最近的物体作为标准进行计算，加速缩放信息的计算；
[0039] S5:根据左右眼前景物体序列LObj和RObj的旋转、平移和缩放信息，计算得到平均 旋转、平均平移和平均缩放信息，根据平均平移信息计算出拍摄左右眼原始画面的双目摄 像机间的相对距离；
[0040] S6:根据崎变校正之后的左右眼画面LImg2和RImg2进行反向旋转和缩放，从而将 左右眼画面旋转到相同的角度位置并且保证了左右眼画面主要前景物体大小一致，得到左 右眼校正匹配后的画面LImg3和RImg3;
[0041 ] S7:根据校正结果画面LImg3和RImg3,计算出左右眼中距离中屯、点最近的主要前 景物体作为摄像机零平面，然后根据左右眼视差范围在2%到3%的经验值，结合步骤5计算 得出的拍摄左右眼视频的双目摄像机间的距离，参考左右眼前景物体序列LObj和RObj的平 均平移量，对左右眼画面视差进行调节，最后得到处理完毕的左右眼画面LIm曲和RIm曲。
[0042] 将最终左右眼画面LIm曲和RIm曲从GPU上下行到左右眼内存数据中，并将内存数 据作为目的输出返回。
[0043] 步骤S3中图像分割采用有限聚类思想的适合GPU计算的图像分割算法。下面描述 一下此算法的流程步骤:a.将待处理图像上行到GPU中记做ImgA,对ImgA中的每个像素从左 上角到右下角按照行列顺序从0开始依次赋值，将此信息上行到GPU中记做InfoA;b.将ImgA 图像分割为8*8的子图像块，利用GPU的并行性同时对子图像块按照颜色和距离信息进行子 聚类，并将聚类结果记录在InfoA中；C.将上一步骤得到的ImgA的子图像块上下左右四个为 一组，看做新的子图像块，根据子图像块边界像素值信息(颜色和距离)对InfoA进行合并； d.对合并后得到的ImgA的新子图像块按照颜色和距离信息进行子聚类，并将聚类结果记录 在InfoA中；e.回退到步骤C顺序执行，直到整个图像ImgA只有一个子图像块，则停止聚类， 执行步骤f;f.对InfoA记录的信息捜索8邻域，将孤立的点或小块进行吸收合并，则最终 I nf oA记录的就是ImgA的图像分割结果。
[0044]本发明的双目3D崎变矫正方法矫正后的左右眼画面图像边缘崎变减小了很多，其 次原先的左右眼图像不在同一平面的问题也得到了解决，然后图像边缘黑边问题也基本不 存在了，最后再对比左右眼画面视差，图像视差也减小了，目的画面相比原始画面明显提升 了观看的舒适度。
【主权项】
1. 一种基于GPU处理器的双目3D畸变矫正方法，其特征在于:它包括如下步骤： S1:对摄像机拍摄的左右眼画面LImg 1和RImg 1进行摄像机标定，计算出摄像机的内部 参数，得到径向畸变和切向畸变信息，计算公式如下：其中，€ = 4 + ,A)为理想投影坐标，（Xu，^)为实际投影坐标，（h，k2)为摄像机 径向畸变，（k3，k4)为切向畸变； S2:将左右眼画面LImgl和RImgl上行到GPU中，使用Sl得到的公式，逐像素对原始左右 眼画面进行内部参数的畸变校正，得到LImg2和RImg2; S3:对畸变校正后的左右眼画面LImg2和RImg2在GPU中进行边缘提轮廓提取和图像分 害J，分别获取左右眼画面的主要前景物体序列LObj和RObj; S4:在GI3U中对左右眼画面的主要前景物体序列LOb j和ROb j进行特征提取，分别得到 LOb j和ROb j的旋转、平移和缩放信息； S5:计算LObj和RObj的平均平移量，进而计算出拍摄3D视频画面的摄像机间的相对距 离； S6:根据LObj和RObj的平均旋转和缩放信息，对左右眼画面LImg2和RImg2进行相向的 旋转和缩放校正，从而将左右眼画面旋转至同一个角度和保证左右眼画面主要前景物体大 小一致，得到左右眼校正匹配后的画面LImg3和RImg3; S7:根据校正结果画面LImg3和RImg3,计算出左右眼中距离中心点最近的主要前景物 体作为摄像机零平面，并依据左右眼最佳视差在2 %到3 %之间的经验值，结合3D视频拍摄 时左右眼摄像机的距离，参考LObj和RObj的平均平移量，对左右眼画面的视差进行调节，最 后得到处理完毕的左右眼画面LImgD和RlmgD。2. 根据权利要求1所述的一种基于GPU处理器的双目3D畸变矫正方法，其特征在于：步 骤Sl中所述的摄像机标定使用含有棋盘或网格线的图像进行自动标定或使用手动方式选 出多条平行直线进行标定。3. 根据权利要求1所述的一种基于GPU处理器的双目3D畸变矫正方法，其特征在于：步 骤S3中图像分割采用有限聚类思想的适合GPU计算的图像分割算法，此算法包括如下流程 步骤： a. 将待处理图像上行到GPU中记做I mgA，对I mgA中的每个像素从左上角到右下角按照 行列顺序从〇开始依次赋值，将此信息上行到GHJ中记做InfoA; b. 将ImgA图像分割为8*8的子图像块，利用GPU的并行性同时对子图像块按照颜色和距 离信息进行子聚类，并将聚类结果记录在InfoA中； c. 将上一步骤得到的ImgA的子图像块上下左右四个为一组，看做新的子图像块，根据 子图像块边界像素值信息对InfoA进行合并； d. 对合并后得到的ImgA的新子图像块按照颜色和距离信息进行子聚类，并将聚类结果 记录在InfoA中； e. 回退到步骤c顺序执行，直到整个图像ImgA只有一个子图像块，则停止聚类，执行步 骤f; f.对InfoA记录的信息搜索8邻域，将孤立的点或小块进行吸收合并，则最终InfoA记录 的就是ImgA的图像分割结果。4. 根据权利要求1所述的一种基于GPU处理器的双目3D畸变矫正方法，其特征在于：步 骤S4中采用GPU优化的SURF算法，提取Lobj和Robj的特征点，使用欧式距离计算得到特征点 的相似度，依据相似度进行排序，取前二分之一特征点进行配准，通过RANSAC算法对配对的 特征点进行检验筛选，计算出Lobj和Robj的旋转、平移和缩放信息。5. 根据权利要求4所述的一种基于GPU处理器的双目3D畸变矫正方法，其特征在于：所 述的计算缩放信息时选取距离画面中心点最近的物体作为标准进行计算，加速缩放信息的 计算。
【文档编号】G06T7/00GK106023170SQ201610318480
【公开日】2016年10月12日
【申请日】2016年5月13日
【发明人】余刚, 王高飞, 李广群
【申请人】成都索贝数码科技股份有限公司