一种面向双棱镜虚拟双目视觉系统的横向色差校正方法

本发明属于图像处理方法领域，具体是一种面向双棱镜虚拟双目视觉系统的横向色差校正方法。

背景技术：

1、基于双棱镜的虚拟双目视觉系统，由于其结构紧凑，图像采集无需外触发同步等特点，被大量应用于医学内窥镜、显微三维测量与应变测量等领域。系统的成像原理如图1所示，双棱镜被放置于相机镜头的前方，光线经双棱镜折射后，由相机获取并形成立体图像，其成像过程可等效为两个虚拟相机捕获的双目立体视觉图像对。

2、然而，双棱镜会在成像过程中引入横向色差，表现为在物体边缘处的彩色伪影。产生彩色伪影的主要原因是光线在进出双棱镜后会产生两次折射，不同颜色的光因波长不同会使折射后的光线产生色散现象。色散的光线投射在相机的成像面后，表现为rgb三个颜色通道的像素偏移，并在高对比度的图像边缘区域出现明显的横向色差。横向色差会改变物体的形状、颜色等信息的表征，进而影响视觉系统的标定以及测量精度。例如，在利用圆形或棋盘格靶标进行立体标定时，边缘轮廓处的彩色伪影会加大圆心或角点的提取误差，甚至会出现无法检测棋盘格角点的情况。

3、针对于双棱镜虚拟双目系统成像的横向色差问题，常采用硬件与软件两种校正方法。硬件校正方法一般是在相机的镜头模组中加入额外的光学镜片，从光学设计的角度消除横向色差。但是，硬件方法需要精密地光学镜片制作与装配，加大了校正难度与成本。软件校正方法从图像处理的角度校正横向色差，相比于硬件方法成本低且高效。以往的基于图像处理的横向校正方法一般用于校正由相机镜头产生的横向色差，却鲜有针对双棱镜引起的横向色差进行校正的研究。综上所述，发明一种面向双棱镜虚拟双目视觉系统的横向色差校正方法，对于提高系统的标定与测量精度起着关键作用。

4、经过检索，发现以下已公开的现有专利技术：

5、一种基于图像处理器实现的消除镜头横向色差的方法及介质(cn111242863b)，包括：畸变模型获取步骤：对目标待校正相机镜头横向色差进行建模，得到r,g,b三个颜色通道横向色差的畸变模型；畸变参数获取步骤：使用棋盘格作为标定板，对目标待校正相机镜头进行标定，获得待校正相机镜头r,g,b三通道横向色差的畸变参数。本发明通过将r通道和b通道每个像素的位移量进行下采样，仅存储32x18x2个样本点，对于1080p分辨率相机而言，大大降低了位移量的存储复杂度。

6、上述现有技术中，是通过棋盘格形式的标定板，获得待校正相机镜头r,g,b三通道横向色差的畸变参数，消除镜头的横向色差。

7、一种双目摄像机影像色差的校正方法和系统(cn108270952b)，方法包括步骤：对双目摄像机进行ob校正测试，生成ob偏移参数矩阵；对双目摄像机进行相对亮度校正测试，生成亮度补偿参数矩阵；对双目摄像机进行畸变校正测试，生成畸变补偿参数矩阵；对双目摄像机进行自动白平衡校正测试，生成rgb补偿参数矩阵；对双目摄像机进行gamma校正测试，调整双目摄像机的主镜头和从镜头的亮度值。本发明对双目摄像机影像色差的校正可以消除两个镜头自身差异导致的输出的影像的色彩偏差，大大提升双镜头的影像质量，便于低成本的研发和生产民用级、消费级的全景摄像机。

8、上述现有技术，是采用双目相机采集图像，目的在于对双目摄像机的两个摄像机分别采集的图像进行色差校正，与本专利申请的技术目的、技术方案区别较大。

9、综上所述，在已公开专利文献中，未检索到与本专利申请的技术方案相同或相近似的现有技术。

技术实现思路

1、基于现有技术的不足之处，本发明的目的在于，提供一种校正由双棱镜引入的横向色差的方法，为基于双棱镜的虚拟双目视觉系统提高图像质量。

2、本发明解决其技术问题是采取以下技术方案实现的：

3、一种面向双棱镜虚拟双目视觉系统的横向色差校正方法，具体步骤包括：

4、s1：利用基于双棱镜的虚拟双目视觉系统对原始图像进行图像拆分，形成像素尺寸相等的左图像il和右图像ir；

5、s2：对左图像il和右图像ir进行颜色通道分离，获得左图蓝色通道图像ilb、左图绿色通道图像ilg、左图红色通道图像ilr，右图蓝色通道图像irb、右图绿色通道图像irg、右图红色通道图像irr；

6、s3：分别对ilb、ilg、ilr进行椭圆中心提取，获得左图各椭圆中心像素坐标，分别记为左图蓝色通道椭圆中心像素plbi(ulbi,vlbi)、左图绿色通道椭圆中心像素plgi(ulgi,vlgi)、左图红色通道椭圆中心像素plri(ulri,vlri)，分别对irb、irg、irr进行椭圆中心提取，获得右图各椭圆中心像素坐标，分别记为右图蓝色通道椭圆中心像素prbi(urbi,vrbi)、右图绿色通道椭圆中心像素prgi(urgi,vrgi)、右图红色通道椭圆中心像素prri(urri,vrri)；

7、s4：计算通道间列向像素偏移，分别以左右图像的绿色通道椭圆中心像素为基准，计算il的蓝绿通道间的列向像素偏移{vlgi-vlbi}，计算红绿通道间列向像素偏移{vlgi-vlri}，计算ir的蓝绿通道间像素偏移数值集合{vrgi–vrbi}，计算红绿通道间像素偏移数值集合{vrgi–vrri}；

8、s5：获取蓝色和红色通道图像像素偏移修正方程，通过对上一步的间列向像素偏移数据进行直线拟合，获得左图蓝色通道的线性修正方程llg-b、左图红色通道的线性修正方程llg-r、右图蓝色通道的线性修正方程lrg-b、右图红色通道的线性修正方程lrg-r；

9、s6：利用s5的线性修正方程，对左右图的蓝红通道图像像素偏移进行修正，形成修正后的左图蓝色和红色通道图像ilnb、ilnr和右图蓝色和红色通道图像irnb、irnr；

10、s7：将ilnr、ilnb和ilg作为相应颜色通道图像进行合成，形成新彩色图像iln，同理，将irnr、irnb和irg合成，形成新彩色图像irn。

11、而且，所述s4的具体步骤为：

12、利用精确提取的各颜色通道图像的椭圆中心，计算表征横向色差的列向像素偏移数值集合，对于il，以plgi(ulgi,vlgi)为基准，计算plbi(ulbi,vlbi)和plgi(ulgi,vlgi)之间的列向像素偏移，记为数值集合{vlgi-vlbi}，计算plri(ulri,vlri)和plgi(ulgi,vlgi)之间的列向像素偏移，记为数值集合{vlgi-vlri}，同理，计算ir的蓝绿通道间像素偏移数值集合{vrgi–vrbi}，计算红绿通道间像素偏移数值集合{vrgi–vrri}。

13、而且，所述s5的具体步骤为：

14、对{vlgi-vlbi}进行直线拟合获得左图蓝色通道的线性修正方程llg-b；对{vlgi-vlri}进行直线拟合获得左图红色通道的线性修正方程llg-r，同理，获得右图蓝色通道的线性修正方程lrg-b，获得右图红色通道的线性修正方程lrg-r。

15、而且，所述s6的具体步骤为：

16、利用线性方程llg-b和llg-r，逐列计算蓝、红通道像素偏移修正值，将蓝色和红色通道图像进行相应的列向平移，形成修正后的蓝色和红色通道图像，分别记为ilnb和ilnr，同理，利用线性方程lrg-b和lrg-r，形成修正后的蓝色和红色通道图像，分别记为irnb和irnr。

17、本发明的优点和积极效果是：

18、本发明方法适用于基于双棱镜的虚拟双目视觉系统。彩色相机一般采用拜耳阵列对各个像素点的rgb三通道信息进行灰度插值，其中绿色通道在拜耳阵列中的分布占据一半的空间。绿色通道在彩色相机的成像过程中占据主导地位，其像素灰度分布更贴合真实情况。因此，本发明以圆形靶标图像颜色通道中的绿色通道为基准，获取表征蓝色和红色通道图像像素偏移的线性方程，进而实现横向色差校正，具体有以下几个优点：

19、(1)本发明方法只需要采集一张圆形靶标图像，即可实现对双棱镜引入的横向色差的校正，方法简单高效；

20、(2)本发明方法以绿色通道的椭圆中心坐标为基准，建立蓝色和红色通道图像像素偏移的线性方程，更好地适应了双棱镜在全视场范围内形成横向色差的变化规律；

21、(3)本发明方法通过椭圆轮廓提取和中心拟合的方式，获取准确的蓝色和红色通道像素偏移量，用于拟合上述像素偏移的线性方程，具有特征提取简单、精确的优点。