专利名称：3d相机图像自动校正方法及装置的制作方法
技术领域：
本发明涉及立体视觉技术领域，尤其涉及3D相机图像自动校正方法及装置。
背景技术：
随着3D相机的普及，立体视觉技术已经广泛应用到文化、娱乐和科研等领域。目前的3D相机中具有左右两个摄像头，使用3D相机时有如下要求
1)3D相机无畸变；
2)3D相机中的左右摄像头的位置固定；
3)3D相机中左右摄像头满足一定的位置关系，例如左右摄像头的光心位于同一水平线上，左右摄像头成像平面共面或成一定角度等。在实际应用中，由于工艺水平，3D摄像机中的左右摄像头无法满足理想的摆放位置，且经常由于外力的作用发生偏斜。在此情况下，为了满足3D相机的使用要求，需要对拍摄的图像进行校正以建立成像模型，该成像模型指示拍摄出的原始图像和经校正的图像之间的对应关系。对3D相机中的两个摄像头进行标定是校正流程中非常重要的步骤，根据是否需要标定参照物，摄像头标定分为传统标定方法和自标定方法，其中传统标定方法需要特定的标定物及专业人员的参与，标定方法无法向大众普及，为后续的3D影片拍摄、工业测量等具体应用带来了不便，制约了 3D相机的普及和发展。
发明内容
有鉴于此，本发明的目的是提供3D相机图像自动校正方法及系统，无需特定的标定物及人的介入，能够对实时拍摄的图像进行自动校正。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。本发明的技术方案是这样实现的
一种3D相机图像自动校正的方法，所述3D相机包括同步执行拍摄的第一摄像头和第二摄像头；设定初始的校正参数；该方法还包括 采集第一摄像头和第二摄像头拍摄的图像； 使用校正参数对采集到的两幅图像进行校正；
判定校正后的两幅图像未达到设定标准时，利用采集到的两幅图像进行自标定； 利用所述自标定的结果更新校正参数，然后继续执行所述采集的步骤。
可选的，使用校正参数对采集到的两幅图像进行校正，包括
针对采集到的第一摄像头拍摄的图像，使用第一摄像头的内部参数和畸变系数进行畸变校正；
针对采集到的第二摄像头拍摄的图像，先使用第二摄像头的内部参数和畸变系数进行畸变校正，再使用所述外部参数进行旋转平移。可选的，判定校正后的两幅图像是否达到设定标准的方法，包括 计算校正后的两幅图像中的各个像素点对应的视差；
判断所有计算出的视差中正确视差的百分比是否达到设定阈值，如果是，判定校正后的两幅图像达到设定标准，否则，判定校正后的两幅图像未达到设定标准。可选的，利用采集到的两幅图像进行自标定，包括
利用采集到的两幅图像进行第一摄像头的内部参数和畸变系数的自标定、及第二摄像头的内部参数和畸变系数的自标定；
利用采集到的两幅图像进行外部参数的自标定。可选的，所述利用采集到的两幅图像进行外部参数的自标定，包括
利用自标定得到的第一摄像头的内部参数和畸变系数，对采集到的第一摄像头拍摄的图像进行畸变校正，并利用自标定得到的第二摄像头的内部参数和畸变系数，对采集到的第二摄像头拍摄的图像进行畸变校正；
对畸变校正后的两幅图像进行特征点匹配； 将特征点映射到归一化平面； 计算本质矩阵，并利用本质矩阵得到外部参数。一种3D相机图像自动校正的装置，所述3D相机包括同步执行拍摄的第一摄像头和第二摄像头；该装置包括
校正参数模块，用于存储初始的校正参数；
图像采集模块，用于采集第一摄像头和第二摄像头拍摄的图像；
自动校正模块，用于使用所述校正参数模块中的校正参数对采集到的两幅图像进行校
正；
校正结果评价模块，用于判定校正后的两幅图像是否达到设定标准； 自标定模块，用于在校正后的两幅图像未达到设定标准时，利用采集到的两幅图像进行自标定；
更新模块，用于利用自标定的结果更新所述校正参数模块中的校正参数。可选的，所述自动校正模块包括
第一自动校正子模块，用于针对采集到的第一摄像头拍摄的图像，使用第一摄像头的内部参数和畸变系数进行畸变校正；
第二自动校正子模块，用于针对采集到的第二摄像头拍摄的图像，先使用第二摄像头的内部参数和畸变系数进行畸变校正，再使用所述外部参数进行旋转平移。可选的，所述校正结果评价模块包括
计算子模块，用于计算校正后的两幅图像中的各个像素点对应的视差； 评价子模块，用于判断所有计算出的视差中正确视差的百分比是否达到设定阈值，如果是，判定校正后的两幅图像达到设定标准，否则，判定校正后的两幅图像未达到设定标准。可选的，所述自标定模块包括
第一自标定子模块，用于利用采集到的两幅图像进行第一摄像头的内部参数和畸变系数的自标定、及第二摄像头的内部参数和畸变系数的自标定；
第二自标定子模块，用于利用采集到的两幅图像进行外部参数的自标定。可选的，所述第二自标定模块包括
畸变校正单元，用于利用自标定得到的第一摄像头的内部参数和畸变系数，对采集到的第一摄像头拍摄的图像进行畸变校正，并利用自标定得到的第二摄像头的内部参数和畸变系数，对采集到的第二摄像头拍摄的图像进行畸变校正；
计算单元，用于对畸变校正后的两幅图像进行特征点匹配；将特征点映射到归一化平面；计算本质矩阵，并利用本质矩阵得到外部参数。可见，本发明3D相机图像自动校正的方法及装置中，根据实时采集的两幅图像进行校正，并对校正结果进行自动评价，在校正结果不达标时利用采集的两幅图像进行自标定、并更新校正参数，整个过程完全不需要人的介入，对用户来说简单方便，对系统来说快捷准确且抗干扰。为了上述以及相关的目的，一个或多个实施例包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明某些示例性方面，并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显，所公开的实施例是要包括所有这些方面以及它们的等同。
说明书附图
图1为本发明中3D相机图像自动校正方法的流程图； 图2为本发明实施例中3D相机图像自动校正方法的流程图； 图3a和图北为平行双目视觉距离传感器测量距离的原理图； 图4为本发明中3D相机图像自动校正方法的装置结构示意图； 图5为本发明实施例中3D相机图像自动校正方法的装置结构示意图。
具体实施例方式以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本发明中所涉及的3D相机，包括同步执行拍摄的第一摄像头和第二摄像头。
图1为本发明3D相机图像自动校正的方法的流程图，在该流程开始之前，设定初始的校正参数。图1所示的流程包括
步骤11 采集第一摄像头和第二摄像头拍摄的图像。步骤12 使用校正参数对采集到的两幅图像进行校正。步骤13 判定校正后的两幅图像未达到设定标准时，利用采集到的两幅图像进行自标定。步骤14 根据自标定的结果更新校正参数，然后继续执行步骤11。可见，本发明3D相机图像自动校正的方法中，根据实时采集的两幅图像进行校正，并对校正结果进行自动评价，在校正结果不达标时利用采集的两幅图像进行自标定、并更新校正参数，整个过程完全不需要人的介入，对用户来说简单方便，对系统来说快捷准确且抗干扰。下面给出本发明方法的实施例，以3D相机包括双目摄像头为例，以下描述中分别称为左摄像头和右摄像头。上述左摄像头和右摄像头可以移动，且同步执行连续拍摄，因此左摄像头和右摄像头针对同一景物会得到不同视角的多幅图像。本实施例中，从左摄像头和右摄像头拍摄的第二幅图像开始、对每一幅图像都执行自动校正的流程。本实施例中，设定初始的校正参数，具体的，设定左摄像头和右摄像头具有相同的内部参数和畸变系数。初始的校正参数具体包括如下几项
1)初始的内部参数。等效焦距=widih/2 , Jy = kmgkt/2。中心点-.Cx = widthfl , cy = height/2。上述術ΛΑ和分别为左摄像头和右摄像头拍摄出的图像的宽度和高度。2)初始的畸变系数。K = kI=Pi = Ih = 。3)初始的外部参数。
O O"旋转矩阵i =0 10。
_0 0平移矩阵Γ= [O O 0]。以上初始的校正参数的设定结果仅为一种举例。图2为本发明实施例中3D相机图像自动校正的方法的流程图，该流程包括 步骤21 采集左摄像头和右摄像头拍摄的图像。将采集到的左摄像头拍摄的图像记为ImageL，将采集到的右摄像头拍摄的图像记为 ImageR0步骤22 针对采集到的左摄像头拍摄的图像，使用左摄像头的内部参数和畸变系数进行畸变校正。
本步骤中，如果当前是第一次进行畸变校正，使用初始的校正参数，否则使用上一次更新后的校正参数。设畸变校正后ImageL为ImageL，，ImageL'中的像素点dst ij, i)，该像素点在 ImageL中的对应位置^rc Cr,7)，通过如下公式(1)至(5)，可以计算出各个 (/) i)在 ImageL中的对应位置的坐标。
权利要求
1.一种3D相机图像自动校正的方法，所述3D相机包括同步执行拍摄的第一摄像头和第二摄像头；其特征在于，设定初始的校正参数；该方法还包括采集第一摄像头和第二摄像头拍摄的图像； 使用校正参数对采集到的两幅图像进行校正；判定校正后的两幅图像未达到设定标准时，利用采集到的两幅图像进行自标定； 利用所述自标定的结果更新校正参数，然后继续执行所述采集的步骤。
2.如权利要求1所述的方法，其特征在于，使用校正参数对采集到的两幅图像进行校正，包括针对采集到的第一摄像头拍摄的图像，使用第一摄像头的内部参数和畸变系数进行畸变校正；针对采集到的第二摄像头拍摄的图像，先使用第二摄像头的内部参数和畸变系数进行畸变校正，再使用所述外部参数进行旋转平移。
3.如权利要求1所述的方法，其特征在于，判定校正后的两幅图像是否达到设定标准的方法，包括计算校正后的两幅图像中的各个像素点对应的视差；判断所有计算出的视差中正确视差的百分比是否达到设定阈值，如果是，判定校正后的两幅图像达到设定标准，否则，判定校正后的两幅图像未达到设定标准。
4.如权利要求1所述的方法，其特征在于，利用采集到的两幅图像进行自标定，包括 利用采集到的两幅图像进行第一摄像头的内部参数和畸变系数的自标定、及第二摄像头的内部参数和畸变系数的自标定；利用采集到的两幅图像进行外部参数的自标定。
5.如权利要求4所述的方法，其特征在于，所述利用采集到的两幅图像进行外部参数的自标定，包括利用自标定得到的第一摄像头的内部参数和畸变系数，对采集到的第一摄像头拍摄的图像进行畸变校正，并利用自标定得到的第二摄像头的内部参数和畸变系数，对采集到的第二摄像头拍摄的图像进行畸变校正；对畸变校正后的两幅图像进行特征点匹配； 将特征点映射到归一化平面； 计算本质矩阵，并利用本质矩阵得到外部参数。
6.一种3D相机图像自动校正的装置，所述3D相机包括同步执行拍摄的第一摄像头和第二摄像头；其特征在于，该装置包括校正参数模块，用于存储初始的校正参数；图像采集模块，用于采集第一摄像头和第二摄像头拍摄的图像；自动校正模块，用于使用所述校正参数模块中的校正参数对采集到的两幅图像进行校正；校正结果评价模块，用于判定校正后的两幅图像是否达到设定标准； 自标定模块，用于在校正后的两幅图像未达到设定标准时，利用采集到的两幅图像进行自标定；更新模块，用于利用自标定的结果更新所述校正参数模块中的校正参数。
7.如权利要求6所述的装置，其特征在于，所述自动校正模块包括第一自动校正子模块，用于针对采集到的第一摄像头拍摄的图像，使用第一摄像头的内部参数和畸变系数进行畸变校正；第二自动校正子模块，用于针对采集到的第二摄像头拍摄的图像，先使用第二摄像头的内部参数和畸变系数进行畸变校正，再使用所述外部参数进行旋转平移。
8.如权利要求6所述的装置，其特征在于，所述校正结果评价模块包括计算子模块，用于计算校正后的两幅图像中的各个像素点对应的视差；评价子模块，用于判断所有计算出的视差中正确视差的百分比是否达到设定阈值，如果是，判定校正后的两幅图像达到设定标准，否则，判定校正后的两幅图像未达到设定标准。
9.如权利要求6所述的装置，其特征在于，所述自标定模块包括第一自标定子模块，用于利用采集到的两幅图像进行第一摄像头的内部参数和畸变系数的自标定、及第二摄像头的内部参数和畸变系数的自标定；第二自标定子模块，用于利用采集到的两幅图像进行外部参数的自标定。
10.如权利要求9所述的装置，其特征在于，所述第二自标定模块包括畸变校正单元，用于利用自标定得到的第一摄像头的内部参数和畸变系数，对采集到的第一摄像头拍摄的图像进行畸变校正，并利用自标定得到的第二摄像头的内部参数和畸变系数，对采集到的第二摄像头拍摄的图像进行畸变校正；计算单元，用于对畸变校正后的两幅图像进行特征点匹配；将特征点映射到归一化平面；计算本质矩阵，并利用本质矩阵得到外部参数。
全文摘要
本发明公开了3D相机图像自动校正的方法及装置，根据实时采集的两幅图像进行校正，并对校正结果进行自动评价，在校正结果不达标时利用采集的两幅图像进行自标定、并更新校正参数，整个过程完全不需要人的介入，对用户来说简单方便，对系统来说快捷准确且抗干扰。
文档编号G06T7/00GK102436660SQ201110351900
公开日2012年5月2日 申请日期2011年11月8日 优先权日2011年11月8日
发明者王嘉, 程懿远, 鲍东山 申请人:北京新岸线网络技术有限公司