用于成像设备建模与校准的系统和方法
【专利说明】
[0001] 交叉引用相关申请
[0002] 本专利申请要求2013年7月2日提交的加拿大申请序列号2,819,956的优先权。
技术领域
[0003] 本发明涉及用于成像设备建模与校准的系统和方法，其用来补偿与成像设备的像 平面垂直的视轴中的缺陷。
【背景技术】
[0004] 数字相机和其它成像设备的校准试图建立如何通过透镜将图像"打印"在成像设 备表面的数学模型。程序首先采用来自具有精确已知容差的校准目标的图片，且从图像中 提取出目标元素。最后，数学模型将图像信息与真实的三维（3D)目标信息关联。一旦校准， 成像设备便可以采用比例因子（焦距f)映射真实世界的物体。在采用现成的相机和透镜 工作时，我们需要对相机进行校准，以补偿透镜焦距上的容差，其中容差可高达10%。
[0005] 而且，一旦模型精确已知，其便能够用于再建完美的相机图像，也称为针孔 (pinhole)，用于几乎每个高端自动成像系统。通过软件图像校正，我们能够补偿由于透 镜的不完美性质、称为几何畸变的鱼眼图像变形，以及称为色畸变的透镜光学中彩虹光 分散所引起的图像误差。几个成像设备将呈现相对于图像平面的视线偏置垂直度偏离 (off-squareness line of sight bias)。为了准确测量图像畸变，需要补偿图像平面相对 于视线透镜的垂直度偏离。为此，已知的校准技术采用倾斜轴假设。然而，已经证明该假设 会使模型中的每个相机参数偏置，引起系统测量误差。结果，在图像中引入比例大小畸变偏 差（scale-size-distortion)，其它每个相机参数都要补偿，这些相机参数也偏置了。在3D 扫描或遥测中，当从一对同时相机图像中重建时，这个称为3D物体的几何和位置偏置。
[0006] 由此，需要改善现有成像设备的校准与建模技术。
【发明内容】
[0007] 提出的校准与建模技术引入精确的视角校正，以考虑成像设备或相机/透镜系统 中的装配容差，该容差引起透镜轴与图像平面的垂直度偏离。
[0008] 精确的相机平面和透镜装配知识将去除遥测系统和采用数字相机或相机立体对 的三维扫面中的系统偏置，产生精确的焦距（图像比例）测量，确定相机平面上真实的图像 中心位置，以及提高测量由像弯曲（几何畸变）和透镜光学中的彩虹光分散（色畸变）所 引起的畸变中的精度。
[0009] 精确的相机平面和透镜装配知识会提高去除透镜几何畸变和色畸变中的计算效 率和精度。
[0010] 去除透镜畸变会提高图像压缩比，但不会增加任何损耗。
[0011] 根据第一大方面，描述一种计算机实施的方法，其对成像设备进行建模以用于校 准和图像校正，该方法包括：定义原点位于成像设备的焦点处的第一 3D正交坐标系，第一 坐标系的第一轴沿成像设备的视线方向延伸；定义原点位于与焦点相距单位距离处的第二 3D正交坐标系，第二坐标系的第一轴沿视线方向延伸，第二坐标系的第二轴和第三轴分别 大致平行于第一坐标系的第二轴和第三个轴，由此，第二坐标系的第二轴和第三轴定义与 视线垂直的真实比例平面（true scale plane);定义原点位于与焦点相距焦距处的第三3D 坐标系，第三坐标系的第一轴沿视线方向延伸，第三坐标系的第二轴和第三轴相对于第一 坐标系的第二轴和第三轴的方位分别倾斜第一角度和第二角度，由此，第三坐标系的第二 轴和第三轴定义相对于视线垂直度偏离的像平面；接收与由成像设备捕捉的真实世界3D 物体的点相关的3D坐标；计算点到真实比例平面上的投影，由此获得第一组平面坐标，以 及计算点到像平面上的投影，由此获得第二组平面坐标系；以及输出指示与3D物体的点对 应的像点的位置的第二组平面坐标。
[0012] 在某些实施例中，第二坐标系被定义为使得真实比例平面建立至成像设备的透镜 系统的入口，并且在真实比例平面上的投影表示成像设备的外部模型的输出，以及第三坐 标系被定义成使得像平面建立至透镜系统的输出，并且像平面上的投影表示成像设备的内 部模型的输出。
[0013] 在某些实施例中，所接收的一组3D坐标是[X y z 1]τ，并且3D物体的点在真实比 例平面上的投影计算为：
[0015] 其中，^是比例等价运算符（scale equivalent operator)，Pi定义相对于第一坐 标系的在真实比例平面上的投影操作。
[0016] 在某些实施例中，3D物体的点在像平面上的投影计算为：
[0018] 其中，Pf定义在像平面上的投影操作，f是焦距，α是第一角度，β是第二角度， R(x，α)是相对于像平面的X轴的旋转矩阵，X轴被定义为在执行α旋转之前大致平行于 第一坐标系的第二轴，R(y，β)是相对于像平面的y轴的旋转矩阵，y轴被定义为在执行β 旋转之前大致平行于第一坐标系的第三轴，α旋转从最右边计算以便β旋转是相对于旋 转角度α的X轴来执行的，其中
[0027] 在某些实施例中，该方法还包括将真实比例平面和像平面之间的单应性Η确定 为：
其中，h31和h 32是将视角校正应用到像平面中X和y比例 (scale)的非零元素，且第二组平面坐标（x"，y"）是真实比例平面上的点图像的畸变位置 (X'，y'）的单应变换（homographic transformation)，单应变换表不为：
[0033] X" = u/w+Cx，并且
[0034] y" = v/w+CY，其中，（Cx，CY)是第三坐标系的原点位置。
[0035] 在某些实施例中，单应性Η被确定为：
[0037] 其中，~是比例等价运算符，对于小角度α和β，使用近似cos Θ~1和sin Θ~ Θ 〇
[0038] 在某些实施例中，该方法还包括补偿真实比例平面处成像设备的透镜的畸变，补 偿包括应用如下定义的透镜畸变模型：
[0039] τ' = r+klr3+k2r5+··',
[0040] 其中，第一组平面坐标包括在用径向坐标（r，θ )表示的真实比例平面上的点的 图像的未畸变位置（X，y)，r2= X 2+y2和tan Θ = y/χ，（X'，y'）表示在像平面上点的投影 之前在透镜输出处的畸变位置（X，y)，r'是基于（X'，y'）计算的畸变径向距离，以及4和 k2是透镜的几何畸变参数。
[0041] 根据第二大方面，描述了一种对成像设备进行建模以用于校准和图像校正的系 统，该系统包括：存储器；处理器；以及存储在存储器中且可由处理器执行的至少一个应用 程序，该应用程序用于：定义原点位于成像设备的焦点处的第一 3D正交坐标系，第一坐标 系的第一轴沿成像设备的视线方向延伸；定义原点位于与焦点相距单位距离处的第二3D 正交坐标系，第二坐标系的第一轴沿视线方向延伸，第二坐标系的第二轴和第三轴分别大 致平行于第一坐标系的第二轴和第三轴，由此，第二坐标系的第二轴和第三定义与视线垂 直的真实比例平面；定义原点位于与焦点相距焦距处的第三3D正交坐标系，第三坐标系的 第一轴沿视线方向延伸，第三坐标系的第二轴和第三轴分别相对于第一坐标系的第二轴和 第三轴轴倾斜第一和第二角度，由此，第三坐标系的第二轴和第三轴定义相对于视线垂直 度偏离的像平面；接收与由成像设备捕捉的真实世界3D物体的点相关的一组3D坐标；计 算点到真实比例平面上的投影，由此获得第一组平面坐标，以及计算点到像平面上的投影， 由此获得第二组平面坐标；以及输出指示与3D物体的点对应的像点的位置的第二组平面 坐标。
[0042] 在某些实施例中，至少一个应用程序可由处理器执行，以用来定义第二坐标系，以 便真实比例平面建立至成像设备的透镜系统的入口且在真实比例平面上的投影表示成像 设备的外部模型的输出，以及定义第三坐标系，以便像平面建立至透镜系统的输出且像平 面上的投影表示成像设备内部模型的输出。
[0043] 在某些实施例中，至少一个应用程序可由处理器执行，以用来接收作为[X y z 1]τ的一组3D坐标系，并且将3D物体的点在真实比例平面上的投影计算为：
[0045] 其中，~是比例等价运算符，并且PiS义相对于第一坐标系的到真实比例平面上 的投影操作。
[0046] 在某些实施例中，至少一个应用程序可由处理器执行，以用来将3D物体的点在像 平面上的投影计算为：
[0048] 其中，Pf定义到像平面上的投影操作，f是焦距，α是第一角度，β是第二角度， R(x，α)是相对于像平面的χ轴的旋转矩阵，χ轴定义为在执行旋转α之前与第一坐标系 的第二轴大致平行，R(y，β)是相对于像平面的y轴的β旋转矩阵，y轴定义为在执行旋转 β之前与第一坐标系的第三轴大致平行，α旋转从最右边计算以便β旋转是按照相对于 旋转角度α的χ轴来进行的，并且其中
[0049] hn= cos β ?
[0050] h12= sin β sin α，
[0051] h13= sin β cos α，
[0052] h22= cos α，
[0053] h23= -sin a，
[0054] h31= -sin β ?
[0055] h32= cos β sin a，以及
[0056] h33= cos β cos a 〇
[0057] 在某些实施例中，至少一个应用程序可由处理器执行，以用来将真实比例平面和 像平面之间的单应性Η确定为：
其中，h31和h 32是将视角校正应用到像平面中的χ和y 比例的非零元素，且第二组平面坐标系（x"，y"）是真实比例平面上点的图像的畸变位置 (χ'，y'）的单应变换，单应变换表示为：
[0063] χ" = u/w+Cx，以及
[0064] y" = v/w+CY，其中，（Cx，CY)是第三坐标系的原点位置。
[0065] 在某些实施例中，至少一个应用程序可由处理器执行，以用来将单应性Η确定为：
[0067] 其中，对于小角度α和β，使用近似cos Θ~1和sin Θ~Θ。
[0068] 在某些实施例中，至少一个应用程序可由处理器执行，以用来补偿真实比例平面 处的成像设备透镜的畸变，补偿包括应用如下定义的透镜畸变模型：
[0069] τ' = r+klr3+k2r5+··',
[0070] 其中，第一组平面坐标包括用径向坐标（r，θ )所表示的真实比例平面上的点的 图像的未畸变位置（X，y)，r2= χ 2+y2和tan Θ = y/x，（X'，y'）表示在像平面上点的投影 之前在透镜输出处的畸变位置（X，y)，r'是基于（χ'，y'）计算的畸变径向距离，以及4和 k2是透镜的几何畸变参数。
[0071] 在某些实施例中，成像设备包括变焦镜头相机、近红外成像设备、短波长红外成像 设备、长波长红外成像设备、雷达设备、光探测和测距设备、抛物面反射镜望远镜成像仪、外 科内窥镜相机、计算机断层扫描设备、卫星成像设备、声纳设备，以及多光谱传感器融合系 统。
[0072] 根据第三大方面，描述了一种计算机可读介质，其上存储有可由处理器执行的程 序代码，以对在校准和图像校正中所使用的成像设备进行建模，可执行的程序代码用来定 义原点位于成像设备的焦点处的第一 3D正交坐标系，第一坐标系的第一轴沿成像设备视 线方向延伸；定义原点位于与焦点相距单位距离处的第二3D正交坐标系，第二坐标系的第 一轴沿视线方向延伸，第二坐标系的第二轴和第三轴分别大致平行于第一坐标系的第二轴 和第三轴，由此，第二坐标系的第二轴和第三轴定义与视线垂直的真实比例平面；定义原点 位于与焦点相距焦距处的第三3D正交坐标系，第三坐标系的第一轴沿视线方向延伸，第三 坐标系的第二轴和第三轴分别相对于第一坐标系的第二轴和第三轴的方位倾斜第一和第 二角度，由此，第三坐标系的第二轴和第三轴定义相对于视线垂直度偏离的像平面；接收与 由成像设备捕捉的真实世界3D物体的点相关的一组3D坐标；计算点到真实比例平面上 的投影，由此获得第一组平面坐标，以及计算点到像平面上的投影，由此获得第二组平面坐 标；以及输出指示与3D物体的点对应的像点