一种高精度的投影仪-摄像机标定系统及标定方法
【专利摘要】本发明公开一种高精度的投影仪-摄像机标定系统及方法，该方法包括：用摄像机标定方法标定摄像机，得到摄像机内参数；向标定板投影纯白图案并与标定板的图案叠加，捕获标定区域图像；利用摄像机内参数对图像畸变校正后提取标定区域图像中的角点坐标；根据角点的对应关系估计摄像机像平面和标定板平面之间的单应性矩阵；依序向标定板投影不同特定棋盘图案并分别与标定板的图案叠加，分别捕获标定区域图像；对标定区域图像差分、滤波处理后提取标定板平面上的角点坐标；取角点坐标平均值后应用单应性矩阵映射角点至标定板平面；按角点的获取情况重复上述步骤。利用摄像机标定方法标定投影仪。本发明提高了光三维测量系统的精度。
【专利说明】一种高精度的投影仪-摄像机标定系统及标定方法
【技术领域】
[0001]本发明涉及一种投影仪-摄像机标定系统及标定方法，特别涉及一种高精度的投影仪-摄像机标定系统及标定方法，属于图像处理和计算机视觉检测【技术领域】。
【背景技术】
[0002]投影仪-摄相机系统在三维测量、增强现实及人机交互等领域有着广泛的应用，随着时代的发展人们对三维测量及人机交互的精度要求越来越高，而精确的标定是该系统实现高精度的最大前提，但现有方案一直未达到理想的效果。一方面，现有的一些方法虽然取得了较精确的标定结果(重投影误差的均方根为0.11像素)，却使用了昂贵的高精度设备，对用户的要求也很高，不便于日常使用。另一方面，其他的一些方法虽然操作简便但却不够精确(重投影误差的均方根为0.20像素)，难以满足日益增长的计算机视觉应用的需要，可以说是用牺牲精度的方法换取了步骤的简便。
[0003]另外，现有的大部分标定方法对角点提取的处理都不够好，一方面是没有对角点提取误差的方向性进行补偿，另一方面是没有对图像拍摄过程中的噪声进行合适的滤波。而角点提取的误差显然对整个系统标定的精确度有不容忽视的影响，如果连用于标定的数据本身误差都很大的话，无论标定的其他阶段如何改进，操作如何复杂都难以获得理想的效果，更不用说在保证精度的同时降低操作的复杂度或改用廉价的标定设备了。而且，现有的方法在处理投影图案与打印图案间相互干扰的问题时也不够简便，如通过摄相机的颜色特性来避免干扰，但这也意味着还要进行色彩校正。
[0004]综上所述，现有的标定方法具有下述缺陷:
[0005]1.高精度的标定成本高，而操作简便仪器简单的标定方法又无法取得令人满意的精度；
[0006]2.对角点提取的处理不够好，未对误差进行补偿或对噪声进行滤波，难以获得精确的对应关系；
[0007]3.在打印图像与投影图像相互干扰的处理上不够简便，要求用户进行额外的操作。
【发明内容】
[0008](一 )要解决的技术问题
[0009]本发明要解决的技术问题是:提出一种投影仪-摄像机系统标定方法，向标定板轮流投影多幅特定图案，进行高精度标定，同时又灵活便于操作。
[0010](二)技术方案
[0011]为解决上述技术问题，
[0012]一方面，本发明提供了一种高精度的投影仪-摄像机标定系统，包括:
[0013]用于综合调度各模块之间工作的控制模块、用于产生投影用图案的图案生成模块、用于展示投影图像的标定板、用于将图案向标定板上投影的投影模块、用于向摄像机标定模块或图像处理模块输出图像数据的图像传感及校正模块、用于估计摄像机参数的摄像机标定模块、用于对标定区域图像处理的图像处理模块、用于对投影仪进行标定的投影仪标定|吴块；
[0014]所述图案生成模块、所述投影模块、所述图像传感及校正模块、所述摄像机标定模块、所述图像处理模块、所述投影仪标定模块分别与所述控制模块双向通信连接，所述摄像机标定模块与所述图像传感及校正模块双向通信连接，所述图案生成模块分别与所述投影模块和所述投影仪标定模块通信连接，所述图像传感及校正模块与所述图像处理模块通信连接，所述图像处理模块与所述投影仪标定模块通信连接；
[0015]所述控制模块控制所述摄像机标定模块按照相应的摄像机标定方法对图像传感及校正模块标定并存储相应摄像机内参数；
[0016]所述控制模块控制所述图案生成模块和所述投影模块轮流在所述标定板上投影特定的不同图案，所述控制模块控制所述摄像机标定模块所述摄像机内参数传递至所述图像传感及校正模块，所述图像传感及校正模块分别采集所述标定区域图像并利用摄像机内参数进行图像畸变校正后传送至所述图像处理模块，所述图像处理模块分别对图像差分、反相运算、滤波映射处理后得到角点信息，所述控制模块控制所述投影仪标定模块利用所述角点信息建立对应关系对投影仪标定得到投影仪内参数和投影仪与摄像机之间的外参数。
[0017]其中较优地，所述图像处理模块包括:
[0018]对图像进行差分及反相运算的图像运算模块、对图像滤波消除噪声的图像滤波模块、对图像进行角点提取得到角点坐标的角点提取模块、估计摄像机像平面和标定板平面间单应性矩阵的单应性矩阵模块、将角点坐标从摄像机像平面映射到标定板平面上的角点映射模块；
[0019]所述图像运算模块与所述图像滤波模块连接，所述图像滤波模块与所述角点提取模块连接，所述角点提取模块及所述单应性矩阵模块分别与所述角点映射模块连接，所述角点提取模块与所述单应性矩阵模块连接；所述角点提取模块与所述图像传感及校正模块连接，所述角点映射模块、所述角点提取模块分别与所述投影仪标定模块连接；
[0020]所述图像传感及校正模块采集并校正的标定区域图像传输至所述图像运算模块及所述角点提取模块；所述角点提取模块对接收到图像角点提取得到摄像机像平面坐标系上打印棋盘图案的角点坐标；所述单应性矩阵模块以摄像机像平面坐标系上打印棋盘图案的角点坐标作为输入，和标定板平面坐标系上打印棋盘图案的角点坐标建立对应关系，用最优化方法估计得摄像机像平面与标定板平面间的单应性矩阵并输出给所述角点映射模块；所述图像运算模块对接收的图像差分运算、反相处理得到标定区域图像，输出至所述图像滤波模块；所述图像滤波模块对图像滤波、消除噪声处理后传送至角点提取模块；所述角点提取模块采用相应角点提取方法提取角点坐标并输出至所述投影仪标定模块；所述角点映射模块以所述角点提取模块传输的摄像机像平面角点坐标及从所述单应性矩阵模块获取的单应性矩阵为输入，应用单应性关系将摄像机像平面角点坐标映射到标定板平面上，并输出至所述投影仪标定模块。
[0021]其中较优地，所述图像滤波模块对接收的图像滤波处理时，首先计算图像的梯度，再对梯度图像进行阈值分割得到二值化图像，以将图像分类为棋盘格内部类及棋盘格边缘类。
[0022]再使图像滤波模块接收的图像通过所选取的滤波函数:
【权利要求】
1.一种高精度的投影仪-摄像机标定系统，其特征在于，包括: 用于综合调度各模块之间工作的控制模块、用于产生投影用图案的图案生成模块、用于展示投影图像的标定板、用于将图案向标定板上投影的投影模块、用于向摄像机标定模块或图像处理模块输出图像数据的图像传感及校正模块、用于估计摄像机参数的摄像机标定模块、用于对标定区域图像处理的图像处理模块、用于对投影仪进行标定的投影仪标定模块； 所述图案生成模块、所述投影模块、所述图像传感及校正模块、所述摄像机标定模块、所述图像处理模块、所述投影仪标定模块分别与所述控制模块双向通信连接，所述摄像机标定模块与所述图像传感及校正模块双向通信连接，所述图案生成模块分别与所述投影模块和所述投影仪标定模块通信连接，所述图像传感及校正模块与所述图像处理模块通信连接，所述图像处理模块与所述投影仪标定模块通信连接； 所述控制模块控制所述摄像机标定模块按照相应的摄像机标定方法对图像传感及校正模块标定并存储相应摄像机内参数； 所述控制模块控制所述图案生成模块和所述投影模块轮流在所述标定板上投影特定的不同图案，所述控制模块控制所述摄像机标定模块所述摄像机内参数传递至所述图像传感及校正模块，所述图像传感及校正模块分别采集所述标定区域图像并利用摄像机内参数进行图像畸变校正后传送至所述图像处理模块，所述图像处理模块分别对图像差分、反相运算、滤波映射处理 后得到角点信息，所述控制模块控制所述投影仪标定模块利用所述角点信息建立对应关系对投影仪标定得到投影仪内参数和投影仪与摄像机之间的外参数。
2.如权利要求1所述的投影仪-摄像机标定系统，其特征在于，所述图像处理模块包括: 对图像进行差分及反相运算的图像运算模块、对图像滤波消除噪声的图像滤波模块、对图像进行角点提取得到角点坐标的角点提取模块、估计摄像机像平面和标定板平面间单应性矩阵的单应性矩阵模块、将角点坐标从摄像机像平面映射到标定板平面上的角点映射模块； 所述图像运算模块与所述图像滤波模块连接，所述图像滤波模块与所述角点提取模块连接，所述角点提取模块及所述单应性矩阵模块分别与所述角点映射模块连接，所述角点提取模块与所述单应性矩阵模块连接；所述角点提取模块与所述图像传感及校正模块连接，所述角点映射模块、所述角点提取模块分别与所述投影仪标定模块连接； 所述图像传感及校正模块采集并校正的标定区域图像传输至所述图像运算模块及所述角点提取模块； 所述角点提取模块对接收到图像角点提取得到摄像机像平面坐标系上打印棋盘图案的角点坐标； 所述单应性矩阵模块以摄像机像平面坐标系上打印棋盘图案的角点坐标作为输入，和标定板平面坐标系上打印棋盘图案的角点坐标建立对应关系，用最优化方法估计得摄像机像平面与标定板平面间的单应性矩阵并输出给所述角点映射模块； 所述图像运算模块对接收的图像差分运算、反相处理得到标定区域图像，输出至所述图像滤波模块； 所述图像滤波模块对图像滤波、消除噪声处理后传送至角点提取模块；所述角点提取模块采用相应角点提取方法提取角点坐标并输出至所述投影仪标定模块； 所述角点映射模块以所述角点提取模块传输的摄像机像平面角点坐标及从所述单应性矩阵模块获取的单应性矩阵为输入，应用单应性关系将摄像机像平面角点坐标映射到标定板平面上，并输出至所述投影仪标定模块。
3.如权利要求2所述的投影仪-摄像机标定系统，其特征在于， 所述图像滤波模块对接收的图像滤波处理时，首先计算图像的梯度，再对梯度图像进行阈值分割得到二值化图像，以将图像分类为棋盘格内部类及棋盘格边缘类。 再使图像滤波模块接收的图像通过所选取的滤波函数:
4.如权利要求3所述的投影仪-摄像机标定系统，其特征在于，所述阈值是通过贝叶斯决策理论来确定的，具体如下: 通过式 P(g/E) ?P (E) = P (g/C).P(C),可以得到两解 g = tjg = t2。其中 ^t1SgSt2为棋盘格边缘的灰度值上下范围，E表示棋盘格边缘，C表示棋盘格内部，P(g/E)为属于棋盘格边缘类的像素点中，像素点灰度值为g的概率，P (g/C)为属于棋盘格方格内部的像素点中，像素点灰度值为g的概率，P(E)为像素点位于棋盘格边缘的概率，P(C)为像素点位于棋盘格内部的概率； 针对图像滤波模块接收的图像Ipi，对棋盘格边缘与棋盘格内部的像素数量确定P(E)及P(C)，根据归一化直方图获得概率P (g/C)及P (g/E)，代入上式，其中求得像素灰度值较低的解A即为阈值。
5.如权利要求2所述的投影仪-摄像机标定系统，其特征在于，所述角点提取模块提取角点坐标时， 所述角点提取模块对图像传感及校正模块输出的纯白图案与打印棋盘图案叠加的标定区域图像进行四边形拟合，获得粗略的角点位置，然后在包含粗略角点位置的附近区域，利用单马鞍角点提取方法获得精确角点坐标，进而将该摄像机像平面坐标系上角点坐标输出给所述单应性矩阵模块进行单应性矩阵的估计； 所述角点提取模块对图像滤波模块输出的投影棋盘图案与打印棋盘图案叠加的标定区域图像进行四边形拟合，获得粗略的角点位置，然后在包含粗略角点位置的附近区域，利用四马鞍角点提取方法获取精确角点坐标，进而将该摄像机像平面坐标系上角点坐标输出至角点映射模块及投影仪标定模块； 所述四马鞍角点提取方法是分别用单马鞍角点提取方法提取出四种投影棋盘图案的角点，再对四个角点坐标取平均，得到最终角点坐标。
6.如权利要求1所述的投影仪-摄像机标定系统，其特征在于， 所述特定的不同图案是方形棋盘格图案、反相的方形棋盘格图案，将方形棋盘格图案旋转45 °得到的棱形棋盘格图案或反相棱形棋盘格图案。
7.一种应用权利要求1至6任意一项所述投影仪-摄像机标定系统的标定方法，其特征在于，包括如下步骤: 51:用摄像机标定方法对摄像机标定,得到摄像机内参数； 52:投影仪向标定板投影纯白图案并与标定板的图案叠加，摄像机捕获第一标定区域图像，利用摄像机内参数对第一标定区域图像畸变校正； 53:提取校正后第一标定区域图像中的角点坐标； S4:根据校正后第一标定区域图像中的角点与打印棋盘格中已知角点的对应关系估计摄像机像平面和标定板平面之间的单应性矩阵； 55:投影仪向标定板投影预设棋盘图案，摄像机捕获第二标定区域图像并利用摄像机内参数进行畸变校正； 56:对校正后第二标定区域图像与校正后第一标定区域图像进行差分与反相运算并滤波处理； 57:提取滤波后第二标定区域图像的角点坐标，并判断预设棋盘图案是否已投影完毕，如果预设棋盘图案投影完毕，则进入步骤S8，如果未投影完毕则更换预设棋盘图案重新执行S5 ； 58:对投影不同棋盘图案时得到的角点坐标取平均值，然后应用单应性关系将角点坐标从摄像机像平面映射至标定板平面； S9:判断角点数量是否大于阈值，若不足，则调整标定板的姿态后，回到步骤S2，若满足则进入步骤SlO ； S10:根据投影仪像平面与标定板平面上角点坐标的对应关系，根据投影仪像平面、摄像机像平面上、标定板平面上角点坐标的对应关系，计算获取投影仪与摄像机之间的外参数。
8.如权利要求7所述的标定方法，其特征在于，所述滤波处理的步骤进一步包括: 提取差分后第二标定区 域图像的梯度图像，对所述梯度图像进行阈值分割得到二值化图像； 再使差分后第二标定区域图像通过所选取的滤波函数滤波处理:
9.如权利要求7所述的标定方法，其特征在于，所述阈值是通过贝叶斯决策理论来确定的，具体如下: 通过式P(g/E) ?P(E) = P(g/C).P(C),可以得到两解g = = t2。其中t2为棋盘格边缘的灰度值上下范围，E表示棋盘格边缘，C表示棋盘格内部，P(g/E)为属于棋盘格边缘类的像素点中，像素点灰度值为g的概率，P (g/C)为属于棋盘格方格内部的像素点中，像素点灰度值为g的概率，P(E)为像素点位于棋盘格边缘的概率，P(C)为像素点位于棋盘格内部的概率； 针对图像滤波模块接收的图像中图像棋盘格边缘与棋盘格内部的像素数量确定P(E)及P(C)，根据归一化直方图获得概率P (g/C)及P (g/E)，代入上式，其中求得像素灰度值较低的解tl即为阈值。
10.如权利要求7所述的标定方法，其特征在于，所述提取滤波后第二标定区域图像的角点坐标的 步骤进一步还包括: 对滤波后第二标定区域图像四边形拟合，获得粗略的角点位置，然后在包含粗略角点位置的附近区域，利用四马鞍角点提取方法获取精确角点坐标； 所述四马鞍角点提取方法是分别用单马鞍角点提取方法提取出四种投影棋盘图案的角点，再对四个角点坐标取平均，得到最终角点坐标。
【文档编号】G06T7/00GK103942796SQ201410164584
【公开日】2014年7月23日 申请日期:2014年4月23日 优先权日:2014年4月23日
【发明者】廖一桥, 宋玮, 谢翔, 李国林, 郑毅, 王志华 申请人:清华大学