本发明涉及三维检测、三维重构领域，特别是一种三维全景图像快速拼接的方法。
背景技术：
三维全景图像拼接技术是获取大视场内周围环境以及物体位置空间坐标信息的一种技术。三维全景图像能更提供360度的三维物体图像模型，很好的反映了物体的真实形貌，快速三维图像拼接技术在许多诸如军事、文物、医学、教育、工业检测等领域都有着巨大的应用前景。
图像拼接技术由来已久，图像拼接技术即是将一组有重叠的图像集合拼成一副大型的无缝图像，可以剔除重叠的信息，降低信息储存量等优点。常用的图像匹准算法有基于特征点匹准的拼接算法，通过提取重叠图像的特征点，求出对应特征点的图像变换关系，从而将图像通过几何变换，将图像重叠的部分融合起来，完成图像的拼接。另外三维点云的拼接方法按照过程分可以分为俩部分，即为粗拼接和精确拼接，粗拼接按照比较粗糙的精度将不同坐标系下的点云配准到统一坐标系下，然后为了实现拼接误差的最小化，在利用迭代算法对相邻点云进行迭代优化，得到最优的拼接效果。
现有技术还未出现运用机器视觉以及迭代优化算法，结合网络通信，简便快捷的完成三维图像的全景拼接方案，本发明解决这样的问题。
技术实现要素：
为解决现有技术的不足，本发明的目的在于提供一种三维全景图像快速拼接的方法，本发明通过运用机器视觉以及迭代优化算法，并利用服务端和客户端的模式，将不同相机中的三维图像映射到同一坐标系下，简便快捷的完成三维图像拼接。
为了实现上述目标，本发明采用如下的技术方案：
一种三维全景图像快速拼接方法，包括如下步骤：
步骤一：使用棋盘标定板对双目深度相机的rgb相机坐标系与红外深度
相机坐标系同时进行标定，利用标定算法求出图像采集器的内参数矩阵，
径向畸变参数,切向畸变参数，图像采集器相对于待测平面的外参数；
步骤二：由标定外参数得到rgb相机坐标系与红外深度相机坐标系的位置变换关系，在将其统一到同一坐标系完成三维图像的三维重建；
步骤三：对标定板的编码进行识别，对识别标定板的角点进行检测；
步骤四：将标定板放在俩个相邻双目深度相机的中间，使标定板同时完整的出现在俩个相邻双目深度相机的视场范围内，再利用俩个双目深度相机的rgb相机对其视场内的标定板进行检测与识别，得到相邻的双目深度相机坐标系与同一块标定板坐标系的位置变换关系；
步骤五：固定多个双目深度相机，按照步骤四的方法，得到每个相邻的双目深度相机坐标系与同一块标定板坐标系的位置变换关系，然后以一个双目深度相机的世界坐标系为中心，得到其余各个双目深度相机到最终世界坐标系的变换关系，再将各个双目深度相机坐标系中的三维图像通过旋转平移变换统一到统一坐标系下，完成粗配准，接着利用icp算法统一优化整个全景相机的配准精度，最后将各个双目深度相机坐标系到世界坐标系的位置变换关系保存下来，生成位置变换关系查询表；
步骤六：利用客户端程序读取双目深度相机的图像信息，完成三维图像重建。
前述的一种三维全景图像快速拼接方法，
步骤一：使用棋盘标定板对双目深度相机的rgb相机坐标系与红外深度相机坐标系同时进行标定，利用标定算法求出图像采集器的内参数矩阵，径向畸变参数k1,k2,k3，切向畸变参数p1,p2，图像采集器相对于待测平面的外参数；上述外参数包括：旋转向量和平移向量。
根据权利要求1所述的一种三维全景图像快速拼接方法，其特征在于，步骤三：对标定板的编码进行识别，对识别标定板的角点进行检测的具体方法为：
步骤a，读取视频帧，检测标定棋盘格，并校正图像的畸变；
步骤b，生成灰度图像，并进行阈值化、边缘提取、查找轮廓、检查轮廓面积；
步骤c，仿射变换；
步骤d，读取编码值，确定标定板中心在红外深度相机坐标系与rgb相机坐标系中的位置，再依照步骤二得到的红外深度相机的坐标系与rgb相机的坐标系的映射关系得到标定板在深度相机世界坐标系中的三维空间位置，最后再利用奇异值分解算法得到标定板坐标系与双目深度相机坐标系的位置变换关系xm＝rs(xs-ts)，其中xs代表双目深度相机坐标系中任意一点，rs为双目深度相机坐标系到标定板坐标系的旋转矩阵，ts为双目深度相机坐标系到标定板坐标系的平移矩阵，xm为标定板坐标系中的对应点。
前述的一种三维全景图像快速拼接方法，步骤五中的多个双目深度相机为8个。
前述的一种三维全景图像快速拼接方法，步骤六：利用客户端程序读取双目深度相机的图像信息，完成三维图像重建；每个双目深度相机都对接一个客户端程序，然后将各个客户端程序采集到的三维图像，利用位置变换关系查询表，将其映射到统一坐标系下，接着通过网络传输的方式，将各个不同双目深度相机坐标系中的三维图像传输到服务器端，完成了三维全景图像的拼接。
前述的一种三维全景图像快速拼接方法，双目深度相机组成有：grb相机和红外深度相机。
前述的一种三维全景图像快速拼接方法，双目深度相机之间的夹角为45度。
本发明的有益之处在于：本发明提供一种三维全景图像快速拼接的方法，首先利用传统标定方法得到相机的内参数和畸变参数；再利用标定参数得到rgb相机坐标系与深度相机坐标系的位置变换关系，生成三维图像；然后利用机器视觉的方法识别标定板在各个相机坐标系中的三维位置关系，进而可以将不同相机中的三维图像转换到同一标定物的坐标系当中，完成三维拼接的粗匹准；再利用迭代算优化迭代三维图像拼接的精度，将各个摄像机坐标系的位置变换关系保存下来，生成坐标系变换关系查询表；查询表只需要生成一次，保持各个相机的位置不变，利用查询表几个将不同相机坐标系中的三维图像映射到同一坐标系中去，完成三维全景图像的快速拼接。
附图说明
图1是本发明硬件的一种实施例的结构示意图；
图2是本发明双目深度相机摆放位置的一种实施例的结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
三维图像通过双目深度相机采集；作为一种优选，双目深度相机组成有：grb相机和红外深度相机。rgb图与深度信息通过客户端完成三维重建；客户端与服务端通过网络进行通信并将多个视场的三维图像实时的在服务器端转化到同一坐标系中。
相机相邻的夹角设定与单个相机的成像视场范围有关，要能使拼接的精度更准确，则相邻相机的夹角应该越小越好，但是要完成360°全景拼接方案，相邻相机的夹角越小意味着要提供更多的相机，综合考虑，结合一般的深度相机的成像视场范围，相邻双目深度相机的夹角设为45°，即完成360°的三维图像拼接系统，需要8个相同类型的深度相机。
一种三维全景图像快速拼接方法，包括如下步骤：
步骤一：使用棋盘标定板对双目深度相机的rgb相机坐标系与红外深度相机坐标系同时进行标定，利用标定算法求出图像采集器的内参数矩阵，径向畸变参数k1,k2,k3，切向畸变参数p1,p2，图像采集器相对于待测平面的外参数；上述外参数包括：旋转向量和平移向量。
步骤二：由标定外参数得到rgb相机坐标系与红外深度相机坐标系的位置变换关系，在将其统一到同一坐标系完成三维图像的三维重建；
步骤三：对标定板的编码进行识别，对识别标定板的角点进行检测；具体方法为：
步骤a，读取视频帧，检测标定棋盘格，并校正图像的畸变；
步骤b，生成灰度图像，并进行阈值化、边缘提取、查找轮廓、检查轮廓面积；
步骤c，仿射变换；
步骤d，读取编码值，确定标定板中心在红外深度相机坐标系与rgb相机坐标系中的位置，再依照步骤二得到的红外深度相机的坐标系与rgb相机的坐标系的映射关系得到标定板在深度相机世界坐标系中的三维空间位置，最后再利用奇异值分解算法得到标定板坐标系与双目深度相机坐标系的位置变换关系xm＝rs(xs-ts)，其中xs代表双目深度相机坐标系中任意一点，rs为双目深度相机坐标系到标定板坐标系的旋转矩阵，ts为双目深度相机坐标系到标定板坐标系的平移矩阵，xm为标定板坐标系中的对应点。
步骤四：将标定板放在俩个相邻双目深度相机的中间，使标定板同时完整的出现在俩个相邻双目深度相机的视场范围内，再利用俩个双目深度相机的rgb相机对其视场内的标定板进行检测与识别，得到相邻的双目深度相机坐标系与同一块标定板坐标系的位置变换关系。
步骤五：固定8个双目深度相机，按照步骤四的方法，得到每个相邻的双目深度相机坐标系与同一块标定板坐标系的位置变换关系，然后以一个双目深度相机的世界坐标系为中心，得到其余各个双目深度相机到最终世界坐标系的变换关系，再将各个双目深度相机坐标系中的三维图像通过旋转平移变换统一到统一坐标系下，完成粗配准，接着利用icp算法统一优化整个全景相机的配准精度，最后将各个双目深度相机坐标系到世界坐标系的位置变换关系保存下来，生成位置变换关系查询表。
步骤六：利用客户端程序读取双目深度相机的图像信息，完成三维图像重建；每个双目深度相机都对接一个客户端程序，然后将各个客户端程序采集到的三维图像，利用位置变换关系查询表，将其映射到统一坐标系下，接着通过网络传输的方式，将各个不同双目深度相机坐标系中的三维图像传输到服务器端，完成了三维全景图像的拼接。
为了进一步说明本发明，以下通过实施例1带入具体数据演算过程：同时对相邻的俩个深度相机相机一与相机二同时对主动标定板进行识别与检测，可以得到：
x1m＝r1c(x1c-t1c)
x2m＝r2c(x2c-t2c)
其中x1c代表第1个相机坐标系中任意一点，r1c与t1c分别代表从第一个深度相机坐标系到标定板坐标系的旋转矩阵和平移矩阵，x1m为x1c在标定板坐标系中的坐标值，x2c代表第二个相机坐标系中任意一点，r2c与t2c分别代表从第一个深度相机坐标系到标定板坐标系的旋转矩阵和平移矩阵，x2m为x2c在标定板坐标系中的坐标值。由于对同一块标定板进行标定，所以此时俩个标定板所处的坐标系是同一个，即有x1m＝x2m，那么上述俩式可以合并，可以得到第二个深度相机坐标系内任意一点x2c在第一个深度相机坐标系的位置，即：
r1c(x1c-tic)＝r2c(x2c-t2c)
同理，利用标定板同时标定相机i和相机i+1，我们也可以得到它们坐标系之间的变换关系，即：
其中ric，tic为深度相机i中相机坐标系到标定板坐标系的旋转矩阵和平移矩阵，r(i+1)c，t(i+1)c为深度相机i+1中相机坐标系到标定板坐标系的旋转矩阵和平移矩阵，其都可以利用svd奇异值分解的方法求得，xic代表第i个相机坐标系中任意一点，x(i+1)c为其在第i-1个相机坐标系中的值。
上式可以看出，通过俩俩标定，我们可以标定每个相邻深度相机坐标系的位置变换关系，如上述步骤所示，对于8个固定位置相机，保证每俩个相机的视场角的夹角满足一定重合条件，最少可以只经过8次标定，我们可以建立这8个不同位置固定相机坐标系的联系，将8个不同位置相机坐标系中的点云数据统一到同一坐标系中去，即可生成位置变换关系查询表，例如我们将8个深度相机坐标系都统一到第一个相机坐标系中去，这样位置变换关系查询表就由八个旋转平移矩阵组成，其中最终的位置变换查询表是经过icp算法优化迭代后的结果，位置变换关系查询表样表如下：
位置变换关系查询表样表
表中，r11，t11为深度相机一自身转换到第一个深度相机坐标系的旋转平移矩阵，所以旋转矩阵为单位矩阵，平移矩阵为各项值为0，r21，t21为第二个深度相机转换到第一个深度相机坐标系的平移矩阵，通过该矩阵，我们可以将第二个深度相机坐标系中任意一点x2，利用公式x1＝r21(x2+t21)将其转换到第一个深度相机坐标系中去，其中x1即为其在第一个深度相机坐标系中的坐标。
所以，通过使用本专利提出的自主设计的标定板完成粗配准，然后再利用icp算法精确标定并迭代得到上述位置变换关系查询表，我们可以将本专利所述的任意深度相机坐标系中的点xi,i＝1,2,3,…,8，i代表第i个深度相机，通过上述表中的旋转平移矩阵ri1,ti1,i＝1,2,3,…,8，表示第i个深度相机到第一个深度相机的旋转矩阵和平移矩阵，利用公式x1＝ri1(xi+ti1)都统一到同一个坐标系下，位置变换关系查询表样表中世界坐标系即第一个深度相机坐标系，本专利适用的实际世界坐标系可以置于任意位置。
本发明提供一种三维全景图像快速拼接的方法，首先利用传统标定方法得到相机的内参数和畸变参数；再利用标定参数得到rgb相机坐标系与深度相机坐标系的位置变换关系，生成三维图像；然后利用机器视觉的方法识别标定板在各个相机坐标系中的三维位置关系，进而可以将不同相机中的三维图像转换到同一标定物的坐标系当中，完成三维拼接的粗匹准；再利用迭代算优化迭代三维图像拼接的精度，将各个摄像机坐标系的位置变换关系保存下来，生成坐标系变换关系查询表；查询表只需要生成一次，保持各个相机的位置不变，利用查询表几个将不同相机坐标系中的三维图像映射到同一坐标系中去，完成三维全景图像的快速拼接。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。