基于进化算法的多摄像机高精度自动标定方法与流程
本发明属于相机标定技术领域，特别是涉及到一种基于进化算法的多摄像机高精度自动标定方法。
背景技术：
相机标定是计算机视觉应用中的一项基本任务。相机标定的目的是求出相机的内参，外参，以及畸变参数，由此来建立确定三维空间点的坐标与其在图像中对应点之间的相互关系的相机成像的几何模型。为了实现从物理空间到虚拟空间三维位置的准确映射，除了相机焦距、图像中心点等摄像机内部参数外，还需要得到摄像机的准确位置和方向。因此相机的内参可以在相机部署前完成，但在许多场景中外部参数需要在实际场景中现场确定。
传统相机标定法使用尺寸已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应，来获得相机模型的内外参数。但在视频监控等相机固定的摄像机场景中，制作满足要求的标定物并在摄像机视角下进行标定是非常困难的。因此，研究者们对灵活性强、在实际应用中更简单便捷的相机自动标定方法开展了广泛的研究。自标定方法主要利用场景中一些平行或正交的场景约束信息来估计相机参数，其中，基于消失点和消失线的自标定方法是目前被广泛应用的一种自标定方法。
在监控安防、体育竞赛等许多摄像机的实际应用场景中，常常有行人行走在场景中，因此利用行人来估计消失点进而计算相机参数是一种不需要标定物、适用范围较广的摄像机自标定方法。这类方法通常只需要一段行人在场景中行走的视频作为输入。目前，大多数基于行人检测的自标定方法假设行人垂直于地面，然后利用行人头和脚的位置来估计消失点和水平线。但由于消失点的几何特性和消失点与相机参数的对应关系，这类方法通常需要假设除焦距以外的相机内部参数已知，加上消失点估计中存在的噪声，所得到的相机标定结果中通常存在较大的重投影误差。
多摄像机系统在视频监控等计算机视觉应用中发挥着重要的作用。多摄像机系统自动标定的目标是求取至少有两两视角重叠的多个相机的相机参数。多摄像机自动标定任务是一个具有挑战性的问题，因为它还要求同时构建空间中三维点与多个相机像素坐标系之间的关系，相较于单相机自标定而言这显著地增加了标定的难度。目前大多数基于行人检测的多摄像机自动标定方法鲁棒性能有限，标定结果的重投影误差和对称转移误差等几何误差较大，有待进一步改进。
现有的基于消失点估计的单相机自标定技术：
通过估计三个方向的消失点来求解相机参数是一种有效的自动标定方法。lv等人设计了一种方法，首次将场景中运动的行人用于相机自标定。人的行走是一个周期性的运动，该方法假设在人步行周期的同一阶段人的形状和身高是相同的，然后基于该假设，使用人在两腿交叉时候人体的头和脚的位置来完成相机自标定。如图1所示，该方法通过检测行人的头和脚的位置来自动地估计水平消失线和竖直方向上的消失点，然后根据图像中的主点位置与消失点、水平消失线的几何关系求取三个方向上的三个消失点，最后根据三个消失点的几何属性计算相机参数。
在lv等人所提出的基于场景中行人进行自标定方法的基础上，一些研究者提出了一些改进方法以提高这种自标定方法的性能，例如利用levenberg-marquardt算法对参数进行了非线性优化、利用贝叶斯概率建模来处理自标定过程中的测量噪声与异常值、利用全局最小二乘法求解超定方程组以降低噪声。
在基于消失点估计相机参数的自标定方法中，ransac算法通常被用来消除估计竖直消失点和水平消失线时的异常值或离群点。但由于测量中存在的噪声，在某些离群点数量过多的情况下ransac算法会失效，同时ransac算法的性质也要求需要多次对算法进行微调。因此，tangzeng等人进一步地改进了基于消失点检测的自标定方法。如图2所示，该方法使用一个鲁棒的目标分割和跟踪系统来得到精确的人体头和脚的位置，然后采用均值漂移聚类算法来估计竖直方向上的消失点，同时采用拉普拉斯线性回归法将水平消失线的拟合问题转化为一个凸优化问题，增强了消失线估计的鲁棒性。
在基于消失点的自标定方法所得到的相机参数中，通常存在着较大的几何误差。因为这种方法通常给内参中除焦距以外的其它参数设一个初值，然后假设焦距是内部参数中唯一要估计的参数。如果一个以上的内参未知，就无法实现基于三个消失点的完全自校准，这使得标定参数的重投影误差增加。针对基于消失点的单相机自标定方法中存在的这种问题，tangzeng等人提出了一种基于分布估计算法的相机参数优化方法。如图3所示，这种方法将摄像机参数优化问题转化为地平面上网格点的平均重投影误差最小化问题，通过基于多元正态分布的分布估计算法求取焦距、主点、三个旋转角等8个相机内参、外参的局部最优值组合，放宽了对未知相机内部参数的假设。
现有的基于行人的相机自标定方法大多假设人体垂直于地面，然后利用行人头和脚的位置来估计消失点和水平线。然而，在一般的情况下人体不一定是垂直于地面的，这个假设与真实情况存在一定的偏差；特别地，在体育比赛等人体姿势变化较大的场景中，该假设与实际情况的偏差很大。因此，通过行人头和脚的位置来估计消失点的测量噪声值较大，方法的鲁棒性较差。
现有的多相机联合自标定技术：
多相机自标定在体育竞赛转播、城市监控网络等多种实际应用中发挥着重要的作用，在许多跟踪和观测动态目标的计算机视觉应用中，需要将多个摄像机精确地标定到一个统一的坐标系中。自动地对多个摄像机进行联合标定、找出三维场景中物体在多个二维图像平面上投影的映射关系是一项非常具有挑战性的任务。
liu等人提出了一种用于多摄像机网络的联合自标定方法，不需要跨时间、跨视图地跟踪同一个人所获得的交叉视图对应信息也可完成多相机的标定。如图4和图5所示，该方法将人体的前景杆点作为算法的唯一输入，它先将每个摄像机粗略地标定到其局部的世界坐标系中，然后将鲁棒的相机匹配与部分的直接线性变换方法相结合，再迭代地依次将所有的局部世界坐标系对齐到统一的世界坐标系中。在这个过程中，该方法使用截断最小二乘作为鲁棒的误差度量来迭代地确定对应关系，同时使用一系列的部分线性变换来求解投影变换。这种方法的缺点是对相机间位置关系进行粗粒度地估计所得到的相机参数中存在较大的几何误差。
kurillo等人提出了一种基于led标定物来创建虚拟标定对象的广域标定方法，不需要所有相机的视角都共享同一区域，只需要相机的视角有两两成对的重叠。该方法假设相机已经经过内参的校准，内参是已知的。如图6所示，标定棒被放置在摄像机视角覆盖区域的上方，然后该方法通过几何关系进行相机标定，利用基本矩阵分解法计算摄像机的初始姿态。进一步地，该方法自动地构造加权视角图，使用权值来描述相机对之间关系的图模型，通过寻找摄像机之间的最佳变换路径来最小化标定误差。该方法有效地降低了重投影误差，在噪声干扰的情况下仍具有较高的精度和鲁棒性，但该方法需要特制的标定物体——两个固定距离的可移动led标定物，需要专门针对所使用的标定物体设计检测算法，且标定物受光照条件等环境因素的影响较大，这限制了该方法的实际应用。
此外，目前还存在一些基于行人头脚位置的多摄像头自标定方法，这些方法的共同缺点是测量噪声值较大，并且通常假设除焦距外的内参已知，因此存在较大的重投影误差等几何误差。目前现有的多摄像机自标定算法还没有提出解决几何误差的有效方法，这限制了标定参数的精度。
现有技术的缺点：
(1)已有的多相机标定技术难以自动地估计多个相机间的位置关系，需要通过专门的标定物或者特征明显的标志物来重建相机间的坐标系转换矩阵。
(2)已有的相机自标定技术尚未提出解决标定参数几何误差大的有效方法，自标定获得的标定参数精度低。
(3)目前许多基于行人来检测消失点的相机自标定方法都假设人体垂直于地面，然后使用行人头和脚的位置来估计消失点和消失线。但在体育竞赛等人体姿态变化较大的场景中，该假设与实际情况存在较大的偏差，使标定的参数存在较大的误差。
因此现有技术当中亟需要一种新型的技术方案来解决这一问题。
技术实现要素：
本发明所要解决的技术问题是：提供一种基于进化算法的多摄像机高精度自动标定方法用于解决已有的多相机标定技术难以自动地估计多个相机间的位置关系；已有的相机自标定技术标定参数精度低；多摄像机系统自动标定方法鲁棒性能有限，标定结果的重投影误差和对称转移误差等几何误差较大，有待进一步改进等技术问题。
基于进化算法的多摄像机高精度自动标定方法，利用基于进化算法的多摄像机高精度自动标定系统，
所述基于进化算法的多摄像机高精度自动标定系统包括多个摄像机、中央处理器、图像处理器以及存储器，所述中央处理器分别与摄像机、图像处理器以及存储器连接；所述摄像机中每台摄像机与至少其他一台摄像机的视角有重叠；
所述方法包括以下步骤，并且以下步骤顺次进行，
步骤一、摄像机拍摄同一个场地中行人行走的视频；
步骤二、中央处理器同步采集每台摄像机拍摄同一个场地中行人行走的视频，作为输入；
步骤三、使用基于深度神经网络的人体检测算法检测每幅图像中人体的位置；
步骤四、根据检测到的每幅图像中人体的位置从图像中分割预先设定的人体感兴趣区域小图像；
步骤五、通过基于深度神经网络的人体重识别算法和关键点检测算法分别检测并获得人体感兴趣区域小图中的行人关键点位置信息和身份信息；
步骤六、根据人体关键点位置信息获得人体的躯干位置；同时，通过人体关键点位置信息和身份信息获得同一个人在不同摄像机视角中的对应脚点及脚点的数据信息，所述脚点的数据信息包括脚点的像素坐标；
步骤七、根据人体的躯干位置，通过聚类和回归的方法计算并获得每幅图像中坐标系x、y、z三个方向上消失点的位置信息；
步骤八、通过消失点的位置信息根据基于消失点的相机参数重建法获得每个摄像机的初始参数，然后根据初始参数和不同摄像机视角中的对应脚点获得每个摄像机对应的世界坐标系间的变换矩阵；
步骤九、使用进化算法迭代优化每个摄像机初始的摄像机参数，得到摄像机标定参数的局部最优值；
步骤十、将每组摄像机的局部最优参数投射到同一个世界坐标系中，得到高精度的多摄像机参数，多摄像机高精度自动标定完成。
所述步骤五中的行人关键点位置信息包括人体五个头部关键点、四个躯干关键点和八个四肢关键点的像素坐标。
所述步骤五中的身份信息为多个摄像机所拍摄的图像中，将人体的感兴趣区域小图与之前时刻所检测到的人体图像相匹配，所检测识别到的人体的唯一身份信息。
步骤八中，摄像机的初始参数包括γ,β,α,fx,fy,cu,cv,tz8个参数，其中γ为摄像机坐标系相对于世界坐标系x轴方向上的旋转角，β为摄像机坐标系相对于世界坐标系y轴方向上的旋转角，α为摄像机坐标系相对于世界坐标系z轴方向的选择角，fx为摄像机内部参数中的坐标系x方向焦距分量，fy为摄像机内部参数中的坐标系y方向焦距分量，cu为主点在像素坐标系ou方向上的坐标，cv为主点在像素坐标系ov方向上的坐标,tz为摄像机的高度值。
所述步骤八中根据摄像机视角中的对应脚点获得每个摄像机对应的世界坐标系间的变换矩阵的方法，具体步骤如下：
(1)根据人行走在地面上的基本假设，将图像每个人脚在世界坐标系上的z轴坐标设置为0；
(2)根据脚点的像素坐标和投影矩阵公式，建立脚点从世界坐标系到像素坐标系的投影方程；
(3)求解脚点的投影方程，得到脚点的世界坐标系坐标；
(4)根据步骤五中获得的人体感兴趣区域小图中的行人关键点位置信息和身份信息，将同一时刻不同视角中的同一脚点配对；
(5)使用相邻两个摄像机世界坐标系中对应的多个脚点，通过基于svd算法的刚性变换矩阵求解方法求解并获得两世界坐标系的刚性变换矩阵，进而获得每个摄像机对应的世界坐标系间的变换矩阵。
所述步骤九中进化算法的具体算法步骤如下：
(1)根据初始的摄像机参数构建第一代的摄像机参数概率分布模型，将初始的几何误差作为第一代的几何误差；
(2)根据上一代的摄像机参数概率分布模型随机生成若干个摄像机参数组；
(3)分别使用每组摄像机参数，使用摄像机投影矩阵和摄像机的投影关系计算并获得世界坐标系中地面上的方形网格在摄像机视角中的投影，然后通过计算投影坐标与各网格线交点之间的欧式距离，获得投影与理想投影点的重投影误差；
(4)分别使用每组摄像机参数，使用基于投影的对称转移误差计算方法，计算并获得不同摄像机视角中对应脚点的对称转移误差；
(5)将每组摄像机参数的重投影误差和对称转移误差相加得到几何误差，筛选并保留几何误差比上一代几何误差均值小的摄像机参数组；
(6)计算保留下来的摄像机参数组的几何误差均值，获得所需优化的摄像机参数的多元正态概率分布模型；
(7)重复步骤(2)～(6)，直到摄像机参数几何误差均值的减小比率小于设定阈值。
通过上述设计方案，本发明可以带来如下有益效果：
(1)本发明首次通过人体的躯干而不是头脚点位置来回归和聚类消失点和消失线，增强了基于行人检测的消失点估计方法的鲁棒性，能降低了在人体姿态变化大的场景中摄像机自标定的误差。
(2)本发明使用基于进化算法的多摄像机参数联合优化方法，有效地降低了摄像机标定参数中由重投影误差和对称转移误差所组成的几何误差，能为视频监控等高级视觉应用提供精确的标定参数。
附图说明
以下结合附图和具体实施方式对本发明作进一步的说明：
图1为现有技术中基于行人的消失点检测方法使用的示例图。
图2为现有技术中一种基于目标分割和跟踪系统的消失点检测方法的检测原理图。
图3为现有技术中基于地平面上网格点的重投影误差最小化方法的原理图。
图4为现有技术中一种基于行人的多摄像机自标定方法的原理图。
图5为现有技术中一种基于行人的多摄像机自标定方法的人体的前景杆点选取示例图。
图6为现有技术中一种基于led标定物的多摄像机标定方法的原理图。
图7为本发明基于进化算法的多摄像机高精度自动标定方法应用的多摄像机自动标定系统装置示意图。
图8为本发明基于进化算法的多摄像机高精度自动标定方法的流程框图。
具体实施方式
基于进化算法的多摄像机高精度自动标定方法，利用基于进化算法的多摄像机高精度自动标定系统，
所述基于进化算法的多摄像机高精度自动标定系统包括多个摄像机、中央处理器、图像处理器以及存储器，所述中央处理器分别与摄像机、图像处理器以及存储器连接；所述摄像机中每台摄像机与至少其他一台摄像机的视角有重叠；
其特征是：所述方法包括以下步骤，并且以下步骤顺次进行，
步骤一、摄像机拍摄同一个场地中行人行走的视频；
步骤二、中央处理器同步采集每台摄像机拍摄同一个场地中行人行走的视频，作为输入；
步骤三、使用基于深度神经网络的人体检测算法检测每幅图像中人体的位置；
步骤四、根据检测到的每幅图像中人体的位置从图像中分割预先设定的人体感兴趣区域小图像；
步骤五、通过基于深度神经网络的人体重识别算法和关键点检测算法分别检测并获得人体感兴趣区域小图中的行人关键点位置信息和身份信息；
所述行人关键点位置信息包括人体五个头部关键点、四个躯干关键点和八个四肢关键点的像素坐标；
所述身份信息为多个摄像机所拍摄的图像中，算法将人体的感兴趣区域小图与之前时刻所检测到的人体图像相匹配，所检测识别到的人体的唯一身份信息；
步骤六、根据人体关键点位置信息获得人体的躯干位置；同时，通过人体关键点位置信息和身份信息获得同一个人在不同摄像机视角中的对应脚点的像素坐标。
步骤七、根据人体的躯干位置，通过聚类和回归的方法计算并获得每幅图像中x、y、z三个方向上消失点的位置信息；
步骤八、通过消失点的位置信息，根据基于消失点的摄像机参数重建法获得每个摄像机的初始参数，然后根据初始参数和不同摄像机视角中的对应脚点获得每个摄像机对应的世界坐标系间的变换矩阵；
步骤九、使用进化算法迭代优化每个摄像机初始的摄像机参数，得到摄像机标定参数的局部最优值；
步骤十、将每组摄像机的局部最优参数投射到同一个世界坐标系中，得到高精度的多摄像机参数，多摄像机高精度自动标定完成。
所述步骤八中，摄像机的初始参数包括(γ,β,α,fx,fy,cu,cv,tz)这8个参数，其中γ为摄像机坐标系相对于世界坐标系x轴方向上的旋转角，β为摄像机坐标系相对于世界坐标系y轴方向上的旋转角，α为摄像机坐标系相对于世界坐标系z轴方向的选择角，，fx为摄像机内部参数中的坐标系x方向焦距分量，fy为摄像机内部参数中的坐标系y方向焦距分量，cu为主点在像素坐标系ou方向上的坐标，cv为主点在像素坐标系ov方向上的坐标,，tz为摄像机的高度值。
本方法假设主点坐标位于图像中心，因此(cu,cv)的初始值由图像的原始尺寸计算得到。
本方法通过消失点坐标来计算其它五个摄像机参数的初始值，基于消失点的摄像机参数重建法具体公式如下所示：
假设图像的中心点坐标为(up,vp)，上式中的
所述步骤八中根据摄像机视角中的对应脚点获得每个摄像机对应的世界坐标系间的变换矩阵的方法，具体步骤如下：
(1)根据人行走在地面上的基本假设，将图像每个人脚在世界坐标系上的z轴坐标设置为0；
(2)根据脚点的像素坐标和投影关系，建立脚点从世界坐标系到像素坐标系的投影方程。
假设脚点坐标为(u,v)，脚点在世界坐标系中的像素坐标为(xw,yw,zw)，则所述投影关系如下所示：
其中s为尺度因子，m为摄像机投影矩阵，k为外参矩阵，[r|t]为内参矩阵。摄像机投影矩阵、外参矩阵和内参矩阵可分别表示为：
其中，m11、m12、m13、m14、m21、m22、m23、m24、m31、m32、m33、m34分别表示摄像机投影矩阵中各元素的值，fu为在坐标系ou方向上的焦距分量，fv为在坐标系ov方向上的焦距分量，u0表示主点在ou方向的坐标，v0表示主点在ov方向的坐标，r11、r12、r13、r21、r22、r23、r31、r32、r33分别表示外参矩阵中旋转矩阵各元素的值，t1、t2、t3分别表示外参矩阵中平移矩阵各元素的值；
根据以上投影关系和投影矩阵，得到脚点从世界坐标系到像素坐标系的投影方程如下：
(3)求解脚点的投影方程，得到脚点的世界坐标系坐标；
(4)根据步骤五中获得的人体感兴趣区域小图中的行人关键点位置信息和身份信息，将同一时刻不同视角中的同一脚点配对；
(5)使用相邻两个摄像机世界坐标系中对应的多个脚点，通过基于svd算法的刚性变换矩阵求解方法求解并获得两世界坐标系的刚性变换矩阵，进而获得每个摄像机对应的世界坐标系间的变换矩阵。
所述步骤九中进化算法的具体算法步骤如下：
(1)根据初始的摄像机参数构建第一代的摄像机参数概率分布模型，将初始的几何误差作为第一代的几何误差；
(2)根据上一代的摄像机参数概率分布模型随机生成若干个摄像机参数组；
(3)分别使用每组摄像机参数，使用摄像机投影矩阵和摄像机投影关系计算并获得世界坐标系中地面上的方形网格在摄像机视角中的投影，然后通过计算投影坐标与各网格线交点之间的欧式距离，获得投影与理想投影点的重投影误差；
(4)分别使用每组摄像机参数，使用基于投影的对称转移误差计算方法，计算并获得不同摄像机视角中对应脚点的对称转移误差；
假设两个摄像机对应的世界坐标系间的坐标变换矩阵为
假设总共有nc个摄像机，每两个摄像机ci,cj间有
其中dist[,]表示求两个坐标点之间的欧氏距离，
(5)将每组摄像机参数的重投影误差和对称转移误差相加得到几何误差，筛选并保留几何误差比上一代几何误差均值小的摄像机参数组；
(6)计算保留下来的摄像机参数组的几何误差均值，获得所需优化的摄像机参数的多元正态概率分布模型；
(7)重复步骤(2)～(6)，直到摄像机参数几何误差均值的减小比率小于设定阈值。
实施例一：多摄像机高精度自动标定方法与系统在速度滑冰训练辅助系统中的实施方式
速度滑冰的智能辅助训练设备利用计算机视觉技术对专业及业余运动员的动作、姿态、速度等信息进行智能分析，从定性、定量再到定制化分析每个运动员的特点，提高科学化训练水平与效率，其技术难点之一是精准地重建场景信息，以辅助基于多摄像机的多目标追踪、人体姿势估计等任务。
根据基于计算机视觉的速度滑冰训练辅助系统的需求，技术人员在速度滑冰场地周围架设布置6台高分辨率的广角摄像机和相应的存储器、中央处理器、图形处理器，组成多摄像机系统。这6台摄像机固定在距离地面约3米的高度上，每个摄像机至少与其它任意一个摄像机有视角重叠。摄像机架设完成后，多摄像机系统采集并存储同一时间段内速度滑冰运动员的6段训练视频，该训练视频中有多名速度滑冰运动员在赛道中进行不定规则地滑冰运动。
接下来，本发明所提出的多摄像机高精度自动标定方法以这几段滑冰运动员训练视频作为输入，使用深度神经网络分别检测各段视频中的人体关键点和身份等信息，然后根据人体检测结果估计消失点和摄像机间的转换矩阵，计算各摄像机的初始摄像机参数。最后，系统通过基于进化算法的多摄像机联合标定摄像机参数优化方法对各摄像机的初始参数进行优化，得到这6个摄像机的联合标定参数。该标定参数表征了摄像机像素平面与滑冰场地之间的投影关系和6个摄像机之间的相互位置关系，能为后续的计算机视觉任务提供关于场景的基础信息。
实施例二：多摄像机高精度自动标定方法与系统在城市监控网络中的实施方式
城市监控网络一般架设在城市的主干道、车站广场、商业中心等场所，实施远程监控和远程录像备份。其中，利用视频图像进行目标追踪、场景重建等技术在监控安防中发挥着重要的作用。监控网络中摄像机所拍摄的场景中，通常人流较为密集，大量行人在场景中走动，因此本发明所提出的多摄像机自动标定技术能够利用这些行人信息自动地估计摄像机参数数据，为监控安防中的计算机视觉任务提供基础的场景信息。
假设城市的某区域内架设有若干台监控摄像机，这些摄像机一部分有重叠的视角，而另一部分无重叠视角。相关技术人员在每个摄像机的监控录像备份中分别采集一段有行人在场景中行走的视频片段，提供给多摄像机自标定系统，并提供关于摄像机间是否有重叠视角的信息。
对于无重叠视角的摄像机，自标定系统仅以该摄像机的视频片段作为输入，使用深度神经网络检测视频中人体关键点和身份等信息，然后根据人体检测结果估计消失点，计算各摄像机的初始摄像机参数。最后，系统仅使用每组摄像机参数的重投影误差作为几何误差来筛选保留下一代的摄像机参数组，得到单个摄像机的标定参数局部最优值。
对于有重叠视角的一组摄像机，自标定系统以这些摄像机同一时间段的视频片段作为输入，使用深度神经网络分别检测各段视频中的人体关键点和身份等信息，然后根据人体检测结果估计消失点和摄像机间的转换矩阵，计算各摄像机的初始摄像机参数。最后，系统通过基于进化算法的多摄像机联合标定摄像机参数优化方法对各摄像机的初始参数进行优化，得到这些摄像机的联合标定参数。得到的标定参数结果表征了摄像机像素平面与拍摄场地之间的投影关系，以及这些摄像机之间的相互位置关系，能为后续的目标追踪、场景重建等计算机视觉任务提供关于场景的基础信息。
- 还没有人留言评论。精彩留言会获得点赞！