一种基于视频的全景图像的变化检测方法与流程

本发明涉及图像变化检测领域，特别涉及一种基于视频的全景图像的变化检测方法。

背景技术：

图像变化检测技术广泛应用于违章建筑监测，城市动态监测以及地理信息更新等领域，以城市违章建筑物检测为例，随着我国经济社会不断发展，城市化进程不断加快，城市建筑物不断增长，违法建筑物的数量和规模也在不断增加，这种现象既破坏城市规划和城市景观，又影响城市形象和居民生活，成为影响社会和谐的负面因素之一。目前，“违法成本低，执法成本高”是违法建筑物屡禁不止的主要原因之一，除了相关法律环节欠缺外，对违法建筑物的检测方面也比较薄弱，由于对违法建筑物缺乏自动化的监测手段，利用人工检查的方式具有诸多弊端，一是发现过程周期较长，二是大范围的监测成本高昂。市场上迫切需要一种自动化程度高、稳健可靠的方法进行城市违章建筑物的检测，从而推动城市违法建筑物的整治进程。

技术实现要素：

为解决上述问题，本发明提供了一种基于视频的全景图像的变化检测方法，自动化程度高、稳健可靠，用于违章建筑监测，城市动态监测等领域，从而推动城市违法建筑物的整治进程。

本发明的技术方案为：

本发明涉及一种基于视频的全景图像的变化检测方法，包括：

连续改变相机视角，拍摄覆盖待检测区域的视频数据，采用抽帧法获取连续的图像，拼接形成待检测区域的全景图像；

将所述全景图像作为底图数据，拍摄待检测区域的视频数据，抽帧法获取待检测区域的实时图像，与所述全景图像进行配准，定位实时图像在全景图像上的对应区域；

比较所述实时图像与全景图像上的对应区域，判断是否存在变化区域。

进一步的，拼接形成待检测区域的全景图像包括：

采用sift算法来对连续图像进行特征点提取，包括构建尺度空间、关键点精确定位、确定关键点的方向、生成关键点的特征描述符；

相邻连续图像进行特征点匹配，实现图像配准，包括采用关键点的特征描述符来实现特征点的粗匹配，删除匹配点对当中一对多和多对一的情况，再剔除错误匹配点；

将图像配准后，基于homography矩阵来建立整体优化的误差方程，建立相邻图像之间的整体变换模型来进行图像的拼接，得到所述全景图像。

进一步的，采用sift算法来对连续图像进行特征点提取包括：

利用高斯图像金字塔和差分金字塔构建尺度空间，高斯金字塔基于gpu实现；差分高斯金字塔通过高斯金字塔相邻两层相减得到；

在整个高斯差分尺度空间检测极值点作为特征点，通过hessian矩阵计算特征点的主曲率，剔除主曲率大于给定的阈值的特征点；

将整个差分金字塔作为输入，计算特征点方向梯度模值；特征点方向，所述梯度模值的计算采用gpu，沿主方向和辅方向查找采用cpu；

采用gpu生成每个特征点的特征描述符。

进一步的，相邻连续图像进行特征点匹配包括：

对相邻连续图像的特征点进行粗匹配获取特征点对，选定某一特征点，到相邻图像中找到与其对应的特征描述符之间欧式距离最近的特征点与次近的特征点，计算与最近的特征点和次近的特征点的距离的比值，如果位于设定阈值范围则构成特征点对；

通过利用特征点对像素坐标唯一性，删除特征点对中一对多和多对一的特征点对；

采用斜率约束和极线约束剔除不满足要求的特征点对；

利用ransac算法基于透视变换模型剔除透视变换模型以外的特征点所在的特征点对；

剩余的特征点对作为匹配的特征点。

进一步的，基于homography矩阵来建立整体优化的误差方程，建立相邻图像之间的整体变换模型来进行图像的拼接包括初始配准和精确配准；

初始配准为利用最小二乘法进行图像初始配准的初始化；

精确配准包括：计算相邻图像中一幅图像的homography矩阵，将特征点按照特征点对投影至相邻图像中的另一幅，计算变形后的特征点；利用levenberg-marquet算法对抽帧法获取连续的图像对应的各个homography矩阵进行整体优化，得到每个homography矩阵的值，并根据整体优化后的参数来拼接的图像。

进一步的，获取待检测区域的实时图像后，采用sift算法来对所述实时图像进行特征点提取，包括构建尺度空间、关键点精确定位、确定关键点的方向、生成关键点的特征描述符；与所述全景图像进行特征点匹配，定位到图像在全景图像上的对应区域。

进一步的，采用sift算法来对所述实时图像进行特征点提取包括：

利用高斯图像金字塔和差分金字塔构建尺度空间，高斯金字塔和差分金字塔基于gpu实现；差分高斯金字塔通过高斯金字塔相邻两层相减得到；

在整个高斯差分尺度空间检测极值点作为特征点，通过hessian矩阵计算特征点的主曲率，剔除主曲率大于给定的阈值的特征点；

将整个差分金字塔作为输入，计算特征点方向梯度模值；特征点方向，所述梯度模值的计算采用gpu，主方向和辅方向地查找采用cpu；

采用gpu生成每个特征点的特征描述符。

进一步的，与所述全景图像进行特征点匹配，定位到图像在全景图像上的对应区域包括：

对抽帧法获取的图像与所述全景图像的特征点进行粗匹配获取特征点对，计算某一特征点与最近邻特征点的距离与该特征点与最近邻特征点的距离的比值，如果位于设定范围则构成特征点对；

通过利用特征点对像素坐标唯一性，删除特征点对中一对多和多对一的特征点；

采用斜率约束剔除和极线约束剔除特征点中不满足要求的特征点；

利用ransac算法基于透视变换模型剔除特征点对中不满足要求的特征点；

剩余的特征点对作为匹配的特征点，根据匹配的特征点的位置定位到图像在全景图像上的对应区域。

进一步的，判断是否存在变化区域包括：

对所述实时图像及全景图像上对应区域图像进行预处理，分别进行归一化；

分别计算梯度图像，用像素点的左右像素点的差作为x方向的梯度，上下像素点的差作为y方向的梯度，然后转化为模值和方向；

分别将抽帧法获取实时图像及全景图像上对应区域图像分别分割成大小相同的网格，每个网格都计算一个梯度直方图；

分别计算抽帧法获取实时图像及全景图像上对应区域图像的梯度直方图，对于所统计的所有网格，将网格组合成块，将网格的hog特征串联形成块的hog特征，并对组合好的块进行归一化方式处理，结果为hog描述符；

比较实时图像及全景图像上对应区域图像各组合好的块的hog描述符，如果某一组合好的块的hog描述符差值超过设定阈值，判定为变化区域。

进一步的，还包括如果判定为变化区域，则输出变化区域；并采用抽帧法连续获取待检测区域的连续实时图像，拼接形成待检测区域的全景图像，更新作为底图数据的全景图像。

与现有技术相比，本发明具有如下显著进步：

1.采用全景图像作为变化检测底图，可以用于多时相对比，提高了检测结果的鲁棒性。

2.引入gpu计算，加快计算速度。

3.将方向梯度直方图应用于图像变化检测中，更好的利用了图像特征。

4.提高了变化检测的精度和可靠性，对于违章建筑监测和城市动态监测等具有重要意义。

附图说明

图1是本发明基于全景图像变化检测流程图；

图2是本发明生成全景图像流程图；

图3是基于视频的全景图像变化检测流程图；

图4是本发明hog特征变化检测流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明提供一种基于全景图像变化检测流程图，参见图1，包括如下步骤：

s100连续改变相机视角，拍摄覆盖待检测区域的视频数据，采用抽帧法获取连续的图像，拼接形成待检测区域的全景图像；

图2是本发明生成全景图像流程图，具体操作步骤如下：

s110通过宽幅相机采集视频数据，采用抽帧法获取连续的图像，获取采集到的视频结构体的属性，每隔一定帧数输出图片，此处帧数取值范围为3-10，用于生成全景图像。

采用旋转或移动相机的方式拍摄覆盖待检测区域的视频数据，相机放在固定支架上，绕其垂直轴旋转或者沿轨道移动，保持缩放比例不变。在一个实施例中，视频采集的帧率为30帧/秒，拍摄的视场为30度，转速为30度/秒。那么相邻帧之间的间隔为1度，重叠度可以达到97％。因为相邻帧的重叠度较大，为了减少运算量，可以每隔15帧来提取一个关键帧，重叠度可以达到50％。

s120采用sift算法来对连续图像进行特征点提取，对于大量的数据，通过cuda计算架构采用cpu和gpu协同处理，降低处理时间。特征点提取主要包括构建尺度空间、关键点精确定位、确定关键点的方向、生成关键点的描述符四个主要步骤。

s130特征点匹配。首先采用sift特征描述符来实现特征点的粗匹配，然后删除匹配点对当中一对多和多对一的情况，再采用斜率约束剔除部分明显错误的匹配点对，进一步再利用极线几何的相关原理来剔除部分错误匹配点对，最后采用ransac来去除“外点”。

s140将图像配准后，基于homography矩阵来建立整体优化的误差方程，建立图像之间的整体变换模型来进行图像的拼接，得到全景图像。

具体的，所述步骤s120具体包括：

s121利用高斯图像金字塔和差分金字塔构建尺度空间。高斯金字塔有n组，每组有s层图像，对于每一层数据，计算其对应的高斯核。对组内第i层的数据进行卷积，得到第i+1层的图像数据，重复卷积操作得到高斯金字塔的所有图像数据。卷积运算基于gpu实现。kernel函数一次执行生成金字塔每组图像中的一层，进行n*s次循环即可生成整个金字塔。差分金字塔的构建采用gpu实现，较为简单，对每组内的上下两幅图像数据相减可得差分金字塔中一层的图像数据，对于每组有i层图像的金字塔，对应产生的差分金字塔每组则有i-1层图像。

s122极值点的检测在整个高斯差分尺度空间进行，采用gpu实现。输入为整个差分金字塔的图像数据，输出是所探测到的特征点的位置和尺度。对于高斯差分尺度空间中的每一个像素点，将该像素点和其所在尺度上下相邻尺度的3*3的像素点比较，如果当前像素点全部大于或者全部小于其周围的像素点，进一步去除对比度过低的特征点，通过循环进行5次插值，如果插值成功的话则判断插值后的对比度情况，如果小于阈值，则抛弃该点，如果大于等于阈值则作为特征点。同时计算特征点的主曲率，通过hessian矩阵求得，如果主曲率大于给定的阈值，则抛弃该点。

s123特征点方向梯度模值的计算需要用到的数据包括极值点检测部分所输出的特征点数组以及每个特征点周围的像素点信息，由于特征点的位置和尺度是不固定的，因此、将整个差分金字塔作为输入，计算特征点方向梯度模值。特征点方向，模值的计算采用gpu，主方向和辅方向地查找采用cpu。

s124生成特征描述符采用gpu进行计算，与计算特征点方向模值时一样的策略。整个grid的任务是利用每个特征点周围像素点的梯度方向和大小计算其对描述该特征点直方图的贡献，最终得到每个特征点的128维特征向量；grid中每个block负责计算一个特征点的128维特征向量；block中每个线程负责计算高斯半径内每个像素点对其所在的4*4的小方块所形成的种子点8个方向的模值贡献度，并累加到相应的方向上，这里总共需要计算4*4共16个种子点才能形成128的特征向量。

所述步骤s130具体包括：

s131特征点粗匹配采用欧式距离来对相似性程度进行判定，获得匹配结果。选定图像中的某个特征点，到与之相关联的图像当中去搜寻，找到与它对应的128维特征描述符之间欧式距离最近的特征点和次近的特征点，然后再将该特征点与最近特征点的距离比上该特征点与次近邻特征点距离，如果比值满足阈值要求(介于0.6-0.8)，则认为匹配正确，不满足阈值要求，则舍弃。

s132通过利用特征点对像素坐标唯一性，删除一对多和多对一匹配点。

s133进一步采用斜率约束和极线约束剔除部分错误的匹配点。分别设置斜率约束和极线约束阈值，删除大于阈值的匹配点。经过斜率约束后可以将明显错误的匹配点剔除，利用极线约束可以删除小部分错误不太明显的匹配点对。

s134利用ransac算法基于透视变换模型剔除了最后残余的错误匹配点。先随机的从整个数据集当中选取最小抽样集，并通过这些抽样集计算出相关模型参数的初始值，再通过计算出来的模型来寻找数据集中的其他内点，并将外点剔除。

所述步骤s140具体包括：

拼接的过程分为初始配准和精确配准两个步骤。初始配准是根据最小二乘来获取图像初始的配准关系，但是最小二乘是一种直接求解的方法，容易受到粗差的影响。精确配准，首先根据当前的图像特征点和homography矩阵(h为3×3的矩阵。)来计算变形后的图像特征点；然后根据新的图像特征点来计算两两图像之间的平移量；根据平移量更新每张图像的中心点坐标；根据更新后的中心点坐标和更新后的图像特征点来计算控制点坐标(控制点坐标以第一张图片的左上角点为坐标原点)；构造全局方程，整体计算每个homography矩阵。利用levenberg-marquet算法对所有影像序列对应的homography矩阵进行整体优化后，得到每个homography矩阵的精确的值，并根据整体优化的参数来拼接所有的图像。采用levenberg-marquet算法来对初始的匹配进行进一步的优化，获得更精确的配准效果。

s200将所述全景图像作为底图数据，拍摄待检测区域的视频数据，抽帧法获取待检测区域的实时图像，与所述全景图像进行配准，定位实时图像在全景图像上的对应区域；

如图3，具体包括：

s210将所述全景图像作为底图数据，拍摄待检测区域的视频数据

s220抽帧法获取待检测区域的实时图像；

s230进行图像特征点提取

s231对抽帧法获取的图像与所述全景图像的特征点进行粗匹配获取特征点对，计算某一特征点与最近邻特征点的距离与该特征点与最近邻特征点的距离的比值，如果位于设定范围则构成特征点对；

s232通过利用特征点对像素坐标唯一性，删除特征点对中一对多和多对一的特征点；

s233采用斜率约束剔除和极线约束剔除特征点中不满足要求的特征点；

s234利用ransac算法基于透视变换模型剔除特征点对中不满足要求的特征点；剩余的特征点对作为匹配的特征点，根据匹配的特征点的位置定位到图像在全景图像上的对应区域。

s240与所述全景图像进行特征点匹配，定位到图像在全景图像上的对应区域，包括：

s241对抽帧法获取的图像与所述全景图像的特征点进行粗匹配获取特征点对，计算某一特征点与最近邻特征点的距离与该特征点与最近邻特征点的距离的比值，如果位于设定范围则构成特征点对；

s242通过利用特征点对像素坐标唯一性，删除特征点对中一对多和多对一的特征点；

s243采用斜率约束剔除和极线约束剔除特征点中不满足要求的特征点；

s244利用ransac算法基于透视变换模型剔除特征点对中不满足要求的特征点；剩余的特征点对作为匹配的特征点，根据匹配的特征点的位置定位到图像在全景图像上的对应区域。

s300比较所述实时图像与全景图像上的对应区域，判断是否存在变化区域。利用hog特征计算和统计图像局部区域的梯度方向直方图来构成特征，进一步进行变化检测，提取变化区域。

图4是本发明hog特征变化检测流程图，具体操作步骤如下：

s310图像预处理，将图像进行归一化，降低图像局部的阴影和光照变化，归一化方法采用gammacorrection。

s320计算梯度图像，用像素点的左右像素点的差作为x方向的梯度，上下像素点的差作为y方向的梯度，然后将其转化为模值和方向。

s330计算网格梯度直方图，将图像分割成32*32大小的网格，每个网格都计算一个梯度直方图。

s340计算图像梯度直方图，对于所统计的所有网格，将其组合成块，将网格的hog特征串联形成块的hog特征。在此基础上，采取归一化方式处理组合好的块，其结果为hog描述符。

s350比较待检测图像与全景图像对应区域的hog描述符，通过设定阈值，判定是否为变化区域。

如果判定为变化区域，则输出变化区域；并采用抽帧法连续获取待检测区域的连续实时图像，拼接形成待检测区域的全景图像，更新作为底图数据的全景图像。

综上所述，本发明提供了一种基于视频的全景图像的变化检测方法，包括：视频采集，采用宽幅相机采集视频图像，获取指定区域视频，采用抽帧法获取连续图像，用于生成全景图像；全景图像拼接，对连续的图像进行配准、拼接得到全景图像；变化检测，以全景图像为底图，对相机采集的视频采用抽帧法获取图像，与全景图像进行配准，定位到图像在全景图像上的位置，进一步进行变化检测，提取变化区域。本发明采用全景图像作为变化检测底图，可以用于多时相对比，提高了检测结果的鲁棒性；并且引入gpu计算加快计算速度、将方向梯度直方图应用于图像变化检测中更好的利用了图像特征，与现有技术相比，本申请的技术方案提高了变化检测的精度和可靠性，对于违章建筑监测和城市动态监测等具有重要意义。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。