基于SIFT匹配的云台相机姿态变化检测方法与流程

本发明涉及视频GIS、公共安全和计算机图形学等技术，具体涉及一种基于SIFT匹配的云台相机姿态变化检测方法。

背景技术：

随着社会经济和科学技术的发展，近年来，人们对安全技术防范的要求越来越高。上个世纪八十年代末至今，随着各种新型安保观念的引入，数字视频监控系统在社会各行业、各部门的安全防范领域得到了广泛应用，视频监控技术在公共安全领域发挥了重要作用(范建福.视频监控技术的现状及发展[J].中国市场,2015,11:201-202.)。

随着摄像机技术的发展，视频监控系统所采用的监控摄像头由模拟摄像头向数字摄像头转变，现在的视频监控系统中基本都采用高清晰度的数字摄像头。目前的视频监控系统多采用一个固定的摄像头对某个场景进行监控。对于范围较大的区域，如机场、海关、广场、火车站等，单个摄像头往往无法覆盖整个区域(杨建国.论视频监控的犯罪预防功能及犯罪侦查价值[J].犯罪研究,2011,01:64-74.)。在实际应用中，可以采用两种方法解决大范围的视频监控问题：一种方法是利用多个固定的摄像头覆盖整个监控区域；另一种方法是利用一个安装在固定云台上的、可以按照控制指令左右上下转动的云台相机来监控整个区域，该云台相机在监控区域内按照控制指令转动、重复扫描。与第一种方法中的固定摄像头相比，云台相机可以按照控制指令灵活转动，可以覆盖更大的区域，是当前视频监控系统中广泛采用的主流摄像头。

云台相机可以按照控制指令灵活转动，但也会因为人为因素或自然因素，导致相机姿态发生变化，相机的覆盖区域发生改变，造成监控盲区。视频监控技术在公共安全领域的广泛应用带来了监控摄像头数量迅猛增长，如果云台相机姿态发生变化时，这么多摄像头仅仅依靠人工检测，管理部门不可能做到及时发现，进行检修。

确定相机姿态变化，可以通过摄像机标定技术准确求解，相机标定可以得到相机的旋转角、俯仰角。然而传统的相机标定方法需要利用特定的标定块，在实际使用过程中，常需要重复定标，既不经济也费时，标定的精度也依赖于定标的精确程度。依赖于固定标志物的传统标定方法难以适用于云台相机的自动化标定，自标定方法不失为一种选择，它不需要标定块，仅需要不同视角下的一系列图像，但是要求这一系列图像中具有相同的特征点，并构建这些特征点在不同图像中的对应关系，要求极高的图像识别技术，实现困难。

总之，随着视频监控系统在社会公共安全领域中发挥越来越重要的作用，云台相机广泛应用，及时检测到云台相机姿态发生变化，是及时检修、并确保社会公共安全的前提。但是现有的传统的相机标定方法和自标定方法并不能十分恰当地应用于云台相机姿态变化检测。

技术实现要素：

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于SIFT匹配的云台相机姿态变化检测方法，本发明基于云台相机拍摄的两张图像和SIFT匹配算法，确定云台相机姿态变化，从而解决自动检测云台相机姿态变化的问题。

技术方案：本发明一种基于SIFT匹配的云台相机姿态变化检测方法，依次包括以下步骤：

(1)图像提取：从云台相机拍摄的视频中提取两帧图像；

(2)SIFT匹配：对步骤(1)中提取的两帧图像进行SIFT匹配；

(3)求距离图像中心最近匹配点对：根据SIFT匹配结果，计算离图像中心最近匹配点对在两张图像中的坐标；

(4)计算行向相对偏移量dr和列向相对偏移量dc；

(5)确定云台相机的姿态变化程度，根据相对偏移量dr和dc，确定相机姿态变化程度。

进一步的，所述步骤(1)具体方法为：从待检测的云台相机拍摄的视频中，提取某两个时刻该相机拍摄的两帧图像；其中，两帧图像的来源是为：云台相机拍摄并存储在磁盘等外部存储设备上的历史视频，或者是云台相机实时拍摄的两个连续时刻的图像。

进一步的，所述步骤(2)具体方法为：利用计算机视觉中的SIFT匹配算法，对步骤(1)中提取的两帧图像做匹配，寻找两张图像中的对应点对以及对应点分别在两张图像中的图像坐标；其中，同一空间目标点在两张图像中的像点，即为一组对应点。

进一步的，所述步骤(3)具体过程是：假设两张图像的分辨率都为hr×hc，hr为图像行向像素，hc为图像列向像素，则第一张图像中心点在图像坐标系中的坐标为O(hr/2，hc/2)，根据步骤(2)中SIFT匹配的结果，找到匹配点对中距离第一张图像中心O最近点P₁(r₁，c₁)，及P₁在第二张图像中的对应点P₂(r₂，c₂)。

进一步的，所述步骤(4)具体包括：根据匹配点对P₁(r₁，c₁)和P₂(r₂，c₂)计算相机相对偏移量，行向相对偏移量dr＝r₂-r₁，列向相对偏移量dc＝c₂-c₁。

进一步的，所述步骤(5)中，根据相对偏移量dr和dc的正负号及数值大小来确定云台相机姿态的变化的具体过程为：

dr的符号表征在拍摄第二张图片时，相对于拍摄第一张图像的时刻，相机在竖直方向上的俯仰方向是向上还是向下，dc的数值表征俯仰程度的大小；dc的符号表征在拍摄第二张图片时，相对于拍摄第一张图像的时刻，相机在水平方向上偏移方向是向左还是向右，dr的数值表征偏移程度的大小；比值2*dr/hr定量表征云台相机在拍摄第二张图像时，相对于拍摄第一张图像的时刻，相机在竖直方向上偏移量大小；比值2*dc/hc定量表征云台相机在拍摄第二张图像时，相对于拍摄第一张图像的时刻，相机在水平方向上俯仰程度大小；2*dr/hr和2*dc/hc的比值越接近1，偏移程度越大；2*dr/hr和2*dc/hc的比值为0时，相对偏移量为0，则相机无偏移；

其中，图像的分辨率为hr×hc，hr为图像行向像素，hc为图像列向像素。

有益效果：本发明只从相机拍摄的视频中提取图像，基于SIFT匹配和计算水平方向及竖直方向上的偏移量，从而确定相机姿态的变化，该确定过程中输入数据只有相机拍摄的两帧视频，整个过程完全实现了自动操控，无需人工干预就可确定相机偏移程。

附图说明

图1为实施例1的流程图；

图2为实施例1中图像提取结果示意图；

图3为实施例1中SIFT匹配结果示意图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

为便于进一步理解本发明，此处作以下说明：

SIFT(Scale-invariant feature transform，尺度不变特征转换)匹配，是指David Lowe于1999年提出、2004年完善总结的一种计算机视觉的算法。SIFT特征匹配算法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强的匹配能力。该算法主要包括两个阶段：第一个阶段是SIFT特征的生成，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关；第二阶段是SIFT特征向量的匹配，特征点向量相似的SIFT特征匹配到一起。

对应点是指，因云台相机姿态可能变化，拍摄的两张图像中，同一空间目标点在图像中的像点及像点位置(图像坐标)不同，但它们对应于同一个空间目标，这样的点就称为对应点。

实施例1：

如图1所示，实施例1的一种基于SIFT匹配的云台相机姿态变化检测方法，依次包括以下步骤：

(1)如图2所示，从待检测的云台相机拍摄的视频中，提取某两个时刻该相机拍摄的两帧图像；其中，两帧图像的来源是为：云台相机拍摄并存储在磁盘等外部存储设备上的历史视频，或者是云台相机实时拍摄的两个连续时刻的图像；

(2)SIFT匹配：利用计算机视觉中的SIFT匹配算法，对步骤(1)中提取的两帧图像做匹配，寻找两张图像中的对应点对以及对应点分别在两张图像中的图像坐标，匹配结果如图3所示；

(3)求距离图像中心最近匹配点对：本实施例中，两张图像的分辨率都为720×405，720为图像行向像素，405为图像列向像素，则第一张图像中心点在图像坐标系中的坐标为O(360，202.5)，根据步骤(2)中SIFT匹配的结果，找到匹配点对中距离第一张图像中心O最近点P₁(211，423)，及P₁在第二张图像中的对应点P₂(217，276)；

(4)根据匹配点对P₁和P₂计算相机相对偏移量，行向相对偏移量dr＝r₂-r₁＝6，列向相对偏移量dc＝c₂-c₁＝-147

(5)根据相对偏移量dr和dc的正负号及数值大小来确定云台相机姿态的变化：本实施例中，dr>0，相机在竖直方向上向上偏移；dc<0，相机在水平方向上向右偏移；2*dr/hr＝2*6/405＝0.0296，相机在竖直方向上偏移很小；2*dc/hc＝2*(-147)/720＝-0.4083，相机在水平方向偏移较大。

这一结果可以从提取的两张图像中直观地验证。

实施例1的结果，进一步表明本发明只需要利用从PTZ相机拍摄的视频中提取的两帧图像作为输入数据，就可以计算任意两个时刻，PTZ相机相对姿态变化程度，整个过程都实现了自动计算，无需人工干预，对于数量巨大的监控摄像头，本发明可解决自动实时检测的问题。