一种基于相位相关的场景偏移检测方法和系统

1.本发明涉及图像处理领域，具体是一种基于相位相关的场景偏移检测方法 和系统。


背景技术：

2.视频监控系统被广泛应用于城市安全、智慧交通、智慧环保、边界安保等各 个领域中。而监控系统想要发挥应有的作用，首先得保证其监控的场景是正确 的，而当监控镜头由于外力等作用，导致拍摄角度发生变化，从而使监控场景 发生偏移时，系统需要及时发现异常并告警，提醒维护人员及时进行相应的维 护。
3.场景偏移的检测方法主要有三大类：像素差分法，直方图匹配法，图像特征 点匹配法。但对于像素差分法，直方图匹配法而言，其对于光照的变化十分敏 感，且无法准确的给出场景偏移的偏移坐标量；而对于图像特征点匹配法，虽 然其在一定程度上能克服光照变化造成的影响，但其存在对于纹理较为干净的 监控场景无法进行有效监测，同时当图像中存在较多运动物体的场景下，由于 图像特征点变化较为剧烈，也无法进行有效的监测，概括而言，图像特征点匹 配算法对图像内容较为依赖，从而在一定程度上降低了其适用的广泛性。
4.而目前，主流偏移检测算法大多都是基于图像特征点匹配算法修改优化而来。 如申请号为201910944546.5的专利所公开的技术方案，一种场景变更检测方法、 装置、设备及可读存储介质。该方法首先也是对图像进行特征点检测，获得特 征点描述子集合，并结合监控设备的参考特征点描述子集合进行匹配检测，获 得强特征点集合，在后续的检测中，利用该强特征点的坐标位置信息，判断是 否发生场景变化。但其本质采用的还是surf(speeded up robust features，具 有尺度和旋转不变特性的兴趣点检测和描述方法)特征点检测算法。而本发明 所提出的方法，不再从空域角度进行分析，而是从频域角度出发，利用图像的 相位相关信息，减少对图像内容的依赖，从而避免空域分析固有的局限性。
5.由上述分析可知，现有的场景偏移检测算法都有一定的局限性，无法很好的 满足实际监测需求，因此，提出一种鲁棒性好，适应性强的场景偏移检测算法 具有重要的实际意义。


技术实现要素：

6.本发明克服了从空域角度进行场景偏移检测过于依赖图像内容的不足，而从 频域角度对图像进行分析，提出了一种基于相位相关的场景偏移检测方法和系 统。
7.本发明的技术构思为：将需要进行场景偏移检测的图像由空域转为频域，而 在频域中，图像的信息体现在模和相位中，其中模信息包含的是图像整体的灰 度信息，而相位信息包含了图像的变化信息，不同图像之间的模可能相同，但 是相位却是不同的，因此利用相位的不同，求取图像之间的相位相关，即可知 道图像之间的偏移信息。本发明采用对图像进行傅里叶变换后先进行内积操作， 再做一次傅里叶逆变换，而求得图像之间的相位
相关信息。经实验验证，本发 明所提出的方法可以检测到1pixel的偏移量，且运算复杂度较低。
8.本发明实现上述发明目的所采用的技术方案如下：
9.一种基于相位相关的场景偏移检测方法，包括如下步骤：
10.s1：从正常运行的监控摄像头中获取一张图片，令其为基准图像g(x，y)，对 其进行傅里叶变换得到g(u，v)，并将结果保存；
11.s2：在一定间隔时间后，再次获取监控摄像头中待测图片f(x，y)，同样也进 行傅里叶变化得到f(u，v)，并给出与基准图像对应关系；
12.s3：根据基准图像与待测图像在频域中的对应关系，计算两幅图之间的交叉 功率谱p(u，v)；
13.s4：对两幅图像的交叉功率谱p(u，v)进行傅里叶逆变换得到相位相关函数 p(x，y)，对其进行求解即可得到基准图像g(x，y)与待测图片f(x，y)的偏移程度 (δx，δy)；
14.s5：将偏移程度与设定阈值比较，若超过阈值则进行告警，反正则跳转至步 骤s2。
15.进一步的，所述步骤s1包括以下步骤：
16.s1.1：对正常运行中的，待检测的监控设备随机拍摄图像，作为基准图像 g(x，y)；
17.s1.2：对基准图像g(x，y)进行二维离散傅里叶变换，将空域视角中的基准图 像变换到频域视角中，表示为g(u，v)，其转换过程如下：
[0018][0019]
其中m，n分别表示基准图像的长宽，u，v为对应的频率变量。
[0020]
进一步的，所述步骤s2包括以下步骤：
[0021]
s2.1：在达到设定的时间间隔后，再次从同一监控设备中获取图像作为待测 图像f(x，y)，此时待测图像与基准图像满足如下关系：
[0022]
f(x，y)＝g(x
‑
δx，y
‑
δy)
ꢀꢀꢀ
(2)
[0023]
其中δx，δy为假定的偏移量，通过后续步骤中对其进行求解而确定偏移程 度；
[0024]
s2.2：同时，对待测图像同样进行二维离散傅里叶变换，获取其在频域中的 表示f(u，v)，并结合s2.1中提出的待测图像与基准图像的关系，根据傅里叶变换 的平移性质，对其进行傅里叶变换，有如下表示：
[0025]
f(u，v)＝g(u，v)e
‑
i2π(uδx+vδy)
ꢀꢀꢀ
(3)
[0026]
该式体现出待测图像与基准图像在频域中的关系。
[0027]
进一步的，所述步骤s3过程为：结合s2.2中基准图像与待测图像在频域中 关系式，计算两幅图像之间的归一化交叉功率谱p(u，v)，如下所示：
[0028][0029]
其中g
*
(u，v)为g(u，v)的复共轭，|g(u，v)g
*
(u，v)|表示幅值谱。
[0030]
基于傅里叶变换定理，比较图像的交叉功率谱p(u，v)与图像间的相位差相等， 即体现了比较图像间的相频特性，后续只需求出上式中δx，δy即可进行偏移程 度的判定。
[0031]
进一步的，所述步骤s4包括以下步骤：
发生场景偏移最终检测结果示意图，图4.b)是发生场景偏移最终检测结果示意图。
具体实施方式
[0046]
下面结合说明书附图对本发明的具体实施方式作进一步详细描述。
[0047]
参照图1～图4.b)，一种基于相位相关的场景偏移检测方法，步骤如下：
[0048]
s1：获取基准图像，并对其进行傅里叶变换，如图2.a)所示；
[0049]
s1.1：对正常运行中的，待检测的监控设备随机拍摄图像，作为基准图像g(x，y)；
[0050]
s1.2：对基准图像g(x，y)进行二维离散傅里叶变换，将空域视角中的基准图像 变换到频域视角中，表示为g(u，v)，其转换过程如下：
[0051][0052]
其中m，n分别表示基准图像的长宽，u，v为对应的频率变量。
[0053]
s2：获取待测图像，进行傅里叶变换，如图2.b)，图2.c)所示，并给出与 基准图像关系表示；
[0054]
s2.1：在达到设定的时间间隔后，再次从同一监控设备中获取图像作为待测 图像f(x，y)，此时待测图像与基准图像满足如下关系：
[0055]
f(x，y)＝g(x
‑
δx，y
‑
δy)
ꢀꢀꢀ
(2)
[0056]
其中δx，δy为假定的偏移量，通过后续步骤中对其进行求解而确定偏移程度；
[0057]
s2.2：同时，对待测图像同样进行二维离散傅里叶变换，获取其在频域中的 表示f(u，v)，并结合s2.1中提出的待测图像与基准图像的关系，根据傅里叶变换 的平移性质，对其进行傅里叶变换，有如下表示：
[0058]
f(u，v)＝g(u，v)e
‑
i2π(uδx+vδy)
ꢀꢀꢀ
(3)
[0059]
该式体现出在频域中待测图像与基准图像间的关系。
[0060]
s3：结合s2.2中基准图像与待测图像在频域中关系式，计算两幅图像之间的 归一化交叉功率谱p(u，v)，如下所示：
[0061][0062]
其中g
*
(u，v)为g(u，v)的复共轭，|g(u，v)g
*
(u，v)|表示幅值谱。
[0063]
基于傅里叶变换定理，比较图像的交叉功率谱p(u，v)与图像间的相位差相等， 即体现了比较图像间的相频特性。
[0064]
s4：通过相位相关函数确定待测图像与基准图像偏移关系；
[0065]
s4.1：对s3步骤中得到的交叉功率谱p(u，v)，依据傅里叶变换平移理论中傅 里叶变换幅值不变，交叉能量谱的相位等于两个图像的相位差，因此通过对 p(u，v)进行傅里叶逆变换即可得到二维脉冲函数，如下：
[0066]
p(x，y)＝p
‑1(u，v)＝p
‑1(e
‑
i2π(uδx+vδy)
)＝δ(x
‑
δx，y
‑
δy)
ꢀꢀꢀ
(5)
[0067]
对该式进行计算，其在大部分区域函数值都趋于0，只有在(δx，δy)处会出现 一个比较尖锐的脉冲，表示进行比较图像的偏移量，如图3所示，对比了发生 偏移和没有发生偏移图像的相位相关函数，可直观看出对比图像的偏移情况， 同时为了防止(δx，δy)处
的函数值过大而导致其他取值不可见，对脉冲函数值均 取了log操作；
[0068]
s4.2：如图4.a)所示，当进行对比的两幅图像场景是一致的，即没有发生场 景偏移，脉冲函数的脉冲位置在坐标原点，函数值为1；如图4.b)所示，当待 测的图像发生了偏移，则在相位相关函数中对应的最高脉冲坐标，即为两幅图 像的位置偏移量，而脉冲函数函数值也会小于1；总而言之，待测图像相对于基 准图像的相对位移为(δx，δy)时，该函数取到最大值，最终的偏离量即为(δx，δy)。
[0069]
s5：结合设定的阈值对偏移结果的判定：对最终的偏移量(δx，δy)使用欧式距 离表示为并与设定的阈值进行比较，若超过阈值，则说明监 控摄像头监控的场景发生了偏移，需要提醒维护人员进行后续的维护等相应操 作；若未超过阈值，则继续计时直到下一个比较时刻再次进行上述步骤的比较。
[0070]
此处对本发明中提及的基于相位相关的场景偏移检测系统进行详细描述，该 系统包括依次连接的图像获取模块、基准图像处理模块、待测图像处理模块、 偏移程度计算模块、结果处理模块；
[0071]
图像获取模块：连接待检测场景下的摄像头，从实时的视频流中获取基准图 像与待测图像；
[0072]
基准图像处理模块：对从图像处理模块中获取的正常运行时监控摄像头中的 图片，令其为基准图像g(x，y)，对其进行傅里叶变换得到g(u，v)，并对基准图像 g(x，y)进行二维离散傅里叶变换，将空域视角中的基准图像变换到频域视角中， 表示为g(u，v)，其转换过程如下：
[0073][0074]
将基准图像在空域与频域中的表示g(x，y)，g(u，v)都保存至存储设备中，用于 后续的比较；
[0075]
待测图像处理模块：在一定间隔时间后，从图像获取模块中获取测图片f(x，y)， 同样也进行傅里叶变化得到f(u，v)，并给出与基准图像对应关系，具体包括：
[0076]
在达到设定的时间间隔后，再次从同一监控设备中获取图像作为待测图像 f(x，y)，此时待测图像与基准图像满足如下关系：
[0077]
f(x，y)＝g(x
‑
δx，y
‑
δy)
ꢀꢀꢀ
(2)
[0078]
其中δx，δy为假定的偏移量，通过后续步骤中对其进行求解而确定偏移程度；
[0079]
同时，对待测图像同样进行二维离散傅里叶变换，获取其在频域中的表示 f(u，v)，并结合s2.1中提出的待测图像与基准图像的关系，根据傅里叶变换的 平移性质，对其进行傅里叶变换，有如下表示：
[0080]
f(u，v)＝g(u，v)e
‑
i2π(uδx+vδy)
ꢀꢀꢀ
(3)
[0081]
体现出的是待测图像与基准图像在频域中的关系；
[0082]
偏移程度计算模块：根据基准图像与待测图像在频域中的对应关系，计算两 幅图之间的交叉功率谱p(u，v)，并根据该交叉功率谱p(u，v)进行傅里叶逆变换得 到相位相关函数p(x，y)，对其进行求解即可得到基准图像g(x，y)与待测图片 f(x，y)的偏移程度(δx，δy)，具体包括：
[0083]
依据待测图像处理模块中基准图像与待测图像在频域中关系式，计算两幅图 像之间的归一化交叉功率谱p(u，v)，如下所示：
[0084][0085]
其中g
*
(u，v)为g(u，v)的复共轭，|g(u，v)g
*
(u，v)|表示幅值谱。
[0086]
基于傅里叶变换定理，比较图像的交叉功率谱p(u，v)与图像间的相位差相等， 即体现了比较图像间的相频特性，后续只需求出上式中δx，δy即可进行偏移程 度的判定；
[0087]
而对于交叉功率谱p(u，v)，依据傅里叶变换平移理论中傅里叶变换幅值不变， 交叉能量谱的相位等于两个图像的相位差，因此通过对p(u，v)进行傅里叶逆变换 即可得到二维脉冲函数，如下：
[0088]
p(x，y)＝p
‑1(u，v)＝p
‑1(e
‑
i2π(uδx+vδy)
)＝δ(x
‑
δx，y
‑
δy)
ꢀꢀꢀ
(5)
[0089]
对该式进行计算，其在大部分区域函数值都趋于0，只有在(δx，δy)处会出现 一个比较尖锐的脉冲，表示进行比较图像的偏移量；
[0090]
而当进行对比的两幅图像场景是一致的，即没有发生场景偏移，脉冲函数的 脉冲位置在坐标原点，函数值为1；而当待测的图像发生了偏移，则在相位相关 函数中对应的最高脉冲坐标，即为两幅图像的位置偏移量，脉冲函数函数值也 会小于1；总而言之，待测图像相对于基准图像的相对位移为(δx，δy)时，该函数 取到最大值，最终的偏离量即为(δx，δy)。
[0091]
结果处理模块：从偏移程度计算模块中获取的偏移值与设定阈值比较，若超 过阈值，则说明监控摄像头监控的场景发生了偏移，需要提醒维护人员进行后 续的维护等相应操作；若未超过阈值，则继续计时直到下一个比较时刻再次进 行上述步骤的比较。
[0092]
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的 保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也 及于本领域技术人员根据本发明构思所能够想到的等同技术手段。