抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法与流程

本发明涉及一种抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法。

背景技术：

随着社会科技和经济的飞速发展，环境问题的困扰也日益严重，许多城市出现了垃圾成河的现象，针对河道的抛垃圾行为检测将发挥极其重要的作用，在促进社会文明发展方面具有重要的现实意义。对基于计算机视觉的河道抛垃圾行为的视频检测的实现，河道信息标注的准确性将直接影响检测的精度，但在现实中由于工作人员的操作需要或环境因素，用于监测的摄像头无法避免产生移动，因此需要对摄像机移动后的河道标注信息进行修正，当前方案对摄像机设备的要求较高，单个场景需要多个摄像头，获取摄像机的内外参数，不利于在现实中推广。

技术实现要素：

有鉴于此，本发明的目的在于提供一种抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法，只需要单个摄像头即可实时地修正摄像头移动后的标注信息偏差。

为实现上述目的，本发明采用如下技术方案：

一种抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法,包括以下步骤：

步骤s1:摄像头实时采集视频帧图像；

步骤s2:根据摄像头采集的视频帧图像，判断摄像头是发生移动，若未产生移动，则进行拋垃圾行为的检测；若摄像头发生移动，则暂停抛垃圾行为的检测，并记录下摄像头移动前的视频帧图像srcimage及其河道标注信息，然后进行步骤s3；

步骤s3:根据摄像头采集的视频帧图像，判断摄像头是停止移动，若摄像头仍在移动，则继续判断直至摄像头停止移动；若摄像头停止移动，记录当前视频帧图像dstimage，然后进行步骤s4:

步骤s4:分别对图像srcimage和图像dstimage进行处理，得到特征提取的候选点；

步骤s5:根据图像srcimage和图像dstimage的特征提取的候选点，生成对应的surf特征描述算子；

步骤s6:采用flann快速最近邻搜索算法对图像srcimage和图像dstimage的特征提取的候选点处理，得到侯选特征匹配对；

步骤s7:排除由于图像遮挡等因素产生的错误匹配对，得到最优特征匹配对；

步骤s8:通过所有的最优特征匹配对计算出图像srcimage到图像dstimage的透视变换矩阵m；

步骤s9:对河道标注信息做同样的透视变换，修正河道riverdsti；

步骤s10:根据修正结果判断摄像头是否偏离河道，若未偏离河道则重新启动抛垃圾行为检测；若偏离则提示用户调整摄像头。

进一步的，所述步骤s4具体为：

步骤s41:首先对图像进行高斯滤波，去除噪声；

步骤s42:然后构建hessian矩阵，对经过高斯滤波的输入图像f(x,y)，其hessian矩阵为：

步骤s43:将经过hessian矩阵处理的每个像素点与它邻域的像素点进行比较，取得极大值的像素点即表示比周围像素更亮或更暗的关键点，为侯选特征点；

步骤s44:再滤除部分能量较弱或错误定位的关键点，生成最终的特征提取的候选点。

进一步的，步骤s5具体包括：

步骤s51:遍历图像srcimage和图像dstimage的特征提取候选点，统计其圆形邻域内的haar小波特征；

步骤s52:在每个候选点周围提取20×20大小的像素区域，将其划分为4×4的矩形区域，即每个子矩形区域尺寸为5×5；

步骤s53:统计每个子矩形区域的像素点在水平方向和垂直方向的haar小波特征，包括水平方向值∑dx、水平方向绝对值∑|dx|、垂直方向值∑dy、垂直方向绝对值∑|dy|，这四个值生成特征点的surf特征描述算子，该描述算子为4×4×4维的特征向量。

进一步的，步骤s6具体为：

步骤s61:对图像srcimage和图像dstimage的特征点使用flann快速最近邻搜索算法，找到图像srcimage在图像dstimage中特征值具有最小距离distance的匹配点对(msrc，mdst)；

步骤s62:对所有的匹配点对的distance计算出最小的距离distmin，设置阈值t＝μ×distmin，若(msrc，mdst)的距离distance小于阈值t，则该特征点对作为侯选匹配对。

进一步的，步骤s7具体为：取图像srcimage中的侯选匹配点msrc，比较其与图像dstimage中的最近邻点mdst的距离distance和与次近邻点m'dst的距离distance'，若distance除以distance'的比率ratio小于阈值k，则匹配点对(msrc，mdst)为最优匹配特征对。

进一步的，所述视变换矩阵m：

其中表示线性变换，[a13a23]^t表示平移变换，[a31a32]表示透视变换。

进一步的，所述修正河道riverdsti：

本发明与现有技术相比具有以下有益效果：

1.本发明利用摄像头移动前后监控视频图像中的相同关键点特征信息，计算移动前后的图像映射关系，只需要单个摄像头即可实时地修正摄像头移动后的河道标注信息偏差。

2.本发明有效解决了摄像头产生移动后的河道标注信息偏差的问题，进一步提高了系统的实时性和准确率，避免了由于摄像头移动而产生的抛垃圾行为的误检和漏检。

附图说明

图1是本发明流程原理图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种抛垃圾视频检测中摄像头移动后的河道坐标快速修正方法，包括以下步骤：

(1)对传入的视频帧图像判断摄像头是否发生移动，若摄像头未产生移动，则进行抛垃圾行为的检测；若摄像头发生移动，则暂停抛垃圾行为的检测，并记录下摄像头移动前的视频帧图像srcimage及其河道标注信息，转到步骤(2)；

(2)继续传入视频帧图像，判断摄像头是否停止移动，若摄像头仍在移动，则继续判断直至摄像头停止移动；若摄像头停止移动，记录当前视频帧图像dstimage，转到步骤(3)；

(3)分别对图像srcimage和图像dstimage进行处理，首先对图像进行高斯滤波，去除噪声，然后构建hessian矩阵，对经过高斯滤波的输入图像f(x,y)，其hessian矩阵为：

将经过hessian矩阵处理的每个像素点与它邻域的像素点进行比较，取得极大值的像素点即表示比周围像素更亮或更暗的关键点，为侯选特征点，再滤除部分能量较弱或错误定位的关键点，生成最终的特征提取的候选点；

(4)对每个特征点，统计其圆形邻域内的haar小波特征，然后在特征点周围提取20×20大小的像素区域，将其划分为4×4的矩形区域，即每个子矩形区域尺寸为5×5，统计每个子区域的像素点在水平方向和垂直方向的haar小波特征，包括水平方向值∑dx、水平方向绝对值∑|dx|、垂直方向值∑dy、垂直方向绝对值∑|dy|，这四个值生成特征点的surf(speededuprobustfeatures加速稳健特征)特征描述算子，该描述算子为4×4×4维的特征向量；

(5)对图像srcimage和图像dstimage的特征点使用flann快速最近邻搜索算法，找到图像srcimage在图像dstimage中特征值具有最小距离distance的匹配点对(msrc，mdst)，对所有的匹配点对的distance计算出最小的距离distmin，设置阈值t＝μ×distmin，若(msrc，mdst)的距离distance小于阈值t，则该特征点对作为侯选特征匹配对；

(6)为进一步排除由于图像遮挡等因素产生的错误匹配对，取图像srcimage中的侯选匹配点msrc，比较其与图像dstimage中的最近邻点mdst的距离distance和与次近邻点m'dst的距离distance'，若distance除以distance'的比率ratio小于阈值k，则匹配点对(msrc，mdst)为最优特征匹配对；

(7)通过所有的最优特征匹配对计算出图像srcimage到图像dstimage的透视变换矩阵m，m为3×3矩阵，如式(2)所示：

其中表示线性变换，[a13a23]^t表示平移变换，[a31a32]表示透视变换；

(8)对河道标注信息做同样的透视变换，修正河道riverdsti：

(9)根据修正结果判断摄像头是否偏离河道，若未偏离河道则重新启动抛垃圾行为检测；若偏离则提示用户调整摄像头，待用户调整摄像头后跳转到步骤(1)。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。