抗树叶遮挡的检测共享单车异常停放的CIM实时成像方法与流程

本发明涉及深度学习领域，尤其是一种抗树叶遮挡的检测共享单车异常停放的cim实时成像方法。

背景技术：

2010年，ibm正式提出了“智慧城市”这一概念，智慧城市经历了十年时间的探索，目前已经初具成效，然而在城市相关的日常工作中，并没有得到较好的体现。在许多工作中，仍旧采用人力资源为主，技术资源为辅的方法，这种通过人的主观识别进行判断再工作的模式，导致工作者的工作量大且耗时很长。

共享单车已融入了日常生活中，成为了生活中不可或缺的一部分。关于共享单车停放的问题，目前的停放方法是设置一个大区域，用车人员仅需将共享单车停放在此区域中即可。目前对于共享单车的停放检测，仅限于使用传感器，通过传感器进行定位来判断单车是否停放在该大区域中，但无法判断在这个大区域内，共享单车是否按照规定停放在设定好的单车区。

使用摄像头进行共享单车异常停放检测的方法，在对采集到的图像进行处理时往往分别对每个摄像头采集到的图像进行单独处理，但由于采集到的信息有重复性，所以难以将信息整合起来，这就导致不能很好的利用摄像头获取的图像信息。同时，对于树叶遮挡摄像头这一问题，现有方法是需要工作人员定期查看监控，具有随机性，往往不能及时采取相应的措施。

技术实现要素：

针对现有技术存在的问题，本发明提出一种抗树叶遮挡的检测共享单车异常停放的cim实时成像方法，该方法包括：

步骤一，构建目标区域的cim，目标区域包括感兴趣区域和其他区域，感兴趣区域为规定好的单车停放区域；

步骤二，对待处理图像进行语义分割，得到树叶语义分割图，其中，待处理图像由摄像头采集得到；

步骤三，对得到的树叶语义分割图进行操作，得到树叶遮罩，对含有树叶遮罩的树叶语义分割图进行统计操作，输出树叶遮挡提示信息，并对有树叶遮挡的待处理图像进行补全操作得到自适应遮挡图；

步骤四，将得到的所述自适应遮挡图输入两个分支，其中，第一个分支对自适应遮挡图进行操作得到车把中心点的图像坐标，将所述图像坐标投影到cim中；第二个分支对自适应遮挡图进行投影变换、图像拼接操作，之后投影到cim中实现实时成像；

步骤五，将步骤一中所述感兴趣区域与步骤四中所述投影到cim中的图像坐标结合，得到共享单车异常停放检测结果，存在异常停放，则输出异常停放提示信息；

步骤六，将得到的共享单车异常停放检测结果送至目标区域的cim中进行存储，并利用webgis技术进行可视化处理，将目标区域的cim在web端进行显示。

步骤二包括：将待处理图像送入语义分割编码器和语义分割解码器，对待处理图像中的像素点按照树叶及其他无关项两类进行分类，得到树叶语义分割图。

步骤三中的统计操作为：预先设置好比例阈值、时间阈值和数量阈值，当得到的树叶遮罩的面积与图像的面积之比大于比例阈值时，进行一次计数，在设定好的时间阈值内，计数的次数大于数量阈值时，输出树叶遮挡提示信息。

步骤三中的补全操作为：当前第n帧图像检测到树叶遮挡，利用无树叶遮挡的第n-1帧图像补全第n帧图像，并将补全后的图像作为第n帧图像，第n+1帧继续检测到树叶遮挡，利用补全后的第n帧图像对第n+1帧图像进行补全。

步骤四中第一分支得到图像坐标的操作过程为：将自适应遮挡图送入热力点编码器和热力点解码器，得到车把中心点热力图，对该热力图进行后处理得到车把中心点热力图中车把中心点的图像坐标。

执行步骤二和步骤三的神经网络的训练方法为：选择摄像头采集到的有树叶遮挡和无树叶遮挡的两种待处理图像作为训练数据集；训练数据集的类别标注为树叶和其他无关项；采用交叉熵损失函数，随机梯度下降法进行训练。

执行步骤四第一个分支的神经网络的训练方法为：选择摄像头采集到的无树叶遮挡的待处理图像作为训练数据集；以共享单车车把中心点为关键点生成的热斑标注训练数据集；采用均方差损失函数，随机梯度下降法进行训练。

本发明的有益效果在于：

1.该方法对采集到的有树叶遮挡的图像进行补全操作和统计操作，进行补全操作可以避免发生有树叶遮挡时检测结果不准确这一情况的发生，进行统计操作在有大范围树叶长期遮挡摄像头时可以及时获取树叶遮挡提示信息，提醒相关人员采取相应的措施，解决了现有检测树叶是否遮挡摄像头的方法不具有实时性这一问题。

2.该方法采用神经网络对共享单车异常停放的情况进行检测，在减轻相关工作人员的工作量的同时提升了该项工作的完成效率，节省了大量人力资源，且该网络模型经过预先学习训练，可以快速精准的检测出是否有共享单车停放在规定区域外。

3.该方法对摄像头采集到的图像进行处理，实现实时成像，并投影到cim中，可以有效地将多个摄像头采集到的信息整合起来，提高信息利用率。

4.该方法结合cim和webgis技术，可以更直观清楚地展现区域内共享单车的停放情况，在有共享单车异常停放时，相关工作人员可以快速得到该异常停放共享单车的位置信息。

附图说明

图1为检测方法的流程图。

具体实施方式

为了将本发明中的技术方案讲述的更加清楚和完整，下面结合实施例和附图来进一步说明抗树叶遮挡的共享单车异常停放检测方法，参见图1。

以一个共享单车可停靠区域为目标区域的实施例：

一种抗树叶遮挡的检测共享单车异常停放的cim实时成像方法，该方法的具体流程如图1所示，其步骤为：

步骤一，构建目标区域的cim，具体地，目标区域包括感兴趣区域和其他区域，感兴趣区域为规定好的单车停放区域；

cim是以城市信息数据为基础建立的三维城市空间模型和城市信息的有机综合体，目标区域的cim中包括目标区域的空间形状、建筑分布情况、摄像头的型号信息、数量信息、位置分布信息、采集到的图像信息、共享单车异常停放检测结果等。

步骤二，对待处理图像进行语义分割，得到树叶语义分割图，其中，待处理图像由摄像头采集得到；

具体地，将待处理图像送入语义分割编码器和语义分割解码器，对待处理图像中的像素点按照树叶及其他无关项两类进行分类，得到树叶语义分割图。

步骤三，对得到的树叶语义分割图进行二值化操作，得到树叶遮罩，对含有树叶遮罩的树叶语义分割图进行统计操作，输出树叶遮挡提示信息，并对有树叶遮挡的待处理图像进行补全操作得到自适应遮挡图；具体地：

对连续多帧含有树叶遮罩的树叶语义分割图进行统计，设置一个比例阈值a，例如a＝0.3，一个时间阈值，一个数量阈值b，当遮罩面积与图像面积之比大于a时，进行一次计数，在时间阈值内，例如在60帧图像的时间段内，设置b＝30，当计数次数大于b时，判定为存在树叶长期大范围遮挡情况，输出树叶遮挡提示信息；

根据独热编码对树叶语义分割图作二值化处理，树叶类别像素值设为0，其他项设为1，与有树叶遮挡的待处理图像进行乘运算，得到树叶区域像素值为0的rgb图像；当对树叶语义分割图进行二值化操作首次得到树叶遮罩时，对树叶区域像素值为0的rgb图像采用前一帧无树叶遮挡图像对应像素点位置的像素值进行覆盖，得到抗树叶遮挡的图像，之后检测到有树叶遮挡时，都采用前一帧补全以后的图像对应像素点位置的像素值进行覆盖得到自适应遮挡图；例如：当前第n帧图像检测到树叶遮挡，利用无树叶遮挡的第n-1帧图像补全第n帧图像，并将补全后的图像作为第n帧图像，第n+1帧继续检测到树叶遮挡，利用补全后的第n帧图像对第n+1帧图像补全，以此类推。

执行步骤二和步骤三的神经网络的训练方法为：选择摄像头采集到的有树叶遮挡和无树叶遮挡的两种待处理图像作为训练数据集；训练数据集的类别标注为树叶和其他无关项；采用交叉熵损失函数，随机梯度下降法进行训练。

步骤四，将得到的自适应遮挡图输入两个分支，具体地：

第一个分支对自适应遮挡图进行操作得到车把中心点的图像坐标，将图像坐标投影到cim中；

图像坐标的操作过程为：将自适应遮挡图送入热力点编码器和热力点解码器，得到车把中心点热力图，对上述热力图进行后处理得到车把中心点热力图中车把中心点的图像坐标。

第二个分支对自适应遮挡图进行投影变换、图像拼接操作，之后投影到cim中实现实时成像，以目标区域中两个相邻的摄像头采集到的两张有重叠部分的图像为例：

经投影变换将图片投影到一个新的视平面时，首先进行角点检测，相机像平面的四个角点与cim二维地面平面的四个角点一一对应后通过svd(奇异值分解)算法得到两个平面之间投影变换的单应矩阵，通过单应矩阵将像平面的点投影到与cim地面平行的复合全景平面上，角点检测的方法有很多，例如harris角点检测算法、sift角点检测算法、susan角点检测算法、kitchen-rosenfeld角点检测算法等，实施者可根据需要的角点特征选择合适的检测方法；

图像拼接的步骤为：

图像的预处理，包括图像校正和噪声抑制；

特征提取，选取harris角点检测算法提取图像中的特征点；

图像的配准，将特征点进行匹配，之后通过单应矩阵将两张图像中的一张图像投影到另一张图像所在的平面坐标系中，其中，采用ransac算法进行单应矩阵的估计，该算法可以剔除不好的匹配点，保留最优的单应矩阵；

图像变形，将两张图像变形到与cim地面平行的复合全景平面上；

图像融合，在重叠区域融合像素颜色，避免接缝，实施例采用羽化法即使用加权平均颜色值融合重叠区域的像素；

特征点的匹配方法有knn匹配、暴力匹配、最近邻快速匹配等方法，图像融合的方法有金字塔、梯度等，实施者可根据实际情况自行选择使用哪种方法进行特征点的匹配及图像的融合。

执行步骤四第一个分支的神经网络的训练方法为：选择摄像头采集到的无树叶遮挡的待处理图像作为训练数据集；以共享单车车把中心点为关键点经过高斯模糊操作生成的热斑标注训练数据集；采用均方差损失函数，随机梯度下降法进行训练。

步骤五，将步骤一中所述感兴趣区域与步骤四中所述投影到cim中的图像坐标结合，得到共享单车异常停放检测结果，存在异常停放，则输出异常停放提示信息及共享单车异常停放位置信息；

步骤六，将得到的共享单车异常停放检测结果送至目标区域的cim中进行存储，并利用webgis技术进行可视化处理，将目标区域的cim在web端进行显示，监管人员可在web上进行检索、查询和分析，便于监管人员了解目标区域内共享单车异常停放的检测结果及树叶长期遮挡摄像头的情况，从而采取相应的措施。

以上所述旨在让本领域技术人员更深入和透彻的理解本发明，并不用于限制本发明。