一种自动发现识别建筑物加盖识别方法及系统与流程

1.本发明涉及人工智能图像识别技术领域，尤其涉及一种自动发现识别建筑物加盖的系统。


背景技术：

2.随着我国城市化、工业化和信息的进一步推进，建设用地开发利用的程度越来越大，违法占用土地、违规进行建筑的现象十分普遍，严重影响土地的合理有效利用及城市的可持续发展，违章建筑严重破坏城市后续整体规划。因此，实时、动态、准确掌握城镇建设用地利用现状及建筑物变更状况，快速发现违章建筑并及时制止违法建设行为，是加强城市规划和土地资源动态管理、确保土地利用和城市总体规划顺利实施的必要前提条件。
3.违法建筑，往往存在较大安全隐患，且不利于管理，不仅影响人民群众生命财产安全，而且危害社会公平正义、侵蚀城市公共资源、影响地区社会治安管理。违法建筑在建设过程中，所购材料和工程质量都难得到保障，因此严重威胁到地区人民群众和违建者本身的生命财产安全。做到“地面人查、空中机飞、遥感对比”立体化巡查方式，对新增违建现象的监督实现无死角、全覆盖。一旦发现新建违建，均做到即查即拆。
4.本系统用于解决发现新增部分建筑物加盖的问题。在执法人员执法的过程中往往由于历史等原因对以前存在的建筑物加盖情形难以管理，除非执法部门能证明是该建筑物是后期违建加盖的，且有效提供加盖的时间用于取证。执法部门能够有效管理的情况是正在进行的违建加盖，本系统基于此类情况，使用自动发现违章加盖情况，提供给执法部门违章加盖地线上取证，实地取证等。


技术实现要素：

5.本发明的目的在于提供一种自动发现识别建筑物加盖系统，旨在解决主动提早发现违章建筑物加盖的问题。
6.为实现上述目的，本发明提供一种自动发现新增建筑物加盖识别方法，包括以下步骤：
7.接入第三方监控接；
8.对接入的监控设备设置监控预置画面；
9.配置监控调度模块-监控取流算法，配置项目包括，获取时间段、获取时间频率、识别区域、屏蔽区域、实时获取、延迟获取、最小延迟时间、最大延迟时间；
10.配置监控调度模块-建筑物加盖识别算法，配置项目包括，数据图像张数、图像最大分辨率、图像最小分辨率、图像质量、图像清晰度、置信度、最小检测尺寸、最大检测尺寸；
11.监控调度模块根据配置定时从监控设备中获取图像，获取到的图像送到建筑加盖识别模块，判断图像是否符合张数要求、最小分辨率、最大分辨率、图像质量、图像清晰度；符合条件后对数据裁剪识别区域、裁剪屏蔽区域，送入神经网络模型预测，对预测输出结果过滤最小检测尺寸、最大检测尺寸、置信度筛选出符合条件的数据，作为建筑加盖数据；
12.比对模块依照建筑加盖数据判断是否新增加盖，通过监控设备id、算法id、预置画面id查询历史加盖数据，查询出的历史加盖数据与预测的数据计算重叠程度iou判断是否为新增，iou小于0.4为新增加盖数据；
13.监控调度模块执行预警步骤，包括，api推送第三方、短信通知、系统用户推送。
14.本发明还提供一种自动发现新增建筑物加盖识别系统，包括，监控管理模块、调度模块、建筑加盖识别模块、比对模块、违建图像预览模块，
15.所述监控管理模块用于对监控设备的管理，包括监控接入、监控操控、监控定位、监控预置画面、监控取流；
16.调度模块用于将监控、算法、比对模块关联起来，包括制定配置从监控中获取图像的算法，建筑物加盖识别算法，数据图像张数、图像最大分辨率、图像最小分辨率、图像质量、图像清晰度、置信度、最小检测尺寸、最大检测尺寸；包括配置监控取流算法：获取时间段、获取时间频率、识别区域、屏蔽区域、实时获取、延迟获取、最小延迟时间、最大延迟时间；
17.建筑加盖识别模块用于识别图像中的加盖区域位置；
18.比对模块用于处理判断检测到的建筑物加盖是否有效，执行数据同步、区域重叠计算、查询、判定、数据存储；
19.违建图像预览模块：用于查看预警图像，查看识别质量好坏。
20.进一步的，所述监控管理模块执行以下步骤：
21.监控接入，将监控设备接入系统，支持市面上大多数厂家监控设备，对接入的监控数据后续按照时间配置获取数据帧；
22.监控操控，操作监控设备上下左右移动，画面放大与缩小操作；
23.监控定位，通过坐标点位与角度方向等信息跳转到指定监控画面；
24.监控预置画面，监控设备包括360度全景摄像与固定视角摄像，监控预置画面在360度全景摄像中提前预置固定角度监控画面，后续直接获取便于获取指定位置的监控画面；
25.监控取流，从监控设备中获取图像，用于识别建筑物加盖。
26.进一步的，所述调度模块-获取图像算法包括，
27.获取时间段，设置用于一定时间段内获取监控视频流，时间按照时分秒格式，设置为7:00:00至18:00:00；
28.获取时间频率，设置一定时间内获取多少数量监控图像，这里设置每小时/1张，每间隔1小时获取一张监控图像；
29.识别区域，用于指定整个监控图像画面中识别那些区域，用于建筑物加盖识别的区域；
30.屏蔽区域，用于屏蔽指定监控图像画面中屏蔽区域，不用于识别建筑物加盖的区域；
31.实时获取，在调度获取监控图像时会优先获取，实时获取；
32.延迟获取，在调度获取监控图像时可以延迟获取，在多个调度任务触发同一个监控设备时，从时间上错开任务，分开执行，避免并发任务造成资源紧张；
33.最小延迟时间，延迟获取图像情况下，允许最小延迟时长；
34.最大延迟时间，延迟获取图像情况下，允许最大延迟时长；
35.调度模块-建筑物加盖识别算法：
36.数据图像张数，建筑物加盖识别图像张数，默认为1，即一次识别只识别一张图像；
37.图像最大分辨率，用于加盖算法模块筛选符合条件的图像数据大小，当接收到的图像分辨率大于图像最大分辨率后，将跳过本次识别，减少无效识别；
38.图像最小分辨率，用于加盖算法模块筛选符合条件的图像数据大小，当接收到的图像分辨率小于图像最小分辨率后，将跳过本次识别，减少无效识别；
39.图像质量，根据图像本身光照情况、图像色差、全黑色、全灰色、图像色彩相近等综合指标判断图像质量，过滤质量较差的无效数据；
40.图像清晰度，通过计算图像的模糊程度，过滤图像清晰度较差的无效数据；
41.置信度，用于过滤置信度较低的无效数据；
42.最小检测尺寸，建筑物加盖识别算法使用目标检测类型算法，输出结果为一个长方形区域，当检测结果中边长小于最小检测尺寸时通过最小边长过滤脏数据；
43.最大检测尺寸，建筑物加盖识别算法使用目标检测类型算法，输出结果为一个长方形区域，当检测结果中边长大于最大检测尺寸时通过最大边长过滤脏数据。
44.进一步的，所述调度模块执行以下步骤，
45.api推送第三方，当使用者需要将本系统识别的建筑物加盖数据推送另外的系统时，设置推送地址；
46.短信通知，当使用者需要知晓本系统识别的建筑物加盖数据时，设置短信通知；
47.系统用户推送，当识别的建筑物加盖数据后使用者需要告知其它使用者时，设置系统用户推送。
48.进一步的，所述比对模块执行以下步骤，
49.数据同步，通过定时任务全量更新方式同步数据，比对与业务数据分离，当需要数据交互同步，根据需要通过定时任务同步；
50.区域重叠计算，通过计算iou算法计算2个相同监控图像是否在相同位置，判断是否是以前存在的建筑物加盖数据，确定是否是新增建筑物加盖数据；
51.查询，通过监控设备id，算法id，监控预置画面id查询以前存储的建筑物加盖数据；
52.判定，如果在查询中查询不到以前存储的建筑物加盖数据，则判定该数据为新增的建筑物加盖；如果计算出来的iou值大于等于0.9时，判定该数据为以前的建筑物加盖；如果查询出来的所有数据计算出的iou值都小于等于0.4时，判定该数据为新增的建筑物加盖；
53.数据存储，用于存储同步的历史建筑物结构化数据建筑物加盖数据点位坐标与非结构化数据建筑物加盖图像。
54.本发明的一种自动发现新增建筑物加盖的系统，通过接入监控设备管理，设置监控预置画面；配置配置监控调度模块-监控取流规则，配置监控调度模块-建筑物加盖识别规则，配置监控调度模块-预警规则；通过pp-yoloe算法识别建筑物加盖情况；对预测结果与历史加盖数据计算iou，判定是否是新增的建筑物加盖；对检测检测数据符合新增建筑物加盖条件时，发出预警提醒，从而解决了现有的新增建筑物加盖不便于甄别的问题。
附图说明
55.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
56.图1是本发明提供的一种自动发现新增建筑物加盖系统的监控管理模型。
57.图2是本发明提供的一种自动发现新增建筑物加盖系统的调度模块。
58.图3是本发明提供的一种自动发现新增建筑物加盖系统的比对模块。
59.图4是本发明提供的一种自动发现新增建筑物加盖系统的识别建筑物加盖的系统。
60.图5是本发明提供的一种自动发现新增建筑物加盖系统的流程图。
具体实施方式
61.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
62.请参阅图1至图5，本发明提供一种自动发现新增建筑物加盖的系统，包括以下步骤：
63.为实现上述目的，本发明提供了一种自动发现识别建筑物加盖的系统包括以下模块：监控管理模块、调度模块、建筑加盖识别模型、比对模块、违建图像预览模块。
64.监控管理模块：监控管理模块用于对监控设备的管理。主要包括监控接入、监控操控、监控定位、监控预置画面、监控取流。
65.调度模块：调度模块用于将监控、算法、比对模块关联起来。包括制定配置从监控中获取图像的规则：建筑物加盖识别规则，数据图像张数、图像最大分辨率、图像最小分辨率、图像质量、图像清晰度、置信度、最小检测尺寸、最大检测尺寸；包括配置监控取流规则：获取时间段、获取时间频率、识别区域、屏蔽区域、实时获取、延迟获取、最小延迟时间、最大延迟时间；包括预警方式的配置规则：api推送第三方、短信通知、系统用户推送。
66.建筑加盖识别模型：用于识别图像中的加盖区域位置，使用改进后的pp-yoloe算法。主要包括加盖识别算法。
67.比对模块：用于处理判断检测到的建筑物加盖是否有效。主要包括：数据同步、区域重叠计算、查询、判定、数据存储。
68.违建图像预览模块：用于查看预警图像，查看识别质量好坏。
69.各模块详情介绍，
70.监控管理模块：
71.监控接入，用于将监控设备接入系统，支持市面上大多数厂家监控设备，对接入的监控数据后续按照时间配置获取数据帧；
72.监控操控，用于操作监控设备上下左右移动，画面放大与缩小等操作；
73.监控定位，通过坐标点位与角度方向等信息跳转到指定监控画面；
74.监控预置画面，监控设备分360度全景摄像与固定视角摄像，当使用360度全景摄
像时由于画面不固定会造成获取监控画面不稳定，从而导致识别不稳定，监控预置画面在360度全景摄像中提前预置固定角度监控画面，后续直接获取便于获取指定位置的监控画面，提供识别稳定性；
75.监控取流，从监控设备中获取图像，用于识别建筑物加盖。
76.调度模块-获取图像规则：
77.获取时间段，设置用于一定时间段内获取监控视频流，时间按照时分秒格式，时间段默认00:00:00至24:00:00，为了提升建筑加盖识别准确性时间端设置为7:00:00至18:00:00。
78.获取时间频率，设置一定时间内获取多少数量监控图像，这里设置每小时/1张，每间隔1小时获取一张监控图像。
79.识别区域，用于指定整个监控图像画面中识别那些区域，用于建筑物加盖识别的区域。
80.屏蔽区域，用于屏蔽指定监控图像画面中屏蔽区域，不用于识别建筑物加盖的区域。
81.实时获取，在调度获取监控图像时会优先获取，实时获取。
82.延迟获取，在调度获取监控图像时可以延迟获取，在多个调度任务触发同一个监控设备时，从时间上错开任务，分开执行，避免并发任务造成资源紧张。
83.最小延迟时间，延迟获取图像情况下，允许最小延迟时长。
84.最大延迟时间，延迟获取图像情况下，允许最大延迟时长。
85.调度模块-建筑物加盖识别规则：
86.数据图像张数，建筑物加盖识别图像张数，默认为1，即一次识别只识别一张图像。
87.图像最大分辨率，用于加盖算法模型筛选符合条件的图像数据大小，当接收到的图像分辨率大于图像最大分辨率后，将跳过本次识别，减少无效识别。
88.图像最小分辨率，用于加盖算法模型筛选符合条件的图像数据大小，当接收到的图像分辨率小于图像最小分辨率后，将跳过本次识别，减少无效识别。
89.图像质量，根据图像本身光照情况、图像色差、全黑色、全灰色、图像色彩相近等综合指标判断图像质量，过滤质量较差的无效数据。
90.图像清晰度，通过计算图像的模糊程度，过滤图像清晰度较差的无效数据。
91.置信度，在统计学中，一个概率样本的置信区间(confidence interval)是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信区间给出的是被测量参数测量值的可信程度范围，即前面所要求的“一定概率”。这个概率被称为置信水平。用于过滤置信度较低的无效数据。
92.最小检测尺寸，建筑物加盖识别算法使用目标检测类型算法，输出结果为一个长方形区域，当检测结果中边长小于最小检测尺寸时通过最小边长过滤脏数据。
93.最大检测尺寸，建筑物加盖识别算法使用目标检测类型算法，输出结果为一个长方形区域，当检测结果中边长大于最大检测尺寸时通过最大边长过滤脏数据。
94.调度模块-识别预警规则：
95.api推送第三方，当使用者需要将本系统识别的建筑物加盖数据推送另外的系统时，设置推送地址。
96.短信通知，当使用者需要知晓本系统识别的建筑物加盖数据时，设置短信通知。
97.系统用户推送，当识别的建筑物加盖数据后使用者需要告知本系统中的其它使用着时，设置系统用户推送。
98.建筑加盖识别模型：用于识别图像中的加盖区域位置，使用改进后的pp-yoloe算法。主要包括加盖识别算法。
99.比对模块：
100.数据同步，通过定时任务全量更新方式同步数据，一般情况下比对与业务数据是分离开的，当需要数据交互同步，可根据需要通过定时任务同步。
101.区域重叠计算，通过计算iou算法计算2个相同监控图像是否在相同位置，从而判断是否是以前存在的建筑物加盖数据，确定是否是新增建筑物加盖数据。
102.查询，通过监控设备id，算法id，监控预置画面id查询以前存储的建筑物加盖数据。
103.判定，如果在查询中查询不到以前存储的建筑物加盖数据，则系统判定该数据为新增的建筑物加盖；如果计算出来的iou值大于等于0.9时，系统判定该数据为以前的建筑物加盖；如果查询出来的所有数据计算出的iou值都小于等于0.4时，系统判定该数据为新增的建筑物加盖。
104.数据存储，用于存储同步的历史建筑物结构化数据建筑物加盖数据点位坐标与非结构化数据建筑物加盖图像。
105.违建图像预览模块：用于查看预警图像，查看识别结果等。
106.整个流程如下所示：
107.将其它系统监控或者第三方监控接入本系统；
108.对接入的监控设备设置监控预置画面；
109.配置监控调度模块-监控取流规则，配置获取时间段、获取时间频率、识别区域、屏蔽区域、实时获取、延迟获取、最小延迟时间、最大延迟时间；
110.配置监控调度模块-建筑物加盖识别规则，数据图像张数、图像最大分辨率、图像最小分辨率、图像质量、图像清晰度、置信度、最小检测尺寸、最大检测尺寸；
111.配置监控调度模块-预警规则：api推送第三方、短信通知、系统用户推送；
112.根据配置定时从监控设备中获取图像，获取到的图像送到建筑加盖识别模块，判断图像是否符合张数要求、最小分辨率、最大分辨率、图像质量、图像清晰度。符合条件后对数据裁剪识别区域、裁剪屏蔽区域，送入pp-yoloe算法模型预测，对预测输出结果过滤最小检测尺寸、最大检测尺寸、置信度筛选出符合条件的数据，作为建筑加盖数据；
113.加盖数据在比对模块中判断是否新增加盖，通过监控设备id、算法id、预置画面id查询历史加盖数据，查询出的历史加盖数据与预测的数据计算重叠程度iou判断是否为新增，iou小于0.4为新增加盖数据；
114.新增加盖数据预警方式推送第三方平台、短信通知用户、推送到本系统用户等。
[0115][0116]
iou用于表示预测建筑物加盖框与历史建筑物加盖框的重叠程度,iou等于预测建筑物加盖框区域面积sa与历史建筑物加盖框区域面积sb交集除以预测建筑物加盖框区域面
积sa与历史建筑物加盖框区域面积sb的并集，sa与sb的并集等于sa与sb面积之和减去sa与sb区域重叠面积。
[0117]
本发明一实施例神经网络模型采用pp-yoloe模型。
[0118]
pp-yoloe模型由cspresnet+customcsppan+head组成。
[0119]
convbnlayer由一个conv卷积计算+bn批处理规范化+swish激活函数构成。
[0120]
f(x)＝x.sigmoid(βx)
[0121]
以上函数表示swish激活函数，x表示输入数据，β表示常量1.0
[0122][0123]
以上函数表示sigmoid激活函数，x表示输入数据，e表示常量自然常数ebasicblock先经过第1个convbnlayer计算，然后分别再经过第2个与第3个convbnlayer计算的输出叠加，最后将经过relu激活函数的输出与第1个convbnlayer计算的输出叠加。
[0124]
cspresstage先经过第一个convbnlayer计算，然后分支1经过第2个convbnlayer计算的输出，在然后经过多个basicblock串联与分支2经过第3个convbnlayer计算的输出通道合并，对合并后的输出计算平均值conv卷积计算，接着通过hard sigmoid激活函数计算，最后执行第4个convbnlayer计算。
[0125]
cspresnet经过3个convbnlayer串联计算，在经过5个cspresstage串联计算得到c1、c2、c3、c4、c5。
[0126]
spp由输入的3个不同maxpool计算后通道合并，合并后经过一个convbnlayer计算。
[0127]
cspstage由第1个convbnlayer计算，然后经过basicblock计算，再然后经过spp计算与输入计算的第2个convbnlayer计算通道合并，合并后经过第3个convbnlayer计算。
[0128]
customcsppan由cspresnet的c3、c4、c5作为输入，c3经过第1个cspstage计算，c4经过第2个cspstage计算，第2个cspstage输入为第1个cspstage的输出与c4合并通道，c5经过第3个cspstage计算，第3个cspstage输入为第2个cspstage的输出与c5合并通道，第3个cspstage输出经过第1个convbnlayer计算后与第3个cspstage输出合并通道，经过第4个cspstage计算输出p5，p5经过第2个convbnlayer计算后与第2个cspstage的输出合并通道，经过第5个cspstage计算输出p4，p4经过第3个convbnlayer计算后与第1个cspstage的输出合并通道，经过第6个cspstage计算输出p3。
[0129]
eseattn注意力机制由conv卷积计算，经过sigmoid激活函数计算，经过bn批处理规范化计算，经过swish激活函数计算后输出。
[0130]
head中由3个输入p3、p4、p5经过avgpool计算，eseattn注意力机制计算，然后将各自的输入叠加进入conv卷积中计算得到输出。
[0131]
神经网络模型pp-yoloe中使用损失函数如下所示
[0132][0133]
m表示一个包含预测得分与位置标量的向量，n表示预测目标位置与真实目标位置的iou得分，n》0表示正例,n＝0表示负例，log表示对数运算，a表示常量为0.75，b表示常量
2.0。
[0134]
采用本发明定义的损失函数可以提高预测的准确性。
[0135]
本发明的有益效果是：
[0136]
1、本发明使用pp-yoloe算法模型可以识别出建筑物加盖数据。
[0137]
2、本发明可自动检测发现新增加盖建筑物，可给类似场景或者违章建筑识别提供思路。
[0138]
以上所揭露的仅为本发明一种自动发现新增建筑物加盖识别的系统较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。