一种全景监控平面化展示方法与流程

1.本发明属于视频平面化展示技术领域，涉及一种全景监控平面化展示方法，用于智慧城市道路监控，实现智慧城市全方位无死角的视频监控。


背景技术：

2.目前智慧城市发展迅速，各行各业中的智能化设备不断被应用，而城市监控基本已经布置完毕，极大的解决了城市犯罪问题的取证，同时，城市犯罪也得到了抑制，因为监控设备已经基本实现城市的大规模全覆盖，这也为监控的安保人员提出了更高的要求，同时，监控设备需要及时观看，但是监控视频的观看需要花费大量的时间。
3.目前城市监控主要为普通单角度的监控设备，其存在诸多不足，如，监控范围狭窄，存在非常大范围的盲区，且设备无法实现智能化视频处理，而球机虽然能够弥补盲区的问题，但是仅仅能看到局部区域，需要观看者不断调节才能达到观看全景的目的，但是在旋转的过程中仍然无法避免存在盲区问题。


技术实现要素：

4.本发明的目的在于克服现有技术存在的缺点，针对传统城市安全监控方式无法做到全方位无死角的监控，且监控为普通监控方式，无法实现智能监控，且球机监控存在的盲区问题，设计提供一种基于帧间一致性的全景监控平面化展示方法。
5.为实现上述目的，本发明实现全景监控平面化展示的具体过程为：（1）构建全景监控平面化展示数据集：采集城市道路的全景摄像头监控视频段构建全景监控平面化展示数据集；（2）城市全景监控投影：基于步骤（1）构建的全景监控平面化展示数据集，采用等距投影（erp投影）和六面体投影（cmp投影）相结合的方式对视频帧进行投影；（3）基于等距投影（erp）和六面体投影（cmp）结合的物体检测：构建以erp为输入的分支和以cmp为输入的分支，分别用两个分支进行物体检测；（4）物体检测结果修正：对步骤（3）得到的检测结果中心点采用逆投影的方式进行修正得到物体中心点球面坐标，缓解物体的拉伸形变问题；（5）基于物体大小的自适应范围搜寻：针对等距投影和六面体投影两种投影形式，基于物体大小的自适应范围搜寻，采用邻域均值的方式，先在当前中心点范围内搜寻与当前坐标同属于同一个物体的中心点的坐标，再合并为同一个坐标点，得到球面坐标；（6）基于物体检测中心点的局部区域投影： 对步骤（5）得到的球面坐标（），进行二次投影，得到物体的图像块；（7）基于图像块的物体分割：将步骤（6）得到的图像块输入物体分割网络进行物体分割，得到物体的裁剪结果和物体的位置信息；（8）基于图像块物体分割的erp贴图：将步骤（7）得到物体的裁剪结果和物体的位置信息贴到erp上得到erp贴图；
（9）基于gan网络（generative adversarial networks，生成对抗网络）的贴图错位区域修复：采用gan网络（generative adversarial networks，生成对抗网络）将步骤（7）得到的erp贴图中缺失区域填充，得到产生全景内容的平面化展示结果；（10）基于全景内容平面化的物体检测精细化：将平面化展示的结果用来训练全景视频物体检测网络，提升物体检测网络的性能。
6.作为本发明的进一步技术方案，步骤（2）的投影结果为：作为本发明的进一步技术方案，步骤（2）的投影结果为：和分别表示erp投影和cmp投影结果，和 分别表示两种投影方式， 表示来自于视频v的第i帧图片，j表示六面体投影面的索引。
7.作为本发明的进一步技术方案，步骤（3）两个分支的详细定义为：作为本发明的进一步技术方案，步骤（3）两个分支的详细定义为：分别表示等距投影物体检测网络和六面体投影物体检测网络的输出，j表示面的索引，六面体投影共有6个面，j=1-》6，六面体投影物体检测网络总共包含6个网络，网络的参数共享，其中等距投影物体检测网络和六面体投影物体检测网络均采用yolo-v5作为主干网络。
8.作为本发明的进一步技术方案，步骤（4）的具体过程为：通过坐标获得锚框的中心点坐标和，而相应的同样可以获得相应的锚框的中心点坐标和，基于和得到球面坐标：球面坐标：球面坐标：球面坐标：同理得到六面体投影在全景视频中的物体中心点的位置。
9.作为本发明的进一步技术方案，步骤（6）所述投影方式采用自适应范围的方式。
10.作为本发明的进一步技术方案，步骤（7）所述物体分割网络采用davis数据集和
youtube-objects数据集进行训练，物体分割网络（segmentnet网络）包含编码网络（encoder）vggnet和网络分割输出模块。
11.与现有技术相比，本发明针对传统城市安全监控方式无法做到全方位无死角的监控，且目前全景监控方式不断调节观看角度，在调节监控的过程中存在盲区的问题，先通过全局投影（erp）和局部投影（cmp）相结合的方式生成物体粗定位信息，基于粗定位信息逆投影生成的精确定位信息，再将位置精细化后引入物体分割网络，将物体从背景区域切割出来，从而实现前景分割物体贴到全局投影的目的，为弥补因贴图导致的错位和缺失，引入基于时空gan网络的细节补充网络，提升全景监控平面化的实际应用性，实现智慧城市安全监控的全覆盖。
附图说明
12.图1为本发明实现全景监控平面化展示的流程框图。
13.图2为本发明实现全景监控平面化展示的网络框图。
具体实施方式
14.下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
15.实施例：本实施例采用如图1所示的流程和图2所示的网络实现全景监控平面化展示，具体过程为：（1）构建城市全景监控平面化展示数据集利用采集的全景摄像头视频段构建城市全景监控平面化展示数据集v，由于目前缺乏全景摄像头采集的监控视频，本实施例基于davis，全景视频数据集yt-all作为底层处理数据集；（2）城市全景监控投影方式分析（erp和cmp，全局和局部）基于上述收集的高位全景监控视频数据集v（∈v），采用等距投影（erp投影）和六面体投影（cmp投影）方式相结合的方式来保证投影之后信息尽可能少丢失，与此同时，等距投影能够提供物体的相对位置以及物体语义协同信息，从而保证全景视频中全局信息部丢失，而六面体投影能够提供物体细节信息，保证全景投影局部区域信息部丢失，能够极大的避免因全景投影导致的物体拉伸和扭曲，而六面体投影存在的大型物体被切割以及全局信息丢失的问题，同样可以通过结合全局投影解决，详细定义如下： 和分别表示erp投影和cmp投影结果，和 分别表示两种投影方式， 表示来自于视频v的第i帧图片，j表示六面体投影面的索引；（3）基于等距投影（erp）和六面体投影（cmp）结合的物体检测
为充分发挥二者的等距投影（erp）和六面体投影（cmp）结合互补特性，将二者融合既能够保证物体局部不被拉伸，又能保证感知全局信息，本实施例分为两个分支，即以erp为输入的分支和以cmp为输入的分支，用两个分支进行物体检测，详细定义如下：mp为输入的分支，用两个分支进行物体检测，详细定义如下：分别表示等距投影物体检测网络和六面体投影物体检测网络的输出，j表示面的索引，因为六面体投影共有6个面，因此，j=1-》6；总共包含6个网络，网络的参数实现共享，为提升物体检测网络的检测精度，采用yolo-v5作为等距投影物体检测网络和六面体投影物体检测网络的主干网络；（4）物体检测结果修正通过步骤（3）能够获得物体的锚框，但是，其检测结果为区域拉伸的结果，存在物体拉伸导致的失真，为解决物体拉伸导致的物体失真问题，采用将检测结果中心点逆投影的方式缓解物体的拉伸形变问题，根据步骤（3）在等距投影和六面体投影输出的检测结果，通过坐标可以获得锚框的中心点坐标和，而相应的同样可以获得相应的锚框的中心点坐标和，基于和可以得到中心点球面坐标，坐标，坐标，坐标，同理可得六面体投影在全景视频中的物体中心点的位置；（5）基于物体大小的自适应范围搜寻通过步骤（4）得到物体中心点球面坐标后，由于属于不同的投影形式（cmp和erp），其获取的中心点存在偏差错位，本实施例采用邻域均值的方式，即首先在当前中心点范围r1内搜寻与当前坐标同属于同一个物体的中心点的坐标，然后合并为同一个坐标点；因为搜寻范围在物体大小不一样的时候，其搜寻范围需要不同，因此，采用基于物体大小（s）的自适应范围查找，而物体大小（s）来源于物体所处的位置，处于erp不同位置的物体即使为相同大小的物体，也会因为拉伸导致存在差异，因此，将通过逆投影的方式投影到球面坐标来克服：
ꢀ
；（6）基于物体检测中心点的局部区域投影通过步骤（5）能得到的物体检测结果虽然能定位物体所在位置，但是，检测的物体存在拉伸形变（erp）和物体被六面体剖分切割的情况（cmp），采用二次定位的方式，即首先通过步骤（5）得到的球面坐标（）进行二次投影，投影方式采用自适应范围r2的方式，而范围的大小r2与r1的计算方式相同，为保证突出前景物体分割，本实施例采用在原有r2的基础上，增大1.3倍，二次投影后得到物体的图像块：patch = localprojection；（7）基于图像块的物体分割基于图像块获取物体分割结果，从而将物体分割结果贴到erp上，实现全景视频平面化展示，物体分割网络的训练采用davis数据集和youtube-objects数据集，物体分割网络（segmentnet网络）主要包含编码网络（encoder）vggnet以及网络分割输出模块，为了保证输出尺寸，本实施例将vggnet后两层maxpool层去除，而其他层加载原有的权重，网络的输入为474*474，输出seg = segmentnet(patch)；（8）基于图像块物体分割的erp贴图通过步骤（7）可以得到物体的裁剪结果和物体的位置信息，将检测结果贴到erp上，从而保证前景物体能不被拉伸的同时，并且能完整的显示全景内容；（9）基于gan网络（generative adversarial networks，生成对抗网络）的贴图错位区域修复虽然步骤（8）能够展示全景内容，以及全景全局信息，但是局部区域存在信息错位和因为物体裁剪导致的局部信息缺失问题，因此采用gan网络（generative adversarial networks，生成对抗网络）将缺失区域填充，由于前景物体不需要填充，仅仅背景区域需要填充，这大大降低了填充的复杂度，本实施例采用遮盖的方式产生缺失区域，目前基于全景视频的gan网络较少，基于全景视频数据集yt-all，且通过3d卷积感知时序信息训练gan网络；（10）基于全景内容平面化的物体检测精细化通过步骤（9）能够产生全景内容的平面化展示结果，而平面化展示的结果可以用来训练全景视频物体检测网络，从而提升物体检测网络的性能。
16.本文中未详细说明的网络结构、模块、计算过程均为本领域通用技术。
17.需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。