门店经营行为管理方法、装置及存储介质与流程

本发明涉及人工智能技术领域，具体涉及一种门店经营行为管理方法、装置及存储介质。

背景技术：

跨门经营、占道堆物等门店违规经营行为不仅影响了市容市貌，占据人行道的物品还会影响行人或车辆的通行，给人们的出行带来极大的不便。

针对这些门店经营行为，目前是单纯依靠城管人员的巡查、督导来进行治理，需要投入大量的人力，并且门店老板或工作人员等城管人员离开后，可以马上将物品摆到门店外面，反反复复，既困扰着周边居民生活，破坏城市形象，也存在交通安全隐患，危害人身安全。

技术实现要素：

本发明主要解决的技术问题是如何更有效地监控和管理门店经营行为。

根据第一方面，一种实施例中提供一种门店经营行为管理方法，包括：

获取门店周围区域的图像信息；

将所述图像信息输入预先构建的卷积神经网络中，所述预先构建的卷积神经网络输出分类矩阵、边框距离矩阵和门店顶端中心矩阵；

根据所述门店顶端中心矩阵和所述边框距离矩阵，确定所述图像信息中的门店区域；再根据所述分类矩阵，判断所述门店区域对应的门店经营行为的类别；

根据判断结果，对所述门店区域对应的门店经营行为进行管理。

进一步地，所述预先构建的卷积神经网络包括：特征提取子网络、多尺度特征融合子网络和结果预测子网络；

所述特征提取子网络用于提取所述图像信息中的多个特征矩阵，所述特征矩阵含有不同尺度的信息；

所述多尺度特征融合子网络用于将多个所述特征矩阵进行多尺度融合，得到一个融合后的特征矩阵；

所述结果预测子网络包括分类预测分支、边框距离预测分支和门店顶端中心预测分支，所述分类预测分支基于融合后的特征矩阵得到分类矩阵，所述边框距离预测分支基于融合后的特征矩阵得到边框距离矩阵，所述门店顶端中心预测分支基于融合后的特征矩阵得到门店顶端中心矩阵。

进一步地，所述根据所述门店顶端中心矩阵和所述边框距离矩阵，确定所述图像信息中的门店区域包括：

将所述门店顶端中心矩阵中概率值大于预设阈值的点对应于所述图像信息中的像素点作为所述图像信息中的门店顶端中心点；

基于所述边框距离矩阵，提取所述门店顶端中心点对应的三个距离值，三个所述距离值分别用于确定所述门店顶端中心点距门店区域左边界、下边界和右边界的距离；

根据所述图像信息中的门店顶端中心点及其对应的三个距离值，确定所述图像信息中的门店区域。

进一步地，所述门店经营行为的类别至少包括跨门经营、乱堆物违规经营、占道经营和正常经营中的一个。

进一步地，所述根据判断结果，对所述门店区域对应的门店经营行为进行管理包括：

若判断结果为所述门店区域对应的门店经营行为是跨门经营、乱堆物违规经营和占道经营中的一个，获取所述门店区域对应的位置信息；

根据所述门店区域对应的位置信息和图像信息，生成报警信息，将所述报警信息输出给门店管理人员。

根据第二方面，一种实施例中提供一种门店经营行为管理装置，包括：

图像获取模块，用于获取门店周围区域的图像信息；

卷积处理模块，用于将所述图像信息输入预先构建的卷积神经网络中，所述预先构建的卷积神经网络输出分类矩阵、边框距离矩阵和门店顶端中心矩阵；

门店管理模块，用于根据所述门店顶端中心矩阵和所述边框距离矩阵，确定所述图像信息中的门店区域；再根据所述分类矩阵，判断所述门店区域对应的门店经营行为的类别；根据判断结果，对所述门店区域对应的门店经营行为进行管理。

进一步地，所述预先构建的卷积神经网络包括：特征提取子网络、多尺度特征融合子网络和结果预测子网络；

所述特征提取子网络用于提取所述图像信息中的多个特征矩阵，所述特征矩阵含有不同尺度的信息；

所述多尺度特征融合子网络用于将多个所述特征矩阵进行多尺度融合，得到一个融合后的特征矩阵；

所述结果预测子网络包括分类预测分支、边框距离预测分支和门店顶端中心预测分支，所述分类预测分支基于融合后的特征矩阵得到分类矩阵，所述边框距离预测分支基于融合后的特征矩阵得到边框距离矩阵，所述门店顶端中心预测分支基于融合后的特征矩阵得到门店顶端中心矩阵。

进一步地，所述门店管理模块根据所述门店顶端中心矩阵和所述边框距离矩阵，确定所述图像信息中的门店区域包括：

将所述门店顶端中心矩阵中概率值大于预设阈值的点对应于所述图像信息中的像素点作为所述图像信息中的门店顶端中心点；

基于所述边框距离矩阵，提取所述门店顶端中心点对应的三个距离值，三个所述距离值分别用于确定所述门店顶端中心点距门店区域左边界、下边界和右边界的距离；

根据所述图像信息中的门店顶端中心点及其对应的三个距离值，确定所述图像信息中的门店区域。

进一步地，所述门店区域经营行为的类别至少包括跨门经营、乱堆物违规经营、占道经营和正常经营中的一个。

根据第三方面，一种实施例提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述实施例所述的方法。

依据上述实施例的门店经营行为管理方法、装置及存储介质，由于将门店周围区域的图像信息输入预先构建的卷积神经网络中，可以得到分类矩阵、边框距离矩阵和门店顶端中心矩阵，根据边框距离矩阵和门店顶端中心矩阵确定了图像信息中的门店区域，根据分类矩阵可判断门店区域对应的门店经营行为的类别，即可得到门店区域是何种经营行为的门店，根据判断结果对门店经营行为进行管理，能够更有效地监控和管理跨门经营、占道堆物等门店违规经营行为。

附图说明

图1为一种实施例的门店经营行为管理方法的流程图；

图2为一种实施例的预先构建的卷积神经网络的结构图；

图3为一种实施例的门店区域示意图；

图4为一种实施例的门店经营行为管理装置的结构框图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

实施例一：

请参考图1，图1为一种实施例的门店经营行为管理方法的流程图，所述的管理方法可以在服务器中执行，其包括步骤s10至步骤s30，下面具体说明。

步骤s10，获取门店周围区域的图像信息。本实施例中的图像信息中可能存在多个门店，也可能只有一个门店，或者一个门店也没有，所获取的图像信息可以为图片或者视频中的一帧图像。

在本实施例中，可以通过设置在门店周围的监控摄像头来采集门店周围区域的图像信息，一般情况下，在城市核心区域的街道上均分布有各种监控摄像头，可以是门店商家自己安装的监控摄像头，也可以是公安机关用于监控公共安全的监控摄像头，摄像头可通过网络等通信方式将其采集的门店周围区域的图像信息传输给服务器。

步骤s20，将图像信息输入预先构建的卷积神经网络中，预先构建的卷积神经网络输出分类矩阵、边框距离矩阵和门店顶端中心矩阵。

在本实施例中，将图像信息输入预先构建的卷积神经网络之前，需要先对所构建的卷积神经网络进行训练，具体训练方法如下：

首先，获取多组已具有门店区域和门店区域类别标签的图像信息，也就是该图像信息中的门店区域为已知的，在图像信息中其通过矩形框已进行标记，并且所标记的门店区域的分类类别也是已知的，其可通过类别标签进行标记；然后，将已具有门店区域和门店区域类别标签的图像信息输入到待训练的卷积神经网络中，对卷积神经网络中的参数进行多次训练，以得到最优的卷积神经网络参数，即完成卷积神经网络的训练。对于已训练后的卷积神经网络，当输入未知门店区域的图像信息时，其能够输出分类矩阵、边框距离矩阵和门店顶端中心矩阵，以确定图像信息中的门店区域以及门店区域的分类类别。

请参考图2，图2为一种实施例的预先构建的卷积神经网络的结构图，其包括特征提取子网络、多尺度特征融合子网络和结果预测子网络。

其中：特征提取子网络用于提取图像信息中的多个特征矩阵，多个特征矩阵含有不同尺度的信息。在本实施例中，特征提取子网络包括但不限于常用的基础网络结构如mobilenet、vgg、resnet、upernet、hrnet等，此外本实施例中的特征提取子网络采用一种或多种扩张率的空洞/扩张卷积方法对所输入的图像信息矩阵进行卷积处理。

多尺度特征融合子网络用于将多个特征矩阵进行多尺度融合，得到一个融合后的特征矩阵。本实施例利用图像特征提取子网路输出的多个特征矩阵，对各特征矩阵中的特征进行融合，通过聚合不同尺度的特征矩阵，提升了卷积神经网络的性能。本实施例中的多尺度特征融合子网络可采用例如deeplab、pspnet、fast-fcn等网络模块。此外本实施例中的的多尺度特征融合子网络采用扩张率的分组卷积对特征矩阵进行多尺度特征融合。

结果预测子网络包括分类预测分支、边框距离预测分支和门店顶端中心预测分支，分类预测分支基于融合后的特征矩阵得到分类矩阵，边框距离预测分支基于融合后的特征矩阵得到边框距离矩阵，门店顶端中心预测分支基于融合后的特征矩阵得到门店顶端中心矩阵。

步骤s30，根据门店顶端中心矩阵和边框距离矩阵，确定图像信息中的门店区域；再根据分类矩阵，判断门店区域对应的门店经营行为的类别，即判断门店区域是何种经营行为的门店；根据判断结果，对门店区域对应的门店经营行为进行管理。本实施例中图像信息中的门店区域是指图片等图像信息中用合适大小的矩形框来标记图像信息中门店的位置和大小。

在一实施例中，步骤s30中根据门店顶端中心矩阵和边框距离矩阵，确定图像信息中的门店区域包括步骤s301至步骤s302，下面具体说明。

步骤s301，将门店顶端中心矩阵中概率值大于预设阈值的点对应于图像信息中的像素点作为图像信息中的门店顶端中心点；

步骤s302，基于所述边框距离矩阵，提取门店顶端中心点对应的三个距离值，三个所述距离值分别用于确定门店顶端中心点距门店区域左边界、下边界和右边界的距离；

步骤s303，根据所述图像信息中的门店顶端中心点及其对应的三个距离值，确定门店区域。

在一种实施方式下，输入卷积神经网络的为800*600(宽*高)的3通道rgb图片，卷积神经网络输出三个矩阵，分别为100*75*c维的分类矩阵、100*75*3维的边框距离矩阵和100*75*1维门店顶端中心矩阵。其中，100*75可以认为相对于输入图片800*600缩小了8倍，该缩小倍数取决于卷积神经网络的结构设计，通常为2的整数倍，基于该缩小倍数可以推得输出矩阵中每个点对应于输入图片中的位置。本实施例将100*75*1维门店顶端中心矩阵看作一个100*75的点阵，点阵中的每个点附有一个值，该值即为点阵中每个点为门店顶端中心点的概率值，若概率值大于预设阈值，则表明该点对应于图片(图像信息)中的像素点即为门店顶端中心点，预设阈值可人为设置，本实施例设为0.9。需要说明的是，点阵中若有多个点的概率值均大于预设阈值，则表面图片中可能存在多个门店顶端中心点。与门店顶端中心矩阵同理，100*75*3维的边框距离矩阵可以看作一个100*75维点阵，点阵中每个点均附有三个值，若点阵中某个点经门店顶端中心矩阵确定为门店顶端中心点，则该点对应在边框距离矩阵中附有的三个值则分别为门店顶端中心点距离门店区域左边界、右边界和下边界的距离值，将该距离值换算值图片(图像信息)中，即可确定图片(图像信息)中门店顶端中心点距离门店区域左边界的距离值l、距右边界的距离值r和距下边界的距离值b，如图3所示，根据这三个距离值，可确定门店区域，即图3中的矩形框所圈定的区域为门店区域。

在一实施例中，门店区域经营行为的类别至少包括跨门经营、乱堆物违规经营、占道经营和正常经营中的一个。其中，跨门经营、乱堆无违规经营和占道经营均为违规经营行为。

对于上述实施例中100*75*c维的分类矩阵中，c的值不同代表该门店区域经营行为的类别不同，其中门店区域经营行为的类别至少包括跨门经营、乱堆物违规经营、占道经营和正常经营中的一个。根据判断结果，对门店经营行为进行管理包括：若判断结果是门店区域经营行为为违规经营行为，即跨门经营、乱堆物违规经营、占道经营中的一个，获取门店区域对应的位置信息；根据门店区域对应的位置信息和图像信息，生成报警信息，将报警信息输出给门店管理人员。本实施例可以建立服务器与城管人员监管系统的网络连接，服务器生成报警信息后，将报警信息通过网络传输至监管系统，城管人员通过查看报警信息来查找违规门店，其中门店区域对应的位置信息可通过该门店区域的图形信息的监控摄像头的位置信息来确定门店区域的位置信息，此外图像信息可以作为城管人员对违规门店进行处罚的证据。

本发明实施例通过监控摄像头获取门店周围区域的图像信息，将门店周围区域的图像信息输入预先构建的卷积神经网络中，可以得到分类矩阵、边框距离矩阵和门店顶端中心矩阵，根据边框距离矩阵和门店顶端中心矩阵确定了图像信息中的门店区域，根据分类矩阵可判断门店区域是何种经营行为的门店，将违规门店的门店区域的位置信息和图像信息生成为报警信息发送给城管人员，以便城管人员对违规门店的商家进行监督和处罚，能够更有效地监控和管理跨门经营、占道堆物等门店违规经营行为。

实施例二：

请参考图4，图4为一种实施例的门店经营行为管理装置的结构框图，所述的管理装置包括图像获取模块101、卷积处理模块102和门店管理模块103。

其中，图像获取模块101用于获取门店周围区域的图像信息。在本实施例中，可以通过设置在门店周围的监控摄像头来采集门店周围区域的图像信息，一般情况下，在城市核心区域的街道上均分布有各种监控摄像头，可以是门店商家自己安装的监控摄像头，也可以是公安机关用于监控公共安全的监控摄像头。

卷积处理模块102用于将所述图像信息输入预先构建的卷积神经网络中，所述预先构建的卷积神经网络输出分类矩阵、边框距离矩阵和门店顶端中心矩阵。

预先构建的卷积神经网络包括特征提取子网络、多尺度特征融合子网络和结果预测子网络。

其中：特征提取子网络用于提取图像信息中的多个特征矩阵，多个特征矩阵含有不同尺度的信息。在本实施例中，特征提取子网络包括但不限于常用的基础网络结构如mobilenet、vgg、resnet、upernet、hrnet等，此外本实施例中的特征提取子网络采用一种或多种扩张率的空洞/扩张卷积方法对所输入的图像信息矩阵进行卷积处理。

多尺度特征融合子网络用于将多个特征矩阵进行多尺度融合，得到一个融合后的特征矩阵。本实施例利用图像特征提取子网路输出的多个特征矩阵，对各特征矩阵中的特征进行融合，通过聚合不同尺度的特征矩阵，提升了卷积神经网络的性能。本实施例中的多尺度特征融合子网络可采用例如deeplab、pspnet、fast-fcn等网络中的模块。

结果预测子网络包括分类预测分支、边框距离预测分支和门店顶端中心预测分支，分类预测分支基于融合后的特征矩阵得到分类矩阵，边框距离预测分支基于融合后的特征矩阵得到边框距离矩阵，门店顶端中心预测分支基于融合后的特征矩阵得到门店顶端中心矩阵。

门店管理模块103用于根据门店顶端中心矩阵和边框距离矩阵，确定图像信息中的门店区域；再根据分类矩阵，判断门店区域对应的门店经营行为的类别，即判断门店区域是何种经营行为的门店；根据判断结果，对门店区域对应的门店经营行为进行管理。

在一实施例中，根据门店顶端中心矩阵和边框距离矩阵，确定图像信息中的门店区域包括：将门店顶端中心矩阵中概率值大于预设阈值的点对应于图像信息中的像素点作为图像信息中的门店顶端中心点；基于边框距离矩阵，提取门店顶端中心点对应的三个距离值，三个所述距离值分别用于确定门店顶端中心点距门店区域左边界、下边界和右边界的距离；根据图像信息中的门店顶端中心点及其对应的三个距离值，确定门店区域。

在一实施例中，门店区域经营行为的类别至少包括跨门经营、乱堆物违规经营、占道经营和正常经营中的一个。其中，跨门经营、乱堆无违规经营和占道经营均为违规经营行为。

本实施例装置中的各个模块所实现的功能与上述实施例的方法中的步骤相对应，其具体实现和技术效果参见上述实施例方法步骤的描述，此处不再赘述。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。