基于摄像头的门店违规经营行为识别方法及系统与流程

本发明涉及监控技术领域，具体涉及一种基于摄像头的门店经营行为识别方法及系统。

背景技术：

现有很多门店经营者存在跨门经营、占道堆物等违规经营行为，此种行为难以管制。目前，对于门店经营中的上述违规经营，主要依靠城市治安管理者人工进行监控和管理，但是部分商家待城市治安管理者离开之后，会继续将物品摆到外面，反反复复，既困扰着周边居民生活，破坏城市形象，也存在交通安全隐患，危害人身安全。因此，现有人工监管的效果差，效率低下。

技术实现要素：

本发明提供一种基于摄像头的门店经营行为识别方法及系统，能够提高监管效率。

根据第一方面，一种实施例中提供一种基于摄像头的门店违规经营行为识别方法，包括：

获取摄像头拍摄的至少一帧监控图片，所述监控图片中包含有至少一个监控门店的图像；

获取预先设置的所述监控门店对应的门店模板数据，所述门店模板数据至少包括监控门店的模板图像及其全局监控区域；

根据所述模板图像及所述全局监控区域，得到监控图片中监控门店的全局监控区域；

根据监控图片中全局监控区域的图像判断所述监控门店是否存在违规经营行为，并输出所述监控门店的第一判断结果。

可选的，所述门店模板数据还包括模板图像的重点监控区域；所述方法还包括：根据所述模板图像及所述重点监控区域，得到监控图片中监控门店的重点监控区域；根据监控图片中重点监控区域的图像判断所述监控门店是否存在违规经营行为，并输出所述监控门店的第二判断结果。

可选的，根据所述模板图像及所述全局监控区域，得到监控图片中监控门店的全局监控区域包括：基于所述模板图像对监控图片进行位置配准和/或倾斜矫正；将模板图像的全局监控区域映射到经过位置配准和/或倾斜矫正的监控图片，得到所述监控图片的全局监控区域。

可选的，所述根据监控图片中全局监控区域的图像判断所述监控门店是否存在违规经营行为包括：将所述监控图片输入到预先建立的具有全局监控区域的图像与违规经营行为类别对应关系的模型函数中，得到对应的第一判断结果；所述根据监控图片中重点监控区域的图像判断所述监控门店是否存在违规经营行为包括：将所述监控图片输入到预先建立的具有所述重点监控区域的图像与违规经营行为类别对应关系的模型函数中，得到对应的第二判断结果

根据第二方面，一种实施例中提供一种基于摄像头的门店违规经营行为识别系统，包括：

第一获取模块，用于获取摄像头拍摄的至少一帧监控图片，所述监控图片中包含有至少一个监控门店的图像；

第二获取模块，用于获取预先设置的所述监控门店对应的门店模板数据，所述门店模板数据至少包括监控门店的模板图像及其全局监控区域；

判断模块，用于根据所述模板图像及所述全局监控区域，得到监控图片中监控门店的全局监控区域；根据监控图片中全局监控区域的图像判断所述监控门店是否存在违规经营行为，并输出所述监控门店的第一判断结果。

可选的，所述门店模板数据还包括：模板图像的重点监控区域；

所述判断模块还用于：根据所述模板图像及所述重点监控区域，得到监控图片中监控门店的重点监控区域；根据监控图片中重点监控区域的图像判断所述监控门店是否存在违规经营行为，并输出所述监控门店的第二判断结果。

可选的，所述判断模块还用于：基于所述模板图像对监控图片进行位置配准和/或倾斜矫正；将模板图像的全局监控区域映射到经过位置配准和/或倾斜矫正的监控图片，得到所述监控图片的全局监控区域。

可选的，所述判断模块用于根据监控图片中全局监控区域的图像判断所述监控门店是否存在违规经营行为，并输出所述监控门店的第一判断结果，包括：将所述监控图片输入到预先建立的具有全局监控区域的图像与违规经营行为类别对应关系的模型函数中，得到对应的第一判断结果；

所述判断模块用于根据监控图片中重点监控区域的图像判断所述监控门店是否存在违规经营行为，并输出所述监控门店的第二判断结果，包括：将所述监控图片输入到预先建立的具有所述重点监控区域的图像与违规经营行为类别对应关系的模型函数中，得到对应的第二判断结果。

根据第三方面，一种实施例中提供一种基于固定摄像头的门店违规经营行为识别设备，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现上述任一项所述的方法。

根据第四方面，一种实施例中提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述中任一项所述的方法。

依据上述实施例的一种基于摄像头的门店违规经营行为识别方法及系统，包括获取摄像头拍摄的至少一帧监控图片，监控图片中包含有至少一个监控门店的图像，再获取预先设置的监控门店对应的门店模板数据，门店模板数据至少包括监控门店的模板图像及其全局监控区域，根据模板图像及全局监控区域，得到监控图片中监控门店的全局监控区域，根据监控图片中全局监控区域的图像判断监控门店是否存在违规经营行为，并输出监控门店的第一判断结果。由于通过在街镇中布设监控摄像头获取摄像头中对门店的监控图片，使得实现对各个门店违规经营行为的实时监控告警，提高了监管效率。

附图说明

图1为本申请一实施例提供的门店违规经营行为识别方法示意图；

图2为本申请一实施例提供的门店违规经营行为识别方法中模板图像结构示意图；

图3为本申请一实施例提供的门店违规经营行为识别方法流程图；

图4为本申请一实施例提供的门店违规经营行为识别系统示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

在本发明实施例中，通过在街镇中布设监控摄像头，通过获取摄像头中对门店的监控图片，监控图片中包含有至少一个监控门店的图像，再获取预先设置的监控门店对应的门店模板数据，门店模板数据至少包括监控门店的模板图像及其全局监控区域，根据模板图像及全局监控区域，得到监控图片中监控门店的全局监控区域，根据监控图片中全局监控区域的图像判断监控门店是否存在违规经营行为，并输出监控门店的第一判断结果。使得实现对各个门店违规经营行为的实时监控告警，提高了监管效率。

实施例一

请参考图1，本实施例提供一种基于摄像头的门店违规经营行为识别方法，该识别方法的步骤包括：

步骤s101，获取摄像头中对门店的监控图片，监控图片中包含有至少一个监控门店的图像。

本实施例中的摄像头可以是具有视频摄像/传播和静态图像捕捉等基本功能的设备，可以借由镜头采集图像，由摄像头内的感光组件电路及控制组件对图像进行处理并转换成电脑所能识别的数字信号，然后借由并行端口或usb连接输入到电脑后由软件再进行图像还原。

本实施例中，通过固定位置的摄像头对待监控的门店进行拍摄，从该摄像头中获取对门店的监控图片为摄像头监控视频中的其中一帧图像，所述监控图片中可以包含很多个门店的图像，至少包含有待监控门店的图像。

在其他实施例中，例如所述摄像头的视野内包括多个门店，所述摄像头可以同时监控多个门店，即获取的所述摄像头拍摄视频中的监控图片中包括多个门店。

步骤s102，获取预先设置的监控门店对应的门店模板数据，门店模板数据至少包括监控门店的模板图像及其全局监控区域。

通过所述预先设置的监控门店对应的门店模板数据可以对步骤s101中获取的所述监控图片进行校准。所述门店模板数据至少包括监控门店的模板图像及其全局监控区域。

需要说明的是，例如，需要对门店名称为“第一手机”的门店进行监控，则所述门店模板数据中至少包括的监控门店的模板图像指的是“第一手机”的门店图像；如果一个摄像头同时对多个门店进行监控，则所述模板数据中必须包括该多个门店的模板图像。

请参考图2，图2为本实施例提供一个模板图像200的示意图，例如，对某一个门店进行监控，所述模板图像200中包括有该门店需要被监控部位的图像，所述模板图像200中包括全局监控区域201，所述全局监控区域201是预先设置的，例如，可以是门店在经营过程中经常占道经营的位置区域，也可以是跨店经营的位置区域，亦可以是整个门店范围的区域。

在其他实施例中，所述门店模板数据还包括模板图像的重点监控区域202。所述重点监控区域202可以指的是需要重点监控或者判断的局部区域，也是由人为预先设置的。可以通过设置一个或多个容易发生违规的重点监控区域202来增加违规判断的准确性。

例如，所述重点监控区域202可以是人工预先设置一个或多个容易发生违规的重点监控区域，可以为门店的两侧。

需要说明的是，所述全局监控区域201或所述重点监控区域202可以指的是全局监控区域201范围坐标或所述重点监控区域202范围坐标。

需要说明的是，如果摄像头同时监控多个门店时，需要多个门店的模板图像，可以通过对门店进行标记的方式，使得监控的各个门店和各自对应的模板对应。

步骤s103，根据所述模板图像及所述全局监控区域，得到监控图片中监控门店的全局监控区域。

例如，将模板图像的全局监控区域映射到所述监控图片，得到所述监控图片的全局监控区域。使得判断出监控图片的全局监控区域内是否有门店违规经营的行为。

在其他实施例中，根据所述模板图像及所述全局监控区域，得到监控图片中监控门店的全局监控区域可以包括：基于所述模板图像对监控图片进行位置配准和/或倾斜矫正。

例如，在室外的固定摄像头可能会由于环境(大风、周围施工引起的震动)因素存在一定的抖动，导致所拍摄得到的监控图片中的图像会发生一定的位置偏移，因此需要对当前帧图像进行位置配准，具体可以根据所述模板图像结合仿射变换的方法，将当前帧的所述监控图片与所述模板图像进行位置配准。

例如，在一些情况中，用于监控的摄像头或许会由于摄像头的视角因素，存在一些门店无法正对摄像头，导致拍摄的门店图片会产生倾斜，这样会增加后续门店违规判断的难度，因此，需要先对监控的门店进行一定程度的矫正，具体可以根据所述模板图像结合仿射变换的方法，生成仿射变换矩阵进行倾斜校正。

因此，将模板图像的全局监控区域映射到所述监控图片，得到所述监控图片的全局监控区域包括：将模板图像的全局监控区域映射到经过位置配准和/或倾斜矫正的监控图片，得到所述监控图片的全局监控区域。

在一些实施例中，所述门店模板数据还包括模板图像的重点监控区域；则可以根据所述模板图像及所述重点监控区域，得到监控图片中监控门店的重点监控区域。也可以通过将模板图像的重点监控区域映射到经过位置配准和/或倾斜矫正的监控图片，得到所述监控图片的重点监控区域。

步骤s104，根据监控图片中全局监控区域的图像判断所述监控门店是否存在违规经营行为，并输出所述监控门店的第一判断结果。

本实施例中，所述根据监控图片中全局监控区域的图像判断所述监控门店是否存在违规经营行为可以包括：将所述监控图片输入到预先建立的具有全局监控区域的图像与违规经营行为类别对应关系的模型函数中，得到对应的第一判断结果。其中，将所述监控图片输入到预先建立的具有全局监控区域的图像与违规经营行为类别对应关系的模型函数中，具体方法可以为截取当前帧的监控图片中对应的所述全局监控区域，之后，再送入一个预训练好的能够对区域内物体进行分类的训练模型中，该训练模型是基于深度学习的卷积神经分类网络，可以通过前向推理得到该区域图片所属的类别。可以是对应为跨门经营、乱堆物或无违规行为的分类，也可以是判定商品、杂物或其他的分类，分类结果可根据需要进行设置，也就获得对所述监控门店的第一判断结果。其中，截取当前帧的监控图片中对应的所述全局监控区域之后，还可以将所截取的所述全局监控区域进行缩放处理，缩放处理之后输入到上述函数模型中，以节省运算量。

在一些实施例中，所述门店模板数据还包括模板图像的重点监控区域；则根据所述模板图像及所述重点监控区域，得到监控图片中监控门店的重点监控区域；将所述监控图片输入到预先建立的具有所述重点监控区域的图像与违规经营行为类别对应关系的模型函数中，得到对应的第二判断结果。

本实施例中，将所述监控图片输入到预先建立的所述重点监控区域的图像与违规经营行为类别对应关系的模型函数中，得到对应的第二判断结果，具体方法可以为截取当前帧的监控图片中对应的所述重点监控区域，之后，再送入一个预训练好的能够对区域内物体进行分类的训练模型中，该训练模型是基于深度学习的卷积神经分类网络，可以通过前向推理得到该区域图片所属的类别，可以是对应为跨门经营、乱堆物或无违规行为的分类，也可以是判定商品、杂物或其他的分类，分类结果可根据需要进行设置，也就获得对所述监控门店的第二判断结果。其中，截取当前帧的监控图片中对应的所述重点监控区域之后，还可以将所截取的所述全局监控区域进行缩放处理，缩放处理之后输入到上述函数模型中，以节省运算量。

实施例二

参考图3，图3为本实施例中的基于固定摄像头的门店违规经营行为识别的方法流程图。

本实施例中，基于固定摄像头的门店违规经营行为识别方法包括：

步骤s1001：从交通固定摄像头、街镇安防固定摄像头或者专门用于门店违规监控的固定摄像头中获取一帧图像。

s1002：判断监控摄像头视野内是否存在一个或者多个监控门店的门店模板数据，所述的门店模板数据至少包括以下一个或多个信息或内容：

1)用于图像位置校准的模板图像，通常，在单个摄像头下的所有门店的模板图像中，需至少有一个模板中包含该信息。

2)对应的门店的全局监控区域(可以是全局监控区域矩形框坐标)；其中，所述全局监控区域一般可以是包括门店、门店两侧及门店外道路等易发生违规行为的区域，如图2中全局监控区域201所示，该门店全局监控区域矩形框坐标为人工设定，每个门店模板中必须包含该信息。

3)人工预先设置一个或多个容易发生违规的重点监控区域(重点监控区域矩形框坐标)，来增加违规判断的准确性，如图2中重点监控区域202所示区域。

若存在门店模板，则进入步骤s1004，否则需转入步骤s1003，进行门店模板配置。

s1003：如果不存在门店模板，需进行满足步骤s1002中信息的模板图像的配置，配置成功后重新进入步骤s1001重新获取图片。

s1004：在室外的固定摄像头可能会由于环境(大风、周围施工引起的震动)因素存在一定的抖动，导致所拍摄得到的监控图片中的图像会发生一定的位置便宜，因此需要对当前帧图像进行位置配准，具体可以根据所述模板图像结合仿射变换的方法，将当前帧的所述监控图片与所述模板图像进行位置配准。

s1005：在一些情况中，用于监控的摄像头或许会由于摄像头的视角因素，存在一些门店无法正对摄像头，导致拍摄的门店图片会产生倾斜，这样会增加后续门店违规判断的难度，因此，需要先对监控的门店进行一定程度的矫正，具体可以根据所述模板图像结合仿射变换的方法，生成仿射变换矩阵进行倾斜校正。

s1006：判断是否需要进行重点区域违规判定，若存在重点监控区域矩形框坐标，则进入s1007进行重点区域违规判定，否则不需要，进入步骤s1008。

s1007：根据每个重点监控区域矩形框坐标，截取当前帧的监控图片中对应的所述重点监控区域，之后，再送入一个预训练好的能够对区域内物体进行分类的训练模型中，该训练模型是基于深度学习的卷积神经分类网络，可以通过前向推理得到该区域图片所属的类别，可以是对应为跨门经营、乱堆物或无违规行为的分类，也可以是判定商品、杂物或其他的分类。并将类别结果传递给步骤s1008。

s1008：根据模板信息中每个门店全局区域矩形框坐标，截取当前帧的监控图片中对应的所述全局监控区域，之后，再送入一个预训练好的能够对区域内物体进行分类的训练模型中，该训练模型是基于深度学习的卷积神经分类网络，可以通过前向推理得到该区域图片所属的类别。可以是对应为跨门经营、乱堆物或无违规行为的分类，也可以是判定商品、杂物或其他的分类。将分类结果传递给步骤s1009的同时，也将步骤s1007的结果一并传递给步骤s1009。

s1009：根据步骤s1007和s1008的结果综合判断各个门店的违规情况。判断方法可以为：

1.对于每个门店，将判断结果置为步骤s1008中对应每个门店的全局监控区域的判定结果。

2.对于每个门店，判断门店是否具有重点监控区域判断结果，若有重点监控区域结果，则根据商品添加跨门经营，杂物添加乱堆物，或其他不添加的方式，在1中的结果中，对每个结果值进行增加。

3.对于每个门店的值进行去重合并，输出最终的结果(如：跨门经营、乱堆物、跨门经营和乱堆物、以及无违规行为四类)。

实施例三

参考图4，基于前述的实施例，本实施例提供一种基于摄像头的门店违规经营识别系统300，所述系统300包括：

第一获取模块301，用于获取摄像头拍摄的至少一帧监控图片，所述监控图片中包含有至少一个监控门店的图像；

本实施例中的摄像头可以是具有视频摄像/传播和静态图像捕捉等基本功能的设备，可以借由镜头采集图像，由摄像头内的感光组件电路及控制组件对图像进行处理并转换成电脑所能识别的数字信号，然后借由并行端口或usb连接输入到电脑后由软件再进行图像还原。

本实施例中，通过固定位置的摄像头对待监控的门店进行拍摄，从该摄像头中获取对门店的监控图片为摄像头监控视频中的其中一帧图像，所述监控图片中可以包含很多个门店的图像，至少包含有待监控门店的图像。

在其他实施例中，例如所述摄像头的视野内包括多个门店，所述摄像头可以同时监控多个门店，即获取的所述摄像头拍摄视频中的监控图片中包括多个门店。

第二获取模块302，用于获取预先设置的所述监控门店对应的门店模板数据，所述门店模板数据至少包括监控门店的模板图像及其全局监控区域；

例如，如果需要对门店名称为“第一手机”的门店进行监控，则所述门店模板数据中至少包括的监控门店的模板图像指的是“第一手机”的门店图像；如果一个摄像头同时对多个门店进行监控，则所述模板数据中须包括该多个门店的模板图像。

判断模块303，用于根据所述模板图像及所述全局监控区域，得到监控图片中监控门店的全局监控区域；根据监控图片中全局监控区域的图像判断所述监控门店是否存在违规经营行为，并输出所述监控门店的第一判断结果。

例如，将模板图像的全局监控区域映射到所述监控图片，得到所述监控图片的全局监控区域。使得判断出监控图片的全局监控区域内是否有门店违规经营的行为。

优选地，所述门店模板数据还包括：模板图像的重点监控区域；所述判断模块还用于：根据所述模板图像及所述重点监控区域，得到监控图片中监控门店的重点监控区域；根据监控图片中重点监控区域的图像判断所述监控门店是否存在违规经营行为，并输出所述监控门店的第二判断结果。

所述重点监控区域可以指的是需要重点监控或者判断的局部区域，也是由人为预先设置的。可以通过设置一个或多个容易发生违规的重点监控区域来增加违规判断的准确性。

例如，所述重点监控区域可以是人工预先设置一个或多个容易发生违规的重点监控区域，可以为门店的两侧。

优选地，所述判断模块303还用于：基于所述模板图像对监控图片进行位置配准和/或倾斜矫正；将模板图像的全局监控区域映射到经过位置配准和/或倾斜矫正的监控图片，得到所述监控图片的全局监控区域。

例如，在室外的固定摄像头可能会由于环境(大风、周围施工引起的震动)因素存在一定的抖动，导致所拍摄得到的监控图片中的图像会发生一定的位置偏移，因此需要对当前帧图像进行位置配准，具体可以根据所述模板图像结合仿射变换的方法，将当前帧的所述监控图片与所述模板图像进行位置配准。

例如，在一些情况中，用于监控的摄像头或许会由于摄像头的视角因素，存在一些门店无法正对摄像头，导致拍摄的门店图片会产生倾斜，这样会增加后续门店违规判断的难度，因此，需要先对监控的门店进行一定程度的矫正，具体可以根据所述模板图像结合仿射变换的方法，生成仿射变换矩阵进行倾斜校正。

优选地，所述判断模块303用于根据监控图片中全局监控区域的图像判断所述监控门店是否存在违规经营行为，并输出所述监控门店的第一判断结果，包括：将所述监控图片输入到预先建立的具有全局监控区域的图像与违规经营行为类别对应关系的模型函数中，得到对应的第一判断结果；

所述判断模块303用于根据监控图片中重点监控区域的图像判断所述监控门店是否存在违规经营行为，并输出所述监控门店的第二判断结果，包括：将所述监控图片输入到预先建立的具有所述重点监控区域的图像与违规经营行为类别对应关系的模型函数中，得到对应的第二判断结果。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。