一种基于语义分割的店面违规识别方法及装置、存储介质与流程

本发明涉及图像处理技术领域，具体涉及一种基于语义分割的店面违规识别方法及装置、存储介质。

背景技术：

随着智慧城市、智慧社区的提出和不断推行，对街道店铺的智能化管理已是势在必行。店铺门面违规的监测方法主要分为两种：第一种是固定摄像头的监控方式，比如街道墙面上安装的监控枪机或球机，由于固定摄像头拍摄的区域较为固定，致使场景分析相对简单，通过一些辅助手段就可以分割出关注的区域，进而检测出关注区域内店面外物品随意摆放导致的违规情况；第二种是移动摄像头的监控方式，比如车载执法仪等，由于移动摄像头处于运动状态，存在运动速度、距离店铺距离、环境遮挡等方面的很多不确定因素，这个时候获取关注区域将变的非常困难，同样的方法难以适用。

在处理摄像头的拍摄内容时，往往会借助深度学习对图像或视频中的目标进行检测，还会通过各种检测方法提高目标检测的精度和速度，但是当前无论采用哪类目标检测方法，都存在一个问题：即简单的用矩形框来给定目标的位置。实际上，这种检测方式在碰到比较复杂的问题，如店面外部所摆放物品的边缘不规则，物品和物品之间有重叠，以及不同类别物品相互紧邻的情况时，将导致店面违规经营的检测的精度降低，实际应用效果变差，容易导致目标的误检或漏检的情形发生。

技术实现要素：

本发明主要解决的技术问题是如何提高店面违规识别的准确度。为解决上述技术问题，本申请公开一种基于语义分割的店面违规识别方法及装置、存储介质。

根据第一方面，一种实施例中提供一种基于语义分割的店面违规识别方法,包括：获取一个或多个店面的帧图像；根据预设的语义分割违规识别模型对所述帧图像进行识别，得到所述帧图像中属于违规的识别区域；根据预设的掩膜对所述帧图像中的各识别区域进行过滤，保留感兴趣店面的识别区域；输出所述感兴趣店面的识别区域的识别结果。

所述获取一个或多个店面的帧图像，包括：获取针对一个或多个店铺门面的拍摄照片，将所述拍摄照片作为所述帧图像；或者，获取针对一个或多个店铺门面的拍摄视频，将所述拍摄视频中的每一帧画面作为所述帧图像；所述拍摄照片包括相机拍摄到的店面照片；所述拍摄视频包括固定的摄像机或者移动的摄像机拍摄获取的店面照片。

所述根据预设的语义分割违规识别模型对所述帧图像进行识别，得到所述帧图像中属于违规的识别区域，包括：将所述帧图像输入至预设的语义分割违规识别模型，以使得所述语义分割违规识别模型对所述帧图像中的各像素点分别进行预测，处理得到所述帧图像中属于违规的识别区域；所述帧图像中各识别区域的违规行为包括跨门店经营、占用公共通道、遮挡标识、设施乱建、非法标识、展示非法产品中的一者或多者。

建立所述语义分割违规识别模型的过程包括：获取多幅店铺门面在违规行为发生状态下或者未发生状态下的训练样本图像；利用所述训练样本图像对预设的语义分割网络进行训练，学习得到所述语义分割违规识别模型。

所述根据预设的掩膜对所述帧图像中的各识别区域进行过滤，保留感兴趣店面的识别区域，包括：将预设的掩膜与所述帧图像进行比较，过滤掉所述掩膜覆盖于所述帧图像上之外形成的区域，保留所述掩膜的覆盖区域以得到感兴趣店面的识别区域；所述掩膜为人工标定的感兴趣店面的分布位置，或者为图像分割处理后的感兴趣店面的分布位置。

若所述掩膜为图像分割处理后的感兴趣店面的分布位置，则图像分割处理的过程包括：将所述帧图像输入至预设的店面分割模型，以使得所述店面分割模型对所述帧图像中的各个像素点分别进行预测，处理得到所述帧图像中属于感兴趣店面的分布位置的区域，将属于感兴趣店面的分布位置的区域作为所述掩膜。

所述输出所述感兴趣店面的识别区域的识别结果，包括：判断所述感兴趣店面的识别区域是否存在违规行为，若是则确定存在违规的识别结果并进行违规告警，反之则确定不存在违规的识别结果。

根据第二方面，一种实施例中提供一种店面违规识别装置，包括：取像设备，用于对一个或多个店面进行取像并产生相应的帧图像；处理设备，与所述取像设备连接，用于根据上述第一方面中所述的店面违规识别方法对一个或多个店面的帧图像进行图像处理并输出感兴趣店面的识别区域的识别结果；显示设备，与所述处理设备连接，用于接收所述处理模块输出的感兴趣店面的识别区域的识别结果并对所述识别结果进行告警显示。

所述处理设备包括：获取模块，用于从所述取像设备获取一个或多个店面的帧图像；识别模块，与所述获取模块连接，用于根据预设的语义分割违规识别模型对所述帧图像进行识别，得到所述帧图像中属于违规的识别区域；过滤模块，与所述识别模块连接，用于根据预设的掩膜对所述帧图像中的各识别区域进行过滤，保留感兴趣店面的识别区域；输出模块，与所述过滤模块连接，用于输出所述感兴趣店面的识别区域的识别结果。

根据第三方面，一种实施例中提供一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如上述第一方面中所述的店面违规识别方法。

本申请的有益效果是：

依据上述实施例的一种基于语义分割的店面违规识别方法及装置、存储介质，其中店面违规识别方法包括：获取一个或多个店面的帧图像；根据预设的语义分割违规识别模型对帧图像进行识别，得到帧图像中属于违规的识别区域；根据预设的掩膜对帧图像中的各识别区域进行过滤，保留感兴趣店面的识别区域；输出感兴趣店面的识别区域的识别结果。第一方面，由于是从拍摄照片或者拍摄视频中获取店面的帧图像，所以可以方便地对照片或者视频进行实时的图像处理，从而及时了解沿街店铺门面是否存在违规行为，减轻执法人员的监管压力；第二方面，由于根据预设的语义分割违规识别模型对帧图像进行识别，如此便能够有效地联系上下文信息的特征对图像中的各个像素作出预测，对每一个像素进行是否违规的判断，利于获得准确度较高的属于违规的识别区域；第三方面，由于根据预设的掩膜对帧图像中的各识别区域进行过滤，这样可以最大限度地排除帧图像中非店面区域的干扰，仅对感兴趣店面的识别区域进行违规情况的关注，如此有效避免外界因素的影响，大大减少误检和漏检的情形发生，利于提升店面违规识别的准确度；第四方面，由于输出感兴趣店面的识别区域的识别结果，使得执法人员不仅可以及时了解到感兴趣店面是否发生违规行为，还能够依据告警信息具体知道发生了哪一种违规情形，识别结果直观明了，不再需要参与查看大量监控视频这样的枯乏工作，还能够通过识别结果对存在违规的店面进行告警以增强提示功能；第五方面，由于保护的店面违规识别装置借助取像设备、处理设备和显示设备分别实现帧图像采集、识别结果输出和告警显示的功能，使得装置能够及时地向用户反馈沿街店面的店面违规状态，利用提高用户的使用体验和违规执法效率。

附图说明

图1为本申请的店面违规识别方法的流程图；

图2为帧图像识别和过滤过程的具体流程图；

图3为语义分割识别模型的结构示意图；

图4为另一种实施例中店面违规识别方法的流程图；

图5为店面违规识别装置的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

实施例一、

请参考图1，本申请公开一种基于语义分割的店面违规识别方法，其包括步骤s110-s140，下面分别说明。

步骤s110，获取一个或多个店面的帧图像，即一幅帧图像中可以包含有关于一个或者多个店铺门面的拍摄图像。

在本实施例中，帧图像可以存在多种拍摄来源。比如，获取针对一个或多个店铺门面的拍摄照片，将拍摄照片作为帧图像，即使用相机针对沿街店铺进行拍摄从而拍摄得到的每一幅照片作为帧图像。在另一种情况下，获取针对一个或多个店铺门面的拍摄视频，将拍摄视频中的每一帧画面作为帧图像，即使用摄像机对沿街店铺进行拍摄得到连续帧的拍摄视频，以每一帧视频画面作为帧图像。

需要说明的是，这里的拍摄照片包括相机拍摄到的店面照片，比如执法人员使用手机、专业相机、执法相机拍摄的沿街店铺门面照片；这里的拍摄视频包括固定的摄像机或者移动的摄像机拍摄获取的店面照片，比如墙面、立柱上安装的固定摄像机拍摄的沿街店铺门面的视频，该视频画面的视野往往比较单一，也可以是执法车安装的移动摄像机拍摄的沿街店铺门面的视频，该视频画面往往不具有单一性且随时改变。

步骤s120，根据预设的语义分割违规识别模型对帧图像进行识别，得到帧图像中属于违规的识别区域。这里的语义分割违规识别模型应该事先被训练好，能够对帧图像中的内容进行语义分析、店面违规识别和违规区域分割，如此，帧图像在经过语义分割违规识别模型之后便能够在处理后的图像中分割出属于店面违规的识别区域。

在一个具体实施例中，参见图2，该步骤s120具体可以包括步骤s121-s122，分别说明如下。

步骤s121，将帧图像输入至预设的语义分割违规识别模型。可以理解，训练好的网络模型往往具有输入通道，可以借助该输入通道输入帧图像。

例如，图3中示意的语义分割违规识别模型，该模型是一种典型的全卷积网络结构(即fullyconvolutionnetworks，简称fcn)，其通过对分割任务进行微调，将它们学习的表征转移到网络。在图3中，模型结构由众多不同的网络层(比如96、256、384、4096、21形成的层数)构成，可以理解为编码器-解码器网络构架，其中编码器通常是一个预训练的分类网络，像vgg、resnet，然后是一个解码器网络，解码器的任务是将编码器学习到的可判别特征(较低分辨率)从语义上投影到像素空间(较高分辨率)，以获得密集分类。

可以理解，语义分割违规识别模型除了采用图3中使用的fcn模型结构之外，还可以采用segnet、u-net、deeplab、e-net、link-net、maskr-cnn、pspnet、refinenet或者g-frnet等类型的网络模型结构，这里不做具体限制。

需要说明的是，这里的语义分割违规识别模型可以由关于店面违规行为的训练样本图像通过训练预设的语义分割网络而学习得到。在一个具体实施例中，建立语义分割违规识别模型的过程包括：(1)获取多幅店铺门面在违规行为发生状态下或者未发生状态下的训练样本图像；(2)利用训练样本图像对预设的语义分割网络进行训练，学习得到语义分割违规识别模型。

步骤s122，利用语义分割违规识别模型对帧图像中的各像素点分别进行预测，处理得到帧图像中属于违规的识别区域。

需要说明的是，帧图像中各识别区域的违规行为包括跨门店经营、占用公共通道、遮挡标识、设施乱建、非法标识、展示非法产品中的一者或多者，只要满足上述违规行为中的一者即可视为图像上此处存在违规的识别区域。

需要说明的是，不同分类任务中语义分割违规识别模型的最终结果(对图像分类的概率)是唯一重要的事，语义分割不仅需要在像素级有判别能力，还需要有能将编码器在不同阶段学到的可判别特征投影到像素空间的机制，可能会因为解码器的架构而形成不同的图像分类能力。实际上，图3反映了fcn端到端密集预测的流程：特征是由编码器中的不同阶段合并而成，它们在语义信息的粗糙程度上有所不同；处理低分辨率语义特征图时使用经双线性插值滤波器初始化的反卷积操作完成，从vgg16、alexnet等分类器网络进行知识迁移来实现语义细分。

步骤s130，根据预设的掩膜对帧图像中的各识别区域进行过滤，保留感兴趣店面的识别区域。

需要说明的是，这里的掩膜可以是选定的图像或图形，对处理的图像(全部或局部)进行遮挡以此来控制图像处理的区域或处理过程。通常在光学图像处理中，掩模可以是胶片、滤光片等；而在数字图像处理中，掩模可以为二维矩阵数组或者为多值图像。

在一个具体实施例中，参见图2，该步骤s130可以具体包括步骤s131-s132，分别说明如下。

步骤s131，将预设的掩膜与帧图像进行比较，具体地，可以将掩膜与帧图像进行相乘，通过各种位运算操作来完成掩膜对帧图像的覆盖，从而得到覆盖区域和之外的区域。

步骤s132，过滤掉掩膜覆盖于帧图像上之外形成的区域，保留掩膜的覆盖区域以得到感兴趣店面的识别区域。

比如，掩膜为二维矩阵数据时，则可以通过一个n*n的矩阵来对关于店面的帧图像进行像素过滤，然后将我们关注或者感兴趣的区域突出地显示出来。在此过程中，通过掩膜与帧图像的位相乘运算，可以使得覆盖区域内的图像值保持不变，而将覆盖区域之外的图像值设为0，如此便可以利用掩模对图像上某些区域进行屏蔽，使得被屏蔽的区域不参加处理或不参加处理参数的计算，从而仅对非屏蔽的区域作处理或统计。此外，还能够利用掩膜对帧图像进行结构特征的提取操作，用相似性变量或图像匹配方法检测和提取图像中与掩模相似的结构特征。

需要说明的是，这里的感兴趣店面可以是帧图像中的所有店面，也可以是部分店面，甚至可以是用户指定的某一家店面。

在本实施例中，所使用的掩膜为人工标定的感兴趣店面的分布位置，或者为图像分割处理后的感兴趣店面的分布位置。可以理解，分布位置往往是区域形成的体现，圈定感兴趣店面的分布位置即可得到该感兴趣店面在帧图像中的区域和所占用的分割形状。如果掩膜为人工标定的感兴趣店面的分布位置，那么分布位置在帧图像中的所在区域和所占用的分割形状可以根据用户的实际需要而设定，这种情况下得到的掩膜比较适用于相机拍摄得到照片对应的帧图像，或者是固定摄像机拍摄得到的一帧帧画面对应的帧图像。如果掩膜为图像分割处理后的感兴趣店面的分布位置，则图像分割处理的过程包括：将帧图像输入至预设的店面分割模型，以使得店面分割模型对帧图像中的各个像素点分别进行预测，处理得到帧图像中属于感兴趣店面的分布位置的区域，将属于感兴趣店面的分布位置的区域作为掩膜。

需要说明的是，这里的店面分割模型也可以由关于店面的训练样本图像通过训练预设的语义分割网络而学习得到。

本领域的技术人员可以理解，语义分割网络的网络结构也常常使用fcn、segnet、u-net、deeplab、e-net、link-net、maskr-cnn、pspnet、refinenet或者g-frnet等类型的网络模型结构，只不过训练样本图像的不同会导致网络中超参数的不一样，从而使得网络具备不一样的识别功能。

步骤s140，输出感兴趣店面的识别区域的识别结果。

在一个具体实施例中，参见图2，该步骤s130可以具体包括步骤s141-s143，分别说明如下。

步骤s141，判断感兴趣店面的识别区域是否存在违规行为，若是则进入步骤s142，反之则进入步骤s143。

这里的违规行为包括跨门店经营、占用公共通道、遮挡标识、设施乱建、非法标识、展示非法产品中的一者或多者，只要存在其中任意一者即可认为存在违规行为。

步骤s142，在确定存在违规行为的情况下，则认为存在违规的识别结果并进行违规告警。这里的违规告警可以包括识别结果所对应的识别区域和哪一种具体的违规行为。

步骤s143，确定不存在违规的识别结果。可以理解，在感兴趣店面的识别区域内不存在列举的任何一种违规行为时，则将确定不存在违规的识别结果，默认感兴趣店面的经营行为合乎规定。

在本实施例中，无论是语义分割违规识别模型，还是店面分割模型，都是根据训练样本图像对现有的语义分割网络进行训练而学习得到。也就是说，这两个模型的基础都是语义分割网络，语义分割是稠密预测，即对每个像素进行分类，不同于普通目标检测识别出图像中“有什么”以及“它在哪”，语义分割能够根据一个点周围的上下文信息精确的预测出该点像素所指示的含义，也就是所谓的图像语义信息。

图像的语义分割是将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类，自2007年以来，语义分割/场景解析一直是计算机视觉社区的一部分，但与计算机视觉中的其他领域很相似，后来首次使用全卷积神经网络对自然图像进行端到端分割，语义分割才产生了大的突破。这里的语义分割网络可以采用常见的fcn、segnet、u-net、deeplab、e-net、link-net、maskr-cnn、psp-net、refine-net或者g-frnet等类型的网络模型结构，关于这些网络模型结构均属于现有技术，可以通过相关的网络资料、科研论文和教材来获知，这里不再进行赘述。

实施例二、

请参考图4，在本申请实施例一中公开的基于语义分割的店面违规识别方法的基础上，还公开一种改进的店面违规识别方法，其包括步骤s210-s300，下面分别说明。

步骤s210，获取一个或多个店面的帧图像，即一幅帧图像中可以包含有关于一个或者多个店铺门面的拍摄图像。

这里的帧图像可以存在多种拍摄来源，比如来自针对一个或多个店铺门面的拍摄照片，将拍摄照片作为帧图像；比如来自针对一个或多个店铺门面的拍摄视频，将拍摄视频中的每一帧画面作为帧图像。

步骤s220，根据预设的语义分割违规识别模型对帧图像进行识别，得到帧图像中属于违规的识别区域。

需要说明的是，这里的语义分割违规识别模型应该事先被训练好，能够对帧图像中的内容进行语义分析、店面违规识别和违规区域分割，如此帧图像在经过语义分割违规识别模型之后便能够在处理后的图像中分割出属于店面违规的识别区域。

步骤s230，判断是否需要进行掩膜过滤，若是则进入步骤s240，反之进入步骤s280。

需要说明的是，若在帧图像中没有识别得到属于违规的识别区域，那么此时就没必要进行掩膜过滤了，可以直接进入步骤s280。增加判断是否需要进行掩膜过滤的步骤可以根据需要而进入相应流程，减少不必要步骤的工作流程。

步骤s240，判断帧图像的拍摄来源是否固定，若是则进入步骤s250，反之则进入步骤s260。

需要说明的是，如果帧图像来自相机拍摄的照片或者来固定动摄像机拍摄的视频，则认为拍摄来源固定；如果帧图像来自移动摄像机拍摄的视频，则认为拍摄来源不固定。

步骤s250，采用为人工标定的感兴趣店面的分布位置的区域作为掩膜。

步骤s260，采用图像分割处理后的感兴趣店面的分布位置的区域作为掩膜。

可以理解，分布位置往往是区域形成的体现，圈定感兴趣店面的分布位置即可得到该感兴趣店面在帧图像中的区域和所占用的分割形状。那么，这里的掩膜可以是选定的图像或图形，对处理的图像(全部或局部)进行遮挡以此来控制图像处理的区域或处理过程。通常在光学图像处理中，掩模可以是胶片、滤光片等；而在数字图像处理中，掩模可以为二维矩阵数组或者为多值图像。

需要说明的是，图像分割处理的过程包括：将帧图像输入至预设的店面分割模型，以使得店面分割模型对帧图像中的各个像素点分别进行预测，处理得到帧图像中属于感兴趣店面的分布位置的区域，将属于感兴趣店面的分布位置的区域作为掩膜。

步骤s270，根据预设的掩膜对帧图像中的各识别区域进行过滤，保留感兴趣店面的识别区域。具体地，将预设的掩膜与帧图像进行比较，过滤掉掩膜覆盖于帧图像上之外形成的区域，保留掩膜的覆盖区域以得到感兴趣店面的识别区域。

此外，该步骤s270之后进入步骤s280。

步骤s280，判断识别区域内是否存在违规行为，若是则进入步骤s290，反之则进入s300。

需要说明的是，这里的违规行为包括跨门店经营、占用公共通道、遮挡标识、设施乱建、非法标识、展示非法产品中的一者或多者，只要存在其中任意一者即可认为存在违规行为。

步骤s290，在确定存在违规行为的情况下，则认为存在违规的识别结果并进行违规告警。这里的违规告警可以包括识别结果所对应的识别区域和哪一种具体的违规行为。

步骤s300，确定不存在违规的识别结果。可以理解，在感兴趣店面的识别区域内不存在列举的任何一种违规行为时，则将确定不存在违规的识别结果，默认感兴趣店面的经营行为合乎规定。

本领域的技术人员可以理解，实施上述公开的店面违规识别方法可以达到以下技术优势：(1)由于是从拍摄照片或者拍摄视频中获取店面的帧图像，所以可以方便地对照片或者视频进行实时的图像处理，从而及时了解沿街店铺门面是否存在违规行为，减轻执法人员的监管压力；(2)根据预设的语义分割违规识别模型对帧图像进行识别，如此便能够有效地联系上下文信息的特征对图像中的各个像素作出预测，对每一个像素进行是否违规的判断，利于获得准确度较高的属于违规的识别区域；(3)根据预设的掩膜对帧图像中的各识别区域进行过滤，这样可以最大限度地排除帧图像中非店面区域的干扰，仅对感兴趣店面的识别区域进行违规情况的关注，如此有效避免外界因素的影响，大大减少误检和漏检的情形发生，利于提升店面违规识别的准确度；(4)由于输出感兴趣店面的识别区域的识别结果，使得执法人员不仅可以及时了解到感兴趣店面是否发生违规行为，还能够依据告警信息具体知道发生了哪一种违规情形，识别结果直观明了，不再需要参与查看大量监控视频这样的枯乏工作，还能够通过识别结果对存在违规的店面进行告警以增强提示功能。

实施例三、

请参考图5，本实施例公开一种店面违规识别装置，其包括取像设备31、处理设备32和显示设备33，下面分别说明。

取像设备31具有摄像头，能够对一个或多个店面进行取像并产生相应的帧图像。具体地，取像设备31可以是相机或者摄像机，比如执法人员使用手机、专业相机、执法相机等类型的取像设备来拍摄沿街店铺门面照片，从而生成帧图像；再比如，借助墙面、立柱上安装的固定摄像机或者执法车上安装的移动摄像机来拍摄的沿街店铺门面的视频，从而生成帧图像。

处理设备32与取像设备31连接，处理设备32可以从取像设备31获取一个或多个店面的帧图像，根据预设的语义分割违规识别模型对帧图像进行识别以得到帧图像中属于违规的识别区域，根据预设的掩膜对帧图像中的各识别区域进行过滤以保留感兴趣店面的识别区域，最后输出感兴趣店面的识别区域的识别结果。具体地，处理设备32可以是处理器部件或者是处理器与存储器的结合部件，能够按照实施例二或者实施例三中公开的方法对帧图像进行处理。

显示设备33与处理设备32连接，显示设备33具有图像或者特定信息的显示功能，能够接收处理模块32输出的感兴趣店面的识别区域的识别结果并对识别结果进行告警显示。具体地，显示设备32可以对获取到的帧图像、帧图像中属于违规的识别区域、感应区店面的识别区域和识别区域的识别结果进行显示，以便用户通过显示内容及时地了解到装置的工作状态。此外，显示装置32可以是显示器、电子屏幕等部件，这里不做具体限定。

需要说明的是，显示设备33对感兴趣店面的识别区域的识别结果进行告警显示时，可以用文字或者标识来表示识别结果，具体的表示形式不做限制。

在一个具体实施例中，参见图5，处理设备31包括获取模块321、识别模块322、过滤模块323和输出模块324，分别说明如下。

获取模块321具有通信功能，可以从取像设备31获取一个或多个店面的帧图像。获取的帧图像可以存在多种拍摄来源，比如，获取针对一个或多个店铺门面的拍摄照片，将拍摄照片作为帧图像，即使用相机针对沿街店铺进行拍摄从而拍摄得到的每一幅照片作为帧图像；在另一种情况下，获取针对一个或多个店铺门面的拍摄视频，将拍摄视频中的每一帧画面作为帧图像，即使用摄像机对沿街店铺进行拍摄得到连续帧的拍摄视频，以每一帧视频画面作为帧图像。

识别模块322与获取模块321连接，主要根据预设的语义分割违规识别模型对所述帧图像进行识别，得到帧图像中属于违规的识别区域。这里的语义分割违规识别模型应该事先被训练好，能够对帧图像中的内容进行语义分析、店面违规识别和违规区域分割，如此，帧图像在经过语义分割违规识别模型之后便能够在处理后的图像中分割出属于店面违规的识别区域。关于识别模块322的具体功能可以参考实施例一中的步骤s120，这里不再进行赘述。

过滤模块323与识别模块322连接，主要根据预设的掩膜对帧图像中的各识别区域进行过滤，保留感兴趣店面的识别区域。这里的掩膜可以是选定的图像或图形，对处理的图像(全部或局部)进行遮挡以此来控制图像处理的区域或处理过程。通常在光学图像处理中，掩模可以是胶片、滤光片等；而在数字图像处理中，掩模可以为二维矩阵数组或者为多值图像。关于过滤模块323的具体功能可以参考实施例一中的步骤s130，这里不再进行赘述。

输出模块324与过滤模块323连接，主要输出感兴趣店面的识别区域的识别结果。关于输出模块324的具体功能可以参考实施例一中的步骤s140，这里不再进行赘述。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。