一种智能判断门店合规的方法和系统与流程

1.本说明书涉及计算机领域，特别涉及一种智能判断门店合规的方法和系统。


背景技术：

2.餐厅、工厂等实体的安全、卫生、质量管理，因涉及门店规范需求、菜品/产品规范需求、服务人员/工作人员工作规范需求等多种因素，在规范管理上存在一定难度。目前采用较多的方式主要有人工巡视、视频抽查等方式，但随着门店规模扩大、菜品/产品多样化、门店人流量增加等，其管理难度增加，以上方式越来越无法满足门店精细化管理的要求。
3.因此，希望提供一种智能判断门店合规的方法和系统，通过智能分析代替人工判断，提高管理效率的同时，确保规范监控的全面性。


技术实现要素：

4.本说明书实施例的一个方面提供一种智能判断门店合规的方法，所述方法包括：从摄像头采集待判断图像；基于所述摄像头的位置信息或拍摄角度信息，确定所述待判断图像中对象的类型，所述类型包括静态对象和动态对象；基于所述类型确定目标分割算法，并基于所述目标分割算法对所述待判断图像进行分割，确定至少一个对象的区域图像；基于判断模型对所述区域图像的处理，确定门店是否合规。
5.本说明书实施例的另一个方面提供一种智能判断门店合规的系统，所述系统包括：采集模块，用于从摄像头采集待判断图像；确定模块，用于基于所述摄像头的位置信息或拍摄角度信息，确定所述待判断图像中对象的类型，所述类型包括静态对象和动态对象；分割模块，用于基于所述类型确定目标分割算法，并基于所述目标分割算法对所述待判断图像进行分割，确定至少一个对象的区域图像；判断模块，用于基于判断模型对所述区域图像的处理，确定门店是否合规。
6.本说明书实施例的另一个方面提供一种智能判断门店合规的装置，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现智能判断门店合规的方法。
7.本说明书实施例的另一个方面提供一种计算机可读存储介质，所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现智能判断门店合规的方法。
附图说明
8.本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
9.图1是根据本说明书一些实施例所示的智能判断门店合规系统的应用场景图；
10.图2是根据本说明书一些实施例所示的智能判断门店合规系统的示例性模块图；
11.图3是根据本说明书一些实施例所示的智能判断门店合规方法的示例性流程图；
12.图4是根据本说明书一些实施例所示的确定区域图像的示例性流程图；
13.图5是根据本说明书一些实施例所示的确定对象是否合规的示例性流程图；
14.图6是根据本说明书一些实施例所示的一种判断模型结构的示例性示意图；
15.图7是根据本说明书一些实施例所示的另一种判断模型结构的示例性示意图。
具体实施方式
16.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
17.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
18.如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
19.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
20.本技术实施例涉及一种智能判断门店合规的方法、系统及存储介质。该方法可以应用于手机、平板电脑、笔记本电脑等智能终端，应用领域可以为门店合规监控等。在一些实施例中，该方法可以应用于判断门店合规监控终端，例如，摄像头、红外监控设备等；在一些实施例中，该方法可以应用于管理终端，例如，门店监控管理平台等。在一些实施例中，该方法可以应用于其他领域，例如，人员行为监控、场景监控等领域。
21.图1是根据本说明书一些实施例所示的智能判断门店合规系统的应用场景图。
22.智能判断门店合规系统可以基于摄像头采集待判断图像；基于摄像头的位置信息或拍摄角度信息，确定待判断图像中对象的类型；基于类型确定目标分割算法，并基于目标分割算法对待判断图像进行分割，确定至少一个对象的区域图像；基于判断模型对区域图像的处理，确定门店是否合规。
23.在一些实施例中，智能判断门店合规系统涉及的场景100可以包括服务器110、处理设备120、存储设备130、第一终端140、网络150、第二终端160以及门店170。
24.在一些实施例中，服务器110可以用于处理与场景100相关的信息和/或数据，例如，可以用于基于摄像头的位置信息或拍摄角度信息，确定待判断图像中对象的类型。在一些实施例中，服务器110可以是单个服务器，也可以是服务器组。服务器组可以是集中式的或分布式的(例如，服务器110可以是一分布式系统)。在一些实施例中，服务器110可以是本
地的，也可以是远程的。例如，服务器110可以经由网络150访问存储在存储设备130、第一终端140、第二终端160中的信息和/或数据。又例如，服务器110可以直接连接到存储设备130、第一终端140和/或第二终端160以访问存储信息和/或数据。
25.在一些实施例中，服务器110可以包括处理设备120。处理设备120可以处理与场景100有关的信息和/或数据，以执行本技术中描述的一个或以上功能。例如，处理设备120可以基于目标分割算法对待判断图像进行分割，确定至少一个对象的区域图像。在一些实施例中，处理设备120可以包括一个或以上处理引擎(例如，单芯片处理引擎或多芯片处理引擎)。仅作为示例，处理设备120可以包括中央处理单元(cpu)。
26.存储设备130可以用于存储与智能判断门店合规相关的数据和/或指令。在一些实施例中，存储设备130可以存储从第一终端140和/或第二终端160中获得/获取的数据。在一些实施例中，存储设备130可以储存服务器110用来执行或使用以完成本技术中描述的示例性方法的数据和/或指令。在一些实施例中，存储设备130可在云平台上实现。
27.在一些实施例中，存储设备130可以连接到网络150以与场景100的一个或以上组件(例如，服务器110、第一终端140、第二终端160)通信。场景100的一个或以上组件可以经由网络150访问存储在存储设备130中的数据或指令。在一些实施例中，存储设备130可以直接连接到场景100的一个或以上组件(例如，服务器110、第一终端140、第二终端160)或与之通信。在一些实施例中，存储设备130可以是服务器110的一部分。在一些实施例中，存储设备130可以是单独的存储器。
28.第一终端140可以是与门店合规监控直接相关的设备或其他实体。在一些实施例中，第一终端140可以是门店合规监控的执行者。在一些实施例中，第一终端140可以包括移动设备140-1、平板电脑140-2、笔记本电脑140-3、膝上电脑140-4、摄像头140-5等或其任意组合。在一些实施例中，移动终端140-1可以包括智能手机、智能传呼设备等或其他智能设备。在一些实施例中，摄像头140-5可以包括模拟摄像头、数字摄像头等。在一些实施例中，第一终端140可以包括其他智能终端，如红外线监控终端等。第一终端140可以是智能终端，也可以是包含智能终端的实体，例如包含摄像头的电子设备等。
29.网络150可以促进信息和/或数据的交换。在一些实施例中，场景100的一个或以上组件(例如，服务器110、第一终端140、第二终端160)可以经由网络150将信息和/或数据发送至场景100的其他组件。例如，服务器110可以经由网络150从第一终端140获取待判断图像。在一些实施例中，网络150可以是有线网络或无线网络等或其任意组合。仅作为示例，网络150可以包括电缆网络。在一些实施例中，场景100可以包括一个或以上网络接入点。例如，基站和/或无线接入点150-1、150-2
…
，场景100的一个或以上组件可以连接到网络150以交换数据和/或信息。
30.第二终端160是用户使用的终端，例如，管理人员使用的终端等。在一些实施例中，第二终端160可以是门店合规监控的请求者。在本说明书的一些实施例中，“角色”、“用户”、“用户终端”可以互换使用。在一些实施例中，用户可以是智能判断门店合规系统的操作者或使用者，例如管理人员、监察人员等。在一些实施例中，第二终端160可以包括移动设备160-1、平板电脑160-2、笔记本电脑160-3、膝上电脑160-4等或其任意组合。在一些实施例中，第二终端160可以通过网络150接收第一终端140上传的信息，例如待判断图像等。
31.应当注意智能判断门店合规系统仅仅是为了说明的目的而提供的，并不意图限制
本技术的范围。对于本领域的普通技术人员来说，可以根据本说明书的描述，做出多种修改或变化。例如，智能判断门店合规系统还可以包括信息源。又例如，智能判断门店合规系统可以在其它设备上实现类似或不同的功能。然而，这些变化和修改不会背离本技术的范围。
32.图2是根据本说明书一些实施例所示的智能判断门店合规系统的示例性模块图。
33.如图2所示，智能判断门店合规的系统200可以包括采集模块210、确定模块220、分割模块230、判断模块240。
34.采集模块210可以用于从摄像头采集待判断图像。
35.确定模块220可以用于确定待判断图像的类型，该类型包括静态对象和动态对象。
36.在一些实施例中，确定模块220可以基于摄像头的位置信息或拍摄角度信息，确定待判断图像中对象的类型。
37.分割模块230可以用于确定至少一个对象的区域图像。
38.在一些实施例中，分割模块230可以基于待判断图像的类型确定目标分割算法，并基于目标分割算法对待判断图像进行分割，确定至少一个对象的区域图像。
39.在一些实施例中，分割模块230可以用于当类型为静态对象时，基于与静态对象匹配的预设分割框对待判断图像进行分割，得到静态对象的区域图像。在一些实施例中，分割模块230可以用于当类型为动态对象时，基于图像分割模型对待判断图像进行分割，得到动态对象的区域图像。
40.判断模块240可以用于确定门店是否合规。
41.在一些实施例中，确定模块240可以基于判断模型对区域图像的处理，确定门店是否合规。
42.在一些实施例中，确定模块240可以用于基于判断模型对标准合规图像与区域图像进行处理，确定对象是否合规。
43.在一些实施例中，智能判断门店合规的系统还可以包括通信模块250；通信模块250可以用于与门店管理终端进行通信。
44.在一些实施例中，通信模块250可以用于响应于门店不合规时，向门店的管理终端发送提醒信息。
45.应当理解的是，上述模块仅仅是本说明书中主要涉及到的相关模块的简单举例，并不代表本技术所有相关内容的展示，还存在一些模块及单元未在本模块图中进行展示，此处不一一举例说明。且以上模块及单元并非完全独立存在，还可能是存在相互交叉涉及。
46.在本技术一些实施例中，门店可以包括任何存在规范经营、规范生产需求的场所。例如，餐厅、饮品店、工厂等场所。上述场所如餐厅存在规范菜品、规范门店卫生、规范服务人员行为的需求；工厂存在安全生产、满足生产工艺的需求，故需要上述场所中的产品/人员符合相关规定。
47.图3是根据本说明书一些实施例所示的智能判断门店合规方法的示例性流程图。
48.步骤310，基于摄像头采集待判断图像。在一些实施例中，该步骤可以通过采集模块210执行。
49.摄像头可以是任何用于获取图像、视频的拍摄装置。例如，摄像机、相机、录像设备等。在一些实施例中，摄像头可以以任意角度安装在与门店合规监控相关的任意位置。在一些实施例中，摄像头可以获取图像，作为待判断图像。
50.待判断图像可以是用于判断门店是否合规的原始视频资料。例如，一段视频、连续的一组照片等。在一些实施例中，待判断图像中可以包括对象。
51.在一些实施例中，待判断图像可以基于摄像头/采集模块210拍摄获取。
52.对象可以是待判断图像中拍摄到的任意实体。基于待判断图像可以反映图像内实体当前状况的信息。例如，待判断图像中对象可以是拍摄的菜品/产品、餐桌/厨房、服务人员/工人等。
53.步骤320，基于摄像头的位置信息或拍摄角度信息，确定待判断图像中对象的类型，类型包括静态对象和动态对象。在一些实施例中，该步骤可以通过确定模块220执行。
54.位置信息可以是摄像头拍摄的场所位置或摄像头的安装位置。例如，餐厅的出餐口、餐桌、洗手池、消毒间、厨房，工厂的生产线、仓库等位置。
55.拍摄角度可以是摄像头与被拍摄的对象所呈的角度关系。例如，摄像头与被拍摄桌面呈90度角、摄像头呈45度角拍摄厨房等。
56.在一些实施例中，位置信息和拍摄角度信息可以通过人工设置确定，或通过摄像头自动调整确定。
57.静态对象可以是待判断图像中包括的处于静止状态或不可自由移动的对象。例如，餐桌、菜品等。
58.动态对象可以是待判断图像中包括的处于运动状态或可以自由移动的对象。例如，服务人员、流水线上的产品等。
59.在一些实施例中，确定模块220可以通过多种方式，如基于摄像头的位置信息或拍摄角度信息，确定待判断图像中对象的类型。例如，安装于餐桌上专门用于拍摄桌面的摄像头，可以认为其采集的待判断图像中对象的类型为静态图像。又如，摄像头的位置信息和拍摄角度信息在一段时间内可以看作为固定值，以使得摄像头在该时间段内拍摄到的待判断图像为同一空间内的图像。则通过比对该时间段内待判断图像的像素变化，像素变化超过阈值的待判断图像内的对象作为动态对象，像素变化低于阈值的待判断图像内的对象作为静态对象。
60.在一些实施例中，还可以通过对一段时间内拍摄得到的图像帧相减，将相减后的亮度差大于阈值的待判断图像内的对象作为动态对象，将相减后的亮度差低于阈值的待判断图像内的对象作为静态对象。在一些实施例中，还可以通过其他方法区分对象中的静态对象和动态对象。
61.步骤330，基于类型确定目标分割算法，并基于目标分割算法对待判断图像进行分割，确定至少一个对象的区域图像。在一些实施例中，该步骤可以通过分割模块230执行。
62.目标分割算法可以是用于分割待判断图像的图像算法。例如，基于预设分割框分割、基于图像识别模型分割等。
63.在一些实施例中，针对包括不同类型的对象的待判断图像，目标分割算法可以不同。例如，当待判断图像中的对象为静态对象时，目标分割算法可以是为该图像分配预设分割框分割；当待判断图像中的对象为动态对象时，目标分割算法可以是基于图像识别模型分割等。
64.对待判断图像进行分割可以指对待判断图像中的对象进行提取的过程。例如，待判断图像中包括背景的图像(如地面、墙面等)和包括对象的图像(如餐桌、服务人员等，后
文称为区域图像)，通过目标分割算法分割，将对象的图像(区域图像)进行提取的过程可以认为是对待判断图像进行分割。目标分割算法可以采用如基于预设分割框分割、基于图像识别模型分割等。
65.区域图像可以是待判断图像中对象所处区域的像素的集合。例如，菜品所处区域的图像、服务人员所处区域的图像等。
66.在一些实施例中，区域图像可以通过对待判断图像进行分割确定，关于分割的具体说明参见图4及其相关描述，此处不再赘述。
67.步骤340，基于判断模型对区域图像的处理，确定门店是否合规。在一些实施例中，该步骤可以通过判断模块240执行。
68.确定门店是否合规可以是确定门店内静态对象本体、动态对象本体或动态对象的动作是否符合门店规定。例如，对于静态对象如桌子，确定门店是否合规可以是确定桌子上是否有异物、确定桌子是否清洁、确定桌面上是否有摆放餐具以及餐巾纸等，又如，对于静态对象如零件产品，确定门店是否合规可以是确定零件产品外观以及尺寸是否符合规定要求等。再如，对于动态对象如服务人员，确定门店是否合规可以是确定服务人员着装是否规范、洗手清洁过程是否符合规定要求、生产过程是否符合规定要求等。在一些实施例中，上述需要确认的具体信息可与门店规定相关，门店规定可以是对门店的卫生规定、安全规定、生产工艺规定、纪律规定等。
69.判断模型可以是用于判断门店是否合规的模型。例如，卷积神经网络(convolutional neural networks，cnn)、深度神经网络(deep neural networks，dnn)等，或其组合。关于判断模型的具体说明，以及确定门店是否合规的具体过程，参见图5及其相关描述。
70.在一些实施例中，智能判断门店合规的方法还可以进一步包括在判断存在不合规时的进一步处理步骤：
71.步骤350，响应于不合规时，向门店的管理终端发送提醒信息。在一些实施例中，该步骤可以通过通信模块250执行。
72.管理终端可以是用于监控门店的智能终端。例如，管理终端可以是计算机、云端、以及门店安全、卫生、操作规范的智能监控平台。管理终端可以接收系统发送的是否合规的判断结果以及提醒信息，并基于以上信息作出响应。如对门店发出警告、增加该门店的不良记录等。在一些实施例中，管理终端可以是图1中的第二终端160，或能够执行与其相似功能的实体等。
73.提醒信息可以是响应门店不合规时，系统对管理终端发出的警告。例如，提醒信息可以以文字、图像、语音等方式体现。提醒信息可以仅反映门店存在不合规，还可以进一步包括不合规的具体内容。如“厨师未洗手”、“需要补充卫生纸”、“产品外观存在缺陷”等。
74.在一些实施例中，当判断结果包括静态对象不合规时，通信模块250可以发送提醒信息给所述静态对象对应的预设管理人员。
75.预设管理人员可以是与对象合规管理相关的人员。例如，负责纸巾添补的人员、负责桌面清洁的人员、负责垃圾处理的人员等。
76.在一些实施例中，当判断结果包括动态对象不合规时，可以从摄像头获取动态对象的人脸图像，进行人脸识别，确定动态对象的身份，并发送提醒信息给对应人员。
77.对应人员可以是动态对象的人脸图像涉及的人员。例如，当动态对象为厨师时，对应人员可以是动态对象的人脸图像对应的某一位厨师。
78.在一些实施例中，判断模块240可以通过将某一门店的所有工作人员面部特征输入面部特征数据库，基于上述获取的人脸图像与面部特征数据库比对，以确定动态对象的身份。
79.在一些实施例中，从摄像头获取动态对象的人脸图像包括：提取图像前后预设长度的视频，从该视频中选取包含人脸的图像。
80.在一些实施例中，提取图像前后预设长度的视频可以基于预设规则确定。例如，提取当前图像前后各5秒的视频帧等，进而从提取的视频图像中提取包含人脸的图像。具体需要提取的视频长度可以自行设定或修改。
81.在一些实施例中，可以基于人脸提取算法从包含人脸的图像的视频帧中提取人脸图像。提取算法可以包括：python+opencv、deepfacelab、pca算法(principal component analysis，主成分分析)等算法。
82.在一些实施例中，步骤350可以根据监控需求包括其他内容，即步骤350是非必要步骤。例如，当被拍摄的对象为外观明显存在缺陷的产品时，步骤350可以是将该产品标记为残次品并归类到残次品区域。在一些实施例中，步骤350可以被省略。
83.通过本说明书一些实施例的智能判断门店合规的方法，可以实现基于某一标准，对多个门店是否合规的统一判断，有助于落实规范操作、规范生产的统一标准；另外，对图像动态、静态内容的区分以及图像分割，有利于提高图像识别的准确性。
84.应当注意的是，上述有关流程300的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程300进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，流程300还可以包括预处理过程。
85.图4是根据本说明书一些实施例所示的确定区域图像的示例性流程图。如图4所示，流程400可以由分割模块230执行。
86.在一些实施例中，针对待判断图像中不同类型的对象，目标分割算法可以不同。
87.在一些实施例中，当待判断图像中对象的类型为静态对象时，分割模块230可以基于与静态对象匹配的预设分割框对待判断图像进行分割，得到静态对象的区域图像。
88.预设分割框可以是用于分割出待判断图像中静态对象对应的区域图像的边界框。在一些实施例中，预设分割框可以通过系统预设确定，并基于静态对象的大小以确定其尺寸和形状。
89.在一些实施例中，预设分割框可以与静态对象相匹配。例如，分割模块230可以基于摄像头的位置信息和拍摄角度信息，确定静态对象在待判断图像中的位置以及静态对象在待判断图像中的形状大小，基于静态对象在图像中的位置确定预设分割框的位置，以及基于静态对象在待判断图像中的形状大小确定预设分割框的形状大小。
90.例如，摄像头垂直拍摄静态对象如方形桌子的桌面，通过调整摄像头与桌面之间的焦距，在待判断图像中得到合适大小的静态对象，基于拍摄的桌面在待判断图像中的位置以及形状大小，为其匹配相应的预设分割框，进而基于预设分割框从图像出分割出桌面图像。
91.静态对象的区域图像可以是待判断图像中包括静态对象的一部分图像。例如，静态对象的区域图像可以是待判断图像中包括桌子的部分图像。
92.在一些实施例中，分割模块230可以基于像素识别判断待判断图像中是否存在静态对象，当存在静态对象时获取其大小、形状与位置信息，匹配相应的预设分割框；通过与静态对象匹配的预设分割框框选包括静态对象的一部分图像作为区域图像。在一些实施例中，与静态对象匹配的预设分割框框选过程可以基于灰度阈值、基于区域、基于边缘、基于基因编码、基于小波变换、以及基于神经网络等进行。
93.在一些实施例中，当待判断图像中对象的类型为动态对象时，分割模块230可以基于图像分割模型对待判断图像进行分割，得到动态对象的区域图像。
94.图像分割模型可以是用于分割包括动态对象的待判断图像的模型。例如，图像分割模型可以是yolo、ssd、rcnn、fast-rcnn等模型。
95.在一些实施例中，图像分割模型的输入可以是至少一张或一帧包括动态对象的待判断图像，输出可以是动态对象的区域图像，其中，动态对象的待判断图像可以通过摄像头拍摄获取。
96.在一些实施例中，图像分割模型可以通过多个有标签的训练样本训练得到。例如，可以将多个带有标签的训练样本输入初始图像分割模型，通过标签和初始图像分割模型的结果构建损失函数，基于损失函数迭代更新初始图像分割模型的参数。当初始图像分割模型的损失函数满足预设条件时模型训练完成，得到训练好的图像分割模型。其中，预设条件可以是损失函数收敛、迭代的次数达到阈值等。
97.在一些实施例中，训练样本至少可以包括含动态对象的历史图像。标签可以是分割的位置等。标签可以基于人工标注获取。
98.动态对象的区域图像可以是待判断图像中包括动态对象的一部分图像。例如，动态对象的区域图像可以是待判断图像中包括服务员的部分图像。
99.在一些实施例中，分割模块230可以基于像素识别判断待判断图像中是否存在动态对象，当存在动态对象时调用相对应的图像分割模型，通过图像分割模型输出包括动态对象的区域图像。
100.在一些实施例中，系统还可以对分割得到的区域图像进行质量打分以获取质量分数，该质量分数表示区域图像中对象的完整度或清晰度中的至少一种。
101.质量分数可以作为反映区域图像中包括的对象图像信息可用程度的衡量值。例如，质量分数可以是10或100以内的具体数值，如9分、60分，还可以是反映可用程度的等级，如较高质量、较低质量等。
102.在一些实施例中，针对不同的场景，质量分数可以反映该场景下要评估的对象的完整度。例如，当需要判断洗手过程是否合规时，区域图像中仅包括服务员的手腕，则对象的完整度较低，相应得到较低的质量分数如20分；当需要判断桌面清洁度是否合规时，区域图像中包括完整的桌子表面，相应得到较高的质量分数如80分。
103.在一些实施例中，质量分数可以反映对象的清晰度。例如，当因摄像头硬件质量差、或拍摄抖动导致或者环境光线较暗等导致得到清晰度较低的区域图像时，相应得到较低的质量分数如20分。
104.在一些实施例中，打分过程可以通过打分模型实现。
105.打分模型可以是用于给区域图像打分的模型。例如，图匹配网络(graph matching networks，gmns)模型等。
106.在一些实施例中，打分模型的输入可以包括区域图像以及标准图像。标准图像可以是包括完整对象、或清晰度满足预设要求的图像。例如，服务员的正面全身图像、厨房的清晰的正视图、桌子的桌面图像等；打分模型的输出可以包括区域图像质量分数。
107.在一些实施例中，打分模型可以通过多个有标签的训练样本训练得到。例如，可以将多个带有标签的训练样本输入初始打分模型，通过标签和初始打分模型的结果构建损失函数，基于损失函数迭代更新初始打分模型的参数。当初始打分模型的损失函数满足预设条件时模型训练完成，得到训练好的打分模型。其中，预设条件可以是损失函数收敛、迭代的次数达到阈值等。
108.在一些实施例中，训练样本至少可以包括标准图像、以及历史区域图像及其对应的质量分数。标签可以是图像对应的质量分数。标签可以对区域图像和标准图像通过图像特征提取算法提取特征，计算两者特征的相似度确定。在一些实施例中，图像特征提取算法可以包括方向梯度直方图、颜色直方图等。
109.在一些实施例中，系统可以基于质量打分，进行后续操作。例如，设置质量分数阈值，剔除低于质量分数阈值的不清晰、不完整图像。再例如，基于质量分数为图像设置权重，降低不清晰、不完整图像在后续使用过程中的使用程度等。
110.通过本说明书一些实施例所述的区域图像确定过程，可以实现对待判断图像的精确分割，以提取待判断图像中与对象相关的重要信息；另外，对图像进行质量打分可以筛选出有信息价值的图像，去除冗杂图像，提高信息利用效率。
111.应当注意的是，上述有关流程400的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程400进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，流程400还可以包括预处理过程。
112.图5是根据本说明书一些实施例所示的确定对象是否合规的示例性流程图。在一些实施例中，流程500可以由判断模块240实现。在一些实施例中，流程500可以包括如下步骤：
113.步骤510，判断模块240基于判断模型对标准合规图像与区域图像进行处理。
114.判断模型可以是用于判断对象是否合规的模型。例如，判断模型可以是卷积神经网络(convolutional neural networks，cnn)、深度神经网络(deep neural networks，dnn)等，或其组合。
115.在一些实施例中，判断模型的输入可以是包括对象的区域图像以及标准合规图像，输出可以是对象是否合规的判断结果。
116.标准合规图像可以是对象符合门店规定对应的图像。例如，标准合规图像可以是服务员规范着装、桌面清洁满足门店规定、垃圾桶及时清理、厨房卫生达标等对应的图像。在一些实施例中，标准合规图像可以通过最近拍摄的对象符合门店规定的待判断图像，经过图像分割获得的区域图像作为标准合规图像，以确保标准合规图像对最新门店情况的适配性。
117.图6是根据本说明书一些实施例所示的一种判断模型结构的示例性示意图。
118.在一些实施例中，判断模型的结构600可以是包括两个cnn模型及一个dnn模型组合而成的模型。其中，两个cnn模型分别为第一卷积神经网络模型(即cnn-1)及第二卷积神经网络模型(即cnn-2)，cnn-1的输入可以是包括对象的区域图像，输出可以是区域图像的图像特征；cnn-2的输入可以是标准合规图像，输出可以是标准合规图像的图像特征；dnn模型的输入可以是cnn-1、cnn-2的输出，dnn的输出可以是区域图像与标准合规图像之间的相似度。
119.图像特征可以是用于识别图像的图像信息。图像特征可以包括如图像的颜色特征、纹理特征等。
120.相似度可以是区域图像的图像特征与标准合规图像的图像特征之间的相关程度。基于相似度是否达到预设要求，可以确定区域图像中的对象是否合规。关于基于相似度确定区域图像中的对象是否合规的具体说明参见步骤520及其具体描述。
121.在一些实施例中，cnn-1模型可以通过多个有标签的训练样本训练得到。例如，可以将多个带有标签的训练样本输入初始cnn-1模型，通过标签和初始cnn-1模型的结果构建损失函数，基于损失函数迭代更新初始cnn-1模型的参数。当初始cnn-1模型的损失函数满足预设条件时模型训练完成，得到训练好的cnn-1模型。其中，预设条件可以是损失函数收敛、迭代的次数达到阈值等。
122.在一些实施例中，训练样本至少可以包括历史区域图像。标签可以是历史区域图像中包含的图像特征。标签可以人工标注获取。
123.在一些实施例中，cnn-2模型的训练过程参见cnn-1模型的训练过程，此处不再赘述。
124.在一些实施例中，dnn模型可以通过多个有标签的训练样本训练得到。例如，可以将多个带有标签的训练样本输入初始dnn模型，通过标签和初始dnn模型的结果构建损失函数，基于损失函数迭代更新初始dnn模型的参数。当初始dnn模型的损失函数满足预设条件时模型训练完成，得到训练好的dnn模型。其中，预设条件可以是损失函数收敛、迭代的次数达到阈值等。
125.在一些实施例中，训练样本至少可以包括多组历史图像特征。标签可以为各组图像特征之间对应的相似度。标签可以从存储设备获取，也可以人工标注获取。
126.在一些实施例中，cnn-1、cnn-2模型的输出可以为dnn的输入，cnn-1、cnn-2以及dnn模型可以联合训练得到。例如，向cnn-1、cnn-2模型输入训练样本数据，即区域图像样本和标准合规图像样本，得到区域图像样本的样本图像特征和标准合规图像样本的样本图像特征；然后将以上样本图像特征作为训练样本数据输入dnn模型，得到dnn模型输出的相似度，使用样本相似度对dnn模型的输出进行验证；利用神经网络模型的反向传播特性，得到cnn-1、cnn-2模型输出的图像特征的验证数据，使用该图像特征的验证数据作为标签对cnn-1、cnn-2模型进行训练。最终得到训练后的判断模型。
127.在一些实施例中，当区域图像中的对象为人员等需要核实身份的对象时，可以先对对象进行人脸识别，确定对象的身份，再选择该对象的标准合规图像，例如，可以先获取服务员的人脸图像并识别，再从员工数据库获取该服务员对应的标准合规图像，如该服务员带着标准厨师帽以及厨师服的图像，或执行某动作的标准姿势图像。关于人脸识别的说明参见步骤350，此处不再赘述。
128.在一些实施例中，标准合规图像可以是多张(如n张)，每一张标准合规图像分别和区域图像都通过判断模型进行判断得到对应的相似度，并对所有相似度进行融合得到最终相似度。
129.在一些实施例中，融合得到最终的相似度的过程可以是对所有相似度设置权重加权求和或求平均值等，得到最终相似度。在对所有相似度进行加权求和时，可以将基于区域图像质量分数越高的区域图像得到的相似度的权重设置的越大，关于区域图像质量分数的进一步说明参见图4。
130.图7是根据本说明书一些实施例所示的另一种判断模型结构的示例性示意图。
131.在一些实施例中，判断模型的结构700可以是包括n+1个cnn模型及一个dnn模型组合而成的模型。其中，n+1个cnn模型分别为第一卷积神经网络模型(即cnn-1)、第二卷积神经网络模型(即cnn-2)
……
第n+1卷积神经网络(即cnn-n+1)，cnn-1的输入可以是包括对象的区域图像，输出可以是区域图像的图像特征；cnn-2的输入可以是标准合规图像1，输出可以是标准合规图像的图像特征1
……
、cnn-n+1的输入可以是标准合规图像n，输出可以是标准合规图像的图像特征n；dnn模型的输入可以是cnn-1、cnn-2
……
、cnn-n+1的输出，dnn的输出可以是区域图像与标准合规图像之间的相似度。
132.通过dnn模型确定每张标准合规图像与区域图像之间的相似度，再对所有相似度进行融合得到最终相似度。
133.在一些实施例中，cnn-1、cnn-2
……
、cnn-n+1模型的训练过程参见图6中cnn-1模型的训练，此处不再赘述。在一些实施例中，上述dnn模型的训练过程参见图6中dnn模型的训练，此处不再赘述。
134.在一些实施例中，对于对象是否合规涉及对一系列步骤过程的判断时，上述多张标准合规图像可以分别对应各个步骤。例如，门店规定水果处理步骤分别为浸泡、清洗、去皮，则至少有3张标准合规图像与以上3个步骤一一对应。
135.步骤520，判断模块240基于判断模型输出的处理结果确定门店是否合规。
136.在一些实施例中，判断模块240可以把区域图像与标准合规图像之间的相似度满足预设要求的区域图像包括的对象判断为合规。
137.预设要求可以是相似度大于相似度阈值，相似度阈值可以是相似度是否满足预设要求的衡量值。在一些实施例中，相似度阈值可以与区域图像的质量分数相关。例如，当质量分数越低，对应图像的清晰度和完整度越低，此时图像中与对象相关的信息的可信程度低，则需要相应提高相似度阈值，以提升判断过程的严格程度，确保判断过程的准确性。关于质量分数的具体说明参见图4中的相关描述，此处不再赘述。
138.例如，当拍摄得到的桌子图像清晰度较低时，该图像对应较低的质量分数(如20分)，此时需要更高的相似度阈值(如95％)，以确保判断过程的准确性。
139.在一些实施例中，对于对象是否合规涉及对一系列步骤过程的判断时，判断门店合规的条件可以为上述一系列步骤过程均合规，即上述一系列步骤过程相关的区域图像与对应标准合规图像之间的相似度均满足预设要求。例如，门店规定水果处理步骤分别为浸泡、清洗、去皮，上述步骤的图像与对应的标准合规图像之间的相似度均满足预设要求时，判断该门店合规。
140.在一些实施例中，对于对象是否合规涉及对一系列步骤过程的判断时，可以基于
预测模型对标准合规图像进行处理，确定上述步骤过程的阶段；基于上述阶段提取与该阶段对应时长的视频；确定视频中最后预设帧数的图像中是否仍然处于该阶段的步骤过程，以确定每个步骤是否合规。
141.步骤过程的阶段可以是一系列步骤动作过程中，用于判断是否合规的关键动作帧。在一些实施例中，阶段可以包括开始阶段、中途阶段、以及结束阶段。例如，服务人员洗手过程中，需要分别判断开始阶段(冲洗)、中途阶段(添加消毒液)、结束阶段(烘干)等动作是否合规。
142.各个阶段是否已经开始的确认可以基于将摄像头采集的图像与各个阶段开始时的标准动作图像进行相似度判断得到，若相似度大于预设值，则说明从当前图像帧开始，即进入了相应的阶段。例如，若采集的35秒视频中，第3秒的图像与开水龙头防水洗手的标准图像的相似度大于预设值80％，则认为从第3秒图像开始，即进入了洗手的开始阶段(冲洗)，同理，第8秒的图像与添加消毒液的标准图像的相似度大于预设值80％，则认为从第8秒图像开始，即进入了洗手的中途阶段(添加消毒液)，最后，在第27秒的图像与烘干动作的标准图像的相似度大于预设值80％，则认为从第27秒图像开始，即进入了洗手的结束阶段(烘干)添加消毒液。
143.可知，在整个35秒视频中，前3秒的图像为与洗手动作无关的图像，第3秒到第8秒是开水并对手进行冲洗的开始阶段，第8秒到27秒是添加消毒液对手进行搓洗的中途阶段，第27秒到第35秒是对手进行烘干的结束阶段。
144.在一些实施例中，最后预设帧数可以是整个动作结束阶段对应的若干图像帧。例如，洗手步骤过程结束阶段对应的最后3秒的图像帧。在一些实施例中，最后预设帧数可以是动作执行中某个中间阶段的结束动作前后对应的若干图像帧。例如，中途阶段的添加消毒液的动作可以视作为上一阶段(冲洗阶段)的结束动作，则最后预设帧数可以是添加消毒液的动作对应的图像帧之前3秒的图像帧。
145.在一些实施例中，确定步骤过程的阶段可以是基于预测模型进行，预测模型可以是分类模型等，通过预测模型可以确定整个操作的开始阶段、中途阶段以及结束阶段，确定方式可以是视频中的至少一帧图像与标准合规图像相似度满足预设要求。例如，在洗手过程中，当系统判断洗手的某一帧图像与标准合规的开水洗手操作图像之间的相似度满足预设要求，则将该帧图像作为与开水洗手步骤对应的冲洗阶段的图像的起点，并将该帧图像之后，判断到添加消毒液的某一帧图像与标准合规的添加消毒液图像之间的相似度满足预设要求的某一帧图像作为冲洗阶段的图像的终点，上述起点和终点之间的所有图像帧均作为与洗手动作中冲洗阶段对应的图像。
146.在一些实施例中，判断模块240可以通过视频裁切的方式，确定开始阶段、中途阶段以及结束阶段对应的视频。例如，在洗手过程中，将上述开水洗手的第一帧图像到添加消毒液的第一帧图像之间的视频作为洗手的开始阶段(即冲洗阶段)的视频。
147.在一些实施例中，判断模块240可以确定视频中最后预设帧数的图像中是否仍然处于相应的步骤过程。例如，门店规定的冲洗时间不少于20秒，则从冲洗开始提取20秒视频，判断视频最后一帧或多帧图像是否仍为冲洗动作，若是，则判断合规，反之则判断不合规。
148.通过本说明书一些实施例的判断模型，可以实现某一图像以及多个图像(步骤动
作)的合规判断，在门店的多样化要求下也能实现合规判断；组合判断模型可以通过各子模型联合训练得到，减小样本数量，提高训练效率；另外，通过图像质量，实现相似度阈值的动态调整，能够在摄像头硬件较差的情况下依然实现合规判断，满足门店的成本控制需求。
149.本说明书一些实施例还公开了一种装置，包括处理器，该处理器用于执行该智能判断门店合规的方法。
150.本说明书一些实施例还公开了一种计算机可读存储介质，该存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行该智能判断门店合规的方法。
151.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
152.同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
153.此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
154.同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
155.一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有
±
20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
156.针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、
定义和/或术语的使用为准。
157.最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。