一种商品漏扫码行为识别方法、装置及系统与流程

本发明涉及视频监控技术领域，特别是涉及一种商品漏扫码行为识别方法、装置及系统。

背景技术：

在企业管理中，对商品进行扫码可以很好地确定商品信息。例如，在快递管理中，可以通过扫描快递来追踪快递信息；在商超管理中，可以通过扫描商品来确定商品状态；在工厂管理中，可以通过扫描商品来统计商品数量。但是，目标操作人员无意或故意人为漏扫描商品的事件却时有发生。由于目标操作人员没有真正扫描到商品，所以就会遗漏一些商品的相关信息，进而造成一定的损失。因此，需要对目标操作人员漏扫码商品的行为进行识别和监督。

目前很多企业在商品扫码处安装了摄像机对目标操作人员的扫码行为进行监督，将摄像机采集到的视频存储在硬盘录像机上，再通过人工查看存储在硬盘录像机上的录像来分析是否存在目标操作人员漏扫码商品的行为。但是，由于硬盘录像机上存储的录像信息量十分庞大，利用工作人员查看监控录像进而识别目标操作人员漏扫码商品的行为是一件耗时耗力的事情。

技术实现要素：

本发明实施例的目的在于提供一种商品漏扫码行为识别方法、装置及系统，以实现快速识别目标操作人员漏扫码商品的行为。具体技术方案如下：

第一方面，本发明实施例提供了一种商品漏扫码行为识别方法，所述方法包括：

接收扫码设备发送的商品明细信息及视频采集设备发送的视频，其中，所述商品明细信息包括商品数量；

识别所述视频中目标操作人员的扫码动作，并根据所述扫码动作的识别结果，统计商品扫码数量；

判断所述商品扫码数量是否大于所述商品数量；

若大于，则确定存在商品漏扫码行为。

可选的，所述识别所述视频中目标操作人员的扫码动作，并根据所述扫码动作的识别结果，统计商品扫码数量，包括：

依次对所述视频中的各目标帧图像进行目标操作人员手部识别，识别所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，其中，所述手部状态信息表征所述目标操作人员的手部是否持有商品；

根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，所述预设分界线为所述视频中预先设定的将商品摆放区域划分为等待扫码区域和完成扫码区域的分界线；

若所述目标操作人员的手部在持有商品时有跨越所述预设分界线的动作，则将商品扫码数量加1。

可选的，所述视频中包括两条预设分界线；

所述根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，包括：

根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越两条预设分界线的连续动作。

可选的，所述依次对所述视频中的各目标帧图像进行目标操作人员手部识别，识别所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，包括：

依次将所述视频中的各目标帧图像输入预先训练得到的神经网络模型，得到所述各目标帧图像中目标操作人员的关键点位置信息及关键点特征；

根据所述各目标帧图像中目标操作人员的关键点位置信息，筛选出所述各目标帧图像中所述目标操作人员的手部位置信息；

根据所述各目标帧图像中目标操作人员的关键点特征，识别出所述各目标帧图像中所述目标操作人员的手部状态信息；

所述根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，包括：

根据所述各目标帧图像中目标操作人员的手部位置信息，确定所述目标操作人员的手部运动轨迹；

根据所述目标操作人员的手部运动轨迹及所述各目标帧图像中目标操作人员的手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作。

可选的，在所述确定存在商品漏扫码行为之后，所述方法还包括：

输出报警信息，以提示存在商品漏扫码行为。

第二方面，本发明实施例提供了一种商品漏扫码行为识别装置，所述装置包括：

接收模块，用于接收扫码设备发送的商品明细信息及视频采集设备发送的视频，其中，所述商品明细信息包括商品数量；

检测模块，用于识别所述视频中目标操作人员的扫码动作，并根据所述扫码动作的识别结果，统计商品扫码数量；

判断模块，用于判断所述商品扫码数量是否大于所述商品数量，若大于，则确定存在商品漏扫码行为。

可选的，所述检测模块包括：

识别子模块，用于依次对所述视频中的各目标帧图像进行目标操作人员手部识别，识别所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，其中，所述手部状态信息表征所述目标操作人员的手部是否持有商品；

判断子模块，用于根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，所述预设分界线为所述视频中预先设定的将商品摆放区域划分为等待扫码区域和完成扫码区域的分界线；

计数子模块，用于若所述目标操作人员的手部在持有商品时有跨越所述预设分界线的动作，则将商品扫码数量加1。

可选的，所述视频中包括两条预设分界线，所述判断子模块，具体用于根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越两条预设分界线的连续动作。

可选的，所述识别子模块，包括：

获取单元，用于依次将所述视频中的各目标帧图像输入预先训练得到的神经网络模型，得到所述各目标帧图像中目标操作人员的关键点位置信息及关键点特征；

筛选单元，用于根据所述各目标帧图像中目标操作人员的关键点位置信息，筛选出所述各目标帧图像中所述目标操作人员的手部位置信息；

识别单元，用于根据所述各目标帧图像中目标操作人员的关键点特征，识别出所述各目标帧图像中所述目标操作人员的手部状态信息；

所述判断子模块，包括：

确定单元，用于根据所述各目标帧图像中目标操作人员的手部位置信息，确定所述目标操作人员的手部运动轨迹；

判断单元，用于根据所述目标操作人员的手部运动轨迹及所述各目标帧图像中目标操作人员的手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作。

可选的，所述装置还包括：

输出模块，用于输出报警信息，以提示存在商品漏扫码行为。

第三方面，本发明实施例提供了一种商品漏扫码行为识别系统，所述系统包括：扫码设备，视频采集设备，检测设备；

所述扫码设备，用于扫描商品，将所述商品的商品明细信息发送至所述检测设备，其中，所述商品明细信息包括商品数量；

所述视频采集设备，用于采集视频，将采集的所述视频发送至所述检测设备；

所述检测设备，用于接收所述扫码设备发送的商品明细信息及所述视频采集设备发送的视频，识别所述视频中目标操作人员的扫码动作，并根据所述扫码动作的识别结果，统计商品扫码数量，判断所述商品扫码数量是否大于所述商品数量，若大于，则确定存在商品漏扫码行为。

第四方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的所述计算机程序时，实现上述第一方面任一所述的商品漏扫码行为识别方法。

第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的商品漏扫码行为识别方法。

本发明实施例提供的一种商品漏扫码行为识别方法、装置及系统，该方法包括：接收扫码设备发送的商品明细信息及视频采集设备发送的视频，其中，商品明细信息包括商品数量；识别视频中目标操作人员的扫码动作，并根据扫码动作的识别结果，统计商品扫码数量；判断商品扫码数量是否大于商品数量；若大于，则确定存在商品漏扫码行为。通过视频中目标操作人员的扫码动作，并根据扫码动作的识别结果，统计商品扫码数量后，再判断商品扫码数量是否大于商品数量，就可以直接确定是否存在目标操作人员漏扫码商品的行为，不需要大量的工作人员通过查看大量的监控录像去识别目标操作人员漏扫码商品的行为，减少了识别目标操作人员漏扫码商品行为的人力投入成本，以及，节约了目标操作人员漏扫码商品的识别时间，从而提高了识别目标操作人员漏扫码商品行为的工作效率。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种商品漏扫码行为识别方法的实施例一的流程示意图；

图2为本发明实施例提供的一种商品漏扫码行为识别方法的实施例二的流程示意图；

图3为本发明实施例提供的一种预设分界线的示意图；

图4为本发明实施例提供的一种商品漏扫码行为识别方法的实施例三的流程示意图；

图5为本发明实施例提供的一种商品漏扫码行为识别方法的实施例四的流程示意图；

图6为本发明实施例提供的一种商品漏扫码行为识别装置的结构示意图；

图7为本发明实施例提供的一种商品漏扫码行为识别系统的结构示意图；

图8为本发明实施例的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了快速识别目标操作人员漏扫码商品的行为，本发明实施例提供了一种商品漏扫码行为识别方法、装置及系统，以下分别进行详细说明。

图1为本发明实施例提供的一种商品漏扫码行为识别方法的实施例一的流程示意图，如图1所示，本实施例的方法可以包括：

s101，接收扫码设备发送的商品明细信息及视频采集设备发送的视频。

本发明实施例的商品漏扫码行为识别方法具体可以通过智能终端设备执行，具体的，该智能终端设备可以为电脑、nvr(networkvideorecorder，网络硬盘录像机)等。在本发明实施例中，以nvr为例进行说明。

上述扫码设备可以是扫描枪、收款机、手机等具有扫码功能的终端设备；上述视频采集设备可以是ipc(ipcamera，高清网络摄像机)、监控摄像头等具有视频采集功能的设备。

具体实现时，视频采集设备可以通过网络与nvr进行通信，将采集到的视频发送给nvr。扫码设备可以通过网络或者串口与nvr进行通信，将扫描到的商品的商品明细信息发送给nvr。其中，扫码设备发送的商品明细信息指的是通过扫码设备扫描的商品所包含的商品明细信息，该商品明细信息除了可以包括商品数量，还可以包括商品名称、商品单价、商品的扫码日期等相关信息。在存储视频采集设备发送的视频的同时，nvr还可以将扫码设备发送的商品明细信息叠加在码流信息中进行存储，这样，可以方便管理人员通过该视频对商品进行跟踪。

s102，识别视频中目标操作人员的扫码动作，并根据扫码动作的识别结果，统计商品扫码数量。

上述目标操作人员，即扫码商品的操作人员。在视频采集设备所采集的视频中需要包括目标操作人员的扫码动作，因此该视频采集设备需要设置在目标操作人员的上方，并且覆盖目标操作人员和商品摆放区域。这样，便于nvr对于目标操作人员扫码动作的识别。

其中，扫码动作的识别结果可以包括两种结果：扫码动作完成和扫码动作未完成。判断扫码动作是否完成的依据，可以采用跟踪商品的方法，也可以采用跟踪目标操作人员的手部的运动轨迹的方法等。

当nvr获取到上述扫码动作的识别结果后，若扫码动作完成，则商品扫码数量+1；若扫码动作未完成，则商品扫码数量保持不变。这里的商品指的是nvr通过识别视频采集设备发送的视频，获取到的视频中的扫码的商品，这里的商品扫码数量指的就是该商品对应的扫码数量。

s103，判断商品扫码数量是否大于商品数量。若是，则执行s104。

s104，确定存在商品漏扫码行为。

这里的商品扫码数量大于商品数量，也就是从视频采集设备采集的视频中获取到的商品扫码数量大于目标操作人员通过扫码设备扫描的商品数量，即表明目标操作人员确实存在商品漏扫码行为。

本发明实施例提供的商品漏扫码行为识别方法，该方法包括：接收扫码设备发送的商品明细信息及视频采集设备发送的视频，其中，商品明细信息包括商品数量；识别视频中目标操作人员的扫码动作，并根据扫码动作的识别结果，统计商品扫码数量；判断商品扫码数量是否大于商品数量；若大于，则确定存在商品漏扫码行为。通过识别视频中目标操作人员的扫码动作，并根据扫码动作的识别结果，统计商品扫码数量后，再判断商品扫码数量是否大于商品数量，就可以直接确定是否存在目标操作人员漏扫码商品的行为，不需要大量的工作人员通过查看大量的监控录像去识别目标操作人员漏扫码商品的行为，减少了识别目标操作人员漏扫码商品行为的人力投入成本，以及，节约了目标操作人员漏扫码商品的识别时间，从而提高了识别目标操作人员漏扫码商品行为的工作效率。

图2为本发明实施例提供的一种商品漏扫码行为识别方法的实施例二的流程示意图，如图2所示，本实施例的方法可以包括：

s201，接收扫码设备发送的商品明细信息及视频采集设备发送的视频。

上述步骤s201与图1所示实施例一中的步骤s101类似，在此不再赘述。

s202，依次对视频中的各目标帧图像进行目标操作人员手部识别，识别各目标帧图像中目标操作人员的手部位置信息及手部状态信息。

具体的，由于视频中包括了不同时间对应的目标操作人员的扫码动作，因此需对视频中的各目标帧图像进行解析。可选的，先读取视频包，将视频解码成多个目标帧图像，再对各目标帧图像进行解码，以得到各目标帧图像数据。从而根据各目标帧图像数据得到视频中包含的所有时间内的目标操作人员的扫码动作。这里，各目标帧图像可以是视频中的每一帧图像，也可以是视频中的部分帧图像，例如每隔几帧图像选择一帧图像来作为目标帧图像，本发明实施例不对视频中的目标帧图像进行具体的限定。

其中，上述手部状态信息表征目标操作人员的手部是否持有商品。不难发现，若目标操作人员在没有持有商品的情况下进行扫码动作，从视频中统计出的商品扫码数量存在误差，只有当目标操作人员在持有商品的情况下进行扫码动作，从视频中统计出的商品扫码数量才具有指导意义。

具体地，nvr如何对视频中的各目标帧图像进行目标操作人员手部识别，从而识别出各目标帧图像中目标操作人员的手部位置信息及手部状态信息，可以通过下面的步骤实现：

步骤a，依次将视频中的各目标帧图像输入预先训练得到的神经网络模型，得到各目标帧图像中目标操作人员的关键点位置信息及关键点特征。

各目标帧图像中目标操作人员的关键点位置信息可以表征目标操作人员在各目标帧图像中的位置。该关键点位置信息包括但不限于头、脖子、左手肘、左手腕、左肩膀、左胯部、左膝盖、左脚踝、右手肘、右手腕、右肩膀、右胯部、右膝盖和右脚踝等。

在本发明实施例的一些可选的实现方式中，上述神经网络模型可以包括关键点特征提取网络、关键点检测网络。作为示例，上述关键点特征提取网络可以用于从上述各目标帧图像中提取关键点特征信息，得到上述各目标帧图像的关键点特征图，例如，上述关键点特征提取网络可以是人工神经网络。上述关键点检测网络用于得到关键点位置信息。

在一些可选的实现方式中，步骤a可以具体包括：

依次将视频中的各目标帧图像输入关键点特征提取网络，得到目标操作人员的关键点特征图，其中，上述关键点特征提取网络可以用于表征各目标帧图像与关键点特征图的对应关系。作为示例，上述关键点特征提取网络可以使用卷积神经网络实现。

将上述关键点特征图导入上述关键点检测网络，上述关键点检测网络得到上述各目标帧图像的关键点位置信息，其中，上述关键点检测网络可以用于表征关键点特征区域与关键点位置的对应关系。作为示例，上述关键点检测网络可以使用卷积神经网络实现。

在本发明实施例的一些可选的实现方式中，上述神经网络模型还可以包括人体检测网络。作为示例，上述人体检测网络用于在上述各目标帧图像的关键点特征图上得到人体检测框，其中，该人体检测框可确定各目标帧图像中待识别的目标操作人员的检测区域。此时，步骤a可以具体包括：

依次将视频中的各目标帧图像输入关键点特征提取网络，得到目标操作人员的关键点特征图，将上述关键点特征图导入上述人体检测网络，得到上述关键点特征图中的关键点特征区域，其中，上述人体检测网络可以用于表征关键点特征图与关键点特征区域的对应关系，作为示例，上述人体检测网络可以使用卷积神经网络实现。可以基于上述关键点特征区域得到上述各目标帧图像中的人体检测框。也可以将上述关键点特征区域导入上述关键点检测网络得到上述各目标帧图像的关键点位置信息。

步骤b，根据各目标帧图像中目标操作人员的关键点位置信息，筛选出各目标帧图像中目标操作人员的手部位置信息。

在进行扫码动作时，目标操作人员的手部位置一定会发生明显的改变。例如，当目标操作人员的手部持有商品时，目标操作人员的手部可能会呈现握拳的状态。因此，从目标操作人员的许多关键点位置信息中筛选出各目标帧图像中目标操作人员的手部位置信息，就可以更好地确定目标操作人员的漏扫码行为。作为示例，可以根据各目标帧图像中目标操作人员的右手肘和右手腕的关键点位置信息，得到各目标帧图像中目标操作人员的手部位置信息。

步骤c，根据各目标帧图像中目标操作人员的关键点特征，识别出各目标帧图像中目标操作人员的手部状态信息。

具体实现时，可以在各目标帧图像中获取到包含手部的roi(regionofinterest，感兴趣区域)后，针对每一帧图像，利用分类器对手部进行分类，以此得到各目标帧图像中目标操作人员的手部状态信息。

在本发明实施例中，先获取到各目标帧图像中目标操作人员的手部位置信息或者先识别出各目标帧图像中目标操作人员的手部状态信息都可以作为一种可以实现的方式，筛选出各目标帧图像中目标操作人员的手部位置信息这一步骤和识别出各目标帧图像中目标操作人员的手部状态信息这一步骤没有先后之分。因此，可以先执行上述步骤b再执行上述步骤c，也可以先执行上述步骤c再执行上述步骤b。在本实施例中，以先执行上述步骤b再执行上述步骤c为例进行说明。

s203，根据各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断目标操作人员的手部在持有商品时是否有跨越预设分界线的动作。

上述预设分界线为视频中预先设定的将商品摆放区域划分为等待扫码区域和完成扫码区域的分界线，nvr可以通过本地gui(graphicaluserinterface，图形用户界面)或者网页设置该预设分界线的位置。该预设分界线的位置可以根据等待扫码区域和完成扫码区域各占商品摆放区域的百分比进行设置。例如，当等待扫码区域占商品摆放区域的60％时，完成扫码区域占商品摆放区域的40％。

图3为本发明实施例提供的一种预设分界线的示意图，可选的，上述视频中可以包括两条预设分界线：预设分界线a和预设分界线b，如图3所示：

预设分界线a和预设分界线b将视频中的商品摆放区域划分为3个区域，分别是：区域1，等待扫码区域；区域2，目标操作人员扫描商品的区域；区域3，完成扫码区域。区域1与区域2在商品摆放区域这一平面上的相交线为预设分界线a，区域2与区域3在商品摆放区域这一平面上的相交线为预设分界线b。此时，根据各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断目标操作人员的手部在持有商品时是否有跨越两条预设分界线的连续动作，即判断目标操作人员的手部在持有商品时是否先跨越预设分界线a、再跨越预设分界线b：若目标操作人员的手部在持有商品时先跨越预设分界线a、再跨越预设分界线b，则将商品扫码数量加1；否则，商品扫码数量保持不变。

具体地，nvr如何根据各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，可以通过下面的步骤实现：

步骤d，根据各目标帧图像中目标操作人员的手部位置信息，确定目标操作人员的手部运动轨迹。

在本发明实施例的一些可选的实现方式中，依次将视频中的各目标帧图像输入预先训练得到的神经网络模型后，输出关键点热度图，其中，关键点热度图用于表征关键点在人体检测框中的位置信息；可以采用非极大值抑制方法处理关键点热度图，输出手部关键点坐标；可以将得到的手部关键点坐标存储到链表中，根据链表中的手部关键点坐标确定目标操作人员的手部运动轨迹。

可选的，得到关键点坐标后，还可以采用paf(partaffinityfield，部分亲和字段)，对关键点进行分组、连接，使得处于同一个身体的不同部分可以连接起来，实现了将关键点分组到人。

步骤e，根据目标操作人员的手部运动轨迹及各目标帧图像中目标操作人员的手部状态信息，判断目标操作人员的手部在持有商品时是否有跨越预设分界线的动作。

s204，若目标操作人员的手部在持有商品时有跨越预设分界线的动作，则将商品扫码数量加1。

这里的目标操作人员的手部在持有商品时有跨越预设分界线的动作，相当于目标操作人员完成一次商品扫码，此时，将商品扫码数量加1。该预设分界线可以辅助nvr统计视频中目标操作人员的商品扫码数量。

s205，判断商品扫码数量是否大于商品数量。若是，则执行s206。

s206，确定存在商品漏扫码行为。

上述步骤s205、s206与图1所示实施例一中的步骤s103、s104类似，在此不再赘述。

本发明实施例提供的商品漏扫码行为识别方法，通过判断视频中目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，就可以直接确定目标操作人员是否完成一次商品扫码，不需要人工查看视频来分析是否存在目标操作人员漏扫码商品的行为。通过上述方法，能够更加快速、准确地统计出视频中的商品扫码数量，从而可以通过比较扫码设备发送的商品数量和从视频中获取到的商品扫码数量，更直接地确定是否存在目标操作人员漏扫码商品的行为，以及节约了目标操作人员漏扫码商品的识别时间，从而提高了识别目标操作人员漏扫码商品行为的工作效率。

下面以一个具体的实现方式为例对本发明实施例的商品漏扫码行为识别方法进行说明，图4为本发明实施例提供的一种商品漏扫码行为识别方法的实施例三的流程示意图，如图4所示，本实施例的方法可以包括：

s401，接收扫码设备发送的商品明细信息及视频采集设备发送的视频。

上述步骤s401与图1所示实施例一中的步骤s101类似，在此不再赘述。

s402，依次将视频中的各目标帧图像输入预先训练得到的神经网络模型，得到各目标帧图像中目标操作人员的关键点热度图及关键点特征。

s403，根据各目标帧图像中目标操作人员的关键点热度图，得到目标操作人员的关键点位置信息。

s404，根据各目标帧图像中目标操作人员的关键点位置信息，筛选出各目标帧图像中目标操作人员的手部位置信息。

s405，根据各目标帧图像中目标操作人员的关键点特征，识别出各目标帧图像中目标操作人员的手部状态信息。

s406，根据各目标帧图像中目标操作人员的手部位置信息，确定目标操作人员的手部运动轨迹。

s407，根据目标操作人员的手部运动轨迹及各目标帧图像中目标操作人员的手部状态信息，判断目标操作人员的手部在持有商品时是否有跨越预设分界线的动作。

s408，若目标操作人员的手部在持有商品时有跨越预设分界线的动作，则将商品扫码数量加1。

在上述图2所示的实施例二中，有对上述步骤s402-s408中涉及的内容进行详细的说明，在此不再赘述。

s409，判断商品扫码数量是否大于商品数量。若是，则执行s410。

s410，确定存在商品漏扫码行为。

上述步骤s409、s410与图1所示实施例一中的步骤s103、s104类似，在此不再赘述。

在本发明中，不限制其他可选的实现方式的执行顺序，本发明实施例三仅是商品漏扫码行为识别方法的其中一种实现方式。

本发明实施例提供的商品漏扫码行为识别方法，根据目标操作人员的手部运动轨迹及各目标帧图像中目标操作人员的手部状态信息，判断目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，就可以直接确定目标操作人员是否完成一次商品扫码，不需要人工查看视频来分析是否存在目标操作人员漏扫码商品的行为。通过上述方法，能够更加智能、快速、准确地统计出视频中包含的目标操作人员的商品扫码数量，从而可以通过比较扫码设备发送的商品数量和从视频中获取到的商品扫码数量，更直接地确定是否存在目标操作人员漏扫码商品的行为，以及节约了目标操作人员漏扫码商品的识别时间，从而提高了识别目标操作人员漏扫码商品行为的工作效率。

图5为本发明实施例提供的一种商品漏扫码行为识别方法的实施例四的流程示意图，在上述图1所示的商品漏扫码行为识别方法的流程示意图的基础上，如图5所示，本实施例的方法可以包括：

s501，接收扫码设备发送的商品明细信息及视频采集设备发送的视频。

s502，识别视频中目标操作人员的扫码动作，并根据扫码动作的识别结果，统计商品扫码数量。

s503，判断商品扫码数量是否大于商品数量。若是，则执行504。

s504，确定存在商品漏扫码行为。

上述步骤s501-s504与图1所示实施例一中的步骤s101-s104类似，在此不再赘述。

s505，输出报警信息。

上述报警信息可以提示存在商品漏扫码行为，可以对目标操作人员进行警告，还可以提醒管理人员对目标操作人员进行监督和检查。

nvr可以将上述报警信息发送给nvr自身包含的中心管控软件平台；nvr也可以将上述报警信息发送给其他具有报警中心的服务器，对于接收nvr发送的报警信息的设备，本发明实施例不做具体的限定。

可选的，在上述步骤s104后还可以包括：记录日志。其中，该日志可以包括商品数量、商品扫码数量及目标操作人员扫码动作的完成时间。

可选的，上述日志可以包括两种类型，正常日志、异常日志。下面对这两种类型的日志进行说明：

若商品扫码数量小于商品数量，则记录异常日志。也就是说，从视频中识别统计出的目标操作人员的商品扫码数量小于目标操作人员通过扫码设备扫描的商品数量，此时，可能是因为nvr的错误识别或者目标操作人员的扫码动作不规范所导致的结果。当这种情况出现时，管理人员可以通过该视频或者该日志进行确认，方便对这种情况中涉及到的商品进行跟踪。

若商品扫码数量等于商品数量，则记录正常日志。也就是说，从视频中识别统计出的目标操作人员的商品扫码数量等于目标操作人员通过扫码设备扫描的商品数量，此时，即为目标操作人员的正常操作结果。若管理人员在某个时间想要查看这种情况中涉及到的商品或者该事件发生的时间，便可以通过该视频或者该日志进行确认。

可选的，上述日志也可以包括三种类型，在上述正常日志、异常日志的基础上，还可以增加报警日志：若商品扫码数量大于商品数量，则记录报警日志。若管理人员在某个时间想要查看这种情况中涉及到的商品或者该报警事件发生的时间，便可以通过该视频或者该日志进行确认。

本发明实施例提供的商品漏扫码行为识别方法，除了可以确定存在商品漏扫码行为以外，还可以输出报警信息。从而可以提示存在商品漏扫码行为，可以对目标操作人员进行警告，还可以提醒管理人员对目标操作人员进行监督和检查。

相应于上述方法实施例，图6为本发明实施例提供的一种商品漏扫码行为识别装置的结构示意图，如图6所示，该商品漏扫码行为识别装置可以包括：

接收模块610，用于接收扫码设备发送的商品明细信息及视频采集设备发送的视频，其中，商品明细信息包括商品数量；

检测模块620，用于识别视频中目标操作人员的扫码动作，并根据扫码动作的识别结果，统计商品扫码数量；

判断模块630，用于判断商品扫码数量是否大于商品数量，若大于，则确定存在商品漏扫码行为。

可选的，该装置还可以包括输出模块，用于输出报警信息，以提示存在商品漏扫码行为。

本发明实施例提供的商品漏扫码行为识别装置，通过接收模块接收扫码设备发送的商品明细信息及视频采集设备发送的视频，其中，商品明细信息包括商品数量；通过检测模块识别视频中目标操作人员的扫码动作，并根据扫码动作的识别结果，统计商品扫码数量；通过判断模块判断商品扫码数量是否大于商品数量；若大于，则确定存在商品漏扫码行为。通过上述检测模块识别视频中目标操作人员的扫码动作，并根据扫码动作的识别结果，统计商品扫码数量后，再通过判断模块判断商品扫码数量是否大于商品数量，就可以直接确定是否存在目标操作人员漏扫码商品的行为，不需要大量的工作人员通过查看大量的监控录像去识别目标操作人员漏扫码商品的行为，减少了识别目标操作人员漏扫码商品行为的人力投入成本，以及，节约了目标操作人员漏扫码商品的识别时间，从而提高了识别目标操作人员漏扫码商品行为的工作效率。

可选的，上述检测模块620，可以包括：

识别子模块，用于依次对视频中的各目标帧图像进行目标操作人员手部识别，识别各目标帧图像中目标操作人员的手部位置信息及手部状态信息，其中，手部状态信息表征目标操作人员的手部是否持有商品；

判断子模块，用于根据各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，预设分界线为视频中预先设定的将商品摆放区域划分为等待扫码区域和完成扫码区域的分界线；

计数子模块，用于若目标操作人员的手部在持有商品时有跨越预设分界线的动作，则将商品扫码数量加1。

可选的，若视频中包括两条预设分界线，则上述判断子模块，具体用于根据各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断目标操作人员的手部在持有商品时是否有跨越两条预设分界线的连续动作。

通过上述判断子模块判断目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，就可以直接确定目标操作人员是否完成一次商品扫码，不需要人工查看视频来分析是否存在目标操作人员漏扫码商品的行为。通过上述装置，能够更加快速、准确地统计出视频中的商品扫码数量，从而可以通过比较扫码设备发送的商品数量和从视频中获取到的商品扫码数量，更直接地确定是否存在目标操作人员漏扫码商品的行为，以及节约了目标操作人员漏扫码商品的识别时间，从而提高了识别目标操作人员漏扫码商品行为的工作效率。

可选的，上述识别子模块，可以包括：

获取单元，用于依次将视频中的各目标帧图像输入预先训练得到的神经网络模型，得到各目标帧图像中目标操作人员的关键点位置信息及关键点特征；

筛选单元，用于根据各目标帧图像中目标操作人员的关键点位置信息，筛选出各目标帧图像中目标操作人员的手部位置信息；

识别单元，用于根据各目标帧图像中目标操作人员的关键点特征，识别出各目标帧图像中目标操作人员的手部状态信息。

可选的，上述判断子模块，可以包括：

确定单元，用于根据各目标帧图像中目标操作人员的手部位置信息，确定目标操作人员的手部运动轨迹；

判断单元，用于根据目标操作人员的手部运动轨迹及各目标帧图像中目标操作人员的手部状态信息，判断目标操作人员的手部在持有商品时是否有跨越预设分界线的动作。

图7为本发明实施例提供的一种商品漏扫码行为识别系统的结构示意图，如图7所示，该商品漏扫码行为识别系统可以包括：

扫码设备710，用于扫描商品，将商品的商品明细信息发送至检测设备，其中，商品明细信息包括商品数量；

视频采集设备720，用于采集视频，将采集的视频发送至检测设备；

检测设备730，用于接收扫码设备发送的商品明细信息及视频采集设备发送的视频，识别视频中目标操作人员的扫码动作，并根据扫码动作的识别结果，统计商品扫码数量，判断商品扫码数量是否大于商品数量，若大于，则确定存在商品漏扫码行为。

可选的，当确定存在商品漏扫码行为后，上述检测设备730可以输出报警信息。此时，上述检测设备730可以将该报警信息发送给上述检测设备730自身包含的中心管控软件平台；上述检测设备730也可以将该报警信息发送给其他具有报警中心的服务器，报警中心服务器可以通过网络与上述检测设备730进行连接。对于接收上述检测设备730发送的报警信息的设备，本发明实施例不做具体的限定。

本发明实施例提供的商品漏扫码行为识别系统，该系统包括：扫码设备，视频采集设备，检测设备；扫码设备，用于将商品明细信息发送至检测设备，其中，商品明细信息包括商品数量；视频采集设备，用于将采集的视频发送至检测设备；检测设备，用于接收扫码设备发送的商品明细信息及视频采集设备发送的视频，识别视频中目标操作人员的扫码动作，并根据扫码动作的识别结果，统计商品扫码数量，判断商品扫码数量是否大于商品数量，若大于，则确定存在商品漏扫码行为。通过检测设备识别视频中目标操作人员的扫码动作，并根据扫码动作的识别结果，统计商品扫码数量后，再判断商品扫码数量是否大于商品数量，就可以直接确定是否存在目标操作人员漏扫码商品的行为，不需要大量的工作人员通过查看大量的监控录像去识别目标操作人员漏扫码商品的行为，减少了识别目标操作人员漏扫码商品行为的人力投入成本，以及，节约了目标操作人员漏扫码商品的识别时间，从而提高了识别目标操作人员漏扫码商品行为的工作效率。

本发明实施例还提供了一种电子设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信，

存储器803，用于存放计算机程序；

处理器801，用于执行存储器803上所存放的计算机程序时，实现上述发明实施例的商品漏扫码行为识别方法的所有步骤。

上述电子设备提到的通信总线可以是pci(peripheralcomponentinterconnect，外设部件互连标准)总线或eisa(extendedindustrystandardarchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括ram(randomaccessmemory，随机存取存储器)，也可以包括nvm(non-volatilememory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括cpu(centralprocessingunit，中央处理器)、np(networkprocessor，网络处理器)等；还可以是dsp(digitalsignalprocessor，数字信号处理器)、asic(applicationspecificintegratedcircuit，专用集成电路)、fpga(field-programmablegatearray，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

另外，相应于上述实施例所提供的商品漏扫码行为识别方法，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例的商品漏扫码行为识别方法的所有步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、系统实施例、电子设备实施例和计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。