物料监控方法、系统及装置与流程

本申请涉及监控技术领域，尤其涉及一种物料监控方法、系统及装置。

背景技术：

随着车间规模的不断扩大，如果车间里的物料随意摆放，会引起道路阻塞或火灾等问题，并且无法对丢失的物料进行追踪，因此人们对车间里的物料管控越来越重视。

目前，车间里的物料管控还停留在物料使用登记或者管理员实时查看监控视频，检测物料的摆放位置是否合理，然而这种人工检测方式无法实时性差，检测精度也低。

技术实现要素：

有鉴于此，本申请提供一种物料监控方法、系统及装置，以解决人工检测方式实时性差，检测精度也低的问题。

根据本申请实施例的第一方面，提供一种物料监控方法，所述方法包括：

检测摄像机采集的视频监控图像中存在的物料；

确定与所述物料相关的物料信息；

将所述物料信息上报至管理设备。

在一实施例中，所述检测摄像机采集的视频监控图像中存在的物料，可包括：

从所述视频监控图像中抠出预先标定区域对应的子图像，所述预先标定区域指的是用于摆放物料的区域；

检测所述子图像中存在的至少一个物料的种类和位置。

在一实施例中，所述物料信息可以包括如下任意一种或多种的组合：物料的种类和位置、物料总数、物料编号、视频监控图像的采集时间、所述视频监控图像；

其中，所述物料总数为所述种类或者所述位置的数量；所述物料编号是从已存储的种类与编号的映射关系中查找到的所述种类对应的编号。

在一实施例中，所述确定与所述物料相关的物料信息，可包括：

针对检测到的每一物料，判断检测上一帧视频监控图像得到的物料的种类中是否包含该物料的种类；

若包含，再判断该物料的位置与检测上一帧视频监控图像得到的该物料的位置是否一致；

若位置不一致或者不包含该物料的种类，则将该物料的种类和位置添加到物料信息中。

根据本申请实施例的第二方面，提供一种物料监控装置，所述装置包括：

检测模块，用于检测摄像机采集的视频监控图像中存在的物料；

确定模块，用于确定与所述物料相关的物料信息；

上报模块，用于将所述物料信息上报至管理设备。

在一实施例中，所述检测模块，可以具体用于从所述视频监控图像中抠出预先标定区域对应的子图像，所述预先标定区域指的是用于摆放物料的区域；检测所述子图像中存在的至少一个物料的种类和位置。

在一实施例中，所述物料信息可以包括如下任意一种或多种的组合：物料的种类和位置、物料总数、物料编号、视频监控图像的采集时间、所述视频监控图像；

其中，所述物料总数为所述种类或者所述位置的数量；所述物料编号是从已存储的种类与编号的映射关系中查找到的所述种类对应的编号。

在一实施例中，所述确定模块，可以具体用于针对检测到的每一物料，判断检测上一帧视频监控图像得到的物料的种类中是否包含该物料的种类；若包含，再判断该物料的位置与检测上一帧视频监控图像得到的该物料的位置是否一致；若位置不一致或者不包含该物料的种类，则将该物料的种类和位置添加到物料信息中。

根据本申请实施例的第三方面，提供一种物料监控系统，所述系统包括：

摄像机，用于采集视频监控图像；

电子设备，用于获取所述摄像机采集的视频监控图像；检测所述视频监控图像中存在的物料；确定与所述物料相关的物料信息；

管理设备，用于接收所述电子设备上报的所述物料信息。

在一实施例中，所述电子设备设有智能处理芯片；

所述电子设备，可以具体用于在检测所述视频监控图像过程中，从所述视频监控图像中抠出预先标定区域对应的子图像，并将所述子图像发送至智能处理芯片，所述预先标定区域指的是用于摆放物料的区域；

所述智能处理芯片，可以用于检测所述子图像中存在的至少一个物料的种类和位置。

应用本申请实施例，通过检测摄像机采集的视频监控图像中存在的物料，然后确定与所述物料相关的物料信息，并将物料信息上报至管理设备，从而管理员可以实时了解到物料的状况，对物料使用和摆放起到管控作用，防止物料丢失或乱放。通过检测视频监控图像实现物料的自动检测和实时反馈，管理员一旦发现反馈的物料信息异常，便可调出监控视频进行详细查看。

附图说明

图1a为本申请根据一示例性实施例示出的一种物料监控方法的实施例流程图；

图1b为本申请根据图1a所示实施例示出的一种视频监控图像；

图2为本申请根据一示例性实施例示出的一种物料监控系统的结构图；

图3为本申请根据一示例性实施例示出的一种物料监控装置的实施例结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

目前的人工检测方式检测精度低，无法实时反馈，并且事后丢失追踪也比较困难。

为解决上述问题，本申请提出一种物料监控方法，通过检测摄像机采集的视频监控图像中存在的物料，然后确定与所述物料相关的物料信息，并将物料信息上报至管理设备，从而管理员可以实时了解到物料的状况，对物料使用和摆放起到管控作用，防止物料丢失或乱放。通过检测视频监控图像实现物料的自动检测和实时反馈，管理员一旦发现反馈的物料信息异常，便可调出监控视频进行详细查看。

图1a为本申请根据一示例性实施例示出的一种物料监控方法的实施例流程图，所述物料监控方法可以应用在电子设备上，该电子设备可以是nvr((networkvideorecorder，网络硬盘录像机)设备，并且与摄像机通信连接，其可以是nvr((networkvideorecorder，网络硬盘录像机)设备，如图1a所示，所述物料监控方法包括如下步骤：

步骤101：检测摄像机采集的视频监控图像中存在的物料。

在执行步骤101之前，电子设备可以通过定时对摄像机传输的实时码流进行抓图处理获得视频监控图像，进而再检测视频监控图像中存在的物料。

示例性的，摄像机可以设置在车间或工厂中，其拍摄的视场区域内包含用于摆放物料的区域，因此在安装摄像机时，可以根据用户的实际应用需求，预先在摄像机采集的图像中标定摆放物料的区域，并且可以标定多个区域，为每个区域可以设置一个区域编号以用于区分。例如，camera01-s005的区域编号表示的是：01号摄像机中的s005号区域，是用于摆放物料的区域。

在一实施例中，由于预先在摄像机采集的图像中标定有用于摆放物料的区域，因此可以只检测标定区域中的物料，基于此，针对检测摄像机采集的视频监控图像中存在的物料的过程，可以从视频监控图像中抠出预先标定区域对应的子图像，所述预先标定区域指的是用于摆放物料的区域，然后检测子图像中存在的至少一个物料的种类和位置。由于只需要检测标定区域(即用户预先划定的区域)中的物料，而不需要检测整个视频监控图像中的物料，因此检测效率。

示例性的，在视频监控图像中预先标定区域可能有多个，因此从视频监控图像中抠出的子图像也可能有多个，需要分别检测每个子图像中存在的物料的种类和位置。物料的种类可以包括增速机、传动轴等种类信息，物料的位置指的是物料在视频监控图像中的像素位置，其可以由物料所在目标框的顶点像素坐标、目标框的宽度和高度组成。

本领域技术人员可以理解的是，针对检测子图像中存在的至少一个物料的种类和位置过程，可以通过目标检测算法检测图像中的物料目标的种类和物料目标的位置，当然也可以通过基于深度学习的网络模型检测图像中存在的物料的种类和位置，本申请对此不进行限定。

步骤102：确定与所述物料相关的物料信息。

在一个可能的实施方式中，可以通过统计检测到的物料种类的数量或者检测到的物料位置的数量，确定检测到的物料总数，进而将物料总数作为与物料相关的物料信息。

在一个可能的实施方式中，在车间或工厂中，为了方便管理，通常会为每一种物料用一个编号代替，因此电子设备中可以预先保存物料的种类与设置的编号之间的映射关系，后续在进行物料监控过程中，每检测到一个物料，可以利用检测到的物料的种类从已存储的种类与编号的映射关系中查找到的所述种类对应的物料编号，并将物料编号作为与物料相关的物料信息。

在一个可能的实施方式中，基于上述步骤101所述，检测的是标定区域中的物料，每个标定区域对应有一个区域编号，因此还可以将检测到的物料所在的区域编号作为与物料相关的物料信息。

基于上述描述，与物料相关的物料信息可以包括物料的种类和位置、物料总数、物料编号、物料所在的区域编号、视频监控图像以及视频监控图像的采集时间中的任意一种或多种的组合。当然，根据用户的实际使用需求还可以将一些其他信息也作为物料信息上报至管理设备，供用户查看。

在一示例性场景中，如图1b所示的视频监控图像，用户预先标定了两个区域，区域编号分别为：标定区域1和标定区域2，这两个区域中均用于摆放物料，识别标定区域1对应的图像中的物料，得到物料2和位置2，识别标定区域2对应的图像中的物料，得到物料1和位置2。假设物料1的物料编号为abc，物料2的物料编号为abd，从而可以将包括标定区域1：物料2、物料编号abd、位置2；标定区域2：物料1、物料编号abc、位置1；物料总数：2；视频监控图像的物料信息上报至管理设备。

在一实施例中，为了防止物料丢失或乱放，在工厂或者车间中，物料的摆放位置均是经过合理规划按照一定次序摆放的，不能随意挪动或乱放，因此可以通过将当前检测到的物料的种类与位置与上次检测到的物料的种类与位置进行对比确定用于上报的物料信息，以实时监控物料的变动情况。具体实现流程可以是：针对检测到的每一物料，判断检测上一帧视频监控图像得到的物料的种类中是否包含该物料的种类，若包含，再判断该物料的位置与检测上一帧视频监控图像得到的该物料的位置是否一致，若位置不一致或者不包含该物料的种类，则将该物料的种类和位置添加到物料信息中，以实现新增物料或者物料位置发生改变的报警提示，提醒管理员查看以防止物料丢失。

步骤103：将所述物料信息上报至管理设备。

在本申请实施例中，通过检测摄像机采集的视频监控图像中存在的物料，然后确定与所述物料相关的物料信息，并将物料信息上报至管理设备，从而管理员可以实时了解到物料的状况，对物料使用和摆放起到管控作用，防止物料丢失或乱放。通过检测视频监控图像实现物料的自动检测和实时反馈，管理员一旦发现反馈的物料信息异常，便可调出监控视频进行详细查看。

图2为本申请根据一示例性实施例示出的一种物料监控系统的结构图，所述物料监控系统包括摄像机210、电子设备220以及管理设备230：

其中，摄像机210，用于采集视频监控图像；

电子设备220，用于获取所述摄像机采集的视频监控图像；检测所述视频监控图像中存在的物料；确定与所述物料相关的物料信息；

管理设备230，用于接收所述电子设备上报的所述物料信息。

示例性的，管理设备上可以通过运行的监控管理平台软件显示电子设备上报的物料信息，以供管理员查看物料的摆放情况。

在一实施例中，电子设备230可以设有智能处理芯片，由智能处理芯片检测图像中存在的物料的种类和位置，以提高物料检测效率。

所述电子设备230，具体用于在检测所述视频监控图像过程中，从所述视频监控图像中抠出预先标定区域对应的子图像，并将该子图像发送至智能处理芯片，所述预先标定区域指的是用于摆放物料的区域；所述智能处理芯片，用于检测该子图像中存在的至少一个物料的种类和位置。

图3为本申请根据一示例性实施例示出的一种物料监控装置的实施例结构图，所述物料监控装置可以应用在电子设备上，所述装置包括：

检测模块310，用于检测摄像机采集的视频监控图像中存在的物料；

确定模块320，用于确定与所述物料相关的物料信息；

上报模块330，用于将所述物料信息上报至管理设备。

在一可选实现方式中，所述检测模块310，具体用于从所述视频监控图像中抠出预先标定区域对应的子图像，所述预先标定区域指的是用于摆放物料的区域；检测所述子图像中存在的至少一个物料的种类和位置。

在一可选实现方式中，所述物料信息包括如下任意一种或多种的组合：物料的种类和位置、物料总数、物料编号、视频监控图像的采集时间、所述视频监控图像；

其中，所述物料总数为所述种类或者所述位置的数量；所述物料编号是从已存储的种类与编号的映射关系中查找到的所述种类对应的编号。

在一可选实现方式中，所述确定模块320，具体用于针对检测到的每一物料，判断检测上一帧视频监控图像得到的物料的种类中是否包含该物料的种类；若包含，再判断该物料的位置与检测上一帧视频监控图像得到的该物料的位置是否一致；若位置不一致或者不包含该物料的种类，则将该物料的种类和位置添加到物料信息中。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。