监控方法、监控装置、电子设备及存储介质与流程

1.本公开涉及电子设备技术领域，具体涉及一种监控方法、监控装置、电子设备及存储介质。


背景技术：

2.目前，对货物的检查均是采用人工查验，检查人员在执行货物查验工作过程中会携带单兵执法记录仪，并将待查验货物搬运至监控区进行查核，后台人员通过监控区的摄像头监控查验过程，此过程中非常耗费人力，一个检查人员需要对应一个后台监控人员，并且存在由于后台人员监控不力，造成监控疏漏没有发现检查人员的违规操作，致使货物漏检，让危险品流入市场。


技术实现要素：

3.本公开实施例的目的是提供一种监控方法、监控装置、电子设备及存储介质，以至少解决现有后台监控耗费人力并且人力监控容易造成疏漏的问题。
4.本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种监控方法，该方法可以包括：获取目标对象的货物查验视频；基于货物查验视频，利用违规操作识别模型识别目标对象是否存在货物查验违规操作；基于存在货物查验违规操作，发出警告信息。
6.进一步地，基于货物查验视频识别目标对象是否存在货物查验违规操作，可以包括：对货物查验视频中目标对象的查验动作进行分解，得到动作特征图像；将动作特征图像输入到违规操作识别模型中，识别目标对象是否存在货物查验违规操作。
7.进一步地，在获取目标对象的货物查验视频之前，方法还可以包括：获取目标对象查验环境的光线信息；基于光线情况信息，对目标对象进行补光处理。
8.进一步地，在基于货物查验视频识别目标对象是否存在货物查验违规操作之后，还可以包括：基于存在货物查验违规操作，对货物查验视频做标记处理。
9.根据本公开实施例的第二方面，提供一种监控装置，该装置可以包括：图像传感器，用于获取目标对象的货物查验视频；识别模块，用于基于货物查验视频识别目标对象是否存在货物查验违规操作；警告模块，用于发出警告信息。
10.进一步地，识别模块可以包括：视频动作分解单元，用于对货物查验视频中目标对象的查验动作进行分解，得到动作特征图像；识别单元，用于将动作特征图像输入到违规操作识别模型中，识别目标对象是否存在货物查验违规操作。
11.进一步地，装置还可以包括：照度计，用于获取光线情况信息；补光灯，用于基于光线情况信息，对目标对象进行补光。
12.进一步地，装置还可以包括：标记模块，用于在货物查验视频中插入警告标签。
13.进一步地，装置还可以包括：移动模块，与图像传感器连接，用于带动图像传感器移动；控制模块，用于根据图像传感器获取的目标对象位置，控制移动模块移动，以使图像
传感器在目标位置对目标对象进行拍摄。
14.进一步地，装置还可以包括：传感与感知模块，与控制模块连接，用于感知移动模块移动路径的路况，并将路况发送至控制模块；控制模块，还用于基于路况进行移动模块的路径规划，并控制移动模块按照路径规划进行移动。
15.根据本公开实施例的第三方面，提供一种电子设备，该电子设备可以包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现如第一方面的任一项实施例中所示的监控方法。
16.根据本公开实施例的第四方面，提供一种存储介质，当存储介质中的指令由信息处理装置或者服务器的处理器执行时，以使信息处理装置或者服务器实现以实现如第一方面的任一项实施例中所示的监控方法。
17.本公开的实施例提供的技术方案至少带来以下有益效果：
18.本公开实施例通过获取目标对象的货物查验视频；基于货物查验视频，利用违规操作识别模型识别目标对象是否存在货物查验违规操作；基于存在货物查验违规操作，发出警告信息的机器监控的方法替代了人工监控，避免了由于人工疏漏，致使货物漏检，让危险品流入市场的问题，并且大大节省了人力成本。
19.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限值本公开。
附图说明
20.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
21.图1是根据一示例性实施例示出的监控方法流程示意图；
22.图2是根据一示例性实施例示出的监控装置应用场景示意图；
23.图3是根据一示例性实施例示出的监控装置结构示意图；
24.图4是根据一示例性实施例示出的电子设备结构示意图；
25.图5是根据一示例性实施例示出的电子设备硬件结构示意图。
具体实施方式
26.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
27.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
28.如图1所示，在本公开实施例的第一方面，提供一种监控方法，该方法可以包括：
29.步骤100：获取目标对象的货物查验视频；
30.步骤200：基于货物查验视频，利用违规操作识别模型识别目标对象是否存在货物
查验违规操作；
31.步骤300：基于存在货物查验违规操作，发出警告信息。
32.上述实施例方法通过利用机械监控替代了人工监控，避免了由于人工疏漏，致使货物漏检，让危险品流入市场的问题，并且免除了每个监控后台均需要安排监控人员，大大节省了人力成本。
33.在本技术一些可选实施例中，步骤200，基于货物查验视频识别目标对象是否存在货物查验违规操作，可以包括：
34.对货物查验视频中目标对象的查验动作进行分解，得到动作特征图像；
35.将动作特征图像输入到违规操作识别模型中，识别目标对象是否存在货物查验违规操作。
36.本实施例中通过违规操作识别模型(图像算法)，判断目标对象动作；当有疑似违规动作时，进行告警。防止了人员监控的疏忽漏检，也可以免除人力实时监控，节省了人力。
37.在本技术一些可选实施例中，在步骤100，获取目标对象的货物查验视频之前，方法还可以包括：
38.获取目标对象查验环境的光线信息；
39.基于光线情况信息，对目标对象进行补光处理。
40.在本实施例中当周围环境光线较暗，无法清楚拍摄目标对象时，对目标对象进行补光处理，提升成像水平。防止了昏暗区域的违规操作发生。
41.在本技术一些可选实施例中，在步骤200，基于货物查验视频识别目标对象是否存在货物查验违规操作之后，还可以包括：
42.基于存在货物查验违规操作，对货物查验视频做标记处理。
43.本实施例中在录证图像中进行标识，在出现违规操作之后的预设时间段的每帧图像据插入标签，以便于监管人员回看。便于对问题操作的追溯、查询。
44.在本公开实施例的第二方面，提供一种监控装置，该装置可以包括：
45.图像传感器，用于获取目标对象的货物查验视频；
46.识别模块，用于基于货物查验视频识别目标对象是否存在货物查验违规操作；
47.警告模块，用于发出警告信息。
48.上述实施例装置通过利用机械监控替代了人工监控，避免了由于人工疏漏，致使货物漏检，让危险品流入市场的问题，并且免除了每个监控后台均需要安排监控人员，大大节省了人力成本。
49.在本技术一些可选实施例中，识别模块包括：
50.视频动作分解单元，用于对货物查验视频中目标对象的查验动作进行分解，得到动作特征图像；
51.识别单元，用于将动作特征图像输入到违规操作识别模型中，识别目标对象是否存在货物查验违规操作。
52.在本技术一些可选实施例中，装置还可以包括：
53.照度计，用于获取光线情况信息；
54.补光灯，用于基于光线情况信息，对目标对象进行补光。
55.在本技术一些可选实施例中，装置还可以包括：
56.标记模块，用于在货物查验视频中插入警告标签。
57.在本技术一些可选实施例中，装置还可以包括：
58.移动模块，与图像传感器连接，用于带动图像传感器移动；
59.控制模块，用于根据图像传感器获取的目标对象位置，控制移动模块移动，以使图像传感器在目标位置对目标对象进行拍摄。
60.在本技术一些可选实施例中，装置还可以包括：
61.传感与感知模块，与控制模块连接，用于感知移动模块移动路径的路况，并将路况发送至控制模块；
62.控制模块，还用于基于路况进行移动模块的路径规划，并控制移动模块按照路径规划进行移动。
63.在本技术一可选实施例中，基于上述监控系统，提供一种监控方法，该方法可以包括：
64.获取由图像采集装置采集到的目标对象的货物查验视频；
65.基于货物查验视频，利用违规操作识别模型识别目标对象是否存在货物查验违规操作；
66.在存在货物查验违规操作的情况下，基于存在货物查验违规操作，对货物查验视频做标记处理。
67.其中，基于货物查验视频，利用违规操作识别模型识别目标对象是否存在货物查验违规操作，可以包括：
68.对货物查验视频中目标对象的查验动作进行分解，得到动作特征图像；
69.将动作特征图像输入到违规操作识别模型中，识别目标对象是否存在货物查验违规操作。
70.其中，在获取由图像采集装置采集到的目标对象的货物查验视频之前，方法还可以包括：
71.获取由图像采集装置采集到的目标对象查验环境的光线信息；
72.基于光线情况信息，计算目标对象的补光信息；
73.向补光灯发送补光信息。
74.其中，在存在货物查验违规操作的情况下，基于存在货物查验违规操作，对货物查验视频做标记处理之后，还可以包括：
75.向报警装置发出警告信息。
76.上述实施例方法通过获取由图像采集装置采集到的目标对象的货物查验视频，并利用违规操作识别模型识别货物查验视频的目标对象是否存在货物查验违规操作；在存在货物查验违规操作的情况下，基于存在货物查验违规操作，对货物查验视频做标记处理，实现了利用机器监控的方法替代了人工监控，避免了由于人工疏漏，致使货物漏检，让危险品流入市场的问题，并且大大节省了人力成本。
77.如图2所示，在本技术一具体使用场景中，将上述实施例装置深度结合海关各项业务流程，针对集装箱内掏箱流程。
78.将该装置设计成监控机器人，该机器人的激动模块采用磁吸式底盘，磁吸式底盘可以吸附在集装箱壁及集装箱顶部；通过在磁吸底盘集成图像传感器，对集装箱内部场景
进行近距离监控；利用识别模块对集装箱内作业人员动作进行分析，捕捉异常动作；该机器人通过与海关系统互联互通，可以有效获取查验指令，并实时展示集装箱内部影像资料，便于监管人员监控；通过自主行走、越障及避障，搬运人员跟随等人工智能技术，实现节省人力投入，提高人性化服务体验。
79.磁吸式底盘的磁吸附可以将机器人吸附于集装箱顶部，以便于机器人对搬运场景进行捕捉；可在集装箱顶部进行移动，并可以跨越集装箱内部瓦楞格等障碍。图像传感器的视频监控拍摄集装箱内部人员工作视频，并实时上传至海关管理系统。识别模块的动作识别是通过图像算法，判断箱内人员动作；当有疑似违规动作时，机器人进行告警，并在录证图像种进行标识，以便于监管人员回看。通过图像算法，将机器人跟随箱内人员位置，以保证图像录证始终处于最佳角度。通过机载对讲设备，可以进行远程遥控指挥。
80.当海关查验完成开箱后，将机器人吸附于集装箱顶部。机器人通过传感与感知模块，扫描获得集装箱内部情况，并进行位置定位；通过图像采集系统，捕捉集装箱内工作人员位置，并跟随行进至最佳图像拍摄点，对工作场景进行视频监控及录证；在录证时，机器人识别集装箱内光线情况，并采用补光方式提升成像水平。在监控同时，通过图像处理算法，对工作人员动作进行判断，当发现有人员有疑似违规动作时，机器人将对现场负责查验的海关关员，及海关管理系统进行告警，并在录证视频中插入告警标签，以方便监管人员进行回看。
81.具体的，如图3所示，监控装置可以包括：移动模块，控制模块，图像传感器，识别模块，传感与感知模块，电源管理模块，通信系统及人机交互系统等多个部分构成。
82.移动模块包括底盘控制单元，底盘控制单元主要由控制器、电机驱动器、安全模块、等底盘控制相关的单机设备构成，设备与可运动底盘，传感与感知单元，电源管理单元等模块连接，并由控制器进行数据处理，最终由底盘控制器完成导航定位、路径规划、避障检测、移动行走、安全急停等底层移动功能；
83.传感与感知模块，可选择的传感器包括但不限于激光雷达、避障超声阵列、激光阵列、3d深度相机等传感器，对集装箱箱壁、障碍物等进行数据的采集和处理，并将数据提供至底盘控制单元，由控制模块作为机器人移动控制的数据基础；
84.可运动底盘包括能够驱动机器人行走的驱动装置、随动装置、减震装置及其相关结构件，以及吸附集装箱箱顶或箱壁的磁吸附装置；
85.电源管理单元包括为机器人提供电能的蓄电池组及其电池组管理单元、蓄电池充电单元、供电单元及其电源变换单元构成；
86.主控单元包括提供本地算法部署的算法工作站和辅助完成机器人交互、操控、指令输入和分解、任务管理和规划、摄像头数据集中处理等所有机器人相关业务支持的核心处理器；
87.人机交互单元主要包括语音对讲、触控按钮、声光提示告警灯部分；
88.通信系统主要包括机器人内部互联互通的局域网交换机和路由器单元、机器人用于和集中管理单元互联互通的无线ap设备、机器人用于和互联网在线交互的4g无线网络三部分任意组合构成；
89.视频和图像采集单元，可由1台高分辨率，可变焦距的云台相机构成，也可选择多台固定角度摄像机构成多角度图像采集系统；机器人图像系统可以选择可见光图像设备，
也可以选择红外光图像设备，也可以选择可见光/红外光双模式设备。图像传感器外，视频和图像采集单元也包含照明及补光灯等设备。
90.集中管理单元为负责与海关管理系统对接，上传机器人录证视频；同时对机器人录证视频进行图像处理，判断人员位置，并将机器人运动至最佳拍摄点；同时通过视频对人员动作进行分解，并对分解动作进行识别，以判断是否存在违规。
91.传统的在集装箱外部进行监控，容易受到掏箱作业人员的遮挡和影响，而在集装内内部、顶部部署监掏摄像头，可以避免人员的遮挡，视角范围更大，更合理；在箱外监掏，容易受到箱外光线的干扰，箱内和箱外的光线差异大，对视频类监控带来不便，而在箱内监掏，光线单一，同时可以进行机器人补光；对于箱内的监掏，还可以利用机器人的可移动性，随着掏箱的逐步深入，机器人可以同步向箱内行走，以便更接近掏箱区域；通过机器人智能识别，可以辅助判断人员是否存在违规操作，提监管力度，降低风险；采用机器人进行集装箱内部监控，输出数字录证，可以提升海关监管的信息化水平。
92.可选的，如图4所示，本技术实施例还提供一种电子设备400，包括处理器401，存储器402，存储在存储器402上并可在所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述监控方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
93.需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
94.上述实施例电子设备通过利用机械监控替代了人工监控，避免了由于人工疏漏，致使货物漏检，让危险品流入市场的问题，并且免除了每个监控后台均需要安排监控人员，大大节省了人力成本。
95.图5为实现本技术实施例的一种电子设备的硬件结构示意图。
96.该电子设备的硬件500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件。
97.本领域技术人员可以理解，电子设备的硬件500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
98.应理解的是，本技术实施例中，输入单元504可以包括图形处理器(graphics processing unit，gpu)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071，也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器509可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器510可集成应用处理器和调制解调处理器，其中，应用处理器主要处理
操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。
99.本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述监控方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
100.上述实施例存储介质所存储的程序或指令被执行后通过利用机械监控替代了人工监控，避免了由于人工疏漏，致使货物漏检，让危险品流入市场的问题，并且免除了每个监控后台均需要安排监控人员，大大节省了人力成本。
101.其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等。
102.本技术实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述监控方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
103.上述实施例芯片运行程序或指令，实现上述监控方法实施例的各个过程通过利用机械监控替代了人工监控，避免了由于人工疏漏，致使货物漏检，让危险品流入市场的问题，并且免除了每个监控后台均需要安排监控人员，大大节省了人力成本。
104.应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
105.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
106.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
107.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。