对象的监控方法、装置、设备及存储介质与流程

本申请涉及监控技术领域，具体而言，涉及一种对象的监控方法、装置、设备及存储介质。

背景技术：

通常，需要对一些场所例如停车场、码头等，进行视频监控。工作人员通过观看监控获得的视频，便可以对出现在视频中对象的行为进行监控，以避免对象的异常行为损坏放置在这些场所中的目标物例如车辆、货物箱、集装箱等。这种方式虽然能够实现监控，但需要的人力成本比较高，且一旦工作人员出现疏忽则无法有效的监控到异常行为。

技术实现要素：

本申请在于提供一种对象的监控方法、装置、设备及存储介质，以实现降低人力成本的同时，还避免出现由于工作人员出现疏忽而无法有效的监控到异常行为。

第一方面，本申请实施例提供了一种对象的监控方法，所述方法包括：

获取摄像头采集的监控视频；

从所述监控视频中确定出包含有监控对象和监控目标物的图像；

根据所述图像中所述监控对象上的特征点的位置，确定出所述监控对象的移动轨迹；

根据所述移动轨迹确定所述监控对象是否有对所述监控目标物的异常行为。

在本申请实施例中，通过自动的对图像进行处理，以根据图像中监控对象上的特征点的位置确定出对象的移动轨迹，再对移动轨迹进行分析就可以自动的识别出监控对象是否有对监控目标物的异常行为。较于现有技术，由于可以实现自动识别监控对象的异常行为，无需人工监控，降低了人力成本，并也避免出现由于工作人员出现疏忽而无法有效的监控到异常行为。

结合第一方面，在第一种可能的实现方式中，根据所述移动轨迹确定所述监控对象是否有对所述监控目标物的异常行为，包括：

判断所述移动轨迹的终点是否位于所述监控目标物周围的监控区域内；

若位于所述监控区域内，根据所述移动轨迹确定出所述监控对象在所述监控区域内的停留时长；

根据所述停留时长确定所述监控对象是否有对所述监控目标物的所述异常行为。

在本申请实施例中，通过分析移动轨迹而确定监控对象在监控区域内停留时长，可以实现确定监控对象是否有的逗留过久的异常行为。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，根据所述移动轨迹确定出所述监控对象在所述监控区域内的停留时长，包括：

根据获取到起点的时刻和所述终点的时刻，确定出所述监控对象在所述监控区域内的所述停留时长，其中，所述起点为所述移动轨迹上第一个位于所述监控区域内的点。

在本申请实施例中，采用分析移动轨迹的起点和终端各自对的时刻的方式，可以准确的确定出监控对象在监控区域内的停留时长。

结合第一方面，在第三种可能的实现方式中，根据所述移动轨迹确定所述监控对象是否有对所述监控目标物的异常行为，包括：

通过确定所述移动轨迹是否与所述监控目标物接触而确定所述监控对象是否有对所述监控目标物的所述异常行为。

在本申请实施例中，采用分析移动轨迹是否与监控目标物接触的方式，可以实现识别监控对象是否与监控目标物接触，而通过确定是否接触则可以实现识别更多类型的异常行为，增加了方案的适用性。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，通过确定所述移动轨迹是否与所述监控目标物接触而确定所述监控对象是否有对所述监控目标物的所述异常行为，包括：

通过判断所述移动轨迹中是否有与所述监控目标物接触的平滑轨迹，确定所述监控对象是否有划伤所述监控目标物的所述异常行为；

其中，若有所述平滑轨迹，则确定所述监控对象有划伤所述监控目标物的所述异常行为；或

通过判断所述移动轨迹中是否有与所述监控目标物接触的凹凸轨迹，确定所述监控对象是否有撞击或尝试打开所述监控目标物的所述异常行为；

其中，若有所述凹凸轨迹，则确定所述监控对象有撞击或尝试打开所述监控目标物的所述异常行为。

在本申请实施例中，通过分析轨迹是否平滑可以准确的识别出监控对象是否有划伤监控目标物的所述异常行为；而通过分析轨迹是否凹凸则可以准确的识别出监控对象是否有撞击或尝试打开监控目标物的所述异常行为。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，通过判断所述移动轨迹中是否有与所述监控目标物接触的凹凸轨迹，确定所述监控对象是否有撞击或尝试打开所述监控目标物的所述异常行为，包括：

判断所述移动轨迹中是否有与所述监控目标物接触的凹凸轨迹；

若有所述凹凸轨迹，判断所述凹凸轨迹上与所述监控目标物接触的接触点是否位于所述监控目标物的门锁区域内；其中，若位于所述门锁区域内，则确定所述监控对象有尝试打开所述监控目标物的所述异常行为；若不位于所述门锁区域内，则确定所述监控对象有撞击所述监控目标物的所述异常行为。

在本申请实施例中，采用识别接触点是否位于监控目标物的门锁区域内的方式，可以实现准确的识别出监控对象是否有尝试打开监控目标物的异常行为。

结合第一方面，在第六种可能的实现方式中，根据所述图像中所述监控对象上的特征点的位置，确定出所述监控对象的移动轨迹，包括：

确定出所述图像中所述监控对象的股关节点的位置，其中，所述股关节点为所述监控对象上的特征点；根据所述股关节点的位置，确定出所述监控对象的移动轨迹，其中，所述移动轨迹用于确定所述监控对象是否有在所述监控目标物周围停留过久的所述异常行为；或

确定出所述图像中所述监控对象的每个四肢关节点的位置，其中，所述四肢关节点为所述监控对象上的特征点；根据每个所述四肢关节点的位置，确定出所述监控对象上每个所述四肢关节点的移动轨迹，其中，所述移动轨迹用于确定所述监控对象是否有撞击或尝试打开所述监控目标物的所述异常行为。

在本申请实施例中，一方面，由于骨架中的股关节点位于监控对象的中心，故利用监控对象的股关节点来生成移动轨迹可以使得生成的移动轨迹更加的准确。另一方面，由于监控对象通常用四肢来对监控目标物实施划伤、撞击或尝试打开等异常行为，故利用监控对象的四肢上的关节节点来生成移动轨迹后，通过分析该移动轨迹则可以准确的识别出划伤、撞击或尝试打开等异常行为。

结合第一方面或结合第一方面的任一种可能的实现方式，在第七种可能的实现方式中，所述方法还包括：

在确定所述监控对象有所述异常行为时，根据用户的权限向所述用户发送异常提示消息或所述监控视频。

在本申请实施例中，通过将消息或监控视频及时发送给用户，使得用户可以及时获知该异常行为。

第二方面，本申请实施例提供了一种对象的监控装置，所述装置包括：

通信模块，用于获取摄像头采集的监控视频；

处理模块，用于从所述监控视频中确定出包含有监控对象和监控目标物的图像；以及用于根据所述图像中所述监控对象上的特征点的位置，确定出所述监控对象的移动轨迹；以及还用于根据所述移动轨迹确定所述监控对象是否有对所述监控目标物的异常行为。

结合第二方面，在第一种可能的实现方式中，

所述处理模块，还用于判断所述移动轨迹的终点是否位于所述监控目标物周围的监控区域内；若位于所述监控区域内，根据所述移动轨迹确定出所述监控对象在所述监控区域内的停留时长；根据所述停留时长确定所述监控对象是否有对所述监控目标物的所述异常行为。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，

所述处理模块，还用于根据获取到起点的时刻和所述终点的时刻，确定出所述监控对象在所述监控区域内的所述停留时长，其中，所述起点为所述移动轨迹上第一个位于所述监控区域内的点。

结合第二方面，在第三种可能的实现方式中，

所述处理模块，还用于通过确定所述移动轨迹是否与所述监控目标物接触而确定所述监控对象是否有对所述监控目标物的所述异常行为。

结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，

所述处理模块，还用于通过判断所述移动轨迹中是否有与所述监控目标物接触的平滑轨迹，确定所述监控对象是否有划伤所述监控目标物的所述异常行为；

其中，若有所述平滑轨迹，则确定所述监控对象有划伤所述监控目标物的所述异常行为；或

所述处理模块，还用于通过判断所述移动轨迹中是否有与所述监控目标物接触的凹凸轨迹，确定所述监控对象是否有撞击或尝试打开所述监控目标物的所述异常行为；

其中，若有所述凹凸轨迹，则确定所述监控对象有撞击或尝试打开所述监控目标物的所述异常行为。

结合第二方面的第四种可能的实现方式，在第五种可能的实现方式中，

所述处理模块，还用于判断所述移动轨迹中是否有与所述监控目标物接触的凹凸轨迹；若有所述凹凸轨迹，判断所述凹凸轨迹上与所述监控目标物接触的接触点是否位于所述监控目标物的门锁区域内；其中，若位于所述门锁区域内，则确定所述监控对象有尝试打开所述监控目标物的所述异常行为；若不位于所述门锁区域内，则确定所述监控对象有撞击所述监控目标物的所述异常行为。

结合第二方面，在第六种可能的实现方式中，

所述处理模块，还用于确定出所述图像中所述监控对象的股关节点的位置，其中，所述股关节点为所述监控对象上的特征点；根据所述股关节点的位置，确定出所述监控对象的移动轨迹，其中，所述移动轨迹用于确定所述监控对象是否有在所述监控目标物周围停留过久的所述异常行为；或

所述处理模块，还用于确定出所述图像中所述监控对象的每个四肢关节点的位置，其中，所述四肢关节点为所述监控对象上的特征点；根据每个所述四肢关节点的位置，确定出所述监控对象上每个所述四肢关节点的移动轨迹，其中，所述移动轨迹用于确定所述监控对象是否有撞击或尝试打开所述监控目标物的所述异常行为。

结合第二方面或结合第二方面的任一种可能的实现方式，在第七种可能的实现方式中，

所述通信模块，还用于在确定所述监控对象有所述异常行为时，根据用户的权限向所述用户发送异常提示消息或所述监控视频。

第三方面，本申请实施例提供了一种处理设备，包括：通信接口、存储器、与所述通信接口和所述存储器连接的处理器；

所述存储器，用于存储程序；

所述处理器，用于调用并运行所述程序，以执行如第一方面或结合第一方面的任一种可能的实现方式所述的对象的监控方法。

第四方面，本申请实施例提供了一种非易失计算机可读储存介质，存储有程序代码，当所述程序代码被计算机运行时执行如第一方面或结合第一方面的任一种可能的实现方式所述的对象的监控方法。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的一种对象的监控系统的结构框图；

图2示出了本申请实施例提供的一种对象的监控系统中处理设备的结构框图；

图3示出了本申请实施例提供的一种对象的监控方法的流程图；

图4a示出了本申请实施例提供的一种对象的监控方法中第一应用场景图；

图4b示出了本申请实施例提供的一种对象的监控方法中第二应用场景图；

图5a示出了本申请实施例提供的一种对象的监控方法中第三应用场景图；

图5b示出了本申请实施例提供的一种对象的监控方法中第四应用场景图；

图5c示出了本申请实施例提供的一种对象的监控方法中第五应用场景图；

图6示出了本申请实施例提供的一种对象的监控装置的结构框图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参阅图1，本申请实施例提供了一种对象的监控系统10，该对象的监控系统10可以包括：摄像头11和处理设备12；其中，摄像头11可以是多个，每个摄像头11可以通过网络与处理设备12通信连接。

每个摄像头11可以是常规的高清摄像头例如可以是c3w型或c3wn型。多个摄像头11可以安装在需要监控的场所，例如安装在室内外停车场或码头等场所。

作为一种方式，为实现无死角的监控，每个摄像头11可以通过塔杆安装在较高的位置，使得每个摄像头11可以位于相应被监控目标物的上方。在每个摄像头11的拍摄方向朝向下方的被监控目标物时，位于被监控目标物周围360°的范围则都能够被摄像头11拍摄到。

作为另一种方式，也为实现无死角的监控，可以采用每两个摄像头11配合拍摄同一被监控目标物。其中，在每两个摄像头11中，一个摄像头11的拍摄方向可以朝向被测目标物的前方或后方，以对位于被监控目标物左右的范围进行拍摄；而另一个摄像头11的拍摄方向朝则可以向被测目标物的侧方，以对位于该被监控目标物左右的范围进行拍摄。从而也实现对位于被监控目标物周围360°的范围进行拍摄。

本实施例中，在一些情况下，比如被监控的场地比较狭小，每个摄像头11拍摄范围可以涵盖一个被监控目标物。而另在一些情况下，比如被监控的场地较为空旷，每个摄像头11拍摄范围则可以涵盖多个被监控目标物。

每个摄像头11在拍摄采集到监控视频后，便可以将监控视频发送给处理设备12，以便处理设备12处理该监控视频。

处理设备12可以是终端或者服务器。终端可以是手机、平板电脑、个人数字助理(personaldigitalassistant，pda)或个人电脑。服务器可以是单个服务器，也可以是服务器组。在一些实施例中，服务器可以在云平台上实现；仅作为示例，云平台可以包括私有云、公有云、混合云、社区云(communitycloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等，或者它们的任意组合。

结合图1，并参阅图2，处理设备12可以包括通过网络连接多个摄像头11的通信接口121、用于执行程序指令的一个或多个处理器122、总线123、和不同形式的储存器124，例如，磁盘、rom、或ram，或其任意组合。

示例性的，存储器124中存储有程序。处理器122可以从存储器124调用并运行这些程序，从而便可以通过运行程序而执行对象的监控方法。处理器122通过对对象的监控方法的执行，处理器122可以对每个摄像头11发送的监控视频进行处理，以获取被摄像头11监控到的监控对象的运动轨迹，而处理器122再对运动轨迹进行分析便可以确定监控对象是否有对监控目标物的异常行为。

为便于说明，下面将以处理设备12为执行主体执行对象的监控方法为例，对方法进行详细地说明。

结合图1，并请参阅图3，本申请实施例提供了一种对象的监控方法，该方法可以由处理设备12执行，该对象的监控方法可以包括：步骤s100、步骤s200、步骤s300和步骤s400。

步骤s100：获取摄像头采集的监控视频。

步骤s200：从所述监控视频中确定出包含有监控对象和监控目标物的图像。

步骤s300：根据所述图像中所述监控对象上的特征点的位置，确定出所述监控对象的移动轨迹。

步骤s400：根据所述移动轨迹确定所述监控对象是否有对所述监控目标物的异常行为。

下面将结合示例对步骤依次进行说明。

步骤s100：获取摄像头采集的监控视频。

每个摄像头11在工作的过程中，每个摄像头11通过持续的对该摄像头11需要拍摄的监控区域的进行视频拍摄，从而每个摄像头11可以持续的获取该监控区域的监控视频。每个摄像头11通过与处理设备12的通信，每个摄像头11可以将采集的每段监控视频通过通信接口121实时发送给处理设备12。可选的，为便于处理设备12能够快速的处理每个摄像头11发送的监控视频，每个摄像头11发送的每段监控视频的时长可以比较短，每段监控视频的时长可以为1秒-5秒。例如，在当前时刻为9点整时，摄像头11可以将8点59分55秒至9点整采集的一段监控视频发送给处理设备12；而在当前时刻变化为9点0分5秒时，摄像头11又可以将9点整至9点0分5秒采集的另一段监控视频发送给处理设备12；在后续，摄像头11则按照这种方式继续发送。当然，每段监控视频时长的长短也不限于本实施例中所述的方式，其可以根据实际需求进行选择。例如，若处理设备12的性能很强大，每段监控视频的时长也可以比5秒更长。

处理设备12可以持续接收每个摄像头11发送的每段监控视频，处理器122可以对每个摄像头11发送的每段监控视频进行处理，即处理设备12可以继续执行步骤s200。

步骤s200：从所述监控视频中确定出包含有监控对象和监控目标物的图像。

本实施例中，由于处理设备12对每个摄像头11发送的每段监控视频的处理方式大致相同，故为便于理解本方案，本实施例将以处理设备12如何处理某一个摄像头11发送的某一段监控视频为例来对方案进行说明。此外，处理设备12对监控视频的处理方式也不限于本实施例中例举的依次处理摄像头11发送的每段监控视频的方式，其也可以根据实际需求进行选择。例如，若处理设备12的性能很强大，处理设备12可以在摄像头11依次发送了多段监控视频后，将多段监控视频按时间先后顺序合并为一段监控视频，并处理该合并的监控视频。

示例性的，监控视频可以包含多帧图像，例如1秒包含30帧图像，而5秒的一段监控视频则可以包含150帧图像。这样，处理设备12对监控视频的处理则可以是对多帧图像的处理。

作为处理多帧图像的一种方式，在处理设备12的性能满足逐帧处理的情况下，处理设备12可以对每一帧图像均进行处理。

而作为处理多帧图像的另一种方式，在需要降低处理设备12运算负荷的情况下，处理设备12可以对多帧图像进行分帧处理，例如从每5帧图像中抽取1帧并对其进行处理。在采用分帧处理时，由于被处理的相邻两帧图像的时间间隔大约在1/10秒至1/5秒，而物体的运动在该时间间隔还可以呈连续状，故采用分帧处理并不影响处理设备12对物体运行的分析。

本实施例中，由于处理设备12对每帧图像的处理方式大致相同，故为便于理解本方案，本实施例将以处理设备12如何处理某一帧图像为例来对方案进行说明。

示例性的，处理设备12可以通过物体识别模型识别图像中是否有监控对象和监控目标物，以实现对图像的处理。

作为通过物体识别模型对图像的处理的一种方式，处理设备12可以通过一个物体识别模型对监控目标物和监控对象均进行识别，其中，该物体识别模型可以采用fasterrcnn、rfcn、ssd或refinedet等深度神经网络经训练得到。具体的，可以利用包含不同的目标物和对象的训练图像集训练深度神经网络，例如，在需要识别的目标物为汽车，以及需要识别的对象为人时，可以利用包含各种品牌的汽车、各种型号的汽车、各种体型的人和各种穿着的人的训练图像集训练深度神经网络。通过训练可以使得训练深度神经网络对汽车和人的识别准确度越来越高。而在对监控对象和监控目标物的识别准确度达到阈值例如到达98％，可以认为训练完成，获得训练好的物体识别模型。

可以理解到的是，训练可以在本申请的方法之前执行，即在训练后，处理设备12利用训练好的物体识别模型执行本申请的方法。

本实施例中，利用该训练好的物体识别模型，处理设备12将图像输入到该物体识别模型中，物体识别模型通过处理该图像可以输出用于表示该图像中是否包含监控对象和监控目标物的识别结果。例如，识别结果可以包含对监控对象的识别分数，及对监控目标物的识别分数，其中，监控对象的识别分数越高可以表示图像中存在监控对象的可能性越大，以及监控目标物的识别分数越高也可以表示图像中存在监控目标物的可能性越大。处理设备12基于该识别结果则可以确定图像中是否包含监控对象和监控目标物。例如，处理设备12判断监控对象的识别分数是否高于分数阈值例如为0.9，若高于，处理设备12确定图像中存在监控对象；以及处理设备12也判断监控目标物的识别分数是否高于分数阈值例如为0.9，若高于，处理设备12确定图像中存在监控目标物。

作为通过物体识别模型对图像的处理的另一种方式，处理设备12可以通过第一物体识别模型对监控目标物进行识别，以及通过第一物体识别模型对监控对象进行识别，其中，该第一物体识别模型和第二物体识别模型也可以采用fasterrcnn、rfcn、ssd或refinedet等深度神经网络经训练得到。具体的，可以利用包含不同对象的训练图像集训练第一深度神经网络，以及利用包含不同目标物的训练图像集训练第二深度神经网络。例如，在需要识别的对象为人，以及需要识别的目标物为汽车时，可以包含各种体型的人和各种穿着的人训练图像集训练第一深度神经网络，并可以利用包含各种品牌的汽车和各种型号的汽车训练图像集训练第二深度神经网络。通过训练可以使得第一深度神经网络对人的识别准确度越来越高，以及使得第二深度神经网络对汽车的识别准确度也越来越高。在对监控对象和监控目标物的识别准确度均达到阈值例如到达98％，可以认为训练完成，获得训练好的第一物体识别模型和第二物体识别模型。

可以理解到的是，训练可以在本申请的方法之前执行，即在训练后，处理设备12利用训练好的第一物体识别模型和第二物体识别模型执行本申请的方法。

本实施例中，利用该训练好的第一物体识别模型，处理设备12将图像输入到该第一物体识别模型中，第一物体识别模型通过处理该图像可以输出用于表示该图像中是否包含监控对象的识别结果，例如，识别结果可以包含对监控对象的识别分数。而利用该训练好的第二物体识别模型，处理设备12将图像输入到该第二物体识别模型中，第二物体识别模型通过处理该图像可以输出用于表示该图像中是否包含监控目标物的识别结果，例如，识别结果可以包含对监控目标物的识别分数。这样，处理设备12基于该识别结果包含的分数是否大于分数阈值，也可以确定图像中是否包含监控对象和监控目标物。

本实施例中，处理设备12通过处理监控视频中的多帧图像，若处理设备12没有确定出任何一帧同时包含有监控对象和监控目标物的图像，处理设备12本次对方法的执行结束；而若处理设备12确定出所有同时包含有监控对象和监控目标物的图像，处理设备12可以继续执行方法的后续流程。

可以理解到的是，在所有同时包含有监控对象和监控目标物的图像中，每帧图像中可以包含不同的多个监控对象。而针对每个监控对象，其不仅可能是在之前已经处理过的监控视频中已经出现过的历史对象，其也可能是第一次出现在监控视频的初次出现的对象。故为确定出所有同时包含有监控对象和监控目标物的图像中同一监控对象在哪些图像中出现，以及确定出该同一监控对象是历史对象还是初次出现的对象，处理设备12还可以通过相似度识别模型对所有同时包含有监控对象和监控目标物的图像进行处理。其中，为便于描述上的简洁，后文中将以所有图像来指代所有同时包含有监控对象和监控目标物的图像。

本实施例中，相似度识别模型也可以采用fasterrcnn、rfcn、ssd或refinedet等深度神经网络经训练得到。具体的，可以利用包含同一对象和不同对象的训练图像集训练深度神经网络。通过训练可以使得深度神经网络对两个对象是否为同一对象的识别准确度越来越高。而在是否为同一对象的识别准确度达到阈值例如到达98％，可以认为训练完成，获得训练好的相似度识别模型。

可以理解到的是，训练可以在本申请的方法之前执行，即在训练后，处理设备12利用训练好的相似度识别模型处理该所有图像。

处理设备12可以判断本次获取的监控视频是否为该摄像头11第一次发送的视频。

若不是第一次发送的视频，其表示本次识别出的监控对象可能已经在该摄像头11之前采集的监控视频出现，故处理设备12可以利用相似度识别模型处理该所有图像和历史图像，其中，历史图像可以是处理设备12处理前至少一段监控视频而确定的所有包含有监控对象和监控目标物的图像。进一步的，为保证准确的识别哪些是同一对象，处理设备12可以预设的图像碰撞聚类分析规则，从而利用该图像碰撞聚类分析规则控制相似度识别模型处理该所有图像和历史图像。具体的，处理设备12可以从该所有图像和历史图像随机的抽取出两张图像输入到相似度识别模型中进行一次相似度碰撞，从而获得相似度识别模型输出的用于表示两张图像中是否包含同一对象的相似度。而在该相似度大于处理设备12预设的相似度阈值时，处理设备12则可以确定该两张图像中包含同一对象。基于图像碰撞聚类分析规则，在处理设备12确定已经进行了预设次数的相似度碰撞时，处理设备12可以确定对该所有图像和历史图像的处理结束。而基于判断预设次数的相似度碰撞产生的相似度是否大于相似度阈值，处理设备12可以确定出同一监控对象在哪些图像中出现，以及确定出每个监控对象是历史对象还是初次出现的对象。

需要说明的是，进行预设次数的相似度碰撞可以保证该所有图像和历史图像中包含的所有同一对象都可以被识别出来，当然预设次数也可以根据该所有图像和历史图像的总数量进行调整。

若是第一次发送的视频，其表示本次识别出的监控对象是初次出现的对象，处理设备12也可以利用该图像碰撞聚类分析规则控制相似度识别模型处理该所有图像，从而确定出同一监控对象在哪些图像中出现。其中，利用该图像碰撞聚类分析规则控制相似度识别模型处理该所有图像的详细过程可以参阅上述描述，在此就不再累述。

进一步的，在确定出同一监控对象在哪些图像中出现，以及确定出该同一监控对象是历史对象还是初次出现的对象后，处理设备12可以继续执行步骤s300。

步骤s300：根据所述图像中所述监控对象上的特征点的位置，确定出所述监控对象的移动轨迹。

本实施例中，为便于描述上的简洁，后续描述中所述的监控对象即是指该同一监控对象，而所有包含该监控对象的图像则是指所有包含该同一监控对象的图像。

示例性的，为便于确定出该监控对象如何移动，处理设备12可以利用关节点识别模型对所有包含该监控对象的图像进行处理。

关节点识别模型也可以采用fasterrcnn、rfcn、ssd或refinedet等深度神经网络经训练得到。具体的，可以利用包含对象的全身像的训练图像集训练深度神经网络。由于对象的全身像可以包含对象身体上的每个关节点，故利用包含对象的全身像的训练图像集可以对深度神经网络确定每个关节点的位置进行训练。通过训练也可以使得深度神经网络越来越准确的确定出对象的各关节点的位置。而在确定每个关节点的位置的准确度达到阈值例如到达98％，可以认为训练完成，获得训练好的关节点识别模型。

处理设备12利用该训练好的关节点识别模型，可以将所有包含该监控对象的图像输入到关节点识别模型中进行处理，关节点识别模型则可以输出每帧图像中该监控对象的每个关节点的名称和在图像中位置。处理设备12根据每个关节点的名称，可以确定出比较有代表性的关节点来用于后续轨迹的生成，例如处理设备12可以确定出监控对象的股关节点和监控对象的每个四肢关节点。其中，四肢关节点可以包括对象的肩关节点、肘关节点、腕关节点、膝关节点和踝关节点。

进一步的，处理设备12根据每帧图像中监控对象的股关节点的位置，则可以确定出该监控对象的股关节点的移动轨迹，其中，监控对象的股关节点也可以理解为该监控对象上的特征点。

若该监控对象为历史对象，其说明该监控对象之前已经确定出了股关节点的历史移动轨迹。处理设备12便可以将本次确定的股关节点的移动轨迹和股关节点的历史移动轨迹相结合，从生成该监控对象股关节点的最新移动轨迹。

若该监控对象为初次出现的对象，其说明该监控对象并没有股关节点的历史移动轨迹，那么本次确定的股关节点的移动轨迹则为该监控对象的股关节点的最新移动轨迹。

在此基础上，处理设备12便可以利用该监控对象股关节点的最新移动轨迹来确定监控对象是否有在监控目标物周围停留过久的异常行为。

结合图1，请参阅图4a和图4b，下面通过示例来说明本申请的方案，其中，图4a和图4b示出的图像表示摄像头11设置在监控目标物x的上方。

在图4a中，若该监控对象a是一个初次出现的对象，而处理设备12通过对所有包含该监控对象a的图像进行处理，确定出该监控对象a的股关节点经过的位置包括：位置a1、位置a2、位置a3、位置a4、位置a5和位置a6。这样通过依次连接处于a1-a6位置处的每个股关节点则可以确定出该监控对象a的股关节点的最新移动轨迹g1。

在图4b中，若该监控对象a是一个历史对象，而处理设备12通过对所有包含该监控对象a的图像进行处理，确定出本次该监控对象a的股关节点的位置包括：位置a4、位置a5和位置a6。这样通过依次连接处于a4-a6位置处的每个股关节点，则可以确定出该监控对象a本次的股关节点的移动轨迹g2。而由于处理设备12已经确定出了该监控对象a的股关节点的历史移动轨迹g1。处理设备12通过将本次确定的股关节点的移动轨迹g2与历史移动轨迹g1组合，则可以确定出图4a中示出的该监控对象a的股关节点的最新移动轨迹g1。

进一步的，处理设备12根据每帧图像中监控对象的每个四肢关节点所经过的位置，从而确定出该监控对象的每个四肢关节点的移动轨迹，其中，四肢上的每个关节点也可以理解为该监控对象上的每个特征点。

若该监控对象为历史对象，其说明该监控对象之前已经确定出了每个节点的历史移动轨迹。处理设备12便可以将本次确定的每个四肢关节点的移动轨迹和该四肢关节点的历史移动轨迹相结合，从生成该监控对象的每个四肢关节点的最新移动轨迹。

若该监控对象为初次出现的对象，其说明该监控对象并没有四肢关节点的历史移动轨迹，那么本次确定的每个四肢关节点的移动轨迹则为该监控对象的每个四肢关节点的最新移动轨迹。

在此基础上，处理设备12便可以利用该监控对象的每个四肢关节点的最新移动轨迹来确定监控对象是否有撞击或尝试打开监控目标物的异常行为。

结合图1，请参阅图5a至图5c，下面通过以四肢关节点中的腕关节点为示例来说明本申请的方案，图5a至图5c示出的图像表示摄像头11设置在监控目标物x的上方。

在图5a中，若该监控对象b是一个初次出现的对象，而处理设备12通过对所有包含该监控对象b的图像进行处理，确定出该监控对象b的腕关节点经过的位置包括：位置b1、位置b2、位置b3、位置b4、位置b5和位置b6。这样通过依次连接处于b1-b6位置处的每个腕关节点则可以确定出该监控对象b的腕关节点的最新移动轨迹g2。

在图5b中，若该监控对象b是一个历史对象，而处理设备12通过对所有包含该监控对象b的图像进行处理，确定出本次该监控对象b的腕关节点经过的位置包括：位置b4、位置b5和位置b6。这样通过依次连接处于b4-b6位置处的每个腕关节点，则可以确定出该监控对象b本次的腕关节点的移动轨迹g4。由于处理设备12已经确定出了该监控对象b的腕关节点的历史移动轨迹g3。处理设备12通过将本次确定的腕关节点的移动轨迹g4与历史移动轨迹g3组合，则可以确定出图5a中示出的该监控对象b的腕关节点的最新移动轨迹g2。

在图5c中，处理设备12通过对所有包含该监控对象c的图像进行处理，确定出该监控对象c的腕关节点的位置包括：位置c1、位置c2、位置c3、位置c4、位置c5和位置c6。这样通过处于b1-b6位置处的每个腕关节点则可以确定出该监控对象c的腕关节点的最新移动轨迹g3。需要说明的是，在监控对象c为历史对象或为初次出现的对象的情况下，该最新移动轨迹g3的具体确定方式可以参考前述，在此就不再累述。

本实施例中，为便于通过最新移动轨迹确定监控对象有无对监控目标物的异常行为，处理设备12可以确定出监控目标物在图像中所占据的整体区域。

作为确定监控目标物在图像中所占据的整体区域的一种可选方式，若监控目标物需要设置在指定位置(例如车辆需要停在停车场的车位内)，其表示监控目标物的设置位置可以是固定的。在那么不同的监控目标物设置在指定位置时，不同的监控目标物在摄像头11拍摄到的图像中占据的区域可以大致相同。例如，在一辆a级轿车停在车位w上时，a级轿车在图像中占据区域a，在一辆b级轿车停在车位w上时，b级轿车在图像中占据区域b，而区域a的形状大小与区域b的形状大小大致相同。由于占据的区域可以大致相同，故处理设备12可以预设关于区域的形状大小参数，并根据该形状大小参数在图像中生成一个区域，该区域则为图像中监控目标物占据的整体区域，例如处理设备12预设的形状大小参数为长为10、宽为8、中心点坐标为(6、6)，处理设备12根据该形状大小参数，可以在图像中生成一个长为10、宽为8、中心点坐标为(6、6)的矩形区域作为图像中监控目标物占据的整体区域。其中，为便于描述的简便，后文中所述的整体区域即是指该监控目标物在图像中所占据的整体区域。

作为确定监控目标物在图像中所占据的整体区域的另一种可选方式，若监控目标物的设置位置是非固定的，故不同的监控目标物在摄像头11拍摄到的图像中占据的区域可以完全不相同。而为准确的确定出当前的监控目标物占据的区域，处理设备12可以通过边缘检测模型处理监控视频中同时包含监控对象和监控目标物的图像，以确定出整体区域。

示例性的，边缘检测模型可以采用yolo或fcn等深度神经网络经训练得到。具体的，在采用深度神经网络时，可以利用包含各种不同目标物的训练图像集训练深度神经网络。通过训练可以使得深度神经网络对同一目标物边缘的识别准确度越来越高。而在对目标物边缘的识别准确度达到阈值例如到达96％，可以认为对深度神经网络的训练完成，获得训练好的边缘检测模型。

也可以理解到的是，训练可以在本申请的方法之前执行，即在训练后，处理设备12利用训练好的边缘检测模型处理该所有图像。

本实施例中，若确定本次获取的监控视频为该摄像头11第一次发送的视频，之前还未确定出整体区域。处理设备12可以将该所有图像输入到该边缘检测模型中，从而边缘检测模型可以输出同一监控目标物在每帧图像中所占据的区域。其中，为便于描述的便捷，后文所述的监控目标物则是指同一监控目标物。

由于在采集监控视频的过程中，监控目标物可能还在移动，而移动可以说明有人员在控制监控目标物，故说明该人员本身就在关注该监控目标物。因此在监控目标物移动的过程中，无需对监控对象是否有针对该监控目标物的异常行为进行判断，并也无需确定出监控目标物在图像中的所占区域。反之，在监控目标物停止移动时，则需要对监控对象是否有针对该监控目标物进行判断，从而需要确定出整体区域。

进一步的，处理设备12可以利用每帧图像中监控目标物所占据的区域来确定监控目标物是否停止移动。具体的，处理设备12可以判断最开始的相邻两帧图像中该监控目标物占据的区域的中心点位置是否发生变化。若发生变化，其表示在该监控视频开始时监控目标物就在移动，处理设备12可以结束本次对方法的执行。若未发生变化，其表示在该监控视频开始时监控目标物就未移动。那么，处理设备12可以确定开始的相邻两帧图像中监控目标物所占据的区域为该整体区域。确定出该整体区域后，处理设备12可以执行后续的步骤s400。

若确定本次获取的监控视频不为该摄像头11第一次发送的视频，处理设备12可以判断在之前处理的历史监控视频中是否已经确定出了该整体区域。若未确定出，则可以利用前述的方式处理本次采集的监控视频来确定该整体区域。若已确定出，处理设备12则执行后续的步骤s400。

步骤s400：根据所述移动轨迹确定所述监控对象是否有对所述监控目标物的异常行为。

本实施例中，处理设备12可以确定的异常行为包括：监控对象在监控目标物周围是否停留过久的异常行为、监控对象是否有划伤监控目标物的异常行为、以及监控对象是否有撞击或尝试打开监控目标物的异常行为。下面将针对处理设备12如何确定每种异常行为进行详细说明。

1.监控对象在监控目标物周围是否停留过久的异常行为。

为便于确定出监控对象是否位于监控目标物的周围，处理设备12可以基于整体区域，确定该整体区域周围的区域为图像中监控目标物周围的监控区域。可选的，处理设备12可以按预设的倍数例如1.2倍扩大该整体区域的尺寸，扩大后的区域则可以作为监控区域。

利用确定出的监控区域，处理设备12可以判断股关节点的移动轨迹的终点是否位于该监控区域内。

若没有位于该监控区域内，其说明该监控对象已经离开了监控区域，故无需再判断监控对象在监控目标物周围是否停留过久。

若位于该监控区域内，其说明监控对象还在监控区域内，故可以通过监控对象在监控区域内的停留时长来判断监控对象在监控目标物周围是否停留过久。

作为确定停留时长的可选方式，处理设备12可以对股关节点的移动轨迹进行分析，以确定出移动轨迹上第一个位于监控区域内的股关节点为起点。由于在获取监控视频时，摄像头11还向处理设备12发送了该监控视频的采集时间段，故处理设备12可以获取监控视频中每帧图像的时刻。基于每帧图像的时刻，处理设备12可以获取包含该为起点的股关节点的一帧图像的时刻，即获取到起点的时刻。也每帧图像的时刻，处理设备12还可以获取包含该为终点的股关节点的一帧图像的时刻，即获取到终点的时刻。处理设备12可以确定出起点的时刻和终点的时刻之间的差值，该差值即为监控对象在监控区域内的停留时长。

进一步的，处理设备可以根据停留时长确定监控对象是否有对监控目标物的异常行为。可选的，处理设备可以判断停留时长是否大于阈值时长，若大于，处理设备确定监控对象在监控目标物周围停留过久；反之，则确定监控对象未在监控目标物周围停留过久。

结合图1并请参阅图4a，继续前述的示例，处理设备12确定出监测目标物x所占据的整体区域为监测目标物x的边缘所形成的矩形区域y。处理设备12基于矩形区域y可以生成位于监测目标物x周围的监控区域z，其中，监控区域z在图4a中以虚线填充的方式示出，以便于理解。处理设备12通过对股关节点的移动轨迹g1进行分析，可以确定出股关节点的移动轨迹g1上的终点(股关节点a6)还位于监控区域z内。进一步的，处理设备12还可以确定出第一个位于监控区域z内的点为起点(股关节点a3)。这样处理设备12便可以根据获取到股关节点a6的时刻和获取到股关节点a3的时刻确定该监控对象a是否在监测目标物x周围停留过久。

2.监控对象是否有划伤监控目标物的异常行为。

本实施例中，处理设备12可以通过确定每个四肢关节点的移动轨迹是否与监控目标物接触而确定监控对象是否有对监控目标物的所述异常行为，即确定监控对象是否有划伤监控目标物的异常行为。

示例性的，处理设备12可以判断每个四肢关节点的移动轨迹中是否有与监控目标物接触的平滑轨迹。具体的，处理设备12可以先判断每个四肢关节点的移动轨迹中是否有与监控目标物接触的轨迹；若没有接触的轨迹，处理设备12可以结束本次对方法的执行，若有接触的轨迹，处理设备12可以通过对该接触的轨迹的轨迹长度和整体弧度进行分析，以确定该接触的轨迹是否为平滑轨迹。其中，通过对接触的轨迹的分析，处理设备12可以计算出该接触的轨迹的轨迹长度。以及，也通过对接触的轨迹的分析，处理设备12还可以计算出该接触的轨迹上每个弧线段的弧度，共计算获得至少一个弧度。处理设备12通过计算至少一个弧度的平均值则可以确定出该接触的轨迹的整体弧度。进一步的，若处理设备12确定轨迹长度大于预设长度且整体弧度也大于预设的平滑轨迹弧度，处理设备12确定该接触的轨迹为平滑轨迹，并确定该监控对象有划伤监控目标物的异常行为，其中，预设的平滑轨迹弧度可以为例如160°；反之，处理设备12则确定该监控对象无划伤监控目标物的异常行为，并结束本次对方法的执行。

结合图1并请参阅图5c，继续前述的示例，处理设备12可以确定出腕关节点的移动轨迹g3中有腕关节点c4至腕关节点c6形成的移动轨迹为与监控目标物x接触的轨迹。处理设备12可以计算出腕关节点c4至腕关节点c6形成的接触的轨迹的轨迹长度。处理设备12还可以计算腕关节点c4到腕关节点c5形成的弧线段的弧度，以及处理设备12还可以计算腕关节点c5到腕关节点c6形成的弧线段的弧度，从而可以确定出该接触的轨迹的整体弧度。进一步的，处理设备12通过判断该轨迹长度和整体弧度则可以确定该监控对象c是否有划伤监控目标物x的异常行为。

3.监控对象是否有撞击或尝试打开监控目标物的异常行为。

本实施例中，处理设备12也可以通过确定每个四肢关节点的移动轨迹是否与监控目标物接触而确定监控对象是否有对监控目标物的所述异常行为，即确定监控对象是否有撞击或尝试打开监控目标物的异常行为。

示例性的，处理设备12可以判断每个四肢关节点的移动轨迹中是否有与监控目标物接触的凹凸轨迹。具体的，处理设备12可以先判断每个四肢关节点的移动轨迹中是否有与监控目标物接触的轨迹；若没有接触的轨迹，处理设备12可以结束本次对方法的执行，若有接触的轨迹，处理设备12可以通过对该接触的轨迹的整体弧度进行分析，以确定该接触的轨迹是否为凹凸轨迹。

可以理解到，在确定凹凸轨迹时，确定接触的轨迹为具有一个弧度的弧线段，故处理设备12可以计算出该接触的轨迹的该弧线段的弧度，其中，该弧线段的弧度即为该接触的轨迹的整体弧度。

进一步的，若处理设备12确定整体弧度小于预设的凹凸轨迹弧度，处理设备12确定该接触的轨迹为凹凸轨迹，并确定该监控对象有撞击或尝试打开监控目标物的异常行为，其中，预设的凹凸轨迹弧度可以为例如90°；反之，处理设备12则确定该监控对象无撞击或尝试打开监控目标物的异常行为，并结束本次对方法的执行。

进一步的，为更准确的确定异常行为是撞击监控目标物还是尝试打开监控目标物，处理设备12可以通过确定凹凸轨迹上与监控目标物接触的接触点是否位于门锁区域，从而确定撞击监控目标物还是尝试打开监控目标物。

作为确定门锁区域的一种可选方式，若监控目标物需要设置在指定位置，由于监控目标物的设置位置可以是固定的，故不同监控目标物上门锁的位置可以大致相同。因此，处理设备12可以预设门锁区域的形状大小参数，并在确定出整体区域时，根据该门锁区域的形状大小参数在该整体区域上生成门锁区域。

作为确定门锁区域的另一种可选方式，若监控目标物的设置位置是非固定的，那么在训练深度神经网络而获得边缘检测模型的过程中，还可以利用目标物上标注出门锁区域的训练图像集对该深度神经网络进行训练，使得训练好的边缘检测模型不仅可以在图像上确定出整体区域，还可以确定出图像的整体区域内的门锁区域。

进一步的，处理设备12在确定出有凹凸轨迹后，基于确定的门锁区域，处理设备12还可以判断凹凸轨迹上与监控目标物接触的接触点是否位于监控目标物的门锁区域内。若不位于门锁区域内，处理设备12可以确定监控对象有撞击监控目标物的异常行为；若位于门锁区域内，处理设备12可以确定监控对象有尝试打开监控目标物的异常行为。

结合图1并请参阅图5a，继续前述的示例，处理设备12可以确定出腕关节点的移动轨迹g2中有腕关节点b4至腕关节点b6形成的移动轨迹为与监控目标物x接触的轨迹。处理设备12可以计算出腕关节点b4至腕关节点b6的弧线段的弧度，其中，该出腕关节点b4至腕关节点b6的弧线段的弧度即为该接触的轨迹的整体弧度。处理设备12通过判断该整体弧度则可以确定该监控对象b有撞击或尝试打开监控目标物x的异常行为。

进一步的，若处理设备12确定的门锁区域为区域m1和区域m2，以及处理设备12确定的接触点为腕关节点b5。处理设备12可以判断接触点不位于区域m1和区域m2内，从而确定监控对象b有撞击监控目标物x的异常行为。

本实施例中，处理设备12中预设了监控目标物与用户的对应关系，其中，用户可以与该监控目标物相关的人，例如，监控目标物为车辆，用户可以该车辆的车主。若处理设备12通过对监控视频的处理而确定监控对象有对监控目标物的异常行为，处理设备12根据对应关系可以确定出该监控目标物对应用户，并根据用户的权限对用户进行提示。

示例性的，处理设备12可以判断用户的权限是一级权限还是二级权限。若用户的权限是一级权限，处理设备12可以将预设的警示语音发送给位于监控目标物附近的广播设备，使得广播设备可以播放该警示语音，以警示有异常行为的监控对象。与此同时，根据用户的权限是一级权限，处理设备12还可以向用户的终端发送异常提示消息和该监控视频的链接。而若用户的权限是二级权限，处理设备12则可以向管理人员的终端发送提示消息，以提示管理人员观看监控画面，以通过人工的方式对异常行为进行确定。其中，管理人员可以是监管该监控目标物的设置场所的人。可以理解到，通过消息提示管理人员的好处在于一旦管理人员以人工的方式确定有异常行为，管理人员可以及时采取行动。与此同时，也根据用户的权限是二级权限，处理设备12还可以向用户的终端发送异常提示消息和该监控视频。

请参阅图6，本申请实施例提供了一种对象的监控装置100，该对象的监控装置100可以应用于处理设备12，对象的监控装置100可以包括：

通信模块110，用于获取摄像头采集的监控视频。

处理模块120，用于从所述监控视频中确定出包含有监控对象和监控目标物的图像；以及用于根据所述图像中所述监控对象上的特征点的位置，确定出所述监控对象的移动轨迹；以及还用于根据所述移动轨迹确定所述监控对象是否有对所述监控目标物的异常行为。

需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请一些实施例还提供了一种计算机可执行的非易失的程序代码的计算机可读储存介质，该计算机可读存储介质上存储有程序代码，该程序代码被计算机运行时执行上述任一实施方式的对象的监控方法的步骤。

详细地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的程序代码被运行时，能够执行上述任一实施方式的对象的监控方法的步骤，以实现降低人力成本的同时，还避免出现由于工作人员出现疏忽而无法有效的监控到异常行为的发生。

本申请实施例所提供的数据请求方法的程序代码产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

综上所述，本申请实施例提供了一种对象的监控方法、装置、设备及存储介质。通过自动的对图像进行处理，以根据图像中监控对象上的特征点的位置确定出对象的移动轨迹，再对移动轨迹进行分析就可以自动的识别出监控对象是否有对监控目标物的异常行为。较于现有技术，由于可以实现自动识别监控对象的异常行为，无需人工监控，降低了人力成本，并也避免出现由于工作人员出现疏忽而无法有效的监控到异常行为的发生。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。