目标状态识别方法、设备及计算机可读存储介质与流程

1.本技术涉及视频处理技术领域，特别是涉及一种目标状态识别方法、设备及计算机可读存储介质。


背景技术：

2.在诸多应用场景需要用到目标状态识别技术。例如，为了实现交通设施运维，需要通过对交通设施进行状态识别，确定交通设施的运行状态(如变形、偏移、消失、新增)。又如，为了实现公共生活场所的物品管理，需要对物品进行状态识别，确定物品的运行状态(如乱放、堆叠)等等。
3.但是，现有的目标状态识别方法，得到的状态识别结果准确度不高。


技术实现要素：

4.本技术提供一种目标状态识别方法、设备及计算机可读存储介质，能够解决现有的目标状态识别方法，得到的状态识别结果准确度不高的问题。
5.为解决上述技术问题，本技术采用的一个技术方案是：提供一种目标状态识别方法。该方法包括：获取对监控区域拍摄得到的待处理视频；确定待处理视频的当前帧中的前景目标；基于第一像素点的原始像素值更新背景模型，第一像素点为处在当前帧中前景目标对应区域之外的像素点，背景模型是基于至少一个历史帧得到的，历史帧为待处理视频中位于当前帧之前的视频帧；基于更新后的背景模型获取当前帧的背景；基于当前帧的背景，确定监控区域中的监控背景目标在当前帧的运行状态。
6.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种目标状态识别设备，该目标状态识别设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
7.为解决上述技术问题，本技术采用的又一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
8.通过上述方式，本技术确定当前帧中的前景目标，基于第一像素点(处在当前帧中前景目标对应区域之外的像素点)更新基于至少一个历史帧得到的背景模型，基于更新后的背景模型获取当前帧的背景，应用于监控背景目标的状态识别。由于更新后的背景模型能够表达至少一个历史帧和当前帧中可见的背景信息，因此当前帧的背景包含了至少一个历史帧和当前帧中可见的背景信息，即使监控背景目标在当前帧中被前景目标遮挡，但是只要该监控背景目标被遮挡的部分在至少一个历史帧中可见，该监控背景目标在当前帧的背景中也是可见的，从而基于当前帧的背景进行该监控背景目标进行正常的状态识别，提高状态识别结果的准确度。并且，本技术提高的目标状态识别方法，无需人工参与，且无需在监控区域安装额外的辅助识别装置，依据纯视觉就能够实现监控背景目标的状态识别，故能够降低成本。
附图说明
9.图1是本技术目标状态识别方法一实施例的流程示意图；
10.图2是图1中s15的具体流程示意图；
11.图3是对折线赋予宽度形成封闭形状的示意图；
12.图4是目标状态识别系统的结构示意图；
13.图5是本技术目标状态识别方法一具体实例的流程示意图；
14.图6是本技术目标状态识别设备一实施例的结构示意图；
15.图7是本技术计算机可读存储介质一实施例的结构示意图。
具体实施方式
16.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
17.本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
18.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
19.在介绍本技术的目标状态识别方法之前，先列举其几个应用场景：
20.应用场景1：对交通场景中固定设置的交通设施进行状态识别，以确定交通设施的运行状态，基于交通设施的运行状态实现交通设施运维，例如在交通设施的运行状态异常的情况下，对交通设施进行修复、更替。交通设施可以包括道路标志、道路标线、防护设施等等。道路标志可以包括警告标志(如“前方有行人出入”)、禁令标志(如“施工现场禁止进入”)、指示标志(如“前方直行”)等等。道路标线可以包括斑马线、白实线、白虚线等等。防护设施可以包括护栏、隔离带等。
21.应用场景2：对公共生活场所的物品进行状态识别，以确定物品的运行状态，基于物品的运行状态确定公共生活场所的原有物品是否被挪动、公共生活场所是否乱放新增物品、是否堆叠物品等。
22.图1是本技术目标状态识别方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。
23.如图1所示，本实施例可以包括：
24.s11：获取对监控区域拍摄得到的待处理视频。
25.本技术方法实施例的执行主体是目标状态识别装置，目标状态识别设备可以是摄像器件本身、与摄像器件建立通信连接的电子设备，如手机、电脑、服务器等等。
26.待处理视频是由摄像器件对监控区域拍摄得到的，待处理视频包括若干个视频
帧。监控区域可以是任何有监控需求的区域，如在前述应用场景1下监控区域是交通道路，在前述应用场景2下监控区域是公共生活场所。监控区域包括若干个目标，目标可以是行人、车辆、动物、交通设施、物品等等，目标可以分为前景目标和背景目标。前景目标是指位置不是固定在监控区域的目标，如人、车辆。背景目标是指位置固定在监控区域的目标，如交通设施、物品。例如，在应用场景1下背景目标为交通设施，前景目标为交通设施之外的目标。
27.s12：确定待处理视频的当前帧中的前景目标。
28.当前帧为待处理视频中当前正在被处理的一个视频帧。在一些实施例中，可以通过前景目标检测或者前景目标分割得到前景目标。前景目标检测和前景目标分割是依据训练好的神经网络实现的，例如yolov5。
29.s13：基于第一像素点的原始像素值更新背景模型。
30.第一像素点为处在当前帧中所述前景目标对应区域之外的像素点，背景模型是基于至少一个历史帧得到的，历史帧为待处理视频中位于当前帧之前的视频帧。
31.背景模型可以是高斯背景模型(single gaussian background model，可以是单高斯背景模型，也可以是混合高斯背景模型)、平均背景模型(average background model)、非参数化背景模型等等。待处理视频的背景模型可以包括待处理视频中各个像素点的背景模型。
32.高斯背景模型的基本思想是，将各个像素点在视频帧中的原始像素值均视为随机变量，将各个像素点在待处理视频的各个视频帧中的原始像素值的分布，用若干个高斯背景模型的叠加作为各个像素点的高斯背景模型。平均背景模型的基本思想是，计算各个像素点在待处理视频的各个视频帧中的原始像素值的均值，作为各个像素点的背景模型。其他背景模型的基本思想请参考相关技术，在此不赘述。
33.背景模型是动态更新的。也就是说，在对待处理视频处理的过程中，在每个视频帧作为当前帧到来时，基于当前帧动态更新背景模型。具体来说，在s13中，以各个像素点在当前帧中的位置为依据，将各个像素点划分为第一像素点和第二像素点，第一像素点为处在当前帧中前景目标对应区域之外的像素点、第二像素点为处在当前帧中前景目标对应区域的像素点，将待处理视频的背景模型划分为第一像素点的第一背景模型和第二像素点的第二背景模型，第一背景模型是基于第一像素点在至少一个历史帧中的原始像素值得到的，第二背景模型是基于第二像素点在至少一个历史帧中的原始像素值得到的。基于第一像素点的原始像素值更新背景模型，也即是基于第一像素点在当前帧中的原始像素值更新第一背景模型。
34.可以理解的是，由于第一像素点未处在当前帧中前景目标对应区域，因此第一像素点处的背景信息未被前景目标遮挡(可见)，第一像素点的原始像素值能够表达背景信息，可以用于更新第一背景模型。而第二像素点处在当前帧中前景目标对应区域，因此第二像素点处的背景信息被前景目标遮挡(不可见)，第二像素点的原始像素值不能够表达背景信息，因此第二背景模型不更新。由此，在s13中，跳过当前帧中前景目标的范围，仅基于第一像素点的原始像素值更新得到的背景模型，能够表达当前帧以及至少一个历史帧中可见的背景信息，后续基于更新后的背景模型获取的当前帧的背景包含当前帧以及至少一个历史帧中可见的背景信息。
35.s14：基于更新后的背景模型获取当前帧的背景。
36.当前帧的背景由各个像素点在当前帧的背景像素值组成。可以基于更新后的第一背景模型获取第一像素点在当前帧中的背景像素值，以及基于第二背景模型获取第二像素点在当前帧中的背景像素值，得到当前帧的背景。
37.s15：基于当前帧的背景，确定监控区域中的监控背景目标在当前帧的运行状态。
38.监控背景目标的状态可以分为三种，一种是消失状态，一种是新增状态，一种是处于消失与出现的中间状态，中间状态可以包括偏移、形变、开裂、磨损、模糊不清等等。例如在前述应用场景1的情况下，可能存在的中间状态有道路标志开裂、变形，防护设施形变，道路标线模糊不清、磨损)。
39.在一些实施例中，监控背景目标包括当前帧的背景中的若干当前背景目标。可以确定当前帧的背景中的若干当前背景目标，对各个当前背景目标进行状态识别，得到各个当前背景目标在当前帧的运行状态。该方式下能够检测到中间状态，但是无法检测到消失状态和出现状态，即无法检测到哪些监控背景目标在当前帧是新增的，哪些监控背景目标在当前帧消失了。
40.在一些实施例中，监控背景目标包括当前帧的背景中的若干当前背景目标和参考帧的背景中的若干参考背景目标，通过当前帧的背景中当前背景目标和背景帧的背景中参考背景目标之间的差异，确定监控背景目标的状态。在此方式下能够检测到消失状态、新增状态和中间状态三者，减少漏识别和误识别的情况。结合参阅图2，s15可以包括以下子步骤：
41.s151：确定当前帧的背景中的若干当前背景目标、以及参考帧的背景中的若干参考背景目标。
42.参考帧可以为待处理视频中的一个历史帧，由此参考帧的背景为该个历史帧的背景，参考帧的背景中的参考背景目标为该个历史帧的背景中的历史参考目标。参考帧的背景获取方式与当前帧的背景的获取方式同理。
43.或者，参考帧的背景可以是基于所有历史帧的背景中的历史背景目标构建得到的，即构建一个空白的背景，将所有历史背景目标叠加至该空白的背景，得到参考帧的背景，由此参考帧的背景可以包含所有历史背景目标。
44.当前背景目标即当前帧的背景中可见的监控背景目标，参考背景目标即参考帧中可见的监控背景目标。可以对当前帧的背景进行背景目标检测或者背景目标分割，得到当前帧的背景中的当前背景目标。背景目标检测或者背景目标分割可以得到当前背景目标的位置、类别等信息。背景目标检测可以通过自底向上的关键点检测等方法实现。背景目标检测得到的当前背景目标的位置形式可以是矩形(包含左上角和右下角的坐标)，也可以是其他符合当前背景目标的形状(包含沿形状上各个点排序的若干个坐标)。例如，当前背景目标是斑马线，位置形式是多边形；当前背景目标是线、护栏，位置形式是折线等等。背景目标分割得到的当前背景目标的位置形式是连通域。在检测得到当前背景目标之后，还可以将当前背景目标的位置存储，以供后续视频帧(待处理视频中位于当前帧之后的视频帧)进行处理时使用。
45.可以理解的是，由于当前帧的背景包含当前帧及至少一个历史帧的背景信息，即使监控背景目标在当前帧被遮挡，只要该监控背景目标被遮挡的部分在至少一个历史帧中
可见，该监控背景目标被遮挡的部分在当前帧的背景中也是可见的，因此能够在当前帧的背景中确定出该监控背景目标，不会造成对该监控背景目标的误检或者漏检，进而后续能够基于当前帧的背景正常对该监控背景目标进行状态识别(不会误识别或者漏识别)。
46.在一些实施例中，在确定当前帧的背景中的当前背景目标之后，还可以对各个当前背景目标进行状态识别，得到各个当前背景目标在当前帧的背景的运行状态，以供后续使用。确定当前背景目标、当前背景目标的状态识别可以依据不同的神经网络实现，也可以依据同一神经网络实现，后者情况下，能够降低计算量。
47.s152：将各个当前背景目标与各个参考背景目标进行匹配，得到匹配结果。
48.匹配结果指示哪些当前背景目标与参考背景目标匹配上，哪些当前背景目标未与参考背景目标匹配上，哪些参考背景目标未与当前背景目标匹配上。相互匹配的当前背景目标与参考背景目标为同一监控背景目标，未与参考背景目标匹配的当前背景目标，为出现在当前帧的背景而未出现在参考帧的背景的监控背景目标，未与当前背景目标匹配的参考背景目标，为出现在参考帧的背景而未出现在当前帧的背景的监控背景目标。每一参考背景目标具有一标识信息(id)，针对与参考背景目标匹配上的当前背景目标，为其赋予与其匹配的参考背景目标相同的id，针对未与参考背景目标匹配上的当前背景目标，为其赋予新的id，以此方式能够为待处理视频中同一监控背景目标赋予相同id，将不同监控背景目标区分开来。
49.在一些实施例中，为了减少计算量，匹配可以是在同类别的当前背景目标和参考背景目标之间进行。
50.在一些实施例中，可以基于各个当前背景目标在当前帧的背景中的特征、以及各个参考背景目标在参考帧的背景中的特征，将各个当前背景目标与各个参考背景目标进行匹配，得到匹配结果。
51.在一些实施例中，可以基于各个当前背景目标在当前帧的背景中的位置、以及各个参考背景目标在参考帧的背景中的位置，对各个当前背景目标与各个参考背景目标进行匹配，得到匹配结果。
52.具体来说，可以计算当前背景目标的位置与参考背景目标的位置之间的面积比，在面积比大于面积比阈值时，确定当前背景目标与参考背景目标匹配。若位置形式为封闭形状，可以将封闭形状所占的像素数量确定为封闭图像的面积。封闭形状包括规则的封闭形状(如矩形、三角形)和不规则的封闭形状(如多边形、连通域)。若位置形式为规则的封闭形状，可以依据面积计算公式得到面积，如对矩形的宽和高相乘得到占用面积；对于不规则的封闭形状，可以逐个累积所占的像素数量得到面积，或者为了增加计算效率，可以将不规则的封闭形状的外接矩形的面积(外接矩形的宽和高的乘积)用于粗略的位置匹配，在粗略的位置匹配通过的情况下才累积不规则的封闭形状的面积用于精细的位置匹配。若位置形式为非封闭形状(如折线、弧线)，可以为非封闭形状赋予宽度而形成封闭形状，将形成的封闭形状所占的像素数量确定为折线的面积。图3是对折线赋予宽度形成封闭形状的示意图，如图3所示，位置形式为折线，a1和a2分别为折线a的两个端点，为a赋予宽度即分别对a1和a2向外延伸，对应得到a11和a12、a21和a22，依次将a11、a12、a22和a21连接，得到封闭形状b，a为b的中轴线。
53.可以理解的是，一般来说监控区域中背景目标的位置不会改变，那么同一背景目
标在当前帧和参考帧的位置不变或者位置偏移不明显，因此基于位置进行匹配，可以确定当前帧和参考帧之间属于同一监控背景目标的当前背景目标和参考背景目标。相对基于特征匹配的方式来说，基于位置匹配的方式可以有效减少计算量。
54.s153：基于匹配结果确定监控背景目标在当前帧的运行状态。
55.监控背景目标包括至少一个当前背景目标和/或至少一个参考背景目标。
56.在s153中，至少一个当前背景目标可以包括与参考背景目标匹配上的当前背景目标、未与参考背景目标匹配上的当前背景目标中的至少一个。至少一个参考背景目标可以包括未与当前背景目标匹配上的参考背景目标中的至少一个。
57.针对与参考背景目标匹配上的当前背景目标，可以将当前背景目标在当前帧的背景的运行状态，确定为当前背景目标在当前帧的运行状态。当前背景目标在当前帧的背景的运行状态，可以是在s151中确定当前帧的背景中的若干当前背景目标之后，进一步对各个当前背景目标进行状态识别得到的。
58.针对未与参考背景目标匹配上的当前背景目标，确定当前背景目标在当前帧的背景中对应区域和在参考帧的背景中对应区域之间的第一差异值；若第一差异值大于第一差异阈值，则确定当前背景目标在当前帧的运行状态为新增状态；否则确定当前背景目标被误检。可以对当前背景目标在当前帧的背景中对应区域和在参考帧的背景中对应区域进行差异检测，得到第一差异值，差异检测的方法可以是关键点匹配方法、深度学习的方法(比如孪生网络判断相似度)等计算区域相似度的方法。从而，能够采用局部区域差异检测，确定处于新增状态的监控前景目标。
59.针对未与当前背景目标匹配上的参考背景目标，确定参考背景目标在当前帧中对应区域和在参考帧中对应区域之间的第二差异值；若第二差异值大于第二差异阈值，则确定参考背景目标在当前帧的运行状态为消失状态；否则确定参考背景目标在当前帧的背景中被漏检。获取第二差异值的方式与获取第一差异值的方式同理。从而，能够采用局部区域差异检测，确定处于消失状态的监控前景目标。
60.可以理解的是，待处理视频的视频帧中前景目标的存在，引起视频帧中前景目标对应区域的背景信息被遮挡，监控背景目标在当前帧中属于背景的一部分，因此当前帧中背景信息被遮挡可能引起监控背景目标在当前帧中被遮挡。因此，如果不跳过前景目标的范围，直接获取当前帧的背景，那么在获取当前帧的背景的过程中，容易将当前帧中静止的前景目标对应区域的信息视为背景信息用于更新背景模型，基于更新后的背景模型获取的当前帧的背景存在前景目标，造成干扰，引起监控背景目标的漏识别或者误识别。
61.通过本实施例的实施，本技术确定当前帧中的前景目标，基于第一像素点(处在当前帧中前景目标对应区域之外的像素点)更新基于至少一个历史帧得到的背景模型，基于更新后的背景模型获取当前帧的背景，应用于监控背景目标的状态识别。由于更新后的背景模型能够表达至少一个历史帧和当前帧中可见的背景信息，因此当前帧的背景包含了至少一个历史帧和当前帧中可见的背景信息，即使监控背景目标在当前帧中被前景目标遮挡，但是只要该监控背景目标被遮挡的部分在至少一个历史帧中可见，该监控背景目标在当前帧的背景中也是可见的，从而基于当前帧的背景进行该监控背景目标进行正常的状态识别，提高状态识别结果的准确度。并且，本技术提高的目标状态识别方法，无需人工参与，且无需在监控区域安装额外的辅助识别装置，依据纯视觉就能够实现监控背景目标的状态
识别，故能够降低成本。
62.进一步地，在一些实施例中，为进一步提高监控背景目标的运行状态的准确度，可以基于待处理视频的连续预设数量个视频帧确定监控背景目标的最终运行状态。具体来说，可以判断监控背景目标在待处理视频的连续预设数量个视频帧的运行状态，是否均为同一运行状态；若均为同一运行状态，则确定监控背景目标的最终状态为监控背景目标在连续预设数量个视频帧的运行状态；若不均为同一运行状态，则基于连续预设数量个视频帧之后的视频帧继续进行状态识别，以确定最终运行状态。
63.进一步地，在一些实施例中，还可以在监控背景目标的运行状态异常的情况下上报异常事件，以提醒相关人员及时处理。例如，在道路标线模糊不清的情况下，认为道路标线的运行状态异常，上报异常事件，以提醒相关人员及时对道路标线进行修复。又如，在公共生活场所乱放物品的情况下，认为该物品的运行状态异常，上报异常事件，以提醒相关人员及时对该物品进行整理。
64.如下结合图4和图5，以一个例子的形式，对本技术提供的目标状态识别方法进行详细说明：
65.图4是目标状态识别系统的结构示意图，如图4所示，目标状态识别系统包括摄像器件11和目标状态识别设备12。摄像器件11布设在交通道路，用于拍摄交通道路的待处理视频，目标状态识别设备12用于从摄像器件11获取交通道路的待处理视频，以实现交通道路的交通设施的状态识别。
66.结合参阅图5，目标状态识别设备12的处理流程具体可以如下：
67.1)获取针对交通道路的待处理视频，包括视频帧1～5。将视频帧i作为当前帧进行后续处理，i的初始值为1，将视频帧1作为参考帧，视频帧中的交通设施为参考交通设施。
68.2)判断是否满足i≤5；若满足则进入3)；否则结束。
69.3)确定视频帧i中的前景目标。
70.4)基于前景目标对背景模型进行更新。
71.5)基于更新后的背景模型获取当前帧的背景。
72.6)对当前帧的背景进行交通设施的检测和状态识别，得到当前帧的背景中各当前交通设施的信息(id，类别，位置，中间状态)。
73.7)将同类别的当前交通设施与同类别的参考交通设施进行匹配，基于匹配结果确定交通设施在当前帧的运行状态(消失、出现、中间状态)。
74.8)i＝i+1。返回2)。
75.图6是本技术目标状态识别设备一实施例的结构示意图。如图6所示，该目标状态识别设备包括处理器21、与处理器21耦接的存储器22。
76.其中，存储器22存储有用于实现上述任一实施例的方法的程序指令；处理器21用于执行存储器22存储的程序指令以实现上述方法实施例的步骤。其中，处理器21还可以称为cpu(central processing unit，中央处理单元)。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
77.图7是本技术计算机可读存储介质一实施例的结构示意图。如图7所示，本技术实
施例的计算机可读存储介质30存储有程序指令31，该程序指令31被执行时实现本技术上述实施例提供的方法。其中，该程序指令31可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质30包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
78.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
79.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。