一种用于动态环境的监控系统的制作方法

本发明涉及视频监控的技术领域，尤其涉及一种用于动态环境的监控系统。

背景技术：

静态背景视频是指有固定背景，活动目标不多的视频，如各种监控场景视频，工业生产与检测视频等应用。对于静态背景视频的应用，目前系统存在问题有：

1.传统系统压缩率低，存储压力大。传统系统压缩静态背景视频一般采用h.264编码标准，分辨率大多数为高清水平，视频存储时间一般为1～3个月，很难做到6～12个月的存储时间。目前最新压缩方案正在升级到h.265标准，虽然压缩率有所提高，但是随着4k，8k超高清视频的逐渐应用，目前系统的存储压力将会越来越大。

2.传统系统的图像分辨率虽然已经很高，但是有意义的目标不清晰。大多数传统系统的图像分辨率虽已升级为高清水平，而且随着4k，8k超高清视频的逐渐应用，视频的分辨率虽然越来越高，但是用户仍然觉得对有意义的内容和目标看不清楚，主要在于有意义或者感兴趣的目标图像占比小，分配码率太少，而其他无关内容占用过多码率。

3.传统系统存储的视频，查询检索关键信息不方便。解决办法是要么增加辅助分析系统；要么只能通过人工对比。增加辅助分析系统很显然需增加额外的存储空间，同时也增加了系统的复杂性；而通过人工对比则耗时耗力，效率极低。

技术实现要素：

本发明提供了一种用于动态环境的监控系统，解决了现有监控系统的存储压力大，查询检索关键信息不方便等问题。

本发明可通过以下技术方案实现：

一种用于动态环境的监控系统，包括摄像头，所述摄像头用于对被监控的动态环境进行拍摄，获得对应的静态背景视频；

目标检测模块，所述目标检测模块用于对拍摄的静态背景视频进行图像处理，找出感兴趣目标，

编码模块，所述编码模块用于对图像处理后的感兴趣目标进行编码，并存储至数据库中，

语义描述模块，所述语义描述模块用于对图像处理后的感兴趣目标进行语义描述，并存储至数据库中；

目标跟踪模块，所述目标跟踪模块用于根据感兴趣目标在静态背景视频中的清晰程度，对初始进入或者即将离开动态环境的感兴趣目标进行跟踪拍摄。

进一步，所述编码模块用于以是否包含感兴趣目标，对静态背景视频的所有帧图像进行分类，对于包含感兴趣目标的图像，仅对感兴趣目标进行编码，对于不包含感兴趣目标的图像则采用跳帧编码。

进一步，所述编码模块用于将静态背景视频中包含感兴趣目标的图像划分为目标帧，不包含感兴趣目标的图像划分为背景帧；将每个目标帧中各个感兴趣目标对应的区域分割出来，单独进行编码，其余区域不编码，形成目标帧编码流，对背景帧采用跳帧编码，形成背景帧编码流；将目标帧编码流和背景帧编码流按照静态背景视频中每帧图像对应的时间顺序排列，形成完整的视频编码流。

进一步，所述目标检测模块用于对各种感兴趣目标通过机器学习建立目标识别模型，然后利用目标识别模型对静态背景视频中的每一帧图像进行人工智能分析，检测是否有对应的感兴趣目标出现，若检测到感兴趣目标出现，则判断感兴趣目标的对应类型，并记录对应的帧序号、所处位置及区域大小。

进一步，所述语义描述模块用于将静态背景视频中每一帧图像是否出现感兴趣目标，以及感兴趣目标的类型和位置与对应帧图像的记录时间关联起来，通过语义表达方法建立检索索引，根据目标检测模块的检测结果，从检索索引中找出对应语义，对检测出的感兴趣目标进行语义描述。

进一步，所述目标跟踪模块用于将目标检测模块检测得到的感兴趣目标所占区域大小与阈值做比较，判断其清晰程度，若小于阈值，则控制跟踪相机对感兴趣目标进行抓拍。

本发明有益的技术效果在于：

1.借助编码模块仅对感兴趣目标区域进行编码，编码区域极大减小，极大地提高了对静态背景视频的压缩率；不管是2k，还是4k和8k超高清视频，编码区域都非常小，码流存储量极低，仅仅使用目前系统的存储空间就很容易达到6～12个月的存储时间，无需特别增加外设，降低了监控系统的存储压力和成本。

2.由于只对感兴趣的目标区域编码，所有的码率都用在感兴趣目标上，因此目标区域图像的还原清晰度高，能够让用户看清楚有意义的内容和目标，还可以根据检测结果，反馈跟踪相机对感兴趣目标进行变焦放大、跟踪抓拍等操作，这样就会使得目标区域图像的清晰度更高，提高了监控质量

3.利用语义描述模块对静态背景视频中的感兴趣目标进行语义描述，这样，使得查询检索关键信息即感兴趣目标变得非常方便。

4.对于4k和8k等超高清视频扩展性能好。对于分辨率的提高，除了智能分析提高了计算量之外，目标区域编码，存储量，语义表达等处理都不会带来很大的压力。

附图说明

图1为本发明的总体框架示意图。

具体实施方式

下面结合附图及较佳实施例详细说明本发明的具体实施方式。

如图1所示，本发明提供了一种用于动态环境的监控系统，包括摄像头、目标检测模块、编码模块、语义描述模块和目标跟踪模块，该摄像头用于对被监控的动态环境进行拍摄，获得对应的静态背景视频；该目标检测模块用于对拍摄的静态背景视频进行图像处理，找出感兴趣目标；该编码模块用于对图像处理后的感兴趣目标进行编码，并存储至数据库中；该语义描述模块用于对图像处理后的感兴趣目标进行语言描述，并存储至数据库中；该目标跟踪模块用于根据感兴趣目标在静态背景视频中的清晰程度，对初始进入或者即将离开动态环境的感兴趣目标进行跟踪拍摄。这样，借助目标检测模块对静态背景视频中的每一帧图像进行感兴趣目标检索，根据检索结果，利用目标跟踪模块对初始进入或者即将离开动态环境的感兴趣目标进行跟踪拍摄，同时，利用编码模块对每一帧图像中的感兴趣目标进行编码，利用语义描述模块对每一帧图像中的感兴趣目标进行语义描述，从而可以大大提高静态背景视频的压缩率，降低监控系统的存储压力，提高用户对感兴趣目标检索的便捷性。

该目标检测模块用于对各种感兴趣目标通过机器学习建立目标识别模型，然后利用目标识别模型对静态背景视频中的每一帧图像进行人工智能分析，检测是否有对应的感兴趣目标出现，若检测到感兴趣目标出现，则判断感兴趣目标的对应类型，并记录对应的帧序号、所处位置及区域大小。

首先，根据被监控动态环境的实际情况，设置较可能出现或者用户比较关心的人或者物做感兴趣目标，如行人、汽车、电动车等等，建立目标样本库，然后，提取目标样本库中各个各种感兴趣目标样本的特征，通过机器学习方法如神经网络、深度学习等进行训练，使其可以识别出对应的感兴趣目标，建立目标识别模型，最后，利用目标识别模型对静态背景视频中的每一帧图像进行感兴趣目标识别。如果识别出感兴趣目标，则判断感兴趣目标的对应类型，并记录对应的帧序号、所处位置及区域大小，以便为后续编码模块进行图像帧分类、区域编码等提供判定基础，为语义识别模块对每一帧图像中的感兴趣目标描述提供检索基础，也为目标跟踪模块就是否进行目标抓拍提供判定基础。

该目标跟踪模块包括跟踪相机和比较模块，该比较模块用于将目标检测模块检测得到的感兴趣目标所占区域大小与阈值做比较，判断其清晰程度，当然也可以利用其它指标作为清晰程度的判定，如。。。。。若小于阈值，则控制跟踪相机对感兴趣目标进行抓拍。大多数情况下，感兴趣目标初始进入或者即将离开被监控动态区域时，由于处于被监控动态区域的边缘，使得视频中感兴趣目标可能会出现清晰程度欠佳的情况，为了提高监控质量，便于后续用户查询，增设能够旋转的跟踪相机，可以设置在被监控动态区域的边缘位置，仅在必要的时候才开启进行抓拍作业，减少对监控系统存储空间的占用。

该编码模块用于以是否包含感兴趣目标，对静态背景视频的所有帧图像进行分类，对于包含感兴趣目标的图像，仅对感兴趣目标进行编码，对于不包含感兴趣目标的图像则采用跳帧编码。具体地，将静态背景视频中包含感兴趣目标的图像划分为目标帧，不包含感兴趣目标的图像划分为背景帧；将每个目标帧中各个感兴趣目标对应的区域分割出来，单独进行编码，其余区域不编码，形成目标帧编码流，对背景帧采用跳帧编码，形成背景帧编码流；将目标帧编码流和背景帧编码流按照视频中每帧对应的时间顺序排列，形成完整的视频编码流。这样，减少了编码区域，极大地提高了对静态背景视频的压缩率；不管是2k，还是4k和8k超高清视频，编码区域都非常小，码流存储量极低，仅仅使用目前系统的存储空间就很容易达到6～12个月的存储时间，同时，由于只对感兴趣的目标区域编码，所有的码率都用在感兴趣目标上，因此目标区域图像的还原清晰度高，能够让用户看清楚有意义的内容和目标。

该语义描述模块用于将静态背景视频中每一帧图像是否出现感兴趣目标，以及感兴趣目标的类型和位置与对应帧图像的记录时间关联起来，通过语义表达方法建立检索索引，根据目标检测模块的检测结果，从检索索引中找出对应语义，对检测出的感兴趣目标进行语义描述。

以下用一个具体实施例详细说明本发明的监控系统的操作过程：

假设有一段10000帧的静态背景视频，图像大小1920x1080，也可以是3840x2160，7680x4320，……，假设帧率f为25fps，也可以是30，50，60，……，感兴趣目标为人和汽车。

1.对输入的静态背景视频进行人工智能分析，检测与跟踪感兴趣目标

由于用户设定的感兴趣目标类型为汽车和人，首先通过机器学习大量的人和汽车的形状样本，建立汽车和人的目标识别模型，然后对于输入静态背景视频的每一帧图像，进行人工智能分析，检测是否有感兴趣目标出现。检测结果：

a)从第50帧开始，发现人目标，目标矩形区域的左上点坐标(90，80)，右下点坐标(200，150)，并且每帧向右移动1个像素。第1770帧后开始目标移出图像，第1830帧目标完全消失，人在图像中停留了71.2秒。

b)从第500帧开始，发现汽车目标，目标矩形区域的左上点坐标(30，200)，右下点坐标(500，450)，并且每帧向右移动4个像素。第855帧后开始目标移出图像，第972帧目标完全消失，汽车在图像中停留了18.9秒。

2.根据前面分析，对静态背景视频进行语义描述，并建立检索索引

首先建立一套目标描述的语义表达方法包括：目标、出现时间、消失时间、目标区域、运动方向、运动速度等等。假设基准时间为12：00：00，则建立检索索引为：人；12:00:02：12:01:11；目标矩形区域的左上点坐标(90，80)：右下点坐标(200，150)；运动方向向右；速度为25像素/秒；汽车；12:00:20：12:00:38；目标矩形区域为左上点坐标(30，200)：右下点坐标(500，450)；运动方向向右；速度为100像素/秒。将上面语义表达对应每帧图像记录下来，存放到数据库中。

3.对感兴趣目标区域编码，得到高清晰度图像

根据前面分析，静态背景视频中从第50帧到1830帧有感兴趣目标，其他图像为背景帧。从第50帧到1830帧，只对感兴趣目标区域编码，其他区域不编码；对背景帧进行跳帧编码，假设跳帧间隔为5000，则对第1帧进行背景帧编码，然后跳过5000帧的背景帧后，再对第6780帧进行背景帧编码。

4.指导跟踪相机对感兴趣目标进行跟踪和变焦放大

根据前面分析，在视频中检测与跟踪感兴趣目标，如果发现感兴趣目标越来越小，不清晰，则指导跟踪相机对目标进行跟踪和变焦放大。从第1770帧后人目标开始移出图像，可以调用跟踪相机对人进行跟踪和变焦放大；从第855帧后汽车目标开始移出图像，可以调用跟踪相机对汽车进行跟踪和变焦放大。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。