一种智能人身识别监控跟踪传输方法及系统与流程

本发明涉及智能控制技术领域，具体涉及一种智能人身识别监控跟踪传输方法及系统。

背景技术

随着社会经济的快速发展，科技的快速进步，人们的生活方式已经发生了改变，远程视频、视频监控应用的越来越广。比如远程教育，在远程的任意地方，就可以自由的选择需要学习的内容进行学习，再比如安装于商业广场、超市以及学校等公共安全较为重要场合的视频监控系统。

而现有的视频分析过程中对于人身目标的提取有较多的问题，比如如何有效确定人身目标，如何消除动态背景在前景提取时的影响，如何减轻目标阴影对目标提取的影响以及如果降低噪声，通常常用的帧差法比较适用于运动目标和背景的灰度相差较多，并且背景变化很小的视频图像处理，无法广泛应用，其他方法也无法有效解决以上问题。

另一方面，现有技术中也存在基于视频中目标的粗略定位位置来调整拍摄角度的直播方式，但是这种方式的调整精度不够，调整的过程中容易对拍摄画面差生影响，拍摄图像可能模糊不清，并且无法满足大视场以及目标活动区间过大的情况，会出现较大盲区或通过远距离的录制采集，实际观看时可能出现无法准确跟踪人身目标。

此外在现有技术中，视频通过网络进行传输因为受到网络带宽等因素的影响，很容易出现时断时续的现象，影响播放的效果。无论是采用哪种方式，要想获得清晰流畅的人身目标的视频播放效果，都需要对远程视频动中产生的流媒体数据进行有效压缩。但是，现有技术尚没有提供对人身目标有针对性的视频压缩解决方案。

技术实现要素：

针对现有技术的不足，本发明提供一种智能人身识别监控跟踪传输方法及系统，能够准确提取出视频图像中的人身目标，并根据目标的移动同步调整视频的采集角度和方向，时刻清晰完整的采集到人身目标的图像，既降低了视频传输中数据量又保证了人身目标信息的准确有效性，具有较高的实用价值和广泛的应用前景。

本发明解决技术问题采用如下技术方案：

本发明提供了一种智能人身识别监控跟踪传输方法，包括以下步骤：

s1、循环检测周围环境中人身红外信号，当检测到人身红外信号后采取以下操作：

s11、检测视频摄像设备，并自动启动；

s12、实时采集视频数据，将视频数据分离成图像数据和语音数据按照时间顺序存储等待处理；

s2、对步骤s1采集的视频数据的每一帧图像数据使用fasterrcnn进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔t分段提取存储等待处理；

s3、将步骤s2中分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到人身目标数据，包括：

s31、对该段图像数据中的前m帧图像中任一像素点进行建模得到该像素点的概率分布函数：

x表示该像素点灰度值，t为该帧图像对应的时刻，k为选取拟合的高斯模型的个数η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；

s32、在获得概率分布函数p(xt)后，从第m+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；

s33、根据s32中提取的前景像素数据组合处理得到每一帧图像中的人身目标数据；

s4、以每帧图像的中心点为原点建立直角坐标系，得到步骤s3中人身目标的位置参数，根据相邻帧图像间位置参数的差值得到人身目标的运行轨迹；

s5、根据人身目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，根据得到的调整参数调整视频采集的角度和方向用以保证人身目标平稳恢复到位于图像中心点位置处；

s6、将采集的视频数据经过处理压缩操作后传输至服务器存储等待用户调看，所述处理压缩操作包括以下步骤：

s61、根据步骤四处理得到的人身目标的位置参数按照预设的帧数q，计算出相邻q帧图像间的人身目标位置变化差值△s；

s62、当目标位置变化差值△s超过预设阈值y时，将相邻q帧图像全部压缩传输至服务器；

当目标位置变化差值△s未超过预设阈值y时，将相邻q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像压缩送入服务器存储。

优选地，所述步骤s33中对前景像素数据的处理包括卡尔曼滤波和形态学处理。

优选地，所述步骤s5还包括以下步骤：

若调整参数超过预定阈值，则按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含人身目标的另路视频传输信号。

优选地，所述s2中在使用fasterrcnn进行目标框定前还对每一帧图像进行了预处理，包括：采用hsv色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。

本发明还提供一种智能人身识别监控跟踪传输系统，包括：

视频采集模块，包括多路视频采集成套装置，用于实时采集视频数据，将视频数据分离成图像数据和语音数据按照时间顺序存储等待处理，并根据调整信号调整每路视频采集的角度和方向；

人身检测模块，用于循环检测周围环境中人身红外信号，当检测到人身红外信号后触发视频采集模块；

存储模块，用于存储视频采集实时采集视频数据；

人身目标框定处理模块，用于提取存储模块存储的视频数据，并将每一帧图像数据使用fasterrcnn进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔t分段提取存储等待处理；

前景提取模块，用于分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到人身目标数据，包括：

数据建模模块，用于对该段图像数据中的前m帧图像中任一像素点进行建模得到该像素点的概率分布函数：

x表示该像素点灰度值，t为该帧图像对应的时刻，k为选取拟合的高斯模型的个数η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；

像素分类模块，用于在获得概率分布函数p(xt)后，从第m+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；

人身目标生成模块，用于根据提取的前景像素数据组合处理得到每一帧图像中的人身目标数据；

位置标定模块，用于以每帧图像的中心点为原点建立直角坐标系，得到人身目标的位置参数，根据相邻帧图像间位置参数的差值得到人身目标的运行轨迹；

调整参数生成模块，用于根据人身目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，并将调整参数反馈至视频采集模块，视频采集模块根据得到的调整参数调整视频采集的角度和方向用以保证人身目标平稳恢复到位于图像中心点位置处；

视频数据压缩处理模块，用于根据得到的人身目标的位置参数按照预设的帧数q，计算出相邻q帧图像间的人身目标位置变化差值△s；当目标位置变化差值△s超过预设阈值y时，将相邻q帧图像全部压缩传输至服务器；当目标位置变化差值△s未超过预设阈值y时，将相邻q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像数据并压缩；

通信模块，用于将视频采集模块采集的视频数据传输至存储模块、将经过视频数据压缩处理模块处理后的视频图像数据送入服务器存储以及将调整参数传输至视频采集模块。

优选地，所述人身目标生成模块还包括卡尔曼滤波模块和形态学处理模块。

优选地，所述调整参数生成模块中还包括参数异常处理模块，用于当调整参数超过预定阈值时，向视频采集模块发出指令信号，视频采集模块按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含人身目标的另路视频传输信号。

优选地，还包括图像预处理模块，用于在使用fasterrcnn进行目标框定前还对每一帧图像进行了预处理，包括：采用hsv色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。

优选地，所述视频采集成套装置包括摄像装置和调整装置；

所述摄像装置包括主摄像装置和辅助摄像装置，所述辅助摄像装置为两个，分别与主摄像装置有50％的叠加视场，所述辅助摄像装置间无视场叠加；

所述调整装置用于根据通信模块传送的调整参数调整摄像装置的视频采集的角度和方向。

优选地，所述选取拟合的高斯模型的个数k值的大小为4个。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明的一种智能人身识别监控跟踪传输方法通过对图像数据先进行目标框定，再采用混合高斯模型进行前景提取，进而准确得到人身目标的区域，创新的采用这种组合提取模式能够从不同复杂程度的背景中辨识出运动目标，还能够有效的避免由于摄像头抖动导致背景变化剧烈，并有效分离背景，从而能够完成跟踪识别等后续任务。

(2)本发明的一种智能人身识别监控跟踪传输方法通过对提取的人身目标进行建立坐标系式的位置定位，能够自动追踪人身目标，不需要人工调整，即可实时准确清新的采取到人身目标的视频图像信息，而且可以持续的调整摄像装置，使得用户调看的更清楚，体验更佳。

(3)本发明的一种智能人身识别监控跟踪传输方法通过数据压缩处理，创新的采用根据人身目标的位置移动程度，进行精简帧数，可以在保证远程传输过程中充分展示人身目标信息的同时，有效降低远程数据的传输量，从而有效降低开展远程监控的成本。

(4)本发明的一种智能人身识别监控跟踪传输方法，通过对人身目标定位输出前进行了卡尔曼滤波和形态学处理，有效的降低了噪声光照的影响，提高了目标和图像的信噪比；同时在图像预处理时采用hsv色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。

(5)本发明的一种智能人身识别监控跟踪传输系统提供了一种方便、快捷、高效、低成本运作的人身目标锁定跟方式，系统灵活性、自动化程度较高，识别速度快、准确率高，同时还具有通用性强、开放性强、扩展性强的优点。

(6)本发明的一种智能人身识别监控跟踪传输系统能够准确提取出视频图像中的人身目标，并根据目标的移动同步调整视频的采集角度和方向，时刻清晰完整的采集到人身目标的图像，既降低了视频传输中数据量又保证了人身目标信息的准确有效性，具有较高的实用价值和广泛的应用前景。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的一种智能人身识别监控跟踪传输方法流程图；

图2为本发明的一种智能人身识别监控跟踪传输方法步骤s1的具体流程图；

图3为本发明的一种智能人身识别监控跟踪传输方法的前景提取目标识别步骤的具体流程图；

图4为本发明的一种智能人身识别监控跟踪传输方法的视频精简压缩步骤的具体流程图；

图5为本发明的一种智能人身识别监控跟踪传输方法的图像预处理具体流程图；

图6为本发明的一种智能人身识别监控跟踪传输系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，所属技术领域的技术人员知道，本发明的各个方面可以实现为系统、方法或计算机程序产品。因此，本发明的各个方面可以具体实现为软硬件结合的形式，这里可以统称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明的各个方面还可以实现为在一个或多个微处理器可读介质中的计算机程序产品的形式，该微处理器可读介质中包含微处理器可读的程序代码。

下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些计算机程序指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机程序指令存储在计算机可读介质中，这些指令使得计算机、其它可编程数据处理装置、或其他设备以特定方式工作，从而，存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令的制造品(articleofmanufacture)。也可以将计算机程序指令装载到计算机、其它可编程数据处理装置、或其它设备上使一系列操作步骤在计算机、其它可编程装置、或其它设备上得到执行，形成计算机实现过程，以便在计算机或其它可编程装置上执行的指令提供实现在流程图和/或框图中的一个或多个方框中规定的功能/动作的过程。

如图1-6所示，本实施例的一种智能人身识别监控跟踪传输方法，包括以下步骤：

s1、循环检测周围环境中人身红外信号，当检测到人身红外信号后采取以下操作：

s11、检测视频摄像设备，并自动启动；

s12、实时采集视频数据，将视频数据分离成图像数据和语音数据按照时间顺序存储等待处理；

s2、对步骤s1采集的视频数据的每一帧图像数据使用fasterrcnn进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔t分段提取存储等待处理；

s3、将步骤s2中分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到人身目标数据，包括：

s31、对该段图像数据中的前m帧图像中任一像素点进行建模得到该像素点的概率分布函数：

x表示该像素点灰度值，t为该帧图像对应的时刻，k为选取拟合的高斯模型的个数η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；

s32、在获得概率分布函数p(xt)后，从第m+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；

s33、根据s32中提取的前景像素数据组合处理得到每一帧图像中的人身目标数据；

s4、以每帧图像的中心点为原点建立直角坐标系，得到步骤s3中人身目标的位置参数，根据相邻帧图像间位置参数的差值得到人身目标的运行轨迹；

s5、根据人身目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，根据得到的调整参数调整视频采集的角度和方向用以保证人身目标平稳恢复到位于图像中心点位置处；

s6、将采集的视频数据经过处理压缩操作后传输至服务器存储等待用户调看，所述处理压缩操作包括以下步骤：

s61、根据步骤四处理得到的人身目标的位置参数按照预设的帧数q，计算出相邻q帧图像间的人身目标位置变化差值△s；

s62、当目标位置变化差值△s超过预设阈值y时，将相邻q帧图像全部压缩传输至服务器；

当目标位置变化差值△s未超过预设阈值y时，将相邻q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像压缩送入服务器存储。

本实施例步骤s33中对前景像素数据的处理包括卡尔曼滤波和形态学处理。

本实施例步骤s5还包括以下步骤：

若调整参数超过预定阈值，则按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含人身目标的另路视频传输信号。

本实施例步骤s2中在使用fasterrcnn进行目标框定前还对每一帧图像进行了预处理，包括：采用hsv色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。

本实施例中的一种智能人身识别监控跟踪传输系统，包括：

视频采集模块，包括多路视频采集成套装置，用于实时采集视频数据，将视频数据分离成图像数据和语音数据按照时间顺序存储等待处理，并根据调整信号调整每路视频采集的角度和方向；

人身检测模块，用于循环检测周围环境中人身红外信号，当检测到人身红外信号后触发视频采集模块；

存储模块，用于存储视频采集实时采集视频数据；

人身目标框定处理模块，用于提取存储模块存储的视频数据，并将每一帧图像数据使用fasterrcnn进行目标框定，生成建议框，将生成建议框中的图像数据按照预设时间间隔t分段提取存储等待处理；

前景提取模块，用于分段提取存储的生成建议框中的图像数据混合高斯模型进行前景提取识别得到人身目标数据，包括：

数据建模模块，用于对该段图像数据中的前m帧图像中任一像素点进行建模得到该像素点的概率分布函数：

x表示该像素点灰度值，t为该帧图像对应的时刻，k为选取拟合的高斯模型的个数，η为高斯概率密度函数，ω属于不同函数的权重，μ和ε分别是t时刻第n个高斯模型的均值向量和协方差矩阵；

像素分类模块，用于在获得概率分布函数p(xt)后，从第m+1帧开始，对每一帧图像数据获取后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，若相匹配，则认为该像素点是背景像素；否则提取为前景像素数据；

人身目标生成模块，用于根据提取的前景像素数据组合处理得到每一帧图像中的人身目标数据；

位置标定模块，用于以每帧图像的中心点为原点建立直角坐标系，得到人身目标的位置参数，根据相邻帧图像间位置参数的差值得到人身目标的运行轨迹；

调整参数生成模块，用于根据人身目标的运行轨迹，得到包括调整时间间隔、角度信息、高度信息、运动速度信息在内的调整参数，并将调整参数反馈至视频采集模块，视频采集模块根据得到的调整参数调整视频采集的角度和方向用以保证人身目标平稳恢复到位于图像中心点位置处；

视频数据压缩处理模块，用于根据得到的人身目标的位置参数按照预设的帧数q，计算出相邻q帧图像间的人身目标位置变化差值△s；当目标位置变化差值△s超过预设阈值y时，将相邻q帧图像全部压缩传输至服务器；当目标位置变化差值△s未超过预设阈值y时，将相邻q帧图像按照每隔一帧去除一帧图像，得到精简版的视频图像数据并压缩；

通信模块，用于将视频采集模块采集的视频数据传输至存储模块、将经过视频数据压缩处理模块处理后的视频图像数据送入服务器存储以及将调整参数传输至视频采集模块。

本实施例中的人身目标生成模块还包括卡尔曼滤波模块和形态学处理模块。

本实施例中的调整参数生成模块中还包括参数异常处理模块，用于当调整参数超过预定阈值时，向视频采集模块发出指令信号，视频采集模块按最大阈值调整视频采集的角度和方向，同时发出异常报警信息，关闭该路视频传输信号，接入包含人身目标的另路视频传输信号。

本实施例中的智能人身识别监控跟踪传输系统还包括图像预处理模块，用于在使用fasterrcnn进行目标框定前还对每一帧图像进行了预处理，包括：采用hsv色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞。

本实施例中的视频采集成套装置包括摄像装置和调整装置；

所述摄像装置包括主摄像装置和辅助摄像装置，所述辅助摄像装置为两个，分别与主摄像装置有50％的叠加视场，所述辅助摄像装置间无视场叠加；

所述调整装置用于根据通信模块传送的调整参数调整摄像装置的视频采集的角度和方向。

本实施中的拟合的高斯模型的个数k值的大小为4个。

本实施例中相对于现有技术的显著的进步和实质性特点分析如下：

本实施中先对视频图像进行了预处理，包括采用hsv色彩空间减轻了目标阴影对目标提取的影响，采用中值滤波器去掉了椒盐噪声，采用图像二值化使图像变的简单，采用图像学去噪中的腐蚀和膨胀分别提取消除图像噪声和填充图像空洞，为后续的目标框定和前景提取降低了误码率和难度，特别的选用这几种操作能够达到协同作用，将视频图像处理中可能影响的因素基本上排查一遍，有效的提高了后续处理的精度；

其次本申请中创造性的先使用fasterrcnn对人身目标进行大致框定，再采用混合高斯模型进行前景提取可以有效解决由于摄像头晃动等引起的背景变化剧烈从而导致的前景提取效果不好的问题，在使用fasterrcnn对人身目标进行大致框定后，框就作为一个噪声消除的依据，在后续进行前景提取时采用混合高斯模型进行前景提取，并且采用像素点建模，对新进像素点逐一比对，同时每一帧新图像进入都更新混合高斯模型，这样能够尽量将高斯模型的拟合度增加，本实施例中通过多次试验，采用4个拟合的高斯模型能够在速度和效果上达到较好的平衡；

本申请在人身目标确定后采用建立坐标系，确定人身目标的位置，得到其变化量，从而调整视频采集的角度和方向，乃至切换视频的传输路径，从而准确快速清晰的将需要跟踪的目标视频图像采集存储传输，此外还通过对比移动距离，从而间隔删除图像帧幅数，有效降低了传输的数据量，节约了资源提高了速率，也保证了数据准确有效性；

本实施例中在人身目标最终输出前还对其进行了卡尔曼滤波和形态学处理，能够实现人身目标的平滑，使得在人体运动目标追踪得到更好的视觉和感官的效果。

本申请对人身目标的提取跟踪的全过程中，整体的优化和设计，使得目标提取更为准确、跟踪更为及时、反馈更为顺畅、实际使用效果感受更好，相对于现有技术具有显著的进步和实质性特点。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本发明的一种智能人身识别监控跟踪传输方法能够准确提取出视频图像中的人身目标，并根据目标的移动同步调整视频的采集角度和方向，时刻清晰完整的采集到人身目标的图像，既降低了视频传输中数据量又保证了人身目标信息的准确有效性，具有较高的实用价值和广泛的应用前景。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。