本发明涉及航天领域，尤其涉及一种基于mapreduce的视频人员模糊检索并行化方法。
背景技术：
随着视频监控数据量的快速增长，以及摄像头高清化、超高清化的趋势的加强，监控视频在违法人员的追捕中发挥着越来越重要的作用。但现有技术中利用模板匹配的方式进行目标检索，识别准确率低，不适用于实时高效的在线检索。
因此，现有技术中存在对一种能够大幅度提高监控视频的人员目标识别自动化程度、速率和准确率以及提高监控视频数据的利用率的检索方法的需要。
技术实现要素：
针对上述现有技术的现状，本发明提供一种基于mapreduce的视频人员模糊检索并行化方法，大幅度提高监控视频的人员目标识别自动化程度、速率和准确率以及提高监控视频数据的利用率。
本发明提供的基于mapreduce的视频人员模糊检索并行化方法，其改进之处在于，所述方法包括如下步骤：
(1)将视频数据传到原始数据模块的hdfs模块中，所述hdfs模块对所述视频进行切分后存储到原始数据模块的hbase数据库中；
(2)利用hadoop的mapreduce模型，在映射前，根据所述视频文件计算输入分片，每个输入分片针对一个映射任务，在每一个映射任务中，利用训练好的深度神经网络和特定的方法进行解码，并利用运动物体检测方法，检测出所述视频中运动的物体；
(3)利用深度学习方法，检测所述运动的物体是否是人员，是则进行下一步，否则返回步骤(1)进行下个视频数据的传送；
(4)利用所述深度学习方法和传统方法结合的方式提取所述人员的服饰特征，包括，衣服种类，颜色信息等；
(5)利用所述深度学习方法和先验知识对所述人员进行检索，识别出所述人员外貌信息，包括高矮、胖瘦、男女等；
(6)将所述外貌信息保存到处理结果存储模块的hbase数据库中，按照相似度高低排序，将所述视频与所述外貌信息进行一一对应，在客户端发送查看请求时，将所述视频与所述外貌信息进行整合，反馈给客户端，实现识别结果的可视化。
优选的，所述步骤(3)利用深度学习方法，检测所述运动的物体是否是人员的步骤包括：
a)对所述视频进行解码；
b)利用vibe、帧差法或光流法，检测出视频中运动的物体；
c)利用训练好的cnn识别网络，判断出运动的物体是否是人员。
较优选的，所述传统方法包括中位切分法、八叉树方法、k-means方法和色彩建模方法。
较优选的，所述特定的方法包括ssd方法和yolo方法。该两者都属于cnn识别网络的延伸，其中ssd方法的优势在于它结合了多模型，实现了对多尺度下目标的有效识别，提高了对多尺度目标的识别准确率。yolo方法的优势在于识别目标的同时对目标进行定位，缩短了识别时间，提高了识别效率。
较优选的，步骤(5)利用所述深度学习方法和先验知识对所述人员进行检索，是指针对所述人员相对于整幅图像的占比以及目标自身的长宽比，当所述人员相对于整幅图像的占比高于阈值则认为该人员是高的，反之则认为该人员是矮的；当所述人员相对于整幅图像的占比高于阈值则认为该人员是胖的，反之则认为该人员是瘦的。
较优选的，利用mapreduce模型将人员检索移植到基于hadoop的分布式集群中，提升检索的速度。
本发明的技术方案中，利用深度学习方法显著的提高了对目标人员的特征提取准确率；利用mapreduce大大的加快了视频处理的速度。大幅度提高监控视频的人员目标识别自动化程度、速率和准确率以及提高监控视频数据的利用率。
附图说明
图1为本发明实施例的基于mapreduce的视频人员模糊检索并行化方法的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。
本实施例采用高性能计算机实现，其图像信号处理器采用英伟达gpu泰坦系列硬件平台，软件代码通用java语言实现，在eclipse平台下编译并运行。本实施例通过在gpu服务器集群上部署识别网络，运用mapreduce并行计算技术完成大批量离线数据的识别任务。mapreduce在历史的视频数据中检索目标人物，从之前保存到hdfs中的数据作为hadoop的mapreduce的输入，在mapreduce中利用训练好的深度神经网络和特定的方法进行解码识别，利用多层筛选器对目标人员进行模糊检索。
图1示出了本发明实施例的基于mapreduce的视频人员模糊检索并行化方法的流程图。参见图1，基于mapreduce的视频人员模糊检索并行化方法包括如下步骤。
(1)将视频数据传到原始数据模块的hdfs模块中，视频在hdfs模块中按照sequencefile的形式存储，在存入sequencefile之前，需要将视频文件进行切分，按照方法复杂度，将每一段视频的处理时间控制在5分钟左右。
(2)利用hadoop的mapreduce模型，在映射(map)前，根据所述视频文件计算输入分片(inputsplit)，每个输入分片针对一个映射任务，在每一个映射任务中，利用训练好的深度神经网络和特定的方法进行解码，并利用运动物体检测方法，检测出所述视频中运动的物体；
(3)利用深度学习方法，检测所述运动的物体是否是人员，是则进行下一步，否则返回步骤(1)进行下个视频数据的传送；其中，利用深度学习方法，检测所述运动的物体是否是人员的步骤包括：
a)对所述视频进行解码；
b)利用vibe、帧差法或光流法，检测出视频中运动的物体；
c)利用训练好的cnn识别网络，判断出运动的物体是否是人员。
(4)利用所述深度学习方法和传统方法结合的方式提取所述人员的服饰特征，包括，衣服种类，颜色信息等；其中，传统方法包括中位切分法、八叉树方法、k-means方法和色彩建模方法。
(5)利用所述深度学习方法和先验知识对所述人员进行检索，识别出所述人员外貌信息，包括高矮、胖瘦、男女等。具体的，指针对所述人员相对于整幅图像的占比以及目标自身的长宽比，当所述人员相对于整幅图像的占比高于阈值则认为该人员是高的，反之则认为该人员是矮的；当所述人员相对于整幅图像的占比高于阈值则认为该人员是胖的，反之则认为该人员是瘦的。
(6)将所述外貌信息保存到处理结果存储模块的hbase数据库中，按照相似度高低排序，将所述视频与所述外貌信息进行一一对应，在客户端发送查看请求时，将所述视频与所述外貌信息进行整合，反馈给客户端，实现识别结果的可视化。
根据本发明的实施例，利用深度学习方法显著的提高了对目标人员的特征提取准确率；利用mapreduce大大的加快了视频处理的速度。大幅度提高监控视频的人员目标识别自动化程度、速率和准确率以及提高监控视频数据的利用率。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。