基于gpu的视频采集与处理装置及系统的制作方法
【专利摘要】本发明涉及一种基于GPU的视频采集与处理装置及系统，该装置包括：至少一个并行工作的视频采集与处理单元，每个视频采集与处理单元包括：视频采集模块，针对与所述视频采集与处理单元相对应的视频获取部件所获取的视频流信息生成视频帧；视频处理模块，与所述视频采集模块连接，对所生成的视频帧进行至少一种处理并生成结果数据，所述视频处理模块针对各处理分别调用基于图形处理器GPU的处理接口以进行并行处理；以及数据发送模块，与所述视频处理模块连接，将来自所述视频处理模块的结果数据发送到服务器。本发明实施例的装置在提高了视频分析处理实时性的同时，节省了用于远程视频数据传输的传输带宽。
【专利说明】
基于GPU的视频采集与处理装置及系统
技术领域
[0001 ] 本发明涉及视频领域，尤其涉及一种基于GPU(Graphics Processing Unit，图形处理器)的视频采集与处理装置及系统。
【背景技术】
[0002]近年来，随着计算机和网络技术的发展，远程视频采集与处理技术也得到了进步，视频采集与处理系统已在交通、安防等领域取得了广泛的应用。目前，现有的频采集与处理系统是把前端的原始视频通过网络直接输入到后端服务器，然后由后端服务器进行视频分析，这种方式主要存在以下问题:一是需要从前端到后端传输大量原始视频数据，占用大量网络带宽;二是存在一定的视频分析处理的延迟。
【发明内容】
[0003]技术问题
[0004]有鉴于此，本发明要解决的技术问题是，视频传输占用的传输带宽过大和视频分析处理的延迟过大。
[0005]解决方案
[0006]为了解决上述技术问题，提出一种基于GPU的视频采集与处理装置，包括至少一个并行工作的视频采集与处理单元，每个视频采集与处理单元包括:视频采集模块，针对与所述视频采集与处理单元相对应的视频获取部件所获取的视频流信息生成视频帧;视频处理模块，与所述视频采集模块连接，对所生成的视频帧进行至少一种处理并生成结果数据，所述视频处理模块针对各处理分别调用基于图形处理器GPU的处理接口以进行并行处理；以及数据发送模块，与所述视频处理模块连接，将来自所述视频处理模块的结果数据发送到服务器。
[0007]在一个示例中，所述视频采集模块针对所述相对应的视频获取部件建立独立的视频采集线程，以根据所述相对应的视频获取部件所获取的视频流信息生成视频帧;所述视频处理模块针对所述相对应的视频获取部件建立独立的视频处理线程，以对所生成的视频帧进行至少一种处理并生成结果数据;所述数据发送模块针对所述相对应的视频获取部件建立独立的数据发送线程，以将来自所述视频处理模块的结果数据发送到服务器。
[0008]在一个示例中，所述视频处理模块，包括:判断子模块，用于判断所述视频采集模块所生成的视频帧是否需要进行预处理;预处理子模块，用于在所述视频采集模块所生成的视频帧需要进行预处理的情况下，对所述视频帧先进行至少一种预处理;处理子模块，用于对经过预处理的视频帧进行所述处理并生成结果数据，其中，所述预处理子模块对各预处理分别调用基于GPU的预处理接口以进行并行处理。
[0009]在一个示例中，所述基于GPU的处理接口包括:基于GPU的人脸识别处理接口、基于GHJ的车牌识别处理接口、和基于GPU的视频摘要处理接口中的一个或多个。
[0010]在一个示例中，所述基于GPU的预处理接口包括:基于GPU的去噪预处理接口、基于GPU的锐化预处理接口、基于GPU的去雾预处理接口、和基于GPU的夜间增强预处理接口中的一个或多个。
[0011 ]在一个示例中，所述视频处理模块，还包括:并行处理子模块，用于响应于对各基于GPU的预处理接口或处理接口的调用，对每个所述预处理或者所述处理进行基于GPU的并行化处理，所述并行处理子模块包括:定位单元，用于定位所述预处理或者所述处理中耗时多的性能瓶颈部位;划分单元，用于将所述性能瓶颈部位划分成包含至少一层循环体的单独模块;复制单元，用于将内存中所述循环体涉及的输入、输出数据复制到GHJ显存;运算单元，用于编写GPU设备核心函数替换所述的单独模块，利用所述GPU显存中的输入、输出数据进行GPU运算，并将运算结果复制回所述内存。
[0012]为了解决上述技术问题，提出一种基于GPU的视频采集与处理系统，包括:上述的基于GPU的视频采集与处理装置;至少一个视频获取部件，各视频获取部件与所述视频采集与处理装置中的相对应的视频采集与处理单元的视频采集模块连接，用于为所述视频采集模块提供视频流信息；以及服务器，分别与所述视频采集与处理装置中的各视频采集与处理单元通信连接。
[0013]在一个示例中，所述服务器包括:数据接收模块，分别与各视频采集与处理单元的数据发送模块连接，用于接收所述数据发送模块发送的所述结果数据;数据存储模块，与所述数据接收模块连接，用于存储所述的结果数据。
[0014]在一个示例中，所述服务器还包括:数据检索模块，与所述数据接收模块和/或所述数据存储模块连接，用于针对所述数据接收模块所接收的结果数据和/或所述数据存储模块所存储的结果数据进行检索，生成检索信息。
[0015]在一个示例中，所述服务器还包括:数据显示模块，与所述数据接收模块、所述数据存储模块和所述数据检索模块中的一个或多个连接，用于显示所述数据接收模块所接收的结果数据、所述数据存储模块所存储的结果数据和所述检索信息中的一个或多个。
[0016]有益效果
[0017]本发明实施例的基于GPU的视频采集与处理装置可应用于视频采集前端，通过为各视频获取部件设立并行工作的视频采集与处理单元，而且每个视频采集与处理单元包括视频采集模块、视频处理模块和数据发送模块，每个视频处理模块分别调用基于GHJ的处理接口对视频帧进行并行处理，并且每个数据发送模块可将分析处理后结果数据并行发送到服务器。通过上述并行处理的技术手段，相比于现有的视频采集与处理系统，本发明实施例在前端高效地完成了视频采集和处理，并将处理后的结果数据而非采集的原始数据发送给服务器，由此提高了视频分析处理实时性的同时，节省了用于远程视频数据传输的传输带宽。
[0018]根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。
【附图说明】
[0019]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。
[0020]图1示出根据本发明一实施例的基于GPU的视频采集与处理装置的结构图；
[0021]图2示出根据本发明一实施例的基于GPU的视频采集与处理装置的多线程工作的示意图；
[0022]图3示出根据本发明一实施例的基于GPU的视频采集与处理装置的视频采集线程的处理流程图；
[0023]图4示出根据本发明一实施例的视频采集与处理单元的结构图；
[0024]图5示出根据本发明一实施例的视频处理线程中的视频处理流程图；
[0025]图6示出根据本发明一实施例的去噪预处理的流程图；
[0026]图7示出根据本发明一实施例的锐化预处理的流程图；
[0027]图8示出根据本发明一实施例的去雾预处理的流程图；
[0028]图9示出根据本发明一实施例的间增强预处理的流程图；
[0029]图10示出根据本发明一实施例的人脸检测的流程图；
[0030]图11示出根据本发明一实施例的人脸识别的流程图；
[0031]图12示出根据本发明一实施例的人脸识别库建立的流程图；
[0032]图13示出根据本发明一实施例的车牌识别处理的流程图；
[0033]图14示出根据本发明一实施例的基于GPU的并行化处理的流程图；
[0034]图15示出根据本发明另一实施例的基于GPU的视频采集与处理系统的结构图；
[0035]图16示出根据本发明另一实施例的基于GHJ的视频采集与处理系统的另一结构图；
[0036]图17示出根据本发明另一实施例的建立通信连接的流程图；
[0037]图18示出根据本发明另一实施例的发送结果数据到服务器的流程图。
【具体实施方式】
[0038]以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
[0039]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
[0040]另外，为了更好的说明本发明，在下文的【具体实施方式】中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。[0041 ] 实施例1
[0042]图1示出根据本发明一实施例的基于GPU的视频采集与处理装置10的结构图。如图1所示，该装置10主要包括:至少一个并行工作的视频采集与处理单元20，每个视频采集与处理单元20包括:视频采集模块21，针对与所述视频采集与处理单元相对应的视频获取部件所获取的视频流信息生成视频帧;视频处理模块22，与视频采集模块21连接，对所生成的视频帧进行至少一种处理并生成结果数据，视频处理模块22针对各处理分别调用基于图形处理器GPU的处理接口以进行并行处理;数据发送模块23，与视频处理模块22连接，将来自视频处理模块22的结果数据发送到服务器。
[0043]本发明实施例的基于GPU的视频采集与处理装置可应用于视频采集前端，通过为各视频获取部件设立并行工作的视频采集与处理单元，而且每个视频采集与处理单元包括视频采集模块、视频处理模块和数据发送模块，每个视频处理模块分别调用基于GHJ的处理接口对视频帧进行并行处理，并且每个数据发送模块可将分析处理后结果数据并行发送到服务器。通过上述并行处理的技术手段，相比于现有的视频采集与处理系统，本发明实施例在前端高效地完成了视频采集和处理，并将处理后的结果数据而非采集的原始数据发送给服务器，由此提高了视频分析处理实时性的同时，节省了用于远程视频数据传输的传输带宽。
[0044]图2示出根据本发明一实施例的基于GPU的视频采集与处理装置10的多线程工作的示意图。
[0045]在一个示例中，如图2所述，视频采集模块21可针对相对应的视频获取部件建立独立的视频采集线程，以根据该相对应的视频获取部件所获取的视频流信息生成视频帧;视频处理模块22可针对相对应的视频获取部件建立独立的视频处理线程，以对所生成的视频帧进行至少一种处理并生成结果数据;数据发送模块23可针对相对应的视频获取部件建立独立的数据发送线程，以将来自视频处理模块的结果数据发送到服务器。
[0046]以通过Nvidia公司的基于GHJ的JESTON TKl型嵌入式计算机(以下简称TKl计算机)来实现基于GPU的视频采集与处理装置10为例，TKl计算机可包括多个并行工作的视频采集与处理单元20，视频获取部件可以为摄像机，例如球型摄像机(以下简称球机)或者枪型摄像机(以下简称枪机)。通常，用于人脸识别的摄像机一般选择球机，用于车牌识别的摄像机一般选择枪机。一个TKl计算机可以连接多个摄像机，每个摄像机可进行视频采集，为与每个摄像机连接的视频采集与处理单元20中的视频采集模块21提供视频流信息。每个视频采集与处理单元20可包括三个模块:视频采集模块21、视频处理模块22、数据发送模块23。可通过视频采集和视频处理的分离，做到了视频采集和视频处理互不影响，为视频处理分析的并行打下基础。
[0047]视频采集模块21可为每个(或根据需要分组后的每组)连接到TKl计算机的摄像机建立一个独立的视频采集线程进行采集，如图2所示，视频采集线程可通过H.264协议同摄像机进行通信，可采用FFMPEG(Fast Forward MPEG)软件接口，每个视频采集线程可为其对应的视频建立多个缓冲区，持续不断地采集视频帧并把这些视频帧放入缓冲区。图3示出根据本发明一实施例的基于GHJ的视频采集与处理装置的视频采集线程的处理流程图。如图3所示，视频采集线程可采用FFMPEG库进行视频的采集。首先可进行FFMPEG解码器的注册以及FFMPEG注册，然后可寻找FFMPEG H.264解码器并打开FFMPEG H.264解码器，然后可用FFMPEG打开摄像机并获取视频流信息，选取视频流，把视频流信息写入FFMPEG解码器上下文，根据FFMPEG解码器上下文获取视频帧转换信息，可分配视频帧接收缓冲区，然后可进行视频采集循环:读取一原始帧到原始帧接收缓冲区，然后解码原始视频帧，解码后得到RGB24(Red Green Blue 24)格式视频帧，可把RGB24格式视频帧写入与数据处理线程共享的缓冲区，并可通知数据处理线程有新的视频帧已经采集到。
[0048]视频处理模块22可为每个(或根据需要分组后的每组)摄像机建立一个独立的视频处理线程，如图2所示，此视频处理线程总是拿到此摄像机对应的视频采集线程采集的最新的视频帧，并进行处理分析，处理过程中可调用基于GPU的处理接口，针对每种处理，系统都提供了基于GHJ的处理接口，通过针对各处理分别调用相应的处理接口，可并行执行各处理。由于为每个摄像机分配一个视频采集线程，一个视频处理线程，大大提高了多路视频处理的并行性和实时性，而且每个视频处理线程所调用的基于GPU的处理接口实现了每次单元视频帧处理的高并发和高吞吐量，相比于在CPU(Central Processing Unit，中央处理器)模式下极大地节省了处理时间，确保了在嵌入式计算机中进行视频分析处理的实时性。
[0049]数据发送模块23可为每个(或根据需要分组的每组)摄像机建立了一个数据发送线程，可把对应到此摄像机的视频分析和处理线程中的结果数据发送到服务器，这种每个(或每组)摄像机一个单独的数据发送线程也极大地增强了多路视频的结果数据发送的并发和实时性。数据发送线程可采用套接字同服务器进行连接并发送结果数据。
[0050]图4示出根据本发明一实施例的视频采集与处理单元20的结构图。
[0051 ]在一个示例中，如图4所示，视频处理模块22可包括:判断子模块221，可用于判断所述视频采集模块21所生成的视频帧是否需要进行预处理;预处理子模块222，可用于在所述视频采集模块21所生成的视频帧需要进行预处理的情况下，可对所述视频帧先进行至少一种预处理，处理子模块223，可用于对经过预处理的视频帧进行所述处理并生成结果数据，其中，所述预处理子模块222对各预处理可分别调用基于GPU的预处理接口以进行并行处理。通过在对视频帧进行处理之前，根据需要进行适当的预处理，可以进一步提高处理质量和效率。
[0052]在视频处理模块22针对相对应的视频获取部件建立独立的视频处理线程的情况下，可通过上述判断子模块221、预处理子模块222、和处理子模块223来实现视频处理线程的处理过程。图5示出根据本发明一实施例的视频处理线程中的视频处理流程图。视频处理线程可循环地执行图5所示的过程:根据最新帧所在的位置，读取在与视频采集线程共享的缓冲区中的最新视频帧，然后依据视频帧的情况(例如，视频帧的图像有噪点或曝光不足时)判断是否需要某种或者几种预处理(可由判断子模块221进行判断)，如果需要则可调用预处理接口进行预处理(可由预处理子模块222进行预处理)，预处理完毕后，进行处理(可由处理子模块223进行处理)，处理完毕后，可把需要发送给服务器端的结果数据存储入与数据发送线程共享的缓冲区，并可通知数据发送线程进行发送。
[0053]在一个示例中，所述基于GPU的预处理接口可包括:基于GPU的去噪预处理接口、基于GPU的锐化预处理接口、基于GPU的去雾预处理接口、和基于GPU的夜间增强预处理接口中的一个或多个。举例而言，视频帧的处理可经过两个阶段:一是预处理阶段，二是处理阶段。预处理阶段可包括去噪预处理，去雾预处理，锐化预处理，夜间增强预处理等。为了提高视频处理的质量，可先进行预处理。例如，当视频帧的图像中有噪点存在时，可先进行去噪预处理；当是有雾的天气时，可先进行去雾预处理，在夜间时，可先进行夜间增强预处理，也可以针对某个视频帧进行多种预处理，例如对某个视频帧先进行夜间增强预处理，然后再进行去噪预处理。
[0054]举例而言，调用基于GPU的去噪预处理接口可进行如图6所示的去噪预处理，可首先获取视频帧的RGB图像，将所述RGB图像转为灰度图像;接着可判断噪声所在行列号;然后可对判定为噪声的像元进行邻域中值滤波;最后可获取滤波后的RGB图像。
[0055]调用基于GPU的锐化预处理接口可进行如图7所示的锐化预处理，可首先获取视频帧的RGB图像，接着可扩展所述RGB图像;对所扩展的RGB图像进行卷积;然后可采用线性二阶微分Lap Iacian算子对所卷积的RGB图像进彳丁锐化;最后可获取锐化后的RGB图像。
[0056]调用基于GPU的去雾预处理接口可进行如图8所示的去雾预处理，可首先获取视频帧的RGB图像，以暗原色先验知识作为约束条件，从有雾的所述RGB图像中恢复场景辐射、大气光和透射率;接着可估算出成像时刻的雾浓度;然后可采用包滤波器减小或去除雾影响；获取去雾处理后的RGB图像。
[0057]调用基于GPU的夜间增强预处理接口可进行如图9所示的夜间增强预处理，可首先获取视频帧的RGB图像，扩展所述RGB图像;接着可对所扩展的RGB图像进行卷积及高斯滤波;对尚斯滤波后的RGB图像进彳丁引导滤波;最后可获取引导滤波后的RGB图像。
[0058]在一个示例中，所述基于GPU的处理接口可包括:基于GPU的人脸识别处理接口、基于GPU的车牌识别处理接口、和基于GPU的视频摘要处理接口中的一个或多个。调用上述接口，可进行人脸识别处理、车牌识别处理和摘要处理等。人脸识别处理可从视频帧的图像中找到并识别出人脸，并可获得与人脸相对应的编号;车牌识别处理可识别出车牌号码;摘要处理可从若干视频帧中选取出摘要帧，这些处理都可生成最终的结果数据。
[0059]举例而言，调用基于GPU的人脸识别处理接口进行人脸识别处理可先进行人脸检测，然后再进行人脸识别。人脸检测的一个示例性的处理过程如图10所示，可首先获取视频帧的RGB图像，将所述RGB图像变为灰度图像;接着可调整所述灰度图像的大小;然后可利用级联分类器方法获取人脸所在的矩形;最后可获取人脸图像部分，生成待识别的头片图像。人脸识别的一个示例性的处理过程如图11所示，可首先获取待识别的头片图像;然后可将所述头片图像转为灰度图像;调整所述灰度图像的大小;接着可采用特征脸算法进行识别；最后可得到人脸识别代码。进行人脸识别处理依赖于已经训练好的人脸识别库，人脸识别库建立的流程如图12所示，可首先获取待训练的头片图像;将所述头片图像转为灰度图像；然后可调整所述灰度图像的大小;最后可采用特征脸算法进行训练;如果还有人脸图片需要训练，可重复上述过程。在人脸识别库建立完成后，便可以进行人脸识别。
[0060]调用基于GPU的车牌识别处理接口可进行如图13所示的车牌识别处理，可首先获取视频帧的RGB图像，对所述RGB图像进行HSV滤波;接着可对滤波后的RGB图像进行去噪;对去噪后的RGB图像进行边缘检测;获得车牌在RGB图像中矩形位置;最后可利用OCR算法获取车牌号码。
[0061]本领域技术人员应理解，以上各种预处理、处理及其各自的示例性处理过程仅仅是出于举例说明的目的，而非以任何形式限制本发明。
[0062]在一个示例中，如图4所示，视频处理模块22还可包括:并行处理子模块224，可用于响应于对各基于GPU的预处理接口或处理接口的调用，对每个所述预处理或者所述处理进行基于GPU的并行化处理。并行处理子模块224可包括:定位单元2241，可用于定位所述预处理或者所述处理中耗时多的性能瓶颈部位;划分单元2242，可用于将所述性能瓶颈部位划分成包含至少一层循环体的单独模块;复制单元2243，可用于将内存中所述循环体涉及的输入、输出数据复制到GPU显存;运算单元2244，可用于编写GPU设备核心函数替换所述的单独模块，利用所述GHJ显存中的输入、输出数据进行GPU运算，并将运算结果复制回所述内存。并行处理子模块224可对每个预处理或者处理进行如图14所示的基于GPU的并行化处理，可首先定位处理或者预处理中耗时最多的性能瓶颈部位(可由定位单元2241实现)；然后可将所述性能瓶颈部分独立成包含至少一层(例如I至3层)循环体的单独模块(可由划分单元2242实现)；接着可将内存中所述循环体涉及的输入、输出内存数据复制到GPU显存(可由复制单元2243实现)；编写GPU设备核心函数kernel替换所述单独模块，利用所述GPU显存中的输入、输出数据进行GPU运算，最后可将GHJ运算结果复制回所述内存(可由运算单元2244实现)，其中，针对所述核心函数kerne I所涉及的输入、输出数据可进行对齐和合并访问等性能优化。对上述预处理和处理进行基于GPU的并行化处理后，预处理和处理的性能比未并行化处理前有大幅提升。例如，针对于1280*720格式标准的图像，去噪预处理处理的时间可由52ms减少到8.7ms，锐化预处理的时间可由132ms减少到9.3ms，夜间增强预处理的时间可由1430ms减少到47ms，去雾预处理的时间可由2700ms减少到68ms，人脸识别处理的时间可由121ms减少到21ms，车牌识别处理的时间可由135ms减少到31ms。通过基于GPU的并行化处理后，视频分析处理实时性获得极大地提高。
[0063]实施例2
[0064]图15示出根据本发明另一实施例的基于GPU的视频采集与处理系统30的结构图。如图15所示，基于GPU的视频采集与处理系统30包括:实施例1中所述的基于GPU的视频采集与处理装置10，至少一个视频获取部件31，各视频获取部件31与所述视频采集与处理装置1中的相对应的视频采集与处理单元20的视频采集模块21连接，用于为视频采集模块21提供视频流信息，服务器32，分别与视频采集与处理装置10中的各视频采集与处理单元20通信连接。
[0065]在一个示例中，视频获取部件31可以为摄像机，例如球机或者枪机。视频采集与处理单元20可以通过TKl计算机实现，TKl计算机可对多个摄像机采集的视频流信息进行并行分析处理后，将结果数据并行发送给服务器。
[0066]图16示出根据本发明另一实施例的基于GPU的视频采集与处理系统30的另一结构图。
[0067]在一个示例中，服务器32可包括:数据接收模块321，分别与各视频采集与处理单元20的数据发送模块23连接，可用于接收数据发送模块23发送的结果数据;数据存储模块322，与所述数据接收模块321连接，可用于存储结果数据。
[0068]举例而言，数据发送模块23与服务器32中的数据接收模块321可建立通信连接。通信连接的流程如图17所示，数据发送模块23可首先在数据发送线程中生成套接字，并按照TKl计算机的IP和与数据发送线程对应的摄像机的端口号进行初始化，然后可监听来自后端的服务器的连接请求，如果有请求针对于该IP地址和端口号，则可建立连接。数据发送线程发送结果数据到服务器的流程如图18所示，当数据发送线程收到前端的视频处理线程的通知(即有新的结果数据需要发送给服务器)后，数据发送模块23便利用与服务器32建立的套接字连接，把结果数据发送给服务器。
[0069]数据存储模块322可以为数据库，例如MYSQL数据库或者Oracle数据库，用来存储接收到的结果数据。
[0070]在一个示例中，服务器32还可包括:数据检索模块323，与数据接收模块321和/或数据存储模块322连接，可用于针对数据接收模块321所接收的结果数据和/或数据存储模块322所存储的结果数据进行检索，并可生成检索信息。
[0071 ]在一个示例中，服务器32还可包括:数据显示模块324，与数据接收模块321、数据存储模块322和数据检索模块323中的一个或多个连接，可用于显示数据接收模块321所接收的结果数据、数据存储模块322所存储的结果数据和检索信息中的一个或多个。
[0072]举例而言，在重要的交通路口可部署几部枪机作为视频获取部件31，可部署TKl计算机来实现基于GPU的视频采集与处理装置10，然后启动本系统，可在某综合大楼里部署后端的服务器32。服务器可根据TKl计算机的IP地址和每台枪机对应的端口号，与TKl计算机进行连接。TKl计算机可对每台枪机开启视频采集线程进行视频采集，同时开启视频处理线程。如果是大雾天气，可对采集到视频先进行去雾预处理，然后进行车牌识别处理，可把进入违规区域的车牌号分析出来，并可通过启动的数据发送线程把违规的车牌号发送到后端的服务器，后端的服务器的数据接收线程可接收到违规的车牌号，把违规的车牌号违规记录存储入数据存储模块322(例如MySQL数据库)，以备以后查询。数据检索模块323可在MySQL数据库中检索出车牌号对应的车主及其联系方式等信息，可将所述信息发送至数据显示模块324，数据显示模块324可将接收到的信息显示出来，从而方便相关人员进行进一步处理。
[0073]举例而言，可在火车站候车大厅安装多个球机作为视频获取部件31，可部署TKl计算机来实现基于GPU的视频采集与处理装置10，然后启动本系统，可在火车站驻守的公共安全机关的某个应急响应房间里部署服务器32，服务器可根据TKl计算机的IP地址和每台球机对应的端口号，与TKl计算机进行连接。TKl计算机可对每台球机开启视频采集线程进行视频采集，同时可开启视频处理线程，进行人脸识别处理，识别目的可以是识别出全国的流窜作案的犯罪分子或者恐怖分子。视频采集线程采集到视频帧信息后可将该视频帧信息传递给视频处理线程，视频处理线程可对视频帧进行针对上述人群的人脸识别。例如，如果是晚上，可以先做夜间增强预处理，再做人脸识别处理。如果识别出某个犯罪分子的人脸，可把与该犯罪分子对应的识别代号(即结果数据)发送到后端的服务器，服务器的数据检索模块323可在数据存储模块322(例如MySQL数据库)中，把该犯罪分子的相关信息全部检索出来，然后将信息发送至数据显示模块324以供显示，方便相关公共安全人员进行应急处理。服务器也可把该犯罪分子在此车站出现的记录存储在MySQL数据库中。
[0074]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
【主权项】
1.一种基于GHJ的视频采集与处理装置，包括至少一个并行工作的视频采集与处理单元，每个视频采集与处理单元包括: 视频采集模块，针对与所述视频采集与处理单元相对应的视频获取部件所获取的视频流?目息生成视频帧； 视频处理模块，与所述视频采集模块连接，对所生成的视频帧进行至少一种处理并生成结果数据，所述视频处理模块针对各处理分别调用基于图形处理器GPU的处理接口以进行并行处理；以及 数据发送模块，与所述视频处理模块连接，将来自所述视频处理模块的结果数据发送到服务器。2.根据权利要求1所述的基于GRJ的视频采集与处理装置，其中， 所述视频采集模块针对所述相对应的视频获取部件建立独立的视频采集线程，以根据所述相对应的视频获取部件所获取的视频流信息生成视频帧； 所述视频处理模块针对所述相对应的视频获取部件建立独立的视频处理线程，以对所生成的视频帧进行至少一种处理并生成结果数据； 所述数据发送模块针对所述相对应的视频获取部件建立独立的数据发送线程，以将来自所述视频处理模块的结果数据发送到服务器。3.根据权利要求1所述的基于GPU的视频采集与处理装置，其中，所述视频处理模块，包括: 判断子模块，用于判断所述视频采集模块所生成的视频帧是否需要进行预处理； 预处理子模块，用于在所述视频采集模块所生成的视频帧需要进行预处理的情况下，对所述视频帧先进行至少一种预处理； 处理子模块，用于对经过预处理的视频帧进行所述处理并生成结果数据， 其中，所述预处理子模块对各预处理分别调用基于GHJ的预处理接口以进行并行处理。4.根据权利要求1所述的基于GPU的视频采集与处理装置，其中，所述基于GPU的处理接口包括:基于GPU的人脸识别处理接口、基于GPU的车牌识别处理接口、和基于GPU的视频摘要处理接口中的一个或多个。5.根据权利要求3所述的基于GPU的视频采集与处理装置，其中，所述基于GPU的预处理接口包括:基于GPU的去噪预处理接口、基于GPU的锐化预处理接口、基于GPU的去雾预处理接口、和基于GPU的夜间增强预处理接口中的一个或多个。6.根据权利要求3所述的基于GPU的视频采集与处理装置，其中所述视频处理模块，还包括: 并行处理子模块，用于响应于对各基于GPU的预处理接口或处理接口的调用，对每个所述预处理或者所述处理进行基于GPU的并行化处理，所述并行处理子模块包括: 定位单元，用于定位所述预处理或者所述处理中耗时多的性能瓶颈部位； 划分单元，用于将所述性能瓶颈部位划分成包含至少一层循环体的单独模块； 复制单元，用于将内存中所述循环体涉及的输入、输出数据复制到GRJ显存； 运算单元，用于编写GPU设备核心函数替换所述的单独模块，利用所述GHJ显存中的输入、输出数据进行GHJ运算，并将运算结果复制回所述内存。7.一种基于GRJ的视频采集与处理系统，包括: 根据权利要求1至6中任意一项所述的基于GRJ的视频采集与处理装置； 至少一个视频获取部件，各视频获取部件与所述视频采集与处理装置中的相对应的视频采集与处理单元的视频采集模块连接，用于为所述视频采集模块提供视频流信息；以及服务器，分别与所述视频采集与处理装置中的各视频采集与处理单元通信连接。8.根据权利要求7所述的基于GRJ的视频采集与处理系统，其中，所述服务器包括: 数据接收模块，分别与各视频采集与处理单元的数据发送模块连接，用于接收所述数据发送模块发送的所述结果数据； 数据存储模块，与所述数据接收模块连接，用于存储所述的结果数据。9.根据权利要求8所述的基于GRJ的视频采集与处理系统，其中，所述服务器还包括: 数据检索模块，与所述数据接收模块和/或所述数据存储模块连接，用于针对所述数据接收模块所接收的结果数据和/或所述数据存储模块所存储的结果数据进行检索，生成检索信息。10.根据权利要求9所述的基于GRJ的视频采集与处理系统，其中，所述服务器还包括: 数据显示模块，与所述数据接收模块、所述数据存储模块和所述数据检索模块中的一个或多个连接，用于显示所述数据接收模块所接收的结果数据、所述数据存储模块所存储的结果数据和所述检索信息中的一个或多个。
【文档编号】H04N5/217GK105827976SQ201610266790
【公开日】2016年8月3日
【申请日】2016年4月26日
【发明人】冯伟明
【申请人】北京博瑞空间科技发展有限公司