图像识别处理方法、系统及计算机可读存储介质与流程

文档序号:16089155发布日期:2018-11-27 22:48阅读:131来源:国知局

本发明涉及群体智能技术领域,尤其涉及一种图像识别处理方法、系统及计算机可读存储介质。



背景技术:

近些年来,监控网络中基于摄像头智能监控作为计算机视觉和模式识别的重要课题之一,已经在智能监控中应用和普及于公共安全、金融安全、运输、和其他领域中。监控网络中智能监控包含多摄像头校正、多摄像头网络拓扑结构、多摄像头跟踪、行人重识别等方面。其中监控网络中多摄像头的图像识别过程中,尤其是在摄像头采集的图像信息不完整,摄像头数据处理能力不一,导致图像处理识别率降低,同时大范围的监控网络中也会存在不同摄像头采集到同一人或者物的不同位置的图像,导致图像处理的难度大。



技术实现要素:

本发明的主要目的在于提供一种图像识别处理方法、系统及计算机可读存储介质,旨在解决现有技术中多个摄像头获取图像不完整或者摄像头数据处理能力不一时,图像处理识别率低的技术问题。

为实现上述目的,本发明提供一种图像识别处理方法包括以下步骤:

基于多个摄像头分别获取多个视角的图像信息,将所述图像信息划分为预处理类、深度处理类、拼接类和/或后处理类;

根据所述摄像头属性将所述图像信息划分的类别分配给对应摄像头进行数据处理;

根据数据处理结果得到目标图像信息,以供对目标图像信息进行检测和识别。

可选地,将所述图像信息划分为预处理类、深度处理类、拼接类和/或后处理类的步骤包括:

当所述摄像头采集的图像信息是完整的图像,则将所述图像信息划分为预处理类和/或后处理类;

当所述摄像头采集的图像信息是不完整的图像,则将所述图像信息划分为拼接类;

当所述摄像头采集的图像信息是模糊的图像,则将所述图像信息划分为深度处理类。

可选地,所述根据所述摄像头属性将所述图像信息划分的类别分配给对应摄像头进行数据处理的步骤包括:

确定摄像头属性中硬件特性、数据处理能力以及网络容量的优先级;

根据所述摄像头属性的优先级高低确定所述摄像头对应处理的图像信息类别,并将对应的图像信息类别分配给对应摄像头进行数据处理。

可选地,所述基于多个摄像头分别获取多个视角的图像信息的步骤包括:

获取当前时间得到的N帧图像,所述N帧图像为在所述当前时间获取的所述当前帧图像的总和,N大于等于2;

将所述N帧图像进行对比,将所述N帧图像中相同图像作为一帧图像信息。

可选地,所述根据所述摄像头属性将所述图像信息划分的类别分配给对应摄像头进行数据处理的步骤包括:

所述摄像头计算所述多个视角图像中各个像素点的深度值;

根据计算获得的深度值确定进行拼接时由所述多个视角图像组成的多个拼接区域;

根据拼接区域的亮度信息和距离参数对拼接区域进行亮度调整,根据调整后的亮度值生成拼接图像。

可选地,所述摄像头计算所述多个视角图像中各个像素点的深度值的步骤包括:

对所述多个视角图像中的各像素点,通过图像匹配技术搜索与该像素点匹配的匹配点,根据三角测量技术计算该像素点的深度值。

可选地,所述根据计算获得的深度值确定进行拼接时由所述多个视角图像组成的多个拼接区域的步骤包括:

将所述相邻摄像头采集到的视角图像相邻或者重合区域的像素互相进行映射处理,映射到彼此对应的边界区域或者重合区域,进而组成多个拼接区域。

本发明还提供一种图像识别处理系统,所述图像识别处理系统包括:多个摄像头、存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的图像识别处理程序,所述图像识别处理程序被所述处理器执行时实现上述的图像识别处理方法的步骤。

可选地,所述图像识别处理程序存储于其中一个或者多个摄像头中,或者云端服务器中,或者终端中。

本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有图像识别处理程序,所述图像识别处理程序被处理器执行时实现上述的图像识别处理方法的步骤。

本发明提供的一种图像识别处理方法,基于多个摄像头分别获取多个视角的图像信息,将所述图像信息划分为预处理类、深度处理类、拼接类和/或后处理类;根据所述摄像头属性将所述图像信息划分的类别分配给对应摄像头进行数据处理;根据数据处理结果得到目标图像信息,以供对目标图像信息进行检测和识别。将多个摄像头拍摄到同一人或者物不同角度的图像信息进行划分为不同处理类别,根据摄像头硬件特性、数据处理能力以及网络容量等特征分配到相应处理能力的摄像头进行图像处理,进而得到融合后的目标图像;将各个摄像头采集到的图像融合到一起,并且根据每个摄像头擅长项不一样,合理分配各个摄像头进行数据融合处理,实现将多个摄像头获取的不完整图像以及数据处理能力不一的摄像头进行综合管理,合理利用摄像头的数据分析处理能力,提高图像处理识别率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图;

图2为本发明图像识别处理方法一实施例的流程示意图;

图3为本发明图像识别处理方法另一实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。

如图1所示,图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

本发明实施例图像识别处理系统可以包括PC,也可以包括智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面3)播放器、便携计算机等具有显示功能的可移动式终端设备。

如图1所示,该图像识别处理系统可以包括:多个摄像头、处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地,图像识别处理系统还可以包括云端服务器、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。

本领域技术人员可以理解,图1中示出的图像识别处理系统结构并不构成对图像识别处理系统的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像识别处理程序。

在图1所示的图像识别处理系统中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的图像识别处理程序。

基于上述图像识别处理系统硬件结构以及通信网络系统,提出本发明图像识别处理方法各个实施例。

本发明提供一种图像识别处理方法,在图像识别处理方法的一实施例中,参照附图2,该方法包括:

步骤S10,基于多个摄像头分别获取多个视角的图像信息,将所述图像信息划分为预处理类、深度处理类、拼接类和/或后处理类;

摄像头可以是设置在同一区域不同角度的,也可以是设置在不同区域和/或不同角度的。图像识别处理方法基于算法建立的数据处理模块,该图像识别处理程序可以设置于其中一个摄像头中,也可以设置于多个摄像头中,多个摄像头之间配合对数据进行处理,也可以设置于与摄像头通讯连接的终端或者云端服务器中,当然,所述的终端可以是具有数据处理功能的PC、智能手机和平板电脑等,也可以是服务器。

具体的,步骤S10中将所述图像信息划分为预处理类、深度处理类、拼接类和/或后处理类包括:

当所述摄像头采集的图像信息是完整的图像,则将所述图像信息划分为预处理类和/或后处理类;

当所述摄像头采集的图像信息是不完整的图像,则将所述图像信息划分为拼接类;

当所述摄像头采集的图像信息是模糊的图像,则将所述图像信息划分为深度处理类。

基于获取到的图像信息不同进行划分,例如,摄像头获取的图像比较完整,只需要对其进行简单的处理即可,则可以划分为预处理或者后处理;如果获取的图像比较模糊,那么可以划分为深度处理类;如果每个摄像头获取的图像均不完整,需要将获取的多个图像进行拼接融合,则可以划分为拼接类。当然,可以根据图像处理过程需要划分为更多或者更少类别,或者其他类别,在此,不一一列举。

对于同一图像的类别并不是一定不变得,可以根据图像处理的顺序依次进行划分处理,如一图像先划分为预处理类,预处理之后的图像划分为拼接类,拼接之后的图像划分为后处理类。

通过设置的多个摄像头对摄像头采集范围的图像信息进行获取,并将获取的多个图像信息进行划分为不同的图像处理类比。

步骤S20,根据所述摄像头属性将所述图像信息划分的类别分配给对应摄像头进行数据处理;

摄像头属性可以包括硬件特性、数据处理能力以及网络容量。其中,硬件特性可以包括CPU位数、CPU频率和运行内存大小等。数据处理能力,根据设置于摄像头处理器中数据处理程序和数据处理算法等不同而不同,也与处理器运行数据处理程序和数据处理算法的速度不同而不同。网络容量,如果将这样一个具有多个服务节点和缓冲队列的排队系统等价为只有一个服务节点(包含多个服务台)和一个缓冲队列的排队系统,网络拓扑容量被定义为使排队系统的缓冲队列长度从有限到无限增加转变时节点数据发送速率的临界阈值。在此阈值下,排队系统缓冲队列队长表现为稳定状态,而在此阈值之上,系统缓冲队长表现为非稳定状态。这里稳定状态的定义为系统缓冲队列长度不随仿真时间推移而无限增大。

根据每个摄像头的硬件特性、数据处理能力以及网络容量确定每个摄像头适合对图像进行何种处理,并且将划分好的图像信息分配给对应的具有相应处理能力的摄像头进行数据融合处理。也可以根据摄像头属性对获取的图像信息处理的顺序进行排序,按照图像信息处理的先后顺序不同分配到相应的摄像头进行处理。

步骤S30,根据数据处理结果得到目标图像信息,以供对目标图像信息进行检测和识别。

对于上述步骤中多摄像头获取的图像信息处理融合之后,得到处理后的图像信息,处理之后的图像信息可以用于后续的图像检测和识别。

例如,在一个区域中设置有4个摄像头,一目标人物出现在该区域中,由于该目标人物戴了帽子,一个摄像头无法采集到该目标人物的脸部特征,通过安装在不同拍摄角度的摄像头,从多个方位获取该目标人物的脸部特征,但是每个摄像头采集到的脸部特征都不是完整的,只是一小部分脸部图像,根据每个摄像头的数据处理能力对所有图像信息进行分配,如,其中第一摄像头擅长于对图像进行预处理,第二摄像头擅长于图像拼接处理,第三摄像头擅长于后处理降噪和数据存储传输,第四摄像头擅长于摄像头之间协调规划;那么基于上述每个摄像头属性,当4个摄像头获取到相应角度的脸部特征图像信息之后,传输到第四摄像头对获取的图像信息进行协调规划,分配给各个摄像头进行数据处理,之后,第一摄像头对上述采集到的图像信息进行预处理,之后传输给第二摄像头进行图像拼接处理,之后传输给第三摄像头进行图像后处理,得到目标图像信息,基于实际需求进行存储和/或传输到其他接收端。最后,可以基于上述得到的目标图像信息进行目标人物的识别和处理。

在本实施例中基于多个摄像头分别获取多个视角的图像信息,将所述图像信息划分为预处理类、拼接类和/或后处理类;根据所述摄像头属性将所述图像信息划分的类别分配给对应摄像头进行数据处理;根据数据处理结果得到目标图像信息,以供对目标图像信息进行检测和识别。将多个摄像头拍摄到同一人或者物不同角度的图像信息进行划分为不同处理类别,根据摄像头硬件特性、数据处理能力以及网络容量等特征分配到相应处理能力的摄像头进行图像处理,进而得到融合后的目标图像;将各个摄像头采集到的图像融合到一起,并且根据每个摄像头擅长项不一样,合理分配各个摄像头进行数据融合处理,实现将多个摄像头获取的不完整图像以及数据处理能力不一的摄像头进行综合管理,合理利用摄像头的数据分析处理能力,提高图像处理识别率。

可选地,在本发明图像识别处理方法的一实施例中,获取摄像头图像信息以及对其进行处理过程可以划分为协作层、规划层和执行层;

所述协作层通过与摄像头对应的通讯协议进行摄像头之间信息的接收和发送;

所述规划层根据摄像头属性规划对应摄像头处理的图像信息;

所述执行层根据所述规划层得到的对应摄像头处理的图像信息控制所述摄像头对对应图像信息进行融合处理。

所述协作层还可以包括各摄像头之间通信子模块和协作子模块,各个协作子模块对应协议模型、队友模型,各个协议模型通过通信子模块与对应的摄像头通讯,并在协作层中各个摄像头的协作子模块之间接收和发送信息,队友模型反应协作的各个摄像头队友所处的状态。其中,所处状态可以包括摄像头当前状态信息,电量情况、网络通讯情况、是否正常工作等。

所述规划层中包括各个摄像头中的规划推理子模块,该规划推理子模块对应自身模型、队友模型,所述自身模型记录对应的摄像头的自身状态,所述队友模型反映与自身摄像头协作的摄像头所处的状态。

所述执行层包括各个摄像头的控制模块,所述摄像头的控制模块对应对象模型和控制规则,所述对象模型反映摄像头获取的图像信息的状态变化,记录图像信息处理的过程信息,所述控制规则控制对应的摄像头进行的图像信息融合处理类别,其中,类别可以是预处理、图像拼接、后处理或者存储传输等。

具体的,所述规划层根据摄像头属性规划对应摄像头处理的图像信息可以是根据训练好的神经网络将各个摄像头采集的图像信息作为输入,输出每个摄像头适合处理的图像信息部分。根据当前获取的图像信息动态确定摄像头处理的类别。例如,对各个摄像头采集的不同角度的图像信息进行拼接融合,基于摄像头的处理能力进行数据处理类别的动态调整,基于网络容量最大范围的实现数据分析处理,实现摄像头之间协作的最优组合形式。

在本实施例中,通过设置协作层、规划层和执行层,基于群体人工智能分层式实现多个摄像头之间智能协作,使得各个摄像头之间基于自身优势进行协作处理获取的图像信息,优化摄像头的数据处理过程,合理利用摄像头的数据分析处理能力,提高图像处理识别率。

进一步地,在本发明图像识别处理方法的一实施例中,如图3所示,步骤S20所述根据所述摄像头属性将所述图像信息划分的类别分配给对应摄像头进行数据处理的步骤包括:

步骤S21,确定摄像头属性中硬件特性、数据处理能力以及网络容量的优先级;

步骤S22,根据所述摄像头属性的优先级高低确定所述摄像头对应处理的图像信息类别,并将对应的图像信息类别分配给对应摄像头进行数据处理。

当通过硬件特性、数据处理能力以及网络容量来确定每个摄像头对应数据融合处理的结果不同时,需要确定硬件特性、数据处理能力以及网络容量中哪一种相较于其他两种对于保证摄像头对数据融合处理的性能的贡献大,按照贡献从大到小进行优先级排序,根据贡献大的摄像头属性来确定该摄像头对应的数据融合处理类别。

例如,当多个摄像头将采集到的图像信息划分为不同类别分配给摄像头处理时,发现根据摄像头硬件特性来说一摄像头适合对图像信息进行预处理,根据数据处理能力来说该摄像头适合对图像信息进行拼接,根据网路容量来说该摄像头适合图像信息的存储和传输,其中,摄像头数据处理能力保证该摄像头进行数据融合处理的贡献最大,硬件特性其次,网络容量最小,基于此,数据处理能力的优先级最高,硬件特性的优先级其次,网络容量的优先级最低,那么,该摄像头基于其数据处理能力进行图像信息的拼接。

在本实施例中,通过对摄像头属性中硬件特性、数据处理能力以及网络容量进行优先级排序,在多种因素共同对摄像头数据融合处理起作用时,以优先级高的确定摄像头对应的数据融合处理类别,更好利用摄像头自身的优势,提升摄像头在获取图像信息进行数据融合处理过程中效率,以及得到的目标图像信息的精确性。

可选地,在本发明图像识别处理方法的一实施例中,步骤S1所述基于多个摄像头分别获取多个视角的图像信息的步骤包括:

步骤S11,获取当前时间得到的N帧图像,所述N帧图像为在所述当前时间获取的所述当前帧图像的总和,N大于等于2;

步骤S12,将所述N帧图像进行对比,将所述N帧图像中相同图像作为一帧图像信息。

摄像头在获取到当前区域的当前图像信息的过程中,同一个图像信息会有很多帧图像,后一帧图像的图像信息可能与前一帧图像的图像信息一致,也可能不一致,也可能多帧图像的图像信息一致,如果将获取的每一帧图像的图像信息均进行处理,显然,会对很多相同的图像信息进行处理,不利于数据处理的选择性和高效性,浪费数据处理资源。因而,对于摄像头获取的多帧图像的图像信息先进行对比,如果多帧图像的图像信息相同,那么将相同的多帧图像作为一帧图像。

在本实施例中,通过对获取的图像信息进行预处理,避免对多帧相同图像信息的图像均进行处理,造成数据处理资源的浪费,降低数据处理的效率。

可选地,在本发明图像识别处理方法的一实施例中,步骤S20所述根据所述摄像头属性将所述图像信息划分的类别分配给对应摄像头进行数据处理的步骤包括:

步骤S23,所述摄像头计算所述多个视角图像中各个像素点的深度值;

具体地,步骤S23包括:

步骤S231,对所述多个视角图像中的各像素点,通过图像匹配技术搜索与该像素点匹配的匹配点,根据三角测量技术计算该像素点的深度值。

步骤S24,根据计算获得的深度值确定进行拼接时由所述多个视角图像组成的多个拼接区域;

具体地,步骤S24包括:

步骤S241,将所述相邻摄像头采集到的视角图像相邻或者重合区域的像素互相进行映射处理,映射到彼此对应的边界区域或者重合区域,进而组成多个拼接区域。

步骤S25,根据拼接区域的亮度信息和距离参数对拼接区域进行亮度调整,根据调整后的亮度值生成拼接图像。

例如,在一区域中设置有左右两个摄像头,对左视角图像中的各像素点,通过图像匹配技术从右视角图像中搜索与该像素点匹配的匹配点,像素点的匹配可以根据像素的颜色和亮度的相似度进行比较确认,找到对应的匹配点后,可以根据三角测量技术计算出像素点的深度值。

第一拼接图像区域为左侧相邻拼接图像区域,第二拼接图像区域为右侧相邻拼接图像区域;中间拼接图像区域为重合拼接图像区域,根据计算获得的深度值确定进行拼接时由左视角图像和右视角图像组成的三个拼接区域包括:将左视角图像的右边区域的像素映射到右侧拼接图像区域的左边边界;将右视角图像的坐标区域的像素映射到左侧拼接图像区域的右边边界;其中,左视角图像的右边区域的像素为Pl(x,y),深度值为Dl(x,y)时,映射到右侧拼接图像区域的左边边界的像素坐标x1=x﹣Dl(x,y),y1=y;右视角图像的左边区域的像素为Pr(x,y),深度值为Dr(x,y)时,映射到左侧拼接图像区域的右边边界的像素坐标x2=x+Dr(x,y),y2=y。

第一拼接图像区域的像素亮度均值M1、中间拼接图像区域的像素亮度均值M2、第二拼接图像区域的像素亮度均值M3,距离参数包括三个拼接区域的第一拼接图像区域的中心点P1、中间拼接图像区域的中心点P2、第二拼接图像区域的中心点P3、中心点P1和P2的空间距离D12、中心点P2和P3的空间距离D23。

对第一拼接图像区域的各像素点PP1(x,y),像素点PP1(x,y)到中间拼接图像区域的中心点P2的距离为D1(x,y),其亮度调整为:

对第二拼接图像区域的各像素点PP2(x,y),像素点PP2(x,y)到中间拼接图像区域的中心点P2的距离为D2(x,y),其亮度调整为:

在本实施例中,计算多个摄像头获取的各个视角图像中各个像素点的深度值;根据计算获得的深度值确定进行拼接时由各个视角图像组成的拼接区域;根据拼接区域的亮度信息和距离参数对拼接区域进行亮度调整,并根据调整后的亮度值生成拼接图像;避免了多个摄像头采集到的图像不完整在图像拼接合成时的发生明暗变化,提高了拼接图像的显示质量。

本发明还提供一种图像识别处理系统,所述图像识别处理系统包括:多个摄像头、存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的图像识别处理程序,所述图像识别处理程序被所述处理器执行时实现上述的图像识别处理方法的步骤。

可选地,所述图像识别处理程序存储于其中一个或者多个摄像头中,或者云端服务器中,或者终端中。

本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有图像识别处理程序,所述图像识别处理程序被处理器执行时实现上述的图像识别处理方法的步骤。

在本发明图像识别处理系统和计算机可读存储介质的实施例中,包含了上述图像识别处理方法各实施例的全部技术特征,说明书拓展和解释内容与上述图像识别处理方法各实施例基本相同,在此不做赘述。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1