一种图像识别方法、装置及相关设备与流程

文档序号:33509987发布日期:2023-03-21 22:12阅读:32来源:国知局
1.本发明实施例涉及图像处理
技术领域
:,具体涉及一种图像识别方法、装置及相关设备。
背景技术
::2.在城市建设的过程中经常出现着野蛮施工导致埋藏在地下的管线资源被破坏的问题,目前主要通过有线网络或无线网络将巡检点的实时视频传输到监测中心,监控人员再进行判断是否出现了野蛮施工的行为。现有技术中对于野蛮施工的行为需要人员长时间盯防,造成了人力资源的浪费。3.可见,现有技术中存在着野蛮施工建设人员需要长时间盯防的问题。技术实现要素:4.本发明实施例提供一种图像识别方法、装置及相关设备,以解决现有技术中存在着野蛮施工建设人员需要长时间盯防的问题。5.为解决上述问题,本发明是这样实现的:6.第一方面,本发明实施例提供了一种图像识别方法,所述方法包括:7.获取图像传感器对于目标施工建设区域采集的图像数据;8.基于检测网络模型对于所述图像数据进行目标识别,获得识别结果;9.所述识别结果表示的所述图像数据在所述检测网络模型设定的目标位置框内存在预先指定的目标施工设备的图像数据的情况下,向告警平台发送所述图像数据,使得所述告警平台向用户端推送告警消息。10.第二方面,本发明实施例还提供一种图像识别装置,所述装置包括:11.获取模块,用于获取图像传感器对于目标施工建设区域采集的图像数据;12.处理模块,用于基于检测网络模型对于所述图像数据进行目标识别,获得识别结果;13.发送模块,用于所述识别结果表示的所述图像数据在所述检测网络模型设定的目标位置框内存在预先指定的目标施工设备的图像数据的情况下,向告警平台发送所述图像数据,使得所述告警平台向用户端推送告警消息。14.第三方面,本发明实施例还提供一种通信设备,包括收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;其特征在于,所述处理器,用于读取存储器中的程序实现如前述第一方面所述方法中的步骤。15.第四方面,本发明实施例还提供一种可读存储介质,用于存储程序,所述程序被处理器执行时实现如前述第一方面所述方法中的步骤。16.在本发明实施例中,通过检测网络模型对于图像数据进行目标识别,判定是否属于目标施工设备即施工机械,在判定为施工机械的情况下再通过告警平台通知用户端人员进行处理,实现了对于野蛮施工建设的自动监控,解决了现有技术中的人员需要长时间盯防的问题。附图说明17.为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。18.图1是本发明实施例提供的一种图像识别方法流程图;19.图2是本发明实施例提供的检测网络模型的结构示意图;20.图3是本发明实施例提供的第一卷积块示意图;21.图4是本发明实施例提供的标准卷积计算示意图22.图5是本发明实施例提供的分离卷积计算示意图之一;23.图6是本发明实施例提供的分离卷积计算示意图之二;24.图7是本发明实施例提供的检测头结构示意图;25.图8是本发明实施例提供的一种图像识别装置示意图;26.图9是本发明实施例提供的一种通信设备的结构示意图。具体实施方式27.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。28.请参见图1,图1为本技术实施例提供的一种图像识别方法的流程图,所述方法包括:29.步骤s101、获取图像传感器对于目标施工建设区域采集的图像数据;30.其中,图像传感器可以为智能摄像头硬件所包括的传感器模块,通过智能摄像头拍摄目标施工建设区域获取图像数据。其中,图像传感器采用低功耗和高分辨率的传感器,在降低功耗的同时提高后续对图像数据检测识别的准确性。31.其中,目标施工建设区域设为需要巡查保护的区域,通过图像传感器能够获得实施的图像数据,例如,将目标施工建设区域设为禁止施工的区域或存在需要保护的电缆的区域。32.步骤s102、基于检测网络模型对于所述图像数据进行目标识别,获得识别结果;33.其中,检测网络模型为用于识别图片中特定物体并标记物体位置的模型,在本发明实施例中采用了基于深度学习的目标检测算法对图像数据进行目标识别处理以获得识别结果。检测网络模型可以设置在智能摄像头内部,例如,设置在智能摄像头的计算模块中,实现在智能摄像头这一端口完成对结果的识别,不需要输送实时视频,减少对网络资源的消耗。34.其中,对图像数据进行目标识别为在目标施工建设区域内是否存在目标施工设备进行识别处理,目标施工设备在本发明实施例中通常设为特定设备即为施工机械。这样,在目标施工建设区域内通过图像感应器收集到图像数据后经过检测网络模型进行识别,进而判定是否存在施工机械。35.步骤s103、所述识别结果表示的所述图像数据在所述检测网络模型设定的目标位置框内存在预先指定的目标施工设备的图像数据的情况下,向告警平台发送所述图像数据,使得所述告警平台向用户端推送告警消息。36.其中,通过智能摄像头内的发送模块向告警平台发送图像数据,包括实时视频和判定为施工设备的目标位置框。在发送模块中可以采用5g(5th-generation,第五代移动通信技术)传输模块提高传送速度。37.其中,告警平台用于发送告警消息,可以为一种网络设备,可以是基站、接入和移动管理功能(accessandmobilitymanagementfunction,amf)、中继、接入点或其他网元等。另外,告警消息包括预设的报警代码和目标施工建设区域的实时视频。38.其中,用户端用于接收到告警消息,可以为监控人员使用的客户端,可以为手机、平板电脑(tabletpersonalcomputer)、膝上型电脑(laptopcomputer)、个人数字助理(personaldigitalassistant,pda)、移动上网装置(mobileinternetdevice,mid)、可穿戴式设备(wearabledevice)或车载设备等。39.该实施方式中,先通过图像感应器对目标施工建设区域采集图像数据,再通过检测网络模型对采集到的图像数据进行目标识别获得识别结果,再在识别结果为施工机械的情况下向告警平台发送图像数据,告警平台再发送告警消息给用户端,实现了不需要人员长时间进行监控而是基于图像识别方法判定,目标施工建设区域是否存在施工机械。40.可选的,如图2所示,图2为检测网络模型的结构示意图,所述检测网络模型包括:依次串联的第一卷积、第二卷积和第三卷积,以及依次串联的第一分组卷积块、第二分组卷积块、第三分组卷积块和第四分组卷积块,以及检测头结构;41.所述基于检测网络模型对于所述图像数据进行目标识别,获得识别结果,包括:42.通过所述检测网络模型包括的第一卷积、第二卷积和第三卷积对所述图像数据进行特征提取,得到基础数据;43.通过所述检测网络模型包括的第一分组卷积块、第二分组卷积块、第三分组卷积块和第四分组卷积块对所述提取得到的基础数据进行卷积运算,得到特征图;44.通过所述检测网络模型包括的检测头结构利用预设的函数模型对所述特征图进行拟合处理,获得所述识别结果。45.该实施方式中,通过依次串联的第一卷积、第二卷积和第三卷积提取图像数据获得基础数据后再通过第一分组卷积块、第二分组卷积块、第三分组卷积块和第四分组卷积块进行卷积运算获得特征图,检测头结构利用预设的函数模型对所述特征图进行拟合处理,判断出图像数据中是否存在预设的目标施工设备及施工机械。46.其中,图像数据为图像感应器采集到的图像数据,图像数据为智能摄像头拍摄获得的图像进行压缩处理后得到的数据,例如,智能摄像头拍摄出的图像的分辨率为720p,在图像数据中被压缩为统一大小416*416,图像数据再经过依次串联的第一卷积、第二卷积和第三卷积获得基础数据。47.其中,经过第一分组卷积块、第二分组卷积块、第三分组卷积块和第四分组卷积块获得不断提取得到的数据,例如,第三分组卷积块的数据大小为13*13,第四分组卷积块的数据大小为26*26。48.可选的,如图3所示,图3是第一卷积块示意图,所述第一分组卷积块、所述第二分组卷积块、所述第三分组卷积块和所述第四分组卷积块均包括依次串联的第一卷积层、第二卷积层、第三卷积层、第四卷积层和融合层,其中,所述第一卷积层、所述第二卷积层、所述第三卷积层和所述第四卷积层用于实现分离卷积运算。49.该实施方式中,通过第一卷积层、第二卷积层、第三卷积层、第四卷积层可以实现分类卷积运算,从而减少计算量,减少对于进行运算的处理器的负担。50.其中,现有技术中采用的标准卷积运算,其计算量较大,例如,第一卷积层中,如图4所示,在卷积核大小为dk,输入图片通道数为m,输出通道数为n,输入图片尺寸为dh的情况下,第一卷积层的计算量为dk*dk*m*n*dh*dh。在本实施方式中采用的分离卷积运算,先通过卷积核对每个通道进行分离卷积得到输出结果,再将输出结果进行升维处理,例如,先通过卷积和对每个通道进行分离卷积,如图5所示,其计算量为dk*dk*m*1*dh*dh;将输出结果进行升维处理,如图6所示,其计算量为1*1*m*n*dh*dh。51.比较标准卷积计算和分离卷积计算的计算量得出:(n+dk*dk)m*dh*dh/dk*dk*m*n*dh*dh=1/n+1/dk^2。在卷积核大小为常见的3*3的情况下,标准卷积计算量约为分离卷积计算量的9倍,从而使用分离卷积运算能够减少设备的计算量,从而降低对于设备的处理器负担。52.可选的,如图7所示,图7是检测头结构示意图,所述检测头结构包括:第四卷积、第五卷积和锚定生成层;53.所述通过所述检测网络模型包括的检测头结构对基于预设的函数模型对所述特征图进行拟合处理获得所述识别结果,包括:54.通过所述第四卷积对所述特征图进行运算生成目标类别标签,所述目标类别标签用于选择预设的位置框类型;55.通过所述第五卷积对所述特征图进行运算生成目标框回归修正系数,所述目标框回归修正系数用于修正所述位置框的大小;56.通过所述锚定生成层利用所述预设的函数模型对所述目标类别标签和所述目标框回归修正系数进行拟合处理,获得所述识别结果。57.该实施方式中,通过检测头结构对特征图进行处理,即对特征图的点进行预测,是否属于目标施工设备即施工机械,并以当前点为中心生成施工机械的目标位置框。58.其中,第四卷积处理特征图获得的目标类别标签,但在本实施方式中需要识别的目标施工设备仅为施工设备,故只需要判断是否属于目标而不用判断属于那种类型,此时第四卷积的输出通道数设为2*2,用于选择预设的位置框类型。59.其中,第五卷积处理特征图获得的目标框回归修正系数,用于修正锚定生成层利用目标类别标签选择预设的位置框。例如,预设的位置框大小为13*13,此时由于预设的位置框较大,可能将不属于施工机械的区域包括进来造成结果的误差,将预设的位置框大小基于目标框回归修正系数对位置框的大小进行修正,获得修正后的目标位置框,减少了其他物体例如机械手臂等类似物的造成的误差影响。60.可选的,所述预设的位置框类型包括两组宽高比和两组尺度。61.该实施方式中,由于施工机械在目标施工建设区域中存在不同的位置和不同的拍摄角度,其宽高比存在不一致的情况,为了减少漏检将预设的位置框类型设为两组宽高比和两组尺度。62.其中,相比于现有技术使用的三组宽高比和三组尺度,本实施例中使用的两组宽高比和两组尺度减少了模型的复杂度,能够减少计算量,降低对于计算设备性能的需求。63.可选的,所述预设的模型函数通过如下方式得到,包括:64.输入训练数据,其中,所述训练数据包括训练集和测试集;65.导入所述训练集和测试集至训练函数,其中,所述训练函数由目标回归框损失函数和是否是目标损失函数组成;66.所述训练函数经过多轮迭代计算获得所述预设的模型函数。67.该实施方式中,训练函数采用loss函数(损失函数),loss函数由类别损失函数、目标框回归损失函数和是否为目标损失函数组成。由于在本实施方式中的目标施工设备为一种类型即施工设备,故类别损失函数的值为0,此时只剩下了目标框回归损失函数l(giou)和是否为目标损失函数l(obj)组成损失函数loss函数,计算公式如下:68.loss=l(giou)+l(obj)[0069][0070][0071][0072]其中,目标框回归损失函数采用了giouloss函数(边框预测的损失函数),是否为目标损失函数采用了二分类交叉熵损失函数。[0073]其中,训练数据为标注出施工机械在图片中位置的数据集,并将数据集以8:2的方式将训练数据分为了训练集和测试集。[0074]请参见图8,图8是本发明实施例提供的一种图像识别装置示意图,所述图像识别装置包括:[0075]获取模块801,用于获取图像传感器对于目标施工建设区域采集的图像数据;[0076]处理模块802,用于基于检测网络模型对于所述图像数据进行目标识别,获得识别结果;[0077]发送模块803,用于所述识别结果表示的所述图像数据在所述检测网络模型设定的目标位置框内存在预先指定的目标施工设备的图像数据的情况下,向告警平台发送所述图像数据,使得所述告警平台向用户端推送告警消息。[0078]可选的,所述检测网络模型包括:依次串联的第一卷积、第二卷积和第三卷积,依次串联的以及还第一分组卷积块、第二分组卷积块、第三分组卷积块和第四分组卷积块,以及检测头结构;[0079]所述基于检测网络模型对于所述图像数据进行目标识别,获得识别结果,包括:[0080]通过所述检测网络模型包括的第一卷积、第二卷积和第三卷积对所述图像数据进行特征提取,得到基础数据;[0081]通过所述检测网络模型包括的第一分组卷积块、第二分组卷积块、第三分组卷积块和第四分组卷积块对所述提取得到的基础数据进行卷积运算,得到特征图;[0082]通过所述检测网络模型包括的检测头结构利用预设的函数模型对所述特征图进行拟合处理,获得所述识别结果。[0083]可选的,所述第一分组卷积块、所述第二分组卷积块、所述第三分组卷积块和所述第四分组卷积块均包括依次串联的第一卷积层、第二卷积层、第三卷积层、第四卷积层和融合层,其中,所述第一卷积层、所述第二卷积层、所述第三卷积层和所述第四卷积层用于实现分离卷积运算。[0084]可选的,所述检测头结构包括:第四卷积、第五卷积和锚定生成层;[0085]所述通过所述检测网络模型包括的检测头结构对基于预设的函数模型对所述特征图进行拟合处理获得所述识别结果,包括:[0086]通过所述第四卷积对所述特征图进行运算生成目标类别标签,所述目标类别标签用于选择预设的位置框类型;[0087]通过所述第五卷积对所述特征图进行运算生成目标框回归修正系数,所述目标框回归修正系数用于修正所述位置框的大小;[0088]通过所述锚定生成层对所述目标类别标签和所述目标框回归修正系数基于所述预设的函数模型进行拟合处理,获得所述识别结果。[0089]可选的,所述预设的位置框框类型包括两组宽高比和两组尺度。[0090]可选的,所述预设模型的函数通过如下方式得到,包括:[0091]输入训练数据,其中,所述训练数据包括训练集和测试集;[0092]导入所述训练集和测试集至训练函数,其中,所述训练函数由目标回归框损失函数和是否是目标损失函数组成;[0093]所述训练函数经过多轮迭代计算获得所述预设的模型函数。[0094]本发明实施例还提供一种通信设备。请参见图9,通信设备可以包括总线901、收发机902、天线903、总线接口904、处理器905和存储器906,其中:[0095]在通信设备的处理器905执行存储器906存储的程序时可实现图1对应的方法实施例中的任意步骤及达到相同的有益效果,此处不再赘述。[0096]在图9中,总线架构(用总线901来代表),总线901可以包括任意数量的互联的总线和桥,总线901将包括由处理器905代表的一个或多个处理器和存储器906代表的存储器的各种电路链接在一起。总线901还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口904在总线901和收发机902之间提供接口。收发机902可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器905处理的数据通过天线903在无线介质上进行传输,进一步,天线903还接收数据并将数据传送给处理器905。[0097]处理器905负责管理总线901和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器906可以被用于存储处理器905在执行操作时所使用的数据。[0098]可选的,处理器905可以是cpu、asic、fpga或cpld。[0099]需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。[0100]通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者第二终端设备等)执行本技术各个实施例所述的方法。[0101]本领域普通技术人员可以理解实现上述实施例方法的全部或者部分步骤是可以通过程序指令相关的硬件来完成,所述的程序可以存储于一可读取介质中。本发明实施例还提供一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时可实现上述图1对应的方法实施例中的任意步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。[0102]所述的存储介质,如只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等。[0103]以上所述是本发明实施例的优选实施方式,应当指出,对于本
技术领域
:的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1