目标检测方法及相关设备与流程

文档序号:29500637发布日期:2022-04-06 16:57阅读:148来源:国知局
目标检测方法及相关设备与流程

1.本技术涉及图像处理技术领域,具体涉及一种目标检测方法及相关设备。


背景技术:

2.现有技术中,目标检测在计算机视觉中是一个主要的任务,在工业,科研领域有广泛的应用前景。随着transformer在视觉方向的应用,目标检测的精度在公开数据集上有了小幅提升。基于transformer的目标检测模型在大中目标检测效果较好,但在目标的召回率和检测精度仍有提升空间。因此,如何提升目标检测精度的问题亟待解决。


技术实现要素:

3.本技术实施例提供了一种目标检测方法及相关设备,可以提升目标检测精度。
4.第一方面,本技术实施例提供一种目标检测方法,所述方法包括:
5.获取第一图像;
6.利用图与卷积神经网络融合算法提取所述第一图像的图像特征;
7.利用超像素提取算法将所述图像特征划分为p个超像素,p为大于1的整数;
8.将所述p个超像素输入到transformer模型中进行运算,得到目标检测结果。
9.第二方面,本技术实施例提供了一种目标检测装置,所述装置包括:获取单元、提取单元、划分单元和运算单元,其中,
10.所述获取单元,用于获取第一图像;
11.所述提取单元,用于利用图与卷积神经网络融合算法提取所述第一图像的图像特征;
12.所述划分单元,用于利用超像素提取算法将所述图像特征划分为p个超像素,p为大于1的整数;
13.所述运算单元,用于将所述p个超像素输入到transformer模型中进行运算,得到目标检测结果。
14.第三方面,本技术实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本技术实施例第一方面中的步骤的指令。
15.第四方面,本技术实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本技术实施例第一方面中所描述的部分或全部步骤。
16.第五方面,本技术实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本技术实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
17.实施本技术实施例,具备如下有益效果:
18.可以看出,本技术实施例中所描述的目标检测方法及相关设备,获取第一图像,利用图与卷积神经网络融合算法提取第一图像的图像特征,利用超像素提取算法将图像特征划分为p个超像素,p为大于1的整数,将p个超像素输入到transformer模型中进行运算,得到目标检测结果,通过图特征来检测目标,再将目标超像素处理,得到超像素特征,进而,有助于提升目标检测精度。
附图说明
19.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
20.图1是本技术实施例提供的一种目标检测方法的流程示意图;
21.图2是本技术实施例提供的另一种目标检测方法的流程示意图;
22.图3是本技术实施例提供的一种电子设备的结构示意图;
23.图4是本技术实施例提供的一种目标检测装置的功能单元组成框图。
具体实施方式
24.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
25.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
26.在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
27.本技术实施例所描述电子设备可以包括智能手机(如android手机、ios手机、windows phone手机等)、平板电脑、掌上电脑、行车记录仪、交通指挥平台、服务器、笔记本电脑、移动互联网设备(mid,mobile internet devices)或穿戴式设备(如智能手表、蓝牙耳机)等,上述仅是举例,而非穷举,包含但不限于上述电子设备。
28.下面对本技术实施例进行详细介绍。
29.请参阅图1,图1是本技术实施例提供的一种目标检测方法的流程示意图,如图所示,本目标检测方法包括:
30.101、获取第一图像。
31.其中,本技术实施例中,目标可以包括人、动物、实物、动作或者其他物体,物体可
以包括以下至少一种:电脑、衣服、裤子、口罩等等,在此不做限定。第一图像可以为包括目标的图像,目标可以预先设定,目标可以为本技术实施例中transformer模型可以识别的目标。
32.102、利用图与卷积神经网络融合算法提取所述第一图像的图像特征。
33.其中,本技术实施例中,图与卷积神经网络融合算法可以为图特征金字塔网络(graphfpn算法)。图像特征也可以称之为特征图。特征金字塔在需要多尺度特征的图像理解任务中已被证明是强大的。而多尺度特征学习的最新方法侧重于使用具有固定拓扑结构的神经网络跨空间和尺度执行特征交互。图特征神经网络可以使其拓扑结构适应不同的内在图像结构,并支持跨所有尺度的同步特征交互,该特征可以很好地表征图像的特征,提高目标的召回率。
34.本技术实施例中,使用图与卷积神经网络cnn特征融合算法提取输入图像特征,可以更准确标征图像块的特征,经过超像素与图像特征对齐可以得到超像素特征以用于transformer模型训练。
35.103、利用超像素提取算法将所述图像特征划分为p个超像素,p为大于1的整数。
36.其中,超像素提取算法可以预先设置或者系统默认,例如,超像素提取算法可以为面向卷积的边界算法。超像素可以理解为一个特征,即超像素特征。
37.具体实现中,利用超像素提取算法将所述图像特征划分为p个超像素,p为大于1的整数。超像素是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域,一般不会破坏图像中物体的边界信息,是对基础信息进行的抽象。图像中的目标外轮廓一般都不规则,用矩形框来框取图像的范围会得到更多干扰信息,反而降低物体检测精度。相关技术中,目标检测算法都是框取目标的最大外接矩形,其中包含各种各样的背景信息,为了使实际的测试样本集与验证集的数据分布一致,需要大量的数据,使深度学习算法提取目标的核心特征,于此同时也要使算法要有较强的鲁棒性,以适应各种各样的背景。所以需要的训练数据的规模非常大,对于实际生产场景中的样本,训练数据中模拟不了时,效果一般比较差。使用超像素来表征图像的目标,可以更好减少多余信息,比如背景信息,这样可以提高目标的准确率,同时提高算法的鲁棒性,精确检测到物体的位置。
38.可选的,上述步骤103,利用超像素提取算法将所述图像特征划分为p个超像素,p为大于1的整数,可以包括如下步骤:
39.31、通过使用面向卷积的边界算法获取所述图像特征的超像素区域,得到a个超像素区域,a为大于或等于p的整数;
40.32、对所述a个超像素区域进行前景提取,得到a个前景超像素区域;
41.33、对所述a个超像素区域进行筛选,得到p个前景超像素区域;
42.34、对所述p个前景超像素区域进行编码,得到所述p个超像素,每一超像素对应一个位置编码。
43.本技术实施例中,可以通过使用面向卷积的边界算法获取图像特征的超像素区域,得到a个超像素区域,a为大于或等于p的整数。考虑到背景干扰,即只提取目标的前景部分,以减少背景的干扰,对a个超像素区域进行前景提取,得到a个前景超像素区域,再对a个处于目标边界的超像素区域进行筛选,主要筛选出前景面积占比高的区域,得到p个前景超像素区域,再对p个前景超像素区域进行编码,得到p个超像素,每一超像素对应一个位置编
码。
44.具体实现中,可以使用面向卷积的边界(cob)算法获取图像的超像素区域,例如,每幅图像分割成k*k个区域,一般k取20。这样每一个超像素内的像素的特征比较相似,对目标的分割更加统一,在后续的图特征映射到超像素区域时,表征更真实,干扰也更少。
45.另外,由于graphfpn最后一层的特征映射到原图上是一个矩形区域,而超像素的轮廓一般不规则,需要一种映射规则才能提取超像素特征。举例说明下,例如,ci可以代表由graphfpn提取的特征图上第i个特征,si代表超像素的第i个区域。ci中的特征位于一个矩形网格上,每个网格单元对应原始输入图像中的一个矩形区域,而si中的超像素通常具有不规则的形状。如果多个超像素与同一网格单元ci部分重叠,则将网格单元分配给重叠最大的超像素。这样会存在一个超像素区域si存在很多个网格区域ck。
46.具体实现中,由于超像素的形状一般都不规则,后续需要对超像素进行定位,需要用一种方式来描述超像素的具体位置,进而,需要对超像素进行编码。
47.举例说明下,设图像的目标为c
obj
,目标由多个超像素来表示:,目标由多个超像素来表示:在空间上互相接近,共同组成了目标的前景区域。而包含的最大的外接矩形则为超像素的位置。
48.具体实现中,由于超像素的轮廓并不规则,大部分不成矩形,位置的编码不能直接像detr中直接使用其中xy方向的位置编码。detr中的位置编码特点是:

每个位置有一个唯一的positional encoding;

使可以让模型容易地计算出相对位置,对于固定长度的间距k,任意位置的pe
pos+k
都可以被pe
pos+k
的线性函数表示,因为三角函数特性:
49.cos(α+β)=cos(α)cos(β)-sin(α)sin(β)
50.sin(α+β)=sin(α)cos(β)+cos(α)sin(β)
51.本技术实施例中,首先将原图像划分成n*n的格子,从左向右,从上至下,依次给格子编号。同时对每个格子的(x
cell
,y
cell
)位置编号,比如第一个格子坐标为(0,0)最后一个格子的坐标为(n-1,n-1)。根据b)位置取超像素的编号,找到该编号对应的坐标位置(s
rx
,s
ry
),再对其进行位置编码。具体公式如下:
[0052][0053][0054][0055][0056]
其中,s
x
∈ls,sy∈ls,ls为图像分割成超像素的个数。s
rx
为超像素区域si内所有像素x方向位置的平均值,素x方向位置的平均值,表示对s
rx
结果向上取整。s
ry
为超像素区域si内所有像素y方向位置的平均值,内所有像素y方向位置的平均值,表示对s
ry
结果向上取整。使用该方法编码可以使超像素的x,y方向都能编码,完成基于注意力模型的目标检测的基础。
[0057]
本技术实施例中,这样设计的超像素特征既包含了卷积特征又包含了层次特征,所以当不规则的超像素区域特征映射到cnn上时,物体超像素边缘的梯度特征也会保留到设计的超像素特征中。所以超像素的特征中也包含了梯度信息,更有利于与其他的物体区
分开来。基于注意力的目标检测方法的权重是一个可以学习的矩阵。这些超像素间的权重可以学习出超像素之间的位置关系,哪些区域是相互靠在一起的,哪些区域不会组合在一起,进而,可以增强目标所在不同区域之间的关联性。
[0058]
可选的,上述步骤33,对所述a个前景超像素区域进行筛选,得到p个前景超像素区域,可以包括如下步骤:
[0059]
331、确定前景超像素区域i的面积占比;所述超像素区域i为所述a个前景超像素区域中的任一超像素区域,该前景面积占比为所述超像素区域i的前景区域的面积与该超像素所属矩形区域i的区域面积之间的比值;
[0060]
332、在所述前景面积占比大于预设阈值时,保留所述超像素区域i;
[0061]
333、在所述前景面积占比小于或等于所述预设阈值时,过滤所述超像素区域i。
[0062]
其中,预设阈值可以预先设置或者系统默认。前景超像素区域为经过超像素分割算法得到的所有超像素中,组成第一图像中的目标物体部分的超像素,具体实现中,用图与卷积神经网络算法提取第一图像n*n个大小相同的矩形区域rect的特征,在此基础上,以超像素区域i为例,该超像素区域i为a个超像素区域中的任一超像素区域,可以确定前景超像素区域i的前景面积占比,该前景面积占比为超像素区域i的前景区域的面积与该超像素区域i的区域面积之间的比值,即超像素区域i的前景区域的面积与该超像素区域i位置重叠的第一图像矩形rectj的面积比,在前景面积占比大于预设阈值时,保留超像素区域i,反之,在前景面积占比小于或等于预设阈值时,过滤超像素区域i,则可以过滤掉一些前景面积占比低于的区域,以降低背景干扰。
[0063]
具体实现中,可以取包含物体边界处的前景超像素区域,计算所有该区域前景面积占比的平均值,将该平均值作为预设阈值。
[0064]
可选的,还可以包括如下步骤:
[0065]
a1、确定所述a个超像素区域中每一超像素区域的前景面积占比,得到a个前景面积占比;
[0066]
a2、从所述a个前景面积占比中选取小于设定值的前景面积占比,得到b个前景面积占比;
[0067]
a3、确定所述b个前景面积占比的均值;
[0068]
a4、确定所述均值与所述设定值之间的目标差值;
[0069]
a5、根据所述目标差值调节所述设定值,得到所述预设阈值。
[0070]
具体实现中,设定值可以预先设置或者系统默认。可以确定a个超像素区域中每一超像素区域的前景面积占比,得到a个前景面积占比,还可以从a个前景面积占比中选取小于设定值的前景面积占比,得到b个前景面积占比,再确定b个前景面积占比的均值,以及确定均值与设定值之间的目标差值,按照预设的差值与调节参数之间的映射关系,确定目标差值对应的目标调节参数,调节参数的取值范围可以为-1~1,例如,-0.13~0.13,进而,预设阈值=(1+目标调节参数)*设定值,如此,可以基于小于设定值的前景面积占比的超像素区域与设定值之间的差值对阈值加以调整,调整后的阈值更加符合图像本身的实际情况,有助于提升后期目标检测精度。
[0071]
104、将所述p个超像素输入到transformer模型中进行运算,得到目标检测结果。
[0072]
具体实现中,可以将p个超像素特征直接输入到transformer模型中进行运算,由
transformer模型输出目标检测结果,例如,可以在图像中框定出目标区域。
[0073]
本技术实施例中,为提高transformer目标检测时召回率和目标位置精度,采用graphfpn提取图像特征,然后对用超像素分割方法分割图像得到超像素,用自定义方法提取超像素特征,输入到transformer中进行训练,得到最后的结果。
[0074]
可选的,还可以包括如下步骤:
[0075]
b1、获取样本集,该样本集包括至少一个样本图像;
[0076]
b2、采用所述图与卷积神经网络融合算法对所述样本集进行特征提取,得到m个图像特征,m为大于1的整数;
[0077]
b3、根据所述样本集确定q个超像素区域,q为大于1的整数;
[0078]
b4、将所述q个超像素区域映射到所述m个图像特征上,得到k个超像素区域的特征,k为大于1的整数;
[0079]
b5、将所述k个超像素区域的特征进行位置编码,得到编码后的所述k个超像素区域的特征;
[0080]
b6、将编码后的所述k个超像素区域的特征输入到所述transformer模型进行训练,直到达到预设条件。
[0081]
其中,预设条件可以为达到设定训练次数,又例如,模型精度达到某一阈值,等等,在此不做限定。具体的,可以获取样本集,该样本集包括至少一个样本图像,再采用图与卷积神经网络融合算法(图特征金字塔网络)对样本集进行特征提取,得到m个图像特征,m为大于1的整数,根据样本集确定q个超像素区域,q为大于1的整数,将q个超像素区域映射到m个图像特征上,得到k个超像素区域的特征,k为大于1的整数,再将k个超像素区域的特征进行位置编码,得到编码后的k个超像素区域的特征,将编码后的k个超像素区域的特征输入到transformer模型进行训练,直到达到预设条件。
[0082]
具体实现中,在进行图像的训练时,首先对图像的超像素排序,然后根据排序的结果依次将超像素对应的特征输入到transformer中进行训练。首先,将第一图像划分成n*n个格子,从左至右,从上至下,从1开始依次对格子编号。然后将超像素与第一图像对齐,看超像素覆盖了哪些格子,然后筛选出属于前景的超像素。当有两个以上前景超像素覆盖同一格子,则范围最大的占据该格子。然后统计前景超像素所占格子的序号,记录下最小序号作为该前景超像素的编号,然后对编号按照从小到大的规则排序,得到最终的超像素排序结果,通过该结果计算位置编码。
[0083]
具体实现中,用图与cnn融合的算法来提取第一图像n*n个矩形区域的特征,将超像素分割结果与第一图像对齐,超像素覆盖的格子特征均值为该超像素的特征。
[0084]
具体实现中,训练集中的任何一种图像,例如,经过超像素分割算法可获取100个图像的超像素区域,将这个超像素区域映射到图与cnn融合算法提取的特征上,得到超像素区域的特征,再将超像素进行位置编码,加入到transformer中训练,得到目标检测模型。
[0085]
在进行图像预测时,首先用图与cnn融合算法提取图像特征,然后用超像素提取算法将图像分割成指定个数的超像素。超像素的特征提取方式和训练集使用的提取方式相同,然后输入到模型中预测结果。
[0086]
具体实现中,考虑到一般的待检测目标中用矩形框进行标注,包含很多背景信息,这需要提取的特征有较强的鲁棒性,而工业上的图片包含的背景比较复杂,导致训练集上
训练的模型在实际环境下效果较差。所以用超像素方法可以在保留边缘特征的同时,尽可能减少背景图像,使其检测更加准确。
[0087]
进一步的,可以基于loss函数对transformer模型进行优化。
[0088]
其中,loss函数
[0089][0090]
其中,yi为真值,为预测值,为重建的超像素,σ∈∑n为所有可能的排列,代表从真值索引到预测值索引的所有的映射。
[0091]
其中,为分类网络的结果,为回归网络计算的结果,为预测结果与真值的差异,ci为目标的类别。
[0092]
由上式可以得到排列计算匈牙利损失:
[0093][0094][0095]
可以看出,本技术实施例中所描述的目标检测方法,获取第一图像,利用图与卷积神经网络融合算法提取第一图像的图像特征,利用超像素提取算法将图像特征划分为p个超像素,p为大于1的整数,将p个超像素输入到transformer模型中进行运算,得到目标检测结果,通过图特征来检测目标,再将目标超像素处理,得到超像素特征,进而,有助于提升目标检测精度。
[0096]
与上述图1所示的实施例一致地,请参阅图2,图2是本技术实施例提供的一种目标检测方法的流程示意图,应用于电子设备,如图所示,本目标检测方法包括:
[0097]
201、获取样本集,该样本集包括至少一个样本图像。
[0098]
202、采用所述图与卷积神经网络融合算法对所述样本集进行特征提取,得到m个图像特征,m为大于1的整数。
[0099]
203、根据所述样本集确定q个超像素区域,q为大于1的整数。
[0100]
204、将所述q个超像素区域映射到所述m个图像特征上,得到k个超像素区域的特征,k为大于1的整数。
[0101]
205、将所述k个超像素区域的特征进行位置编码,得到编码后的所述k个超像素区域的特征。
[0102]
206、将编码后的所述k个超像素区域的特征输入到transformer模型进行训练,直到达到预设条件。
[0103]
207、获取第一图像。
[0104]
208、利用图与卷积神经网络融合算法提取所述第一图像的图像特征。
[0105]
209、利用超像素提取算法将所述图像特征划分为p个超像素,p为大于1的整数。
[0106]
210、将所述p个超像素输入到所述transformer模型中进行运算,得到目标检测结果。
[0107]
其中,上述步骤201-步骤210的具体描述可以参照上述图1所描述的目标检测方法的相应步骤,在此不再赘述。
[0108]
可以看出,本技术实施例中所描述的目标检测方法,通过图特征来检测目标,再将目标超像素处理,得到超像素特征,进而,有助于提升目标检测精度。
[0109]
与上述实施例一致地,请参阅图3,图3是本技术实施例提供的一种电子设备的结构示意图,如图所示,该电子设备包括处理器、存储器、通信接口以及一个或多个程序,应用于电子设备,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,本技术实施例中,上述程序包括用于执行以下步骤的指令:
[0110]
获取第一图像;
[0111]
利用图与卷积神经网络融合算法提取所述第一图像的图像特征;
[0112]
利用超像素提取算法将所述图像特征划分为p个超像素,p为大于1的整数;
[0113]
将所述p个超像素输入到transformer模型中进行运算,得到目标检测结果。
[0114]
可选的,在所述利用超像素提取算法将所述图像特征划分为p个超像素方面,上述程序包括用于执行以下步骤的指令:
[0115]
通过使用面向卷积的边界算法获取所述图像特征的超像素区域,得到a个超像素区域,a为大于或等于p的整数;
[0116]
对所述a个超像素区域进行前景提取,得到a个前景超像素区域;
[0117]
对所述a个前景超像素区域进行筛选,得到p个前景超像素区域;
[0118]
对所述p个前景超像素区域进行编码,得到所述p个超像素,每一超像素对应一个位置编码。
[0119]
可选的,在所述对所述a个前景超像素区域进行筛选,得到p个前景超像素区域方面,上述程序包括用于执行以下步骤的指令:
[0120]
确定前景超像素区域i的前景面积占比,所述超像素区域i为所述a个超像素区域中的任一超像素区域,该前景面积占比为所述超像素区域i的前景区域的面积与该超像素区域i的区域面积之间的比值;
[0121]
在所述前景面积占比大于预设阈值时,保留所述超像素区域i;
[0122]
在所述前景面积占比小于或等于所述预设阈值时,过滤所述超像素区域i。
[0123]
可选的,上述程序还包括用于执行以下步骤的指令:
[0124]
确定所述a个超像素区域中每一超像素区域的前景面积占比,得到a个前景面积占比;
[0125]
从所述a个前景面积占比中选取小于设定值的前景面积占比,得到b个前景面积占比;
[0126]
确定所述b个前景面积占比的均值;
[0127]
确定所述均值与所述设定值之间的目标差值;
[0128]
根据所述目标差值调节所述设定值,得到所述预设阈值。
[0129]
可选的,上述程序还包括用于执行以下步骤的指令:
[0130]
获取样本集,该样本集包括至少一个样本图像;
[0131]
采用所述图与卷积神经网络融合算法对所述样本集进行特征提取,得到m个图像特征,m为大于1的整数;
[0132]
根据所述样本集确定q个超像素区域,q为大于1的整数;
[0133]
将所述q个超像素区域映射到所述m个图像特征上,得到k个超像素区域的特征,k为大于1的整数;
[0134]
将所述k个超像素区域的特征进行位置编码,得到编码后的所述k个超像素区域的
特征;
[0135]
将编码后的所述k个超像素区域的特征输入到所述transformer模型进行训练,直到达到预设条件。
[0136]
可以看出,本技术实施例中所描述的电子设备,获取第一图像,利用图与卷积神经网络融合算法提取第一图像的图像特征,利用超像素提取算法将图像特征划分为p个超像素,p为大于1的整数,使用特征对齐获取超像素特征,将p个超像素特征输入到transformer模型中进行运算,得到目标检测结果,通过图特征来检测目标,再将目标超像素处理,得到超像素特征,进而,有助于提升目标检测精度。
[0137]
图4是本技术实施例中所涉及的目标检测装置400的功能单元组成框图。该目标检测装置400,应用于电子设备,所述装置400包括:获取单元401、提取单元402、划分单元403和运算单元404,其中,
[0138]
所述获取单元401,用于获取第一图像;
[0139]
所述提取单元402,用于利用图与卷积神经网络融合算法提取所述第一图像的图像特征;
[0140]
所述划分单元403,用于利用超像素提取算法将所述图像特征划分为p个超像素,p为大于1的整数;
[0141]
所述运算单元404,用于将所述p个超像素输入到transformer模型中进行运算,得到目标检测结果。
[0142]
可选的,在所述利用超像素提取算法将所述图像特征划分为p个超像素方面,所述划分单元403具体用于:
[0143]
通过使用面向卷积的边界算法获取所述图像特征的超像素区域,得到a个超像素区域,a为大于或等于p的整数;
[0144]
对所述a个超像素区域进行前景提取,得到a个前景超像素区域;
[0145]
对所述a个前景超像素区域进行筛选,得到p个前景超像素区域;
[0146]
对所述p个前景超像素区域进行编码,得到所述p个超像素,每一超像素对应一个位置编码。
[0147]
可选的,在所述对所述a个前景超像素区域进行筛选,得到p个前景超像素区域方面,所述划分单元403具体用于:
[0148]
确定前景超像素区域i的前景面积占比,所述超像素区域i为所述a个超像素区域中的任一超像素区域,该前景面积占比为所述超像素区域i的前景区域的面积与该超像素区域i的区域面积之间的比值;
[0149]
在所述前景面积占比大于预设阈值时,保留所述超像素区域i;
[0150]
在所述前景面积占比小于或等于所述预设阈值时,过滤所述超像素区域i。
[0151]
可选的,所述装置400还具体用于:
[0152]
确定所述a个超像素区域中每一超像素区域的前景面积占比,得到a个前景面积占比;
[0153]
从所述a个前景面积占比中选取小于设定值的前景面积占比,得到b个前景面积占比;
[0154]
确定所述b个前景面积占比的均值;
[0155]
确定所述均值与所述设定值之间的目标差值;
[0156]
根据所述目标差值调节所述设定值,得到所述预设阈值。
[0157]
可选的,所述装置400还具体用于:
[0158]
获取样本集,该样本集包括至少一个样本图像;
[0159]
采用所述图与卷积神经网络融合算法对所述样本集进行特征提取,得到m个图像特征,m为大于1的整数;
[0160]
根据所述样本集确定q个超像素区域,q为大于1的整数;
[0161]
将所述q个超像素区域映射到所述m个图像特征上,得到k个超像素区域的特征,k为大于1的整数;
[0162]
将所述k个超像素区域的特征进行位置编码,得到编码后的所述k个超像素区域的特征;
[0163]
将编码后的所述k个超像素区域的特征输入到所述transformer模型进行训练,直到达到预设条件。
[0164]
可以看出,本技术实施例中所描述的目标检测装置,获取第一图像,利用图与卷积神经网络融合算法提取第一图像的图像特征,利用超像素提取算法将图像特征划分为p个超像素,p为大于1的整数,使用特征对齐得到p个超像素特征,将其输入到transformer模型中进行运算,得到目标检测结果,通过图特征来检测目标,再将目标超像素处理,得到超像素特征,进而,有助于提升目标检测精度。
[0165]
可以理解的是,本实施例的目标检测装置的各程序模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
[0166]
本技术实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
[0167]
本技术实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
[0168]
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本技术并不受所描述的动作顺序的限制,因为依据本技术,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本技术所必须的。
[0169]
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
[0170]
在本技术所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
[0171]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0172]
另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0173]
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例上述方法的全部或部分步骤。而前述的存储器包括:u盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0174]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:read-only memory,简称:rom)、随机存取器(英文:random access memory,简称:ram)、磁盘或光盘等。
[0175]
以上对本技术实施例进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的一般技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1