目标对象识别方法、装置、计算机设备和存储介质与流程

文档序号:29207545发布日期:2022-03-12 02:22阅读:91来源:国知局
目标对象识别方法、装置、计算机设备和存储介质与流程

1.本技术涉及图像处理技术领域,特别是涉及一种目标对象识别方法、装置、计算机设备和存储介质。


背景技术:

2.随着图像处理技术的发展,针对拍摄设备所拍摄到的视频或图像数据,可以利用目标检测来识别拍摄设备的固定位置。
3.传统技术中,常采用的识别方式为,通过识别视频或图像数据中用于辅助拍摄设备的辅助设备来确定拍摄设备的固定位置。比如,辅助设备具体可以是指用于辅助拍摄设备的自拍杆。
4.然而,针对具有隐形辅助设备功能的拍摄设备来说,由于其通过物理手段在拍摄的视频或图像数据里隐藏了辅助设备,会导致无法准确在视频或图像数据中识别拍摄设备的固定位置。


技术实现要素:

5.基于此,有必要针对上述技术问题,提供一种能够准确识别拍摄设备的固定位置的目标对象识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
6.第一方面,本技术提供了一种目标对象识别方法。所述方法包括:
7.获取待识别图像;
8.对待识别图像进行目标检测,得到与待识别图像对应的目标检测结果,目标检测结果包括检测类别以及检测框;
9.当目标检测结果中存在目标检测类别时,确定与目标检测类别对应的目标检测框,并对待识别图像进行人体检测,得到与待识别图像对应的人体检测框;
10.根据人体检测框对目标检测框进行筛选,根据筛选结果更新目标检测结果;
11.根据更新后的目标检测结果,得到目标对象识别结果。
12.在其中一个实施例中,对待识别图像进行目标检测,得到与待识别图像对应的目标检测结果包括:
13.对待识别图像进行图像特征提取,得到与待识别图像对应的图像特征信息;
14.根据图像特征信息进行目标检测,得到与待识别图像对应的第一检测框;
15.对第一检测框进行筛选,得到与待识别图像对应的目标检测结果。
16.在其中一个实施例中,对第一检测框进行筛选,得到与待识别图像对应的目标检测结果包括:
17.获取与第一检测框对应的第一检测框置信度;
18.根据第一检测框置信度以及预设置信度阈值,对第一检测框进行筛选,得到第二检测框;
19.采用非极大值抑制算法对第二检测框进行筛选,得到候选检测框;
20.根据候选检测框,得到与待识别图像对应的目标检测结果。
21.在其中一个实施例中,采用非极大值抑制算法对第二检测框进行筛选,得到候选检测框包括:
22.根据第二检测框的检测类别,对第二检测框进行分类,得到同类别检测框集合;
23.采用非极大值抑制算法对同类别检测框集合中同类别检测框进行筛选,得到候选检测框。
24.在其中一个实施例中,根据人体检测框对目标检测框进行筛选,根据筛选结果更新目标检测结果包括:
25.确定人体检测框与目标检测框之间的交并比值;
26.根据交并比值和预设交并比阈值,对目标检测框进行筛选,得到第三检测框,第三检测框对应的交并比值大于或者等于预设交并比阈值;
27.根据第三检测框,更新目标检测结果。
28.在其中一个实施例中,根据更新后的目标检测结果,得到目标对象识别结果包括:
29.确定更新后的目标检测结果中检测框对应的第二检测框置信度;
30.对第二检测框置信度进行排序,确定与最高检测框置信度对应的检测框;
31.根据与最高检测框置信度对应的检测框,得到目标对象识别结果。
32.第二方面,本技术还提供了一种目标对象识别装置。所述装置包括:
33.获取模块,用于获取待识别图像;
34.第一检测模块,用于对待识别图像进行目标检测,得到与待识别图像对应的目标检测结果,目标检测结果包括检测类别以及检测框;
35.第二检测模块,用于当目标检测结果中存在目标检测类别时,确定与目标检测类别对应的目标检测框,并对待识别图像进行人体检测,得到与待识别图像对应的人体检测框;
36.筛选模块,用于根据人体检测框对目标检测框进行筛选,根据筛选结果更新目标检测结果;
37.处理模块,用于根据更新后的目标检测结果,得到目标对象识别结果。
38.第三方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
39.获取待识别图像;
40.对待识别图像进行目标检测,得到与待识别图像对应的目标检测结果,目标检测结果包括检测类别以及检测框;
41.当目标检测结果中存在目标检测类别时,确定与目标检测类别对应的目标检测框,并对待识别图像进行人体检测,得到与待识别图像对应的人体检测框;
42.根据人体检测框对目标检测框进行筛选,根据筛选结果更新目标检测结果;
43.根据更新后的目标检测结果,得到目标对象识别结果。
44.第四方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
45.获取待识别图像;
46.对待识别图像进行目标检测,得到与待识别图像对应的目标检测结果,目标检测
结果包括检测类别以及检测框;
47.当目标检测结果中存在目标检测类别时,确定与目标检测类别对应的目标检测框,并对待识别图像进行人体检测,得到与待识别图像对应的人体检测框;
48.根据人体检测框对目标检测框进行筛选,根据筛选结果更新目标检测结果;
49.根据更新后的目标检测结果,得到目标对象识别结果。
50.第五方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
51.获取待识别图像;
52.对待识别图像进行目标检测,得到与待识别图像对应的目标检测结果,目标检测结果包括检测类别以及检测框;
53.当目标检测结果中存在目标检测类别时,确定与目标检测类别对应的目标检测框,并对待识别图像进行人体检测,得到与待识别图像对应的人体检测框;
54.根据人体检测框对目标检测框进行筛选,根据筛选结果更新目标检测结果;
55.根据更新后的目标检测结果,得到目标对象识别结果。
56.上述目标对象识别方法、装置、计算机设备、存储介质和计算机程序产品,通过获取待识别图像,对待识别图像进行目标检测,得到与待识别图像对应的目标检测结果,当目标检测结果中存在目标检测类别时,确定与目标检测类别对应的目标检测框,并对待识别图像进行人体检测,得到与待识别图像对应的人体检测框,能够利用人体检测框对目标检测框进行筛选,筛选出符合要求的目标检测框,以减少错误检测的发生,通过根据筛选结果更新目标检测结果,根据更新后的目标检测结果,得到目标对象识别结果,能够在筛选掉会导致错误检测的目标检测框的基础上实现对目标对象的准确识别。
附图说明
57.图1为一个实施例中目标对象识别方法的流程示意图;
58.图2为一个实施例中已训练目标检测模型的示意图;
59.图3为一个实施例中残差网络的示意图;
60.图4为一个实施例中fpn(feature pyramid networks,特征金字塔)网络的示意图;
61.图5为另一个实施例中目标对象识别方法的流程示意图;
62.图6为一个实施例中目标对象识别装置的结构框图;
63.图7为一个实施例中计算机设备的内部结构图。
具体实施方式
64.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
65.在一个实施例中,如图1所示,提供了一种目标对象识别方法,本实施例以该方法应用于服务器进行举例说明,可以理解的是,该方法也可以应用于终端,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。终端可以但不限于是各种个人计
算机、笔记本电脑、智能手机、平板电脑、物联网设备、便携式可穿戴设备、运动相机、全景相机或者云台相机等,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中,该方法包括以下步骤:
66.步骤102,获取待识别图像。
67.其中,待识别图像是指由拍摄设备所拍摄的、需要确定目标对象的图像。目标对象是指拍摄设备和/或拍摄者和/或辅助拍摄设备在待识别图像中的固定位置。其中,拍摄设备包括但不限于单反相机、无反相机、带有拍照与摄像功能的手机、运动相机、全景相机、云台相机、无人机等。
68.具体的,针对拍摄设备所拍摄到的视频或图像数据,通常需要识别拍摄设备的固定位置,在识别拍摄设备的固定位置时,服务器会获取与拍摄设备所拍摄到的视频或图像数据对应的待识别图像。其中,当拍摄设备所拍摄的是图像数据时,可以直接将图像数据作为待识别图像,当拍摄设备所拍摄的是视频数据时,需要对视频数据进行抽帧,将得到的视频帧作为待识别图像。
69.进一步的,在获取到待识别图像后,服务器会对待识别图像进行预处理,以得到统一大小的待识别图像。举例说明,处理的方式可以为,服务器先对待识别图像的大小进行调整再进行归一化处理。其中,对待识别图像的大小进行调整可以将其调整大小至(1024*512(宽*高)),下面对归一化进行举例说明,当待识别图像的平均像素为(0.485,0.456,0.406),标准像素为(0.229,0.224,0.225)(其中像素的通道顺序为rgb,即像素为(r,g,b))时,以r通道为例进行说明,归一化像素r2=(r1/255

0.485)/0.229。
70.步骤104,对待识别图像进行目标检测,得到与待识别图像对应的目标检测结果,目标检测结果包括检测类别以及检测框。
71.其中,目标检测是指检测出待识别图像中可能为目标对象的区域的检测类别以及检测框。目标检测结果包括检测类别以及检测框,其中的检测类别可按照需要自行设置,检测框用于标注出检测出的区域在待识别图像中的位置。比如,当拍摄设备为全景相机时,由于全景相机相对于其他相机的特殊性,其视角可以覆盖上下180度,左右360度或者180度的范围,故对应的目标对象(即全景相机的固定位置)的检测类别可以分为三种,一是目标对象未出现在待识别图像中,二是仅目标对象出现在待识别图像中,比如固定的装置的位置,如车头、三脚架等,三是拍摄者与全景相机同时出现在待识别图像中。进一步的,针对第三种情况,还可以细分为拍摄者手持全景相机出现和拍摄者通过自拍杆持全景相机出现。
72.具体的,服务器在获取到待识别图像后,会对待识别图像进行特征提取,得到与待识别图像对应的图像特征信息,再根据图像特征信息进行目标检测,以得到与待识别图像对应的第一检测框,通过对第一检测框进行筛选,得到目标检测结果。其中,每个第一检测框都有对应的检测类别,会在目标检测后同时显示。
73.具体的,服务器可以通过获取已训练目标检测模型来实现对待识别图像的目标检测。其中,已训练目标检测模型可以通过获取携带类别标注以及检测框标注的样本图像对初始目标检测模型进行训练得到,这里的初始目标检测模型是指未训练的目标检测模型。举例说明,已训练目标检测模型具体可以是指基于fpn网络的目标检测模型,本实施例在此处不对目标检测模型进行具体限定。
74.步骤106,当目标检测结果中存在目标检测类别时,确定与目标检测类别对应的目标检测框,并对待识别图像进行人体检测,得到与待识别图像对应的人体检测框。
75.其中,目标检测类别是指预先设置的、需要进一步确认是否存在错误检测的类别。比如,当拍摄设备为全景相机时,目标检测类别是指第三种类别,即拍摄者与全景相机同时出现在待识别图像中的情况。此时,即需要进一步验证待识别图像中是否有拍摄者的存在。目标检测框是指与目标检测类别所对应的待识别图像中的检测框,在目标检测结果中,检测类别与检测框是一一对应的,从而可以确定与目标检测类别对应的目标检测框。人体检测是指对待识别图像进行目标检测,检测待识别图像中是否存在人体。人体检测框用于标注出待识别图像中所存在的人体的位置。
76.具体的,在得到目标检测结果后,服务器会比对目标检测结果中检测类别以及预先设置的目标检测类别,当目标检测结果中存在目标检测类别时,确定与目标检测类别对应的目标检测框,并对待识别图像进行人体检测,得到与待识别图像对应的人体检测框,以便利用人体检测框对目标检测框进行筛选,减少错误检测的发生。
77.步骤108,根据人体检测框对目标检测框进行筛选,根据筛选结果更新目标检测结果。
78.具体的,服务器会计算每个人体检测框与目标检测框之间的交并比值,里交并比值对目标检测框进行筛选,筛选出与人体检测框之间的交并比值大于或者等于预设交并比阈值的目标检测框,根据筛选出的目标检测框更新目标检测结果,即从目标检测结果中删除未被筛选出的目标检测框。其中,预设交并比阈值可按照需要自行设置。比如,预设交并比阈值具体可以为0.3。
79.步骤110,根据更新后的目标检测结果,得到目标对象识别结果。
80.具体的,在对目标检测结果进行更新后,服务器会确定更新后的目标检测结果中每个检测框对应的置信度,对该置信度进行排序,以筛选出最高置信度对应的检测框作为目标对象的检测框,得到目标对象识别结果,目标对象识别结果包括目标对象的检测框,以及与该检测框对应的检测类别。
81.进一步的,在得到目标对象识别结果后,可利用目标对象识别结果对待识别图像进行分析,比如,在视频自动剪辑项目中,获取拍摄主体对于我们来说是比较重要的。举例说明,当定位到某个人是拍摄主体时,当其他物体出现遮挡拍摄主体时,我们会认为这个镜头比较差。又举例说明,当待识别图像出现至少两个以上主体时,我们会认为非拍摄主体更值得关注。
82.上述目标对象识别方法,通过获取待识别图像,对待识别图像进行目标检测,得到与待识别图像对应的目标检测结果,当目标检测结果中存在目标检测类别时,确定与目标检测类别对应的目标检测框,并对待识别图像进行人体检测,得到与待识别图像对应的人体检测框,能够利用人体检测框对目标检测框进行筛选,筛选出符合要求的目标检测框,以减少错误检测的发生,通过根据筛选结果更新目标检测结果,根据更新后的目标检测结果,得到目标对象识别结果,能够在筛选掉会导致错误检测的目标检测框的基础上实现对目标对象的准确识别。
83.在一个实施例中,对待识别图像进行目标检测,得到与待识别图像对应的目标检测结果包括:
84.对待识别图像进行图像特征提取,得到与待识别图像对应的图像特征信息;
85.根据图像特征信息进行目标检测,得到与待识别图像对应的第一检测框;
86.对第一检测框进行筛选,得到与待识别图像对应的目标检测结果。
87.具体的,服务器会对待识别图像进行图像特提取,得到与待识别图像对应的图像特征信息,根据图像特征信息进行目标检测,以得到与待识别图像对应的第一检测框,再对第一检测框进行筛选,过滤掉不符合要求的检测框,得到与待识别图像对应的目标检测结果。
88.具体的,服务器可以通过获取已训练目标检测模型来实现对待识别图像的目标检测,得到与待识别图像对应的第一检测框。举例说明,如图2所示,当已训练目标检测模型为基于fpn网络的目标检测模型时,该目标检测模型首先会利用残差网络以及fpn网络对待识别图像进行图像特征提取,以得到多尺度的图像特征信息,再将多尺度的图像特征信息分别输入类别子网以及检测框子网,得到检测类别以及检测框。其中,残差网络的结构可以如图3所示,fpn网络的结构可以如图4所示。
89.本实施例中,通过先对待识别图像进行图像特征提取,得到图像特征信息,在对图像特征信息进行目标检测,得到第一检测框,能够实现对待识别图像的目标检测,通过对第一检测框进行筛选,能够筛选出符合要求的检测框,得到与待识别图像对应的目标检测结果。
90.在一个实施例中,对第一检测框进行筛选,得到与待识别图像对应的目标检测结果包括:
91.获取与第一检测框对应的第一检测框置信度;
92.根据第一检测框置信度以及预设置信度阈值,对第一检测框进行筛选,得到第二检测框;
93.采用非极大值抑制算法对第二检测框进行筛选,得到候选检测框;
94.根据候选检测框,得到与待识别图像对应的目标检测结果。
95.其中,第一检测框置信度是指在目标检测结果中与第一检测框对应的置信度,第一检测框置信度是与第一检测框同时输出的,用于表示第一检测框的真实程度,即第一检测框置信度越高,其对应的第一检测框的越可信。非极大值抑制是指抑制不是极大值的元素,可以理解为局部最大搜索,这个局部代表的是一个邻域,邻域有两个参数可变,一是邻域的维数,二是邻域的大小,本实施例中,主要指的是抑制置信度不为极大值的检测框。
96.具体的,服务器会获取与第一检测框对应的第一检测框置信度,根据预设置信度阈值对第一检测框置信度进行过滤,保留大于或者等于预设置信度阈值的第一检测框置信度,进而根据被保留的第一检测框置信度,保留与其对应的第一检测框作为第二检测框,以实现对第一检测框的筛选。在筛选出第二检测框后,服务器会进一步采用非极大值抑制算法对第二检测框进行筛选,以抑制置信度不为极大值的检测框,得到候选检测框,将候选检测框以及与候选检测框对应的检测类别作为与待识别图像对应的目标检测结果。其中,预设置信度阈值可按照需要自行设置。
97.本实施例中,通过获取与第一检测框对应的第一检测框置信度,能够利用第一检测框置信度以及预设置信度阈值,对第一检测框进行筛选,以过滤掉置信度低的检测框,得到第二检测框,通过采用非极大值抑制算法对第二检测框进行筛选,能够实现对检测框数
量的精简,得到候选检测框,从而可以根据候选检测框,得到目标检测结果。
98.在一个实施例中,采用非极大值抑制算法对第二检测框进行筛选,得到候选检测框包括:
99.根据第二检测框的检测类别,对第二检测框进行分类,得到同类别检测框集合;
100.采用非极大值抑制算法对同类别检测框集合中同类别检测框进行筛选,得到候选检测框。
101.具体的,本实施例中的非极大值抑制主要是针对同类别检测框,因此,在得到第二检测框后,服务器会根据第二检测框的检测类别,对第二检测框进行分类,得到同类别检测框集合,再采用非极大值抑制算法对同类别检测框集合中同类别检测框进行筛选,得到候选检测框。
102.具体的,采用非极大值抑制算法对同类别检测框集合中同类别检测框进行筛选的方式为,先根据置信度对同类别检测框进行排序,确定与最高置信度对应的目标同类别检测框,再计算同类别检测框集合中其他同类别检测框与目标同类别检测框之间的交并比值,移除与目标同类别检测框的交并比值大于或者等于预设非极大值交并比阈值的同类别检测框,将目标同类别检测框作为候选检测框并从同类别检测框集合中移除,再根据置信度对同时移除同类别检测框和目标同类别检测框的同类别检测框集合中剩余同类别检测框进行排序,以确定新的目标同类别检测框,利用新的目标同类别检测框再次对其他剩余同类别检测框进行筛选,直到同类别检测框集合为空,根据每次得到的目标同类别检测框得到候选检测框。
103.本实施例中,通过根据第二检测框的检测类别,对第二检测框进行分类,得到同类别检测框集合,采用非极大值抑制算法对同类别检测框集合中同类别检测框进行筛选,能够实现对检测框的精简,得到候选检测框。
104.在一个实施例中,根据人体检测框对目标检测框进行筛选,根据筛选结果更新目标检测结果包括:
105.确定人体检测框与目标检测框之间的交并比值;
106.根据交并比值和预设交并比阈值,对目标检测框进行筛选,得到第三检测框,第三检测框对应的交并比值大于或者等于预设交并比阈值;
107.根据第三检测框,更新目标检测结果。
108.其中,交并比指的是两个检测框的交叠率,即它们的交集与并集的比值,最理想情况是完全重叠,即比值为1。本实施例中,主要指的是人体检测框与目标检测框的交叠率。
109.具体的,在得到人体检测框之后,服务器会计算人体检测框与目标检测框之间的交并比值,根据交并比值和预设交并比阈值,对目标检测框进行筛选,以筛选出与人体检测框的交并比值大于或者等于预设交并比阈值的目标检测框作为第三检测框,根据第三检测框,更新目标检测结果,即删除掉目标检测结果中不为第三检测框的目标检测框。其中,预设交并比阈值可按照需要自行设置。
110.本实施例中,通过确定人体检测框与目标检测框之间的交并比值,根据交并比值和预设交并比阈值,对目标检测框进行筛选,得到第三检测框,根据第三检测框,更新目标检测结果,能够利用人体检测框去检测目标检测框是否存在人体,以验证是否有拍摄者的存在,减少错误检测的发生。
111.在一个实施例中,根据更新后的目标检测结果,得到目标对象识别结果包括:
112.确定更新后的目标检测结果中检测框对应的第二检测框置信度;
113.对第二检测框置信度进行排序,确定与最高检测框置信度对应的检测框;
114.根据与最高检测框置信度对应的检测框,得到目标对象识别结果。
115.具体的,在对目标检测结果进行更新后,服务器会确定更新后的目标检测结果中检测框对应的第二检测框置信度,对第二检测框置信度进行排序,以确定第二检测框置信度中的最高检测框置信度,进而可以确定与最高检测框置信度对应的检测框,将与最高检测框置信度对应的检测框以及该检测框对应的检测类别,作为目标对象识别结果。
116.本实施例中,通过确定更新后的目标检测结果中检测框对应的第二检测框置信度,对第二检测框置信度进行排序,确定与最高检测框置信度对应的检测框,能够根据与最高检测框置信度对应的检测框,实现对目标对象识别结果的确定。
117.在一个实施例中,当目标检测结果中不存在目标检测类别时,服务器会直接确定目标检测结果中每个检测框对应的置信度,对置信度进行排序,以筛选出最高置信度对应的检测框作为目标对象的检测框,得到目标对象识别结果,目标对象识别结果包括目标对象的检测框,以及与该检测框对应的检测类别。
118.在一个实施例中,如图5所示,通过一个流程示意图来说明本技术的目标对象识别方法,该目标对象识别方法具体包括以下步骤:
119.步骤502,获取待识别图像;
120.步骤504,对待识别图像进行图像特征提取,得到与待识别图像对应的图像特征信息;
121.步骤506,根据图像特征信息进行目标检测,得到与待识别图像对应的第一检测框;
122.步骤508,获取与第一检测框对应的第一检测框置信度;
123.步骤510,根据第一检测框置信度以及预设置信度阈值,对第一检测框进行筛选,得到第二检测框;
124.步骤512,根据第二检测框的检测类别,对第二检测框进行分类,得到同类别检测框集合;
125.步骤514,采用非极大值抑制算法对同类别检测框集合中同类别检测框进行筛选,得到候选检测框;
126.步骤516,根据候选检测框,得到与待识别图像对应的目标检测结果,目标检测结果包括检测类别以及检测框;
127.步骤518,当目标检测结果中存在目标检测类别时,确定与目标检测类别对应的目标检测框,并对待识别图像进行人体检测,得到与待识别图像对应的人体检测框;
128.步骤520,确定人体检测框与目标检测框之间的交并比值;
129.步骤522,根据交并比值和预设交并比阈值,对目标检测框进行筛选,得到第三检测框,第三检测框对应的交并比值大于或者等于预设交并比阈值;
130.步骤524,根据第三检测框,更新目标检测结果;
131.步骤526,确定更新后的目标检测结果中检测框对应的第二检测框置信度;
132.步骤528,对第二检测框置信度进行排序,确定与最高检测框置信度对应的检测
框;
133.步骤530,根据与最高检测框置信度对应的检测框,得到目标对象识别结果。
134.在一个实施例中,以拍摄设备为全景相机为例,对本技术的目标对象识别方法的技术构思进行说明。
135.针对带有隐形自拍杆功能的全景相机来说,由于其通过物理手段在拍摄的视频或者图像数据里隐藏了自拍杆,使得算法在识别相机的固定位置(即目标对象)时遇到困难,如何在具有隐形自拍杆功能的全景相机拍摄的视频或者图像数据中识别相机的固定位置,是一个急需解决的问题。
136.由于全景相机相对于其他相机的特殊性,其视角可以覆盖上下180度,左右360度或者180度的范围,故对应的目标对象识别可以分别四种情况:一是未有目标对象出现在待识别图像中(即一起隐形了),二是目标对象出现在待识别图像中(比如固定的装置,比如车头、三脚架等),三是拍摄者手持全景相机出现在待识别图像中,四是拍摄者通过自拍杆手持全景相机出现在待识别图像中,由于第一种情况无法通过图像识别技术识别目标对象,本技术主要针对的是后面几种情况。
137.根据对以上情况的分析以及结合具体的图像分析,我们可以从一些图像特征来推断目标对象,针对情况二,在待识别图像的某些边缘部分会出现较大的畸变,比如,在设置于车头的全景相机所拍摄到的视频或者图像数据中,在待识别图像的下半部分会出现较大的畸变;针对情况三,拍摄者会出现在待识别图像内,且手部畸变严重;针对情况四,拍摄者会出现在待识别图像内,且由明显的手持自拍杆动作。当以上图像特征未检测到时,可以归结为情况一,主要为其他人拍摄或者相机等固定物体较小,在待识别图像内不可见等情况。
138.因此,我们可以通过检测这些图像现象的出现,推断出全景相机的固定位置。利用卷积神经网络的强大提取能力,我们可以将其转换为一个多目标检测的问题,即针对上述情况二至情况四,通过训练目标检测模型来对待识别图像进行目标检测,得到对应的检测类别(包括分别与情况二、情况三以及情况四对应的类别)以及检测框。同时,根据问题的特殊性,我们可以通过一些措施提升目标检测的准确率,当情况三以及情况四出现时,拍摄者一定会出现在图像上,我们可以结合人体检测器,来减少一些错误检测。在单张待识别图像上,有且至多一个相机的固定物体出现,我们可以利用这一个特点来进一步减少错误检测的发生。比如,可以在最后通过对所有检测框的置信度进行排序,以确定与最高置信度对应的检测框为目标对象识别结果,即全景相机所在固定位置。
139.需要说明的是,本技术中所涉及的,主要是通过待识别图像的图像特征信息去检测在待识别图中是否存在拍摄设备的固定位置,使用人体检测只是为了提升检测准确性,利用一些已有的先验知识去避免一些比较明显的检测错误的发生。
140.具体的,针对情况三和情况四的检测框,意味着这个区域可能存在拍摄者,这时可以通过人体检测去检测这个区域是否存在人体,来进一步验证这个区域是否有拍摄者的存在。更进一步的,本技术中也可以使用手部检测器来进行人体检测,因为出现上述情况时,拍摄者手部是一定出现在画面内的,并且会出现响应的图像特征,即手部畸变或者有手持自拍杆的动作。
141.需要明确的是,在单张待识别图像内至多出现一个拍摄设备的固定位置,这是一个很有用的信息,目标检测结果中可能包括多个检测框,除了采用非极大值抑制算法来减
少检测框的数量之外,我们还可以只选择置信度最高的检测框作为目标对象识别结果。需要说明的是,此时这个目标对象识别结果所对应的置信度要超过预设置信度阈值,否则的话属于情况一,即未有目标对象出现在待识别图像中。
142.应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
143.基于同样的发明构思,本技术实施例还提供了一种用于实现上述所涉及的目标对象识别方法的目标对象识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个目标对象识别装置实施例中的具体限定可以参见上文中对于目标对象识别方法的限定,在此不再赘述。
144.在一个实施例中,如图6所示,提供了一种目标对象识别装置,包括:获取模块602、第一检测模块604、第二检测模块606、筛选模块608和处理模块610,其中:
145.获取模块602,用于获取待识别图像;
146.第一检测模块604,用于对待识别图像进行目标检测,得到与待识别图像对应的目标检测结果,目标检测结果包括检测类别以及检测框;
147.第二检测模块606,用于当目标检测结果中存在目标检测类别时,确定与目标检测类别对应的目标检测框,并对待识别图像进行人体检测,得到与待识别图像对应的人体检测框;
148.筛选模块608,用于根据人体检测框对目标检测框进行筛选,根据筛选结果更新目标检测结果;
149.处理模块610,用于根据更新后的目标检测结果,得到目标对象识别结果。
150.上述目标对象识别装置,通过获取待识别图像,对待识别图像进行目标检测,得到与待识别图像对应的目标检测结果,当目标检测结果中存在目标检测类别时,确定与目标检测类别对应的目标检测框,并对待识别图像进行人体检测,得到与待识别图像对应的人体检测框,能够利用人体检测框对目标检测框进行筛选,筛选出符合要求的目标检测框,以减少错误检测的发生,通过根据筛选结果更新目标检测结果,根据更新后的目标检测结果,得到目标对象识别结果,能够在筛选掉会导致错误检测的目标检测框的基础上实现对目标对象的准确识别。
151.在一个实施例中,第一检测模块还用于对待识别图像进行图像特征提取,得到与待识别图像对应的图像特征信息,根据图像特征信息进行目标检测,得到与待识别图像对应的第一检测框,对第一检测框进行筛选,得到与待识别图像对应的目标检测结果。
152.在一个实施例中,第一检测模块还用于获取与第一检测框对应的第一检测框置信度,根据第一检测框置信度以及预设置信度阈值,对第一检测框进行筛选,得到第二检测框,采用非极大值抑制算法对第二检测框进行筛选,得到候选检测框,根据候选检测框,得到与待识别图像对应的目标检测结果。
153.在一个实施例中,第一检测模块还用于根据第二检测框的检测类别,对第二检测框进行分类,得到同类别检测框集合,采用非极大值抑制算法对同类别检测框集合中同类别检测框进行筛选,得到候选检测框。
154.在一个实施例中,筛选模块还用于确定人体检测框与目标检测框之间的交并比值,根据交并比值和预设交并比阈值,对目标检测框进行筛选,得到第三检测框,第三检测框对应的交并比值大于或者等于预设交并比阈值,根据第三检测框,更新目标检测结果。
155.在一个实施例中,处理模块还用于确定更新后的目标检测结果中检测框对应的第二检测框置信度,对第二检测框置信度进行排序,确定与最高检测框置信度对应的检测框,根据与最高检测框置信度对应的检测框,得到目标对象识别结果。
156.上述目标对象识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
157.在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标检测类别等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标对象识别方法。
158.本领域技术人员可以理解,图7中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
159.在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
160.获取待识别图像;
161.对待识别图像进行目标检测,得到与待识别图像对应的目标检测结果,目标检测结果包括检测类别以及检测框;
162.当目标检测结果中存在目标检测类别时,确定与目标检测类别对应的目标检测框,并对待识别图像进行人体检测,得到与待识别图像对应的人体检测框;
163.根据人体检测框对目标检测框进行筛选,根据筛选结果更新目标检测结果;
164.根据更新后的目标检测结果,得到目标对象识别结果。
165.在一个实施例中,处理器执行计算机程序时还实现以下步骤:对待识别图像进行图像特征提取,得到与待识别图像对应的图像特征信息,根据图像特征信息进行目标检测,得到与待识别图像对应的第一检测框,对第一检测框进行筛选,得到与待识别图像对应的目标检测结果。
166.在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取与第一检测框对应的第一检测框置信度,根据第一检测框置信度以及预设置信度阈值,对第一检测框进行筛选,得到第二检测框,采用非极大值抑制算法对第二检测框进行筛选,得到候选检测框,根据候选检测框,得到与待识别图像对应的目标检测结果。
167.在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据第二检测框的检测类别,对第二检测框进行分类,得到同类别检测框集合,采用非极大值抑制算法对同类别检测框集合中同类别检测框进行筛选,得到候选检测框。
168.在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定人体检测框与目标检测框之间的交并比值,根据交并比值和预设交并比阈值,对目标检测框进行筛选,得到第三检测框,第三检测框对应的交并比值大于或者等于预设交并比阈值,根据第三检测框,更新目标检测结果。
169.在一个实施例中,处理器执行计算机程序时还实现以下步骤:确定更新后的目标检测结果中检测框对应的第二检测框置信度,对第二检测框置信度进行排序,确定与最高检测框置信度对应的检测框,根据与最高检测框置信度对应的检测框,得到目标对象识别结果。
170.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
171.获取待识别图像;
172.对待识别图像进行目标检测,得到与待识别图像对应的目标检测结果,目标检测结果包括检测类别以及检测框;
173.当目标检测结果中存在目标检测类别时,确定与目标检测类别对应的目标检测框,并对待识别图像进行人体检测,得到与待识别图像对应的人体检测框;
174.根据人体检测框对目标检测框进行筛选,根据筛选结果更新目标检测结果;
175.根据更新后的目标检测结果,得到目标对象识别结果。
176.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:对待识别图像进行图像特征提取,得到与待识别图像对应的图像特征信息,根据图像特征信息进行目标检测,得到与待识别图像对应的第一检测框,对第一检测框进行筛选,得到与待识别图像对应的目标检测结果。
177.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取与第一检测框对应的第一检测框置信度,根据第一检测框置信度以及预设置信度阈值,对第一检测框进行筛选,得到第二检测框,采用非极大值抑制算法对第二检测框进行筛选,得到候选检测框,根据候选检测框,得到与待识别图像对应的目标检测结果。
178.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据第二检测框的检测类别,对第二检测框进行分类,得到同类别检测框集合,采用非极大值抑制算法对同类别检测框集合中同类别检测框进行筛选,得到候选检测框。
179.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定人体检测框与目标检测框之间的交并比值,根据交并比值和预设交并比阈值,对目标检测框进行筛选,得到第三检测框,第三检测框对应的交并比值大于或者等于预设交并比阈值,根据第三检测框,更新目标检测结果。
180.在一个实施例中,计算机程序被处理器执行时还实现以下步骤:确定更新后的目标检测结果中检测框对应的第二检测框置信度,对第二检测框置信度进行排序,确定与最高检测框置信度对应的检测框,根据与最高检测框置信度对应的检测框,得到目标对象识别结果。
access memory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
193.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
194.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1