数据处理方法、设备及存储介质与流程

文档序号:31524825发布日期:2022-09-14 13:49阅读:59来源:国知局
数据处理方法、设备及存储介质与流程

1.本技术涉及计算机视觉技术领域,尤其涉及一种数据处理方法、设备及存储介质。


背景技术:

2.在智能交通场景下,可在道路上布控视频监控系统拍摄道路图像,并采用特定算法对道路图像中的物体进行识别。基于识别到的物体,可进行物体跟踪或者探测异常事件。
3.通常,视频监控系统拍摄到的道路图像的有效信息密度较低,不利于准确地识别道路图像中的目标物体。因此,有待提出一种新的解决方案。


技术实现要素:

4.本技术的多个方面提供一种数据处理方法、设备及存储介质,用以提升图像的有效信息密度。
5.本技术实施例提供一种数据处理方法,包括:获取待处理图像;识别所述待处理图像中的道路区域;按照设定的映射算法,将所述道路区域映射为设定尺寸的目标图像;对所述目标图像进行物体检测,以识别所述道路区域包含的物体。
6.本技术实施例还提供一种数据处理方法,包括:获取道路图像中的道路区域,所述道路区域中的物体标注有第一包围框;根据设定的映射算法,对所述道路区域和所述第一包围框进行映射处理,得到设定尺寸的训练样本以及所述训练样本上的第二包围框;将所述训练样本输入神经网络模型,并将所述第二包围框作为监督信号,训练所述神经网络模型的物体检测能力。
7.本技术实施例还提供一种电子设备,包括:存储器和处理器;所述存储器用于存储一条或多条计算机指令;所述处理器用于执行所述一条或多条计算机指令以用于:执行本技术实施例提供的数据处理方法。
8.本技术实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被处理器执行时能够实现本技术实施例提供的数据处理方法。
9.本技术实施例提供的数据处理方法中,识别待处理图像中的道路区域后,将道路区域映射为设定尺寸的目标图像,从而可去除待处理图像中的冗余信息,提升了映射得到的目标图像的有效信息密度。基于有效信息密度更高的目标图像进行物体检测,有利于提升识别结果的准确性。
附图说明
10.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
11.图1为本技术一示例性实施例提供的数据处理方法的流程示意图;
12.图2a为本技术另一示例性实施例提供的数据处理方法的流程示意图;
13.图2b为本技术一示例性实施例提供的道路区域的几何特征的示意图;
14.图2c为本技术另一示例性实施例提供的道路区域的几何特征的示意图;
15.图2d为本技术一示例性实施例提供的图像映射效果示意图;
16.图2e为本技术又一示例性实施例提供的数据处理方法的流程示意图;
17.图3为本技术又一示例性实施例提供的数据处理方法的流程示意图;
18.图4为本技术一示例性实施例提供的应用场景实例的示意图;
19.图5为本技术一示例性实施例提供的电子设备的结构示意图。
具体实施方式
20.为使本技术的目的、技术方案和优点更加清楚,下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
21.在交通智能感知领域中,为实现智能监控,通常可在道路上布控公共交通视频监控系统来对道路进行拍摄。基于拍摄到的道路图像,可由计算机代替人工进行目标物体的识别、跟踪及异常事件发现操作。通常,计算机进行目标物体识别时,可基于深度学习的方法对监控设备采集到的视频图像进行感知分析。在交通感知领域,计算机可基于监控系统拍摄到的道路视频,感知分析道路上的物体,例如机动车辆、非机动车、行人等。
22.但是,囿于场景实况,监控系统拍摄到的道路图像中,远景道路上的物体在道路图像中的像素占比较低,进而使得道路图像的有效信息密度较低。在这种情况下,计算机无法有效地对远景道路上的物体进行感知分析,进而致使交通智能感知系统无法有效覆盖远景区域。针对上述技术问题,本技术实施例提供了一种数据处理方法,以下将结合附图进行说明。
23.图1为本技术一示例性实施例提供的数据处理方法的流程示意图,如图1所示,该方法包括:
24.步骤101、获取待处理图像。
25.步骤102、识别所述待处理图像中的道路区域。
26.步骤103、按照设定的映射算法,将所述道路区域映射为设定尺寸的目标图像。
27.步骤104、对所述目标图像进行物体检测,以识别所述道路区域包含的物体。
28.其中,待处理图像包含道路成像得到的区域,可描述为道路区域;道路区域包含车辆、行人等物体。待处理图像,可以是道路上布控的公共交通视频监控系统对道路进行拍摄得到的,或者可以是道路上行驶的车辆上安装的行车记录仪拍摄得到的,或者还可以是道路上的行人采用手机、相机等图像采集设备拍摄得到的,本实施例不做限制。
29.其中,物体检测(object detection),指的是通过计算机来感知分析图片或者视频流中的物体,并进行标记。对该待处理图像进行物体检测,可识别道路上的车辆、行人等物体,并分析车辆、行人的流动特征。检测待处理图像中的物体时,检测所需的有效信息集中在道路区域中。
30.道路呈延伸状态,针对图像采集设备而言,道路有远景和近景之分。图像采集设备拍摄的到的待处理图像中,道路区域通常呈现出近景区域占比较大,远景区域占比较小的状态。当远景区域占比较小时,有效信息的密度较低,不利于进行物体检测。
31.在本实施例中,可从待处理图像中识别出道路区域,并将道路区域映射为设定尺寸的图像。为便于描述和区分,将待处理图像映射后得到的图像描述为目标图像。目标图像包含的图像信息由道路区域包含的图像信息构成,在映射的过程中,可适当放大远景区域中较小的物体,适当缩小近景区域中较大的物体,进而,可使得映射得到的目标图像中远近物体大致处于相同量级的像素大小,极大提升了有效信息密度。
32.其中,映射算法,可根据道路区域的尺寸比例确定,或者可根据道路区域的几何特征确定,或者可基于道路区域的能量分布特确定,或者还可以基于道路区域的纹理特征确定,本实施例不做限制。
33.映射得到目标图像后,可基于目标图像进行物体检测。目标图像具有较高的有效信息密度,有利于提升物体检测的准确率。应当理解,目标图像由道路区域映射而来,因此,目标图像上的物体和道路区域包含的物体存在对应关系。检测到目标图像上的物体后,即可分析得到道路区域包含的物体。
34.本实施例中,识别待处理图像中的道路区域后,将道路区域映射为设定尺寸的目标图像,从而可去除待处理图像中的冗余信息,提升了映射得到的目标图像的有效信息密度。基于有效信息密度更高的目标图像进行物体检测,有利于提升识别结果的准确性。
35.在本技术的上述以及下述各实施例中,将道路区域映射为设定尺寸的目标图像时,可采用多种不同的映射算法,如前述实施例记载的根据道路区域的尺寸比例确定的映射算法、根据道路区域的几何特征确定的映射算法、基于道路区域的能量分布特征确定的映射算法,基于道路区域的纹理特征确定地映射算法等等,本实施例不做限制。
36.可选地,在基于道路区域的尺寸比例进行映射处理的算法中,可计算道路区域的尺寸比例,并按照该尺寸比例,将道路区域中的不同局部位置进行放大或者缩小,得到目标图像。
37.可选地,在基于道路区域的几何特征进行映射处理的算法中,可根据道路区域的几何特征和待处理图像的几何特征,将道路区域映射为与待处理图像相同尺寸的目标图像。
38.可选地,在基于道路区域的能量分布特征进行映射处理的算法中,可检测道路区域的能量分布,将能量分布较高的局部区域进行放大处理,将能量分布较低的局部区域进行缩小处理,得到目标图像。
39.可选地,基于道路区域的纹理特征进行映射处理的算法中,可识别道路区域中的纹理分布特征,将纹理分布较为集中的局部区域进行放大处理,将纹理分布较为分散的局部区域进行缩小处理,得到目标图像。
40.在本技术的不同实施例中,可基于上述任意一种实施方式或者上述多种实施方式的组合实现道路区域的映射处理,本实施例不做限制。以下实施例中,将结合图2a、图2b、图2c、图2d以及图2e,对基于道路区域的几何特征进行映射处理的可选实施方式进行示例性说明。
41.图2a为本技术另一示例性实施例提供的数据处理方法的流程示意图,如图2a所示,该方法包括:
42.步骤201、获取待处理图像。
43.步骤202、识别所述待处理图像中的道路区域。
44.步骤203、根据所述待处理图像和所述道路区域的几何特征,确定映射关系。
45.步骤204、根据所述映射关系,对所述道路区域中的像素进行坐标映射,得到所述目标图像;所述目标图像的尺寸与所述待处理图像适配。
46.步骤205、识别所述目标图像中的物体,并计算所述物体的第一包围框。
47.步骤206、根据所述映射关系对应的反向映射关系,对所述第一包围框进行反向映射处理,以将所述第一包围框映射为所述待处理图像上的第二包围框。
48.步骤207、在所述待处理图像上展示所述第二包围框。
49.在步骤201中,获取待处理图像。可选地,该待处理图像可以是对道路监控视频进行采样获取的。
50.在步骤202中,可选地,识别待处理图像中的道路区域时,可对待处理图像进行边缘检测,以获取待处理图像包含的边缘信息;可选地,对待处理图像进行边缘检测时,可采用基于搜索的边缘检测方法或者基于零交叉的边缘检测方法,本实施例不做限制。
51.获取到待处理图像包含的边缘信息之后,可根据边缘信息,从待处理图像上确定道路轮廓。在一些情况下,道路轮廓为梯形或者多边形。为便于后续处理,可选地,可计算该道路轮廓的内接梯形,以获取形状较为规则且便于计算图像区域,并将该内接梯形对应的图像区域作为道路区域。
52.图2b和图2c示意了两种计算内接矩形的可选实施方式。如图2b所示,待处理图像中的道路轮廓较为规则,内接梯形的形状与道路轮廓接近。如图2c所示,待处理图像中的道路轮廓为不规则的多边形,其内接梯形略小于道路轮廓。在实际中,为获取到较为规则的道路轮廓,可避免在道路拐弯处拍摄道路图像,以提升物体检测效果。
53.在步骤203中,映射关系,指的是像素在待处理图像上的坐标及其在目标图像上的坐标的映射关系。可选地,可先计算像素的坐标对应的映射系数,再根据映射系数以及像素的坐标,确定映射关系。可选地,该映射系数包括横坐标映射系数、纵坐标映射系数以及非线性映射系数。
54.其中,非线性映射系数用于实现非线性映射处理。在一些场景下,拍摄到的道路图像中,道路沿纵向方向延伸时,该非线性映射系数可实现为纵坐标的非线性映射系数。当道路沿纵向方向延伸时,远景道路上的物体较小,近景道路上的物体较大。基于纵坐标的非线性映射系数,可合理地压缩道路区域中的近景物体的占比,扩大道路区域中的远景物体的占比,提升目标图像的有效信息密度。
55.以下将以道路区域中的任一像素为例,对计算映射系数以及映射关系的可选实施方式进行示例性说明。其中,待处理图像的几何特征,可包括待处理图像的长、高等尺寸特征;道路区域的几何特征,可包括道路区域中,每一像素所在的行在该道路区域中的横坐标范围以及该道路区域的纵坐标范围中的至少一种。通常,道路区域的纵坐标范围,为道路区域对应的内接梯形的上底边和下底边跨越的纵坐标的范围。
56.可选地,计算该像素的横坐标映射系数时,可获取该像素所在的行在道路区域中的横坐标范围,接着,根据该横坐标范围以及待处理图像的长度,计算该像素的横坐标映射系数。可选地,可计算该横坐标范围的长度与待处理图像的长度的比值,作为该横坐标映射系数。具体可参考如下公式记载:
[0057][0058]
其中,s1表示该像素的横坐标映射系数,x
max
表示该像素所在的行在该道路区域中的横坐标最大值,x
min
表示该像素所在的行在该道路区域中的横坐最小值,w表示待处理图像的长度,如图2b以及图2c所示。
[0059]
相应地,获取到横坐标映射系数后,可根据横坐标映射系数以及像素的横坐标,计算像素的横坐标映射关系。可选地,可计算该像素的横坐标和横坐标映射系数的乘积,并确定该像素所在的行在该道路区域中的横坐最小值和该乘积进行求和的关系,作为该像素的横坐标映射关系。假设,该像素在待处理图像申的坐标为(x,y),则其横坐标映射关系可参考如下公式记载:
[0060][0061]
其中,x表示映射后的横坐标。
[0062]
可选地,计算该像素的纵坐标映射系数时,可获取该道路区域的纵坐标范围;根据该纵坐标范围以及待处理图像的高度,计算该像素的纵坐标映射系数。可选地,可计算该纵坐标范围的高度与待处理图像的高度的比值,作为该纵坐标映射系数。具体可参考如下公式记载:
[0063][0064]
其中,s2表示该像素的纵坐标映射系数,y
max
表示该道路区域的纵坐标最大值,y
min
表示该道路区域的纵坐标最小值,h表示待处理图像的高度,如图2b以及图2c所示。
[0065]
可选地,计算该像素的非线性映射系数时,为确保映射结果的合理性以及高可用性,可按照道路的延伸趋势对道路区域进行进一步划分,并为划分得到的不同部分中的像素计算不同的非线性映射系数。该划分的优势在于,将道路区域划分为近景区域和远景区域,基于近景区域的非线性映射系数,可对近景区域的像素进行压缩的非线性映射处理;基于远景区域的非线性映射系数,可对远景区域的像素进行扩展的非线性映射处理。
[0066]
可选地,可按照待处理图像的中线将道路区域划分为两个、三个部分或者四个部分,本实施例不做限制。可选地,当划分为两个部分时,一部分包括纵坐标小于h/2的像素,另一部分包括纵坐标大于或者等于h/2的像素。
[0067]
接下来,可根据每个像素的纵坐标所属的范围以及该像素的横坐标映射系数,计算该像素的非线性映射系数。一种可选的非线性映射系数的方式可参考如下公式记载:
[0068][0069]
相应地,计算该像素的纵坐标映射关系时,可计算该像素的纵坐标、纵坐标映射系数以及非线性映射系数的乘积;接着,确定该像素所在列的纵坐标最小值和该乘积之间的求和关系,作为该像素的纵坐标映射关系。具体可参考如下公式记载:
[0070]
[0071]
其中,y表示映射后的纵坐标。
[0072]
获取到横坐标映射关系和纵坐标映射关系后,可执行步骤204中,根据该映射关系,对道路区域中的像素进行坐标映射,得到目标图像。其中,目标图像的尺寸与待处理图像适配。
[0073]
对道路区域中的像素进行坐标映射时,可根据每一像素的横坐标映射关系和每一像素在待处理图像上的横坐标值,计算每一像素的映射后的横坐标值;以及,根据每一像素的纵坐标映射关系和每一像素在待处理图像上的纵坐标值,计算每一像素的映射后的纵坐标值。如以下公式所示:
[0074]
i`(x,y)=i[x(x,y),y(x,y)]
ꢀꢀꢀ
公式6
[0075]
其中,i`(x,y)表示映射得到的目标图像,i表示待处理图像,x表示横坐标映射值,y表示横坐标映射值,(x,y)表示像素在待处理图像中的坐标值。
[0076]
一种典型的映射结果可如图2d所示,在图2d中,图像中梯形的道路区域被映射为矩形图像,且该矩形图像与原图像具有相同的尺寸,进而极大提升了映射后的图像中的有效信息密度。
[0077]
可选地,获取到目标图像后,可执行步骤205中,对目标图像进行物体检测,以识别目标图像中的物体。
[0078]
可选地,在本实施中,可基于深度学习(deep learning)算法实现物体检测。深度学习是机器学习的分支,是一种以人工神经网络为架构,对数据进行表征学习的算法。深度学习可使用包含复杂结构或由多重非线性变换构成的多个处理层,对数据进行高层抽象,并基于高层抽象得到的特征,进行物体识别。
[0079]
可选地,可预先根据训练样本,采用深度学习算法训练用于物体检测的算法模型,即图2e中的深度学习检测器。可选地,该算法模型可以为神经网络模型(neural networks,nn)。值得说明的是,如图2e所示,在训练阶段,可按照前述各实施例记载的方法,从已有的道路图像中识别道路区域,并对道路区域进行映射处理,得到训练样本。该训练样本为高密度信息占比的图像。其中,对道路图像中的道路区域进行映射处理采用的映射算法,与对待处理图像中的道路区域进行映射处理采用的映射算法相同,以确保算法模型可较好地进行特征学习,不再赘述。
[0080]
对道路区域进行映射后,可将道路区域映射为与原始的道路图像具有同等尺寸、同等形状的图像。在这个过程中,道路图像中处于远处的小物体可被放大,处于近处的相对较大的物体可被适当缩小,亦即映射后的训练样本中远近物体几乎处于相同量级的像素大小。在这种情况下,算法模型进行物体检测学习时,可提取更多的有效信息,实现更优异的学习性能。
[0081]
可选地,本实施例采用有监督学习的模型训练方法,在有监督学习的过程中,训练样本上标注有物体的包围框(包围框即为物体的检测框,用于标识物体所在的位置),该标注的包围框可作为包围框真值参加深度学习的监督过程。
[0082]
可选地,如图2e所示,训练样本中标注的包围框真值,由道路图像中标注的包围框真值经映射处理后得到。其中,对道路图像中的包围框真值进行映射处理采用的映射算法,与对待处理图像中的道路区域进行映射处理采用的映射算法相同,不再赘述。例如,在制备训练样本的过程中,可从一幅道路图像中提取道路区域,根据道路区域上的物体的位置,在
道路区域上标注物体的包围框。接着,按照设定的映射算法,对道路区域及其中的包围框进行映射处理,得到训练样本及其中的包围框真值。
[0083]
基于上述,通过映射算法将待处理图像中的道路区域映射为目标图像后,可将目标物体输入算法模型,通过算法模型识别目标图像中的物体,并计算物体的包围框,如图2e所示。为便于描述和区分,将从目标图像中识别出的物体的包围框,描述为第一包围框。
[0084]
在步骤206中,可选地,获取到第一包围框之后,可对第一包围框进行反向映射处理,以将目标图像上的第一包围框映射为待处理图像上的包围框。为便于描述和区分,将待处理图像上的包围框描述为第二包围框。
[0085]
其中,对第一包围框进行反向映射处理所采用的映射算法,为对待处理图像中的道路区域进行映射处理采用的映射算法的反向映射算法,此处不再赘述。基于反向映射,可将目标图像上的物体检测结果对应到待处理图像上。接下来,可执行步骤207,在待处理图像上展示第二包围框,第二包围框即为待处理图像上的物体的检测框。
[0086]
本实施例中,识别待处理图像中的道路区域后,将道路区域映射为设定尺寸的目标图像,从而可去除待处理图像中的冗余信息,提升了映射得到的目标图像的有效信息密度。基于有效信息密度更高的目标图像进行物体检测,有利于提升识别结果的准确性。
[0087]
图3为本技术又一示例性实施例提供的数据处理方法的流程示意图,如图所示,该方法包括:
[0088]
步骤301、获取道路图像中的道路区域,所述道路区域中的物体标注有第一包围框。
[0089]
步骤302、根据设定的映射算法,对所述道路区域和所述第一包围框进行映射处理,得到设定尺寸的训练样本以及所述训练样本上的第二包围框。
[0090]
步骤303、将所述训练样本输入神经网络模型,并将所述第二包围框作为监督信号,训练所述神经网络模型的物体检测能力。
[0091]
其中,对道路区域和第一包围框进行映射处理采用的映射算法,可参考前述实施例的记载,此处不做赘述。经映射处理得到的训练样本为高密度信息占比的图像,有利于神经网络更好地进行特征学习。
[0092]
可选地,该神经网络模型(neural networks,nn)可实现为:卷积神经网络(convolutional neural networks,cnn)、深度神经网络(deep neural network,dnn)、图卷积神经网络(graph convolutional networks,gcn)、循环神经网络(recurrent neural network,rnn)以及长短期记忆神经网络(long short-term memory,lstm)一种或多种,或者可由上述一种或多种神经网络变形得到,本实施例不做限制。
[0093]
在本实施例中,在训练深度学习检测模型时,采用信息高密比的图像作为训练样本,极大提升了神经网络模型在离线训训练阶段的学习效率以及在线推理阶段的检测准确率。
[0094]
图4示意了本技术实施例的一种典型的应用场景,在图4的示意中,本实例提供的数据处理方法可部署在智能交通监控系统中。该智能交通监控系统可包括安装于道路上方的监控装置41、服务器42以及管理终端43。其中,监控装置41可实现为高速摄像机;服务器42可实现为云服务器、数据中心等;管理终端43可实现为交通管理单位的用户终端,例如电脑、智能手机、智能显示屏等等,本实施例包含但不限于此。
[0095]
监控装置41拍摄到道路监控视频后,可将道路监控视频发送至服务器42。服务器42对道路监控视频进行采样处理,得到多帧道路图像。接着,服务器42可根据道路在道路图像中的分布规律及特点,识别出道路的轮廓,并根据道路的轮廓,从道路图像中提取道路区域。该道路的轮廓通常为梯形或多边形。接着,服务器42可采用前述实施例记载的映射方法,将道路区域映射成与原始的道路图像同等大小的目标图像。
[0096]
接着,服务器42可将目标图像输入深度学习检测器,并获取深度学习检测器输出的检测结果。基于该检测结果,服务器42可采用反向映射算法,将检测结果映射到原始的道路图像中,以在道路图像中确定目标物体。接下来,服务器42可将道路图像中的目标物体的检测结果下发至管理终端43,以向管理人员进行展示。可选地,服务器42还可根据多帧连续的道路图像中检测出的目标物体,计算目标物体的移动轨迹、运动速度等等,并可将计算结果下发至管理终端43,不再赘述。
[0097]
前述各实施例记载了本技术提供的数据处理方法在智能交通领域中的应用,应当理解,除智能交通领域之外,该数据处理方法还可以被扩展应用至其他领域的图像处理过程中。
[0098]
例如,在一些场景下,该数据处理方法可应用于面部识别领域。在面部识别领域中,受限于拍摄视角以及脸型特征,面部图像上的不同局部区域具有不同的占比。例如,鼻子及额头部分在图像中具有较大的占比,下颌区域在图像中具有较小的占比,因此不利于进行面部识别。为提升面部识别的准确率,可从图像上识别出面部区域,并根据映射算法将面部区域映射为设定尺寸的图像。该映射操作,可去除与面部识别无关的信息,扩展占比较小的面部区域,压缩占比较大的面部区域。基于映射得到的图像进行面部识别,有效地降低了小目标的识别难度。
[0099]
又例如,在另一些场景下,该数据处理方法可应用于无人机目标检测领域。在无人机目标检测领域中,无人机拍摄到的图像通常包含远景物体和近景物体。远景物体在图像上的占比较小,不利于进行目标检测。因此,可采用本技术实施例提供的数据处理方法,从无人机拍摄到的图像中识别出可能存在目标物体的待检测区域,并根据映射算法对该待检测区域进行映射处理。该映射处理操作,可将待检测区域上占比较小的局部区域进行扩展,将占比较大的局部区域进行压缩,进而平衡远景和近景的信息量,并去除无关信息。基于映射得到的图像进行目标检测,可更加准确地检测到远景以及近景目标,有利于为无人机提供更好的避障依据以及目标追踪依据。
[0100]
当然,除上述领域之外,还可扩展至其他需要进行小目标检测的领域,此处不再赘述。
[0101]
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤201至步骤203的执行主体可以为设备a;又比如,步骤201和202的执行主体可以为设备a,步骤203的执行主体可以为设备b;等等。
[0102]
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如201、202等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、
模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
[0103]
图5是本技术一示例性实施例提供的电子设备的结构示意图,如图5所示,该电子设备包括:存储器501以及处理器502。
[0104]
存储器501,用于存储计算机程序,并可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
[0105]
其中,存储器501可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
[0106]
处理器502,与存储器501耦合,用于执行存储器501中的计算机程序,以用于:获取待处理图像;识别所述待处理图像中的道路区域;按照设定的映射算法,将所述道路区域映射为设定尺寸的目标图像;对所述目标图像进行物体检测,以识别所述道路区域包含的物体。
[0107]
进一步可选地,处理器502在按照设定的映射算法,将所述道路区域映射为设定尺寸的目标图像时,具体用于:根据所述待处理图像和所述道路区域的几何特征,确定映射关系;根据所述映射关系,对所述道路区域中的像素进行坐标映射,得到所述目标图像;所述目标图像的尺寸与所述待处理图像适配。
[0108]
进一步可选地,处理器502在根据所述待处理图像和所述道路区域的几何特征,确定映射关系时,具体用于:针对所述道路区域中的任一像素,根据所述像素的坐标、所述道路区域的坐标范围和/或所述待处理图像的尺寸,计算所述像素的映射系数;根据所述像素的映射系数以及所述像素的坐标,计算所述像素的坐标映射关系;其中,所述映射系数包括:横坐标映射系数、纵坐标映射系数以及非线性映射系数中的至少一种。
[0109]
进一步可选地,处理器502在计算所述像素的映射系数时,具体用于:根据所述像素所在的行在所述道路区域中的横坐标范围以及所述待处理图像的长度,计算所述像素的横坐标映射系数。
[0110]
进一步可选地,处理器502在根据所述像素所在的行在所述道路区域中的横坐标范围以及所述待处理图像的长度,计算所述像素的映射系数时,具体用于:将所述横坐标范围的长度与所述待处理图像的长度的比值,作为所述横坐标映射系数。
[0111]
进一步可选地,处理器502在根据所述像素的映射系数以及所述像素的坐标,计算所述像素的坐标映射关系时,具体用于:计算所述像素的横坐标和所述横坐标映射系数的乘积;确定所述像素所在的行在所述道路区域中的横坐最小值和所述乘积的求和关系,作为所述像素的横坐标映射关系。
[0112]
进一步可选地,处理器502在计算所述像素的映射系数时,具体用于:根据所述道路区域的纵坐标范围以及所述待处理图像的高度,计算所述像素的纵坐标映射系数。
[0113]
进一步可选地,处理器502在计算所述像素的映射系数时,具体用于:根据所述像素所在的行在所述道路区域中的横坐标范围以及所述待处理图像的长度,计算所述像素的横坐标映射系数;根据所述像素的纵坐标、所述像素的纵坐标所属的范围以及所述像素的横坐标映射系数,计算所述像素的非线性映射系数。
[0114]
进一步可选地,处理器502在根据所述像素的映射系数以及所述像素的坐标,计算所述像素的坐标映射关系时,具体用于:计算所述像素的纵坐标、所述纵坐标映射系数以及所述非线性映射系数的乘积;确定所述像素所在列的纵坐标最小值和所述乘积的求和关系,作为所述像素的纵坐标映射关系。
[0115]
进一步可选地,处理器502在识别所述待处理图像中的道路区域时,具体用于:对所述待处理图像进行边缘检测,以获取所述待处理图像包含的边缘信息;根据所述边缘信息,确定道路轮廓;计算所述道路轮廓的内接梯形,并将所述内接梯形对应的图像区域作为所述道路区域。
[0116]
进一步可选地,处理器502在对所述目标图像进行物体检测,以识别所述道路区域包含的物体时,具体用于:识别所述目标图像中的物体,并计算所述物体的第一包围框;根据所述映射算法对应的反向映射算法,对所述第一包围框进行反向映射处理,以将所述第一包围框映射为所述待处理图像上的第二包围框;在所述待处理图像上展示所述第二包围框。
[0117]
进一步可选地,处理器502在识别所述目标图像中的物体,并计算所述物体的第一包围框时,具体用于:将所述目标物体输入算法模型,以通过所述算法模型识别所述目标图像中的物体,并计算所述物体的第一包围框;其中,训练所述算法模型采用的训练样本,由道路图像中的道路区域根据所述映射算法进行映射处理得到;所述训练样本中标注的包围框真值,由所述道路图像中标注的包围框真值根据所述映射算法进行映射处理得到。
[0118]
进一步,如图5所示,该电子设备还包括:通信组件503、显示组件504、电源组件505、音频组件506等其它组件。图5中仅示意性给出部分组件,并不意味着电子设备只包括图5所示组件。
[0119]
其中,通信组件503被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如wifi,2g、3g、4g或5g,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件可基于近场通信(nfc)技术、射频识别(rfid)技术、红外数据协会(irda)技术、超宽带(uwb)技术、蓝牙(bt)技术和其他技术来实现。
[0120]
其中,显示组件504包括屏幕,其屏幕可以包括液晶显示组件(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
[0121]
其中,电源组件505,为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
[0122]
本实施例中,识别待处理图像中的道路区域后,将道路区域映射为设定尺寸的目标图像,从而可去除待处理图像中的冗余信息,提升了映射得到的目标图像的有效信息密度。基于有效信息密度更高的目标图像进行物体检测,有利于提升识别结果的准确性。
[0123]
除前述实施例记载的执行逻辑之外,图5示意的电子设备还可执行如下的数据处
理逻辑:通过处理器502获取道路图像中的道路区域,所述道路区域中的物体标注有第一包围框;根据设定的映射算法,对所述道路区域和所述第一包围框进行映射处理,得到设定尺寸的训练样本以及所述训练样本上的第二包围框;将所述训练样本输入神经网络模型,并将所述第二包围框作为监督信号,训练所述神经网络模型的物体检测能力。
[0124]
相应地,本技术实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被执行时能够实现上述方法实施例中可由电子设备执行的各步骤。
[0125]
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0126]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0127]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0128]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0129]
在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0130]
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0131]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
[0132]
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的
包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0133]
以上所述仅为本技术的实施例而已,并不用于限制本技术。对于本领域技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本技术的权利要求范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1