一种地标检测方法、装置及电子设备与流程

文档序号:27824016发布日期:2021-12-07 19:21阅读:240来源:国知局
一种地标检测方法、装置及电子设备与流程

1.本发明涉及物联网技术领域,特别是涉及一种地标检测方法、装置及电子设备。


背景技术:

2.为使得自动导航运输车(automomated guild vechicle,下文简称agv)能够按照规定的路径进行移动,agv在工作过程中需要确定自身所处的位置。agv可以利用设置在agv上的图像采集设备采集地面的地标,得到地标图像。地标为预先设置于agv工作区域地面的地面标识,用于表示该地标所设置于的位置,示例性的,地标可以为二维码,用于表示该二维码所处的位置的地图坐标。agv解析地标图像,获取该地标所表示的位置,作为当前agv所处的位置。
3.地标因各种原因可能存在一定的缺陷,如制作工艺导致的色差、使用过程中的磨损等。如果地标存在缺陷,则agv可能无法从采集到的地标图像中正确解析出该地标所表示的位置,导致agv无法正常工作。
4.相关技术中,可以安排工作人员定期或不定期到agv工作区域进行现场检测,检测各地标是否存在缺陷,以便进行相应的处理,如修复缺陷、更换地标等。但是该方案人工成本较高。


技术实现要素:

5.本发明实施例的目的在于提供一种地标检测方法、装置及电子设备,以实现降低地标检测的人工成本。具体技术方案如下:
6.在本发明实施例的第一方面,提供了一种地标检测方法,所述方法包括:
7.获取自动导航运输车agv采集到的地标图像以及位置信息,所述位置信息用于表示所述agv采集到所述地标图像时所处的位置;
8.基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果至少包括:在检测到所述地标图像中存在缺陷时的缺陷信息,所述缺陷信息包括缺陷类型、缺陷数量以及缺陷位置中的一个或多个;
9.按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级;
10.按照针对所述地标图像所属缺陷等级预设的提醒策略,对所述位置信息所表示的位置处的地标进行更换地标或清理地标的提醒。
11.在一种可能的实现方式中,所述所述基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果用于表示所述地标图像中所存在的缺陷,包括:
12.将所述地标图像输入至预先建立的缺陷检测模型进行缺陷检测,得到所述地标图像的缺陷检测结果;
13.其中,所述缺陷检测模型为基于预设训练集进行训练得到的,所述预设训练集包
括正样本地标图像和负样本地标图像,其中,所述正样本地标图像为不存在缺陷的地标图像,所述负样本地标图像为携带有缺陷标记并且存在缺陷的地标图像,所述缺陷标记用于标记所述负样本地标图像中所存在的缺陷。
14.在一种可能的实现方式中,所述预设训练集中的负样本地标图像通过以下方式得到:
15.获取agv采集到的历史地标图像;展示所述历史地标图像;接收针对所述历史地标图像反馈的标定指令,所述标定指令用于表示所述历史地标图像所存在的缺陷;按照所述标定指令所表示的缺陷,标定所述历史地标图像,得到负样本地标图像;
16.和/或,获取预先经过缺陷检测的已检测地标图像,以及所述已检测地标图像的缺陷检测结果;按照该缺陷检测结果所表示的缺陷,标定所述已检测地标图像,得到负样本地标图像;
17.和/或,针对所述预设训练集已经存在的负样本地标图像,进行预设图像处理,得到新的负样本地标图像,所述预设图像处理包括:亮度调整、翻转、旋转、对比度调整、缩放、增加噪声、消除噪声。
18.在一种可能的实现方式中,所述按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
19.按照所述缺陷检测结果中所包括的所述缺陷信息,以及所述缺陷检测结果的置信度,确定所述地标图像的缺陷等级,所述地标图像的缺陷等级与所述置信度正相关。
20.在一种可能的实现方式中,所述获取自动导航运输车agv采集到的地标图像以及位置信息,包括:
21.获取多个agv在相同位置采集到的地标图像以及位置信息;
22.所述基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
23.针对每个agv采集到的地标图像进行缺陷检测,得到该agv采集到的地标图像的缺陷检测结果;
24.所述方法还包括:
25.融合每个agv采集到的地标图像的缺陷检测结果中的缺陷信息,得到融合缺陷信息;
26.所述按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
27.按照所述融合缺陷信息,确定所述地标图像所属缺陷等级。
28.在一种可能的实施例中,所述地标图像为包括地标二维码的图像;
29.所述基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
30.对所述地标图像中所包括的地标二维码进行缺陷检测,得到所述地标图像的缺陷检测结果。
31.在本发明实施例的第二方面,提供了一种地标检测装置,所述装置包括:
32.图像采集单元,用于获取自动导航运输车agv采集到的地标图像以及位置信息,所述位置信息用于表示所述agv采集到所述地标图像时所处的位置;
33.缺陷检测单元,用于基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果至少包括:在检测到所述地标图像中存在缺陷时的缺陷信息,
所述缺陷信息包括缺陷类型、缺陷数量以及缺陷位置中的一个或多个;
34.数据分析单元,用于按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级;
35.提醒单元,用于按照针对所述地标图像所属缺陷等级预设的提醒策略,对所述位置信息所表示的位置处的地标进行更换地标或清理地标的提醒。
36.在一种可能的实现方式中,所述缺陷检测单元基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果用于表示所述地标图像中所存在的缺陷,包括:
37.将所述地标图像输入至预先建立的缺陷检测模型进行缺陷检测,得到所述地标图像的缺陷检测结果;
38.其中,所述缺陷检测模型为基于预设训练集进行训练得到的,所述预设训练集包括正样本地标图像和负样本地标图像,其中,所述正样本地标图像为不存在缺陷的地标图像,所述负样本地标图像为携带有缺陷标记并且存在缺陷的地标图像,所述缺陷标记用于标记所述负样本地标图像中所存在的缺陷。
39.在一种可能的实现方式中,所述装置还包括区域标定单元,用于按照以下方式获取负样本地标图像:
40.获取agv采集到的历史地标图像;展示所述历史地标图像;接收针对所述历史地标图像反馈的标定指令,所述标定指令用于表示所述历史地标图像所存在的缺陷;按照所述标定指令所表示的缺陷,标定所述历史地标图像,得到负样本地标图像;
41.和/或,获取预先经过缺陷检测的已检测地标图像,以及所述已检测地标图像的缺陷检测结果;按照该缺陷检测结果所表示的缺陷,标定所述已检测地标图像,得到负样本地标图像;
42.和/或,针对所述预设训练集已经存在的负样本地标图像,进行预设图像处理,得到新的负样本地标图像,所述预设图像处理包括:亮度调整、翻转、旋转、对比度调整、缩放、增加噪声、消除噪声。
43.在一种可能的实现方式中,所述数据分析单元按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
44.按照所述缺陷检测结果中所包括的所述缺陷信息,以及所述缺陷检测结果的置信度,确定所述地标图像的缺陷等级,所述地标图像的缺陷等级与所述置信度正相关。
45.在一种可能的实施例中,所述图像采集单元获取自动导航运输车agv采集到的地标图像以及位置信息,包括:
46.获取多个agv在相同位置采集到的地标图像以及位置信息;
47.所述缺陷检测单元基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
48.针对每个agv采集到的地标图像进行缺陷检测,得到该agv采集到的地标图像的缺陷检测结果;
49.所述装置还包括信息融合模块,用于融合每个agv采集到的地标图像的缺陷检测结果中的缺陷信息,得到融合缺陷信息;
50.所述数据分析单元按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地
标图像所属缺陷等级,包括:
51.按照所述融合缺陷信息,确定所述地标图像所属缺陷等级。
52.在一种可能的实施例中,所述地标图像为包括地标二维码的图像;
53.所述缺陷检测单元基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
54.对所述地标图像中所包括的地标二维码进行缺陷检测,得到所述地标图像的缺陷检测结果。
55.在本发明的第三方面,提供了一种电子设备,包括:
56.存储器,用于存放计算机程序;
57.处理器,用于执行存储器上所存放的程序时,实现上述第一方面任一所述的方法步骤。
58.在本发明的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
59.本发明实施例提供的地标检测方法、装置及电子设备,可以利用agv采集到的地标图像,对工作区域的地标进行缺陷检测,并按照缺陷等级进行分级提醒,使得相关人员无需到工作区域现场检测,也可以掌握工作区域各处的地标是否存在缺陷,以便于进行相应的处理。有效降低了地标检测的人工成本。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
60.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
61.图1为本发明实施例提供的地标检测方法的一种流程示意图;
62.图2为本发明实施例提供的地标检测方法的另一种流程示意图;
63.图3为本发明实施例提供的应用于agv的地标检测系统的一种结构示意图;
64.图4a为本发明实施例提供的地标检测装置的一种结构示意图;
65.图4b为本发明实施例提供的地标检测装置的另一种结构示意图;
66.图4c为本发明实施例提供的地标检测装置的另一种结构示意图;
67.图5为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
68.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
69.参见图1,图1所示为本发明实施例提供的地标检测方法的一种流程示意图,该方
法可以应用于任一具有地标检测功能的电子设备上,示例性的,可以应用于具有地标检测功能的agv上,也可以应用于具有地标检测功能的服务器上,方法可以包括:
70.s101,获取agv采集到的地标图像以及位置信息。
71.s102,基于地标图像进行缺陷检测,得到地标图像的缺陷检测结果。
72.s103,按照缺陷检测结果中所包括的缺陷信息,确定地标图像所属缺陷等级。
73.s104,按照针对地标图像所属缺陷等级预设的提醒策略,对位置信息所表示的位置处的地标进行更换地标或清理地标的提醒。
74.选用该实施例,可以利用agv采集到的地标图像,对工作区域的地标进行缺陷检测,并按照缺陷等级进行分级提醒,使得相关人员无需到工作区域现场检测,也可以掌握工作区域各处的地标是否需要更换或清理,以便于进行相应的处理。有效降低了地标检测的人工成本。
75.其中,s101中的位置信息用于表示agv采集到该地标图像时所处的位置。如果该方法应用于agv,则可以是获取设置于agv上的图像采集设备采集到的地标图像。如果该方法应用于agv以外的电子设备,例如与agv建立有通信连接的服务器,则可以是获取agv发送的地标图像。
76.s102中,根据地标类型的不同,缺陷检测的方式不同,例如,在一种可能的实施例中,地标图像为包括地标二维码的图像,进行缺陷检测的方式可以是对地标图像中所包括的地标二维码进行缺陷检测,得到地标图像的缺陷检测结果。
77.根据实际应用场景的不同,缺陷检测的方式也可以不同,示例性的,在一种可能的实施例中,可以是将地标图像输入至预先建立的缺陷检测模型进行缺陷检测,得到地标图像的缺陷检测结果。在其他可能的实施中,也可以是利用其他的缺陷检测方式进行缺陷检测的,本实施例对此不做限制。
78.上述缺陷检测模型,可以是预先建立的用于检测所输入的地标图像中所存在的缺陷的模型。缺陷检测模型可以是基于传统的机器学习算法训练得到的算法模型,也可以是基于深度学习算法训练得到的神经网络模型。缺陷检测模型为基于预设训练集进行训练得到的,预设训练集中包括正样本地标图像和负样本地标图像,正样本地标图像为不存在缺陷的地标图像,负样本地标图像为携带有缺陷标记并且存在缺陷的地标图像,缺陷标记用于标记负样本地标图像中所存在的缺陷,缺陷标线可以是用于标记负样本地标图像中的缺陷类型、缺陷数量以及缺陷位置中的一种或多种。
79.缺陷检测结果至少包括在检测到地标图像中存在缺陷时的缺陷信息,缺陷信息包括缺陷类型、缺陷数量以及缺陷位置中的一个或多个。例如缺陷信息中可以包括用于表示地标图像中存在磨损类型的缺陷的信息,又例如缺陷信息中可以包括用于表示地标图像中存在3处缺陷的信息,海丽如缺陷信息中可以包括用于表示地标图像中像素坐标为(x1,y1)处存在缺陷的信息。
80.缺陷信息的表示方式根据应用场景的不同可以不同,示例性的,在一种可能的实施例中,缺陷信息中可以包括地标图像中每个像素点的标签(label),标签的取值范围至少包括两个不同的值,示例性的,标签的取值可以为0或1,其中,0用于表示地标图像中该像素点所在的图像区域不存在缺陷,1用于表示地标图像中该像素点所在图像区域存在缺陷。在另一种可能的实施例中,标签的取值范围也可以包括三个或三个以上的值,不同的值表示
地标图像中该像素点所在图像区域存在缺陷的可能性,例如,标签为1表示该像素点所在图像区域不可能存在缺陷,标签为2表示该像素点所在图像区域较小可能存在缺陷,标签为3表示该像素点所在图像区域较大可能存在缺陷,标签为4表示该像素带所在图像区域一定存在缺陷。
81.s103中,缺陷等级用于表示地标图像所存在的缺陷的严重程度,如果地标图像中存在的缺陷严重程度越高,则agv通过解析该地标图像能够准确获取该地标图像对应的地标所表示的位置的可能性越低,如果地标图像中存在的缺陷严重程度越低,则agv通过解析该地标图像能够准确获取该地标图像对应的地标所表示的位置的可能性越高。
82.由于不同应用场景中,缺陷信息可以用不同的方式进行表示,为描述方便,假设缺陷信息是以上述标签的方式表示的,则可以是计算缺陷检测结果中各个像素点的标签的值的均值,按照预设的标签的值与缺陷等级的对应关系,计算该均值对应的缺陷等级,作为地标图像的缺陷等级。示例性的,假设缺陷检测结果表示地标图像中100个像素点的标签的值为1,100个像素点的标签的值为2,50个像素点的标签的值为3,则均值为1.8。假设标签的值与缺陷等级的对应关系中,当值位于[1,1.5]时对应的缺陷等级为1级,当值位于(1.5,18]时对应的缺陷等级为2级,则该均值对应的缺陷等级为2级,因此该地标图像的缺陷等级为2级。该示例仅是一种可能的缺陷等级确定方法,在其他可能的实施例中,也可以采用其他方法确定缺陷等级,本示例对此不做限制。
[0083]
在一种可能的实施例中,在计算缺陷等级时,可以是按照缺陷检测结果中所包括的缺陷信息,以及缺陷检测结果的置信度,共同确定地标图像缺陷等级,地标图像的缺陷等级与置信度正相关。可以理解的是,缺陷检测结果可能存在误差,因此即使缺陷检测结果表示地标图像中存在严重缺陷,地标图像实际上也可能并不存在严重缺陷,因此在确定地标图像的缺陷等级时,考虑缺陷检测结果的置信度可以使得得到的缺陷等级更加准确。
[0084]
s104中,不同等级预设的提醒策略可以根据实际需求或者用户经验进行设置,提醒策略中可以设定以何种方式向用户进行更换或清理地标提醒,例如可以设定如果缺陷等级为1则发出警鸣、缺陷等级为2则发送提醒邮件、缺陷等级为3则向预设用户终端发送提醒短信。也可以是设定提醒内容,以发送提醒邮件为例,可以设定如果缺陷等级为1则邮件中的文本内容中包括“缺陷较轻,建议暂时不更替地标”,如果缺陷等级为2则邮件中的文本内容中包括“缺陷较重,建议更替地标”,如果缺陷等级为3则邮件中的文本内容中包括“缺陷严重,请尽快更替地标”。以上仅是不同缺陷等级对应的提醒策略的示例,在其他可能的实施例中,针对不同缺陷等级预设的提醒策略也可以是其他形式,本实施例对此不做限制。
[0085]
在进行更换地标或清理地标提醒时,可以展示s101中获取到的位置信息,展示的方式可以根据实际应用场景的不同而不同,例如假设提醒方式为发送报提醒短信,则可以是在提醒短信中携带用于表示该位置信息的文本。可以理解的是,由于不同的地标设置于不同的位置,因此位置信息可以作为地标的标识信息,相关人员可以根据位置信息确定接收到的提醒是针对哪一个地标进行的提醒,当相关人员在接收到的提醒后计划对提醒所针对的地标进行相应的处理时,如替换或清理地标,可以根据位置信息准确找到该地标。
[0086]
为更清楚的对本发明实施例提供的地标检测方法进行说明,下面将对上述地标缺陷检测模型的训练进行说明。
[0087]
训练集所包括的样本地标图像的数量可以根据实际应用场景的不同而不同,并且
训练缺陷检测模型时,可以只使用其中部分的样本地标图像,也可以使用训练集中所有的样本地标图像。
[0088]
在一种可能的实施例中,可以将正样本地标图像或负样本地标图像输入至预设模型中,得到该预设模型的输出的缺陷检测结果,将该缺陷检测结果所表示的缺陷与该样本地标图像标定的所存在的缺陷(对于正样本图像可以认为所存在的缺陷为空)进行对比,以构建损失函数,基于该损失函数,利用梯度下降法,调整该预设模型的模型参数。
[0089]
选取新的样本地标图像,重复上述步骤,直至达到预设训练条件时,将经过调整的预设模型作为缺陷检测模型。预设训练条件可以是模型参数达到收敛,也可以是已经已经使用预设数目个样本地标图像进行训练,还可以是已经使用预设训练集中所有样本地标图像进行训练。
[0090]
可以理解的是,缺陷检测模型的性能影响到缺陷检测结果的准确性,不准确的缺陷检测结果可能导致错误的提醒,进而造成相关人员对是否需要对地标进行相应处理作出错误的判断。例如,假设地标a的缺陷较轻微,并不需要进行更换,但是由于缺陷检测模型性能较差,地标a的缺陷检测结果表示地标a的缺陷较为严重,导致针对地标a进行提醒,以提示相关人员对地标a进行更换。而缺陷检测模型的性能一定程度取决于训练过程中。在一种可能的实施例中,训练集中的负样本地标图像可以是通过以下三种方式中的一种或多种方式得到:
[0091]
方式一、获取agv采集到的历史地标图像,展示历史地标图像,接受针对该历史地标图像反馈的标定指令,该标定指令用于表示历史地标图像所存在的缺陷,按照标定指令所表示的缺陷,标定历史地标图像,得到负样本地标图像。
[0092]
其中,展示历史地标图像,可以是使用集成或外接于执行主体的显示设备,展示历史地标图像,也可以是向预设终端发送展示请求,以在预设终端展示历史地标图像。示例性的,以执行主体为agv为例,agv可以在采集到历史地标图像时,向预设终端发送展示请求,以在预设终端展示历史地标图像,相关人员在观看到所展示的历史地标图像后,观察该历史地标图像中存在的缺陷,并输入标定指令,agv接收到该标定指令后,按照该标定指令所表示的缺陷,标定历史地标图像,得到负样本地标图像。
[0093]
方式二、获取预先经过缺陷检测的已检测地标图像,以及该已检测地标图像的缺陷检测结果,按照该缺陷检测结果所表示的缺陷,标定该已检测地标图像,得到负样本地标图像。
[0094]
已检测地标图像可以是通过其他已经建立完成的缺陷检测模型进行缺陷检测的,也可以是利用缺陷检测模型以外的其他方式进行检测的,本实施例对此不做限制。
[0095]
方式三、针对预设训练集中已经存在的负样本地标图像,进行预设图像处理,得到新的负样本地标图像。
[0096]
示例性的,可以是对预设训练集中已经存在样本地标图像,进行以下一种或多种图像处理:
[0097]
亮度调整、翻转、旋转、对比度调整、缩放、增加噪声、消除噪声。
[0098]
选用该实施例,可以充分扩展预设训练集中的负样本地标图像,以使得训练得到的缺陷检测模型能够更好的适用于不同的应用场景,并且提高缺陷检测模型的准确性。对于正样本地标图像,可以使用任一地标图像生成方式生成。
[0099]
可以理解的是,agv采集到的地标图像可能受到采集时的光线、角度等因素影响,导致地标图像中无法准确反映出地标所存在的缺陷。基于此,参见图2,图2所示为本发明实施例提供的地标检测方法的另一种流程示意图,可以包括:
[0100]
s201,获取多个agv在相同位置采集到的地标图像以及位置信息。
[0101]
多个agv的数量可以根据应用场景的不同而不同,多个agv在相同位置采集到的地标图像,可以是指多个agv在同一空间范围内采集到的地标图像。
[0102]
s202,针对每个agv采集到的地标图像进行缺陷检测,得到该agv采集到的地标图像的缺陷检测结果。
[0103]
关于基于单个agv采集到的地标图像如何进行缺陷检测,可以参见前述s102的相关描述,在此不再赘述。
[0104]
s203,融合每个agv采集到的地标图像的缺陷检测结果中的缺陷信息,得到融合缺陷信息。
[0105]
融合的方式根据应用场景的不同可以不同,示例性的,以缺陷信息是以标签的形式表示的,可以是计算各个缺陷检测信息中相同像素点的标签的值的均值,作为融合缺陷信息中相同像素点的标签的值。该均值可以是算数平均值,也可以是加权平均值。示例性的,假设有三个缺陷信息,分别记为缺陷信息1-3,缺陷信息1中像素点(1,1)的标签的值为1,缺陷信息2中像素点(1,1)的标签的值为1,缺陷信息3中像素点(1,1)的标签的值为2,则融合缺陷信息中像素点(1,1)的标签的值可以为(1+1+2)/3=1.33,也可以是(0.9*1+0.9*1+0.8*2)/3=1.13,其中等式左侧的第一个0.9表示缺陷检测结果1的置信度为0.9,第二个0.9表示缺陷检测结果2的置信度为0.9,0.8表示缺陷检测结果3的置信度为0.8。加权平均值时,各标签的值的权重也可以不是置信度,而是通过其他方式确定,本实施例对此不做限制。
[0106]
s204,按照融合缺陷信息,确定地标图像所属缺陷等级。
[0107]
可以参见前述s103中关于缺陷等级确定的相关描述,在此不再赘述。
[0108]
s205,按照针对地标图像所属缺陷等级预设的提醒策略,对位置信息所表示的位置处的地标进行提醒。
[0109]
由于融合缺陷信息中融合了多个不同agv采集到的地标图像的缺陷检测结果中的缺陷信息,可以认为不同agv采集地标图像时,光线、角度等因素是随机的,因此通过融合的方式,可以有效地降低光线、角度等因素对融合缺陷检测结果的影响。因此选用该实施例,更准确的进行提醒,使得相关人员可以根据提醒对是否需要对地标采集相应措施作出准确判断。
[0110]
如前述分析,本发明实施例提供的地标检测方法可以应用于agv,也可以应用于agv以外的其他电子设备。为更清楚的对本发明实施例提供的地标检测方法进行说明,下面将以agv为执行主体,结合相关人员的操作对本发明实施例提供的地标检测方法进行说明,可以参见图3,图3所示为本发明实施例提供的设置于agv的地标检测系统的结构示意图,地标检测系统中可以包括图像采集模块301、区域标定模块302、缺陷检测模块303,数据分析模块304。
[0111]
其中,图像采集模块301,用于控制设置于agv上的图像采集设备采集地标的地标图像,并将采集到的地标图像输入至区域标定模块302以及缺陷检测模块303。
[0112]
区域标定模块302,用于向预设终端展示接收到的地标图像,相关人员通过预设终端观察该地标图像,并输入标定指令,与预设终端将该标定指令发送至区域标定模块302,区域标定模块302按照该标定指令,标定地标图像,得到样本地标图像。
[0113]
缺陷检测模块303,用于对输入的地标图像进行缺陷检测,得到地标图像的缺陷检测结果,并将缺陷检测结果以及地标图像输入至数据分析模块304。
[0114]
数据分析模块304,用于按照缺陷检测结果所包括的缺陷信息,确定地标图像所属缺陷等级。并按照针对该缺陷等级预设的提醒策略,对位置信息所表示的位置处的地标进行更换地标或清理地标提醒。关于缺陷等级的确定以及提醒策略的设置可以参见前述s103、s104中的相关描述,在此不再赘述。
[0115]
数据分析模块304还可以用于按照缺陷检测结果所表示的缺陷,在地标地图中标定所存在的缺陷,以得到负样本地标图像,并将负样本地标图像输入至区域标定模块302。
[0116]
可以定期或不定期基于区域标定模块302所保存的样本地标图像,对缺陷检测模型进行训练,得到新的缺陷检测模型,并控制缺陷检测模块303在进行缺陷检测时,调用该新的缺陷检测模型进行缺陷检测,以提高缺陷检测结果的准确性。
[0117]
参见图4a,图4a所示为本发明实施例提供的地标检测装置的一种结构示意图,可以包括:
[0118]
图像采集单元401,用于获取自动导航运输车agv采集到的地标图像以及位置信息,所述位置信息用于表示所述agv采集到所述地标图像时所处的位置;
[0119]
缺陷检测单元402,用于基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果至少包括:在检测到所述地标图像中存在缺陷时的缺陷信息,所述缺陷信息包括缺陷类型、缺陷数量以及缺陷位置中的一个或多个;
[0120]
数据分析单元403,用于按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级;
[0121]
提醒单元404,用于按照针对所述地标图像所属缺陷等级预设的提醒策略,对所述位置信息所表示的位置处的地标进行更换地标或清理地标的提醒。
[0122]
在一种可能的实现方式中,所述缺陷检测单元402基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果用于表示所述地标图像中所存在的缺陷,包括:
[0123]
将所述地标图像输入至预先建立的缺陷检测模型进行缺陷检测,得到所述地标图像的缺陷检测结果;
[0124]
其中,所述缺陷检测模型为基于预设训练集进行训练得到的,所述预设训练集包括正样本地标图像和负样本地标图像,其中,所述正样本地标图像为不存在缺陷的地标图像,所述负样本地标图像为携带有缺陷标记并且存在缺陷的地标图像,所述缺陷标记用于标记所述负样本地标图像中所存在的缺陷。
[0125]
在一种可能的实现方式中,如图4b所示,所述装置还包括区域标定单元405,用于按照以下方式获取负样本地标图像:
[0126]
获取agv采集到的历史地标图像;展示所述历史地标图像;接收针对所述历史地标图像反馈的标定指令,所述标定指令用于表示所述历史地标图像所存在的缺陷;按照所述标定指令所表示的缺陷,标定所述历史地标图像,得到负样本地标图像;
[0127]
和/或,获取预先经过缺陷检测的已检测地标图像,以及所述已检测地标图像的缺陷检测结果;按照该缺陷检测结果所表示的缺陷,标定所述已检测地标图像,得到负样本地标图像;
[0128]
和/或,针对所述预设训练集已经存在的负样本地标图像,进行预设图像处理,得到新的负样本地标图像,所述预设图像处理包括:亮度调整、翻转、旋转、对比度调整、缩放、增加噪声、消除噪声。
[0129]
在一种可能的实现方式中,所述数据分析单元403按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
[0130]
按照所述缺陷检测结果中所包括的所述缺陷信息,以及所述缺陷检测结果的置信度,确定所述地标图像的缺陷等级,所述地标图像的缺陷等级与所述置信度正相关。
[0131]
在一种可能的实施例中,所述图像采集单元401获取自动导航运输车agv采集到的地标图像以及位置信息,包括:
[0132]
获取多个agv在相同位置采集到的地标图像以及位置信息;
[0133]
所述缺陷检测单元402基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
[0134]
针对每个agv采集到的地标图像进行缺陷检测,得到该agv采集到的地标图像的缺陷检测结果;
[0135]
所述装置如图4c所示还包括信息融合模块406,用于融合每个agv采集到的地标图像的缺陷检测结果中的缺陷信息,得到融合缺陷信息;
[0136]
所述数据分析单元按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
[0137]
按照所述融合缺陷信息,确定所述地标图像所属缺陷等级。
[0138]
在一种可能的实施例中,所述地标图像为包括地标二维码的图像;
[0139]
所述缺陷检测单元402基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
[0140]
对所述地标图像中所包括的地标二维码进行缺陷检测,得到所述地标图像的缺陷检测结果。
[0141]
本发明实施例还提供了一种电子设备,如图5所示,包括:
[0142]
存储器501,用于存放计算机程序;
[0143]
处理器502,用于执行存储器501上所存放的程序时,实现如下步骤:
[0144]
获取自动导航运输车agv采集到的地标图像以及位置信息,所述位置信息用于表示所述agv采集到所述地标图像时所处的位置;
[0145]
基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果至少包括:在检测到所述地标图像中存在缺陷时的缺陷信息,所述缺陷信息包括缺陷类型、缺陷数量以及缺陷位置中的一个或多个;
[0146]
按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级;
[0147]
按照针对所述地标图像所属缺陷等级预设的提醒策略,对所述位置信息所表示的位置处的地标进行更换地标或清理地标的提醒。
[0148]
在一种可能的实现方式中,所述所述基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,所述缺陷检测结果用于表示所述地标图像中所存在的缺陷,包括:
[0149]
将所述地标图像输入至预先建立的缺陷检测模型进行缺陷检测,得到所述地标图像的缺陷检测结果;
[0150]
其中,所述缺陷检测模型为基于预设训练集进行训练得到的,所述预设训练集包括正样本地标图像和负样本地标图像,其中,所述正样本地标图像为不存在缺陷的地标图像,所述负样本地标图像为携带有缺陷标记并且存在缺陷的地标图像,所述缺陷标记用于标记所述负样本地标图像中所存在的缺陷。
[0151]
在一种可能的实现方式中,所述预设训练集中的负样本地标图像通过以下方式得到:
[0152]
获取agv采集到的历史地标图像;展示所述历史地标图像;接收针对所述历史地标图像反馈的标定指令,所述标定指令用于表示所述历史地标图像所存在的缺陷;按照所述标定指令所表示的缺陷,标定所述历史地标图像,得到负样本地标图像;
[0153]
和/或,获取预先经过缺陷检测的已检测地标图像,以及所述已检测地标图像的缺陷检测结果;按照该缺陷检测结果所表示的缺陷,标定所述已检测地标图像,得到负样本地标图像;
[0154]
和/或,针对所述预设训练集已经存在的负样本地标图像,进行预设图像处理,得到新的负样本地标图像,所述预设图像处理包括:亮度调整、翻转、旋转、对比度调整、缩放、增加噪声、消除噪声。
[0155]
在一种可能的实现方式中,所述按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
[0156]
按照所述缺陷检测结果中所包括的所述缺陷信息,以及所述缺陷检测结果的置信度,确定所述地标图像的缺陷等级,所述地标图像的缺陷等级与所述置信度正相关。
[0157]
在一种可能的实现方式中,所述获取自动导航运输车agv采集到的地标图像以及位置信息,包括:
[0158]
获取多个agv在相同位置采集到的地标图像以及位置信息;
[0159]
所述基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
[0160]
针对每个agv采集到的地标图像进行缺陷检测,得到该agv采集到的地标图像的缺陷检测结果;
[0161]
所述方法还包括:
[0162]
融合每个agv采集到的地标图像的缺陷检测结果中的缺陷信息,得到融合缺陷信息;
[0163]
所述按照所述缺陷检测结果中所包括的所述缺陷信息,确定所述地标图像所属缺陷等级,包括:
[0164]
按照所述融合缺陷信息,确定所述地标图像所属缺陷等级。
[0165]
在一种可能的实施例中,所述地标图像为包括地标二维码的图像;
[0166]
所述基于所述地标图像进行缺陷检测,得到所述地标图像的缺陷检测结果,包括:
[0167]
对所述地标图像中所包括的地标二维码进行缺陷检测,得到所述地标图像的缺陷
检测结果。
[0168]
上述电子设备提到的存储器可以包括随机存取存储器(random access memory,ram),也可以包括非易失性存储器(non-volatile memory,nvm),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
[0169]
上述的处理器可以是通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)等;还可以是数字信号处理器(digital signal processing,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0170]
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一地标检测方法。
[0171]
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一地标检测方法。
[0172]
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0173]
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0174]
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质以及计算机程序产品的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0175]
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1