一种生物物种的识别方法、装置、设备及存储介质与流程

文档序号:30975109发布日期:2022-08-02 23:03阅读:106来源:国知局
一种生物物种的识别方法、装置、设备及存储介质与流程

1.本发明一个或多个实施例涉及人工智能技术领域,尤其涉及一种生物物种的识别方法、装置、设备及存储介质。


背景技术:

2.目前,相关技术中,采用人工智能领域技术,可以识别出用户上传的图像中所包含的生物对象属于何物种,进而能够满足用户在工作学习方面的实际需求,或是提供一些生活趣味。
3.不过,由于用户上传的图像能够反映的物种特征有限,且部分特定物种间存在特征相似的问题,算法最终识别出的生物物种可能未必准确,反而会给用户带来错误的认知。


技术实现要素:

4.有鉴于此,本发明一个或多个实施例提供一种生物物种的识别方法、装置、设备及存储介质。
5.为实现上述目的,本发明一个或多个实施例提供的技术方案如下:
6.根据本发明一个或多个实施例的第一方面,提出了一种生物物种的识别方法,所述方法包括:
7.将用户提供的待识别图像作为入参输入已训练的物种识别模型,基于所述物种识别模型的输出结果,对所述待识别图像中所包含生物对象所属的目标物种进行确定;
8.在基于所述物种识别模型的输出结果无法确定所述目标物种的情况下,将所述待识别图像作为入参输入已训练的原因分析模型,基于所述原因分析模型的输出结果,对无法确定所述目标物种的原因类型进行确定;
9.基于所述原因类型,向用户响应对应于所述原因类型的引导操作。
10.在一种实现方式下,所述方法还包括:
11.在基于所述物种识别模型的输出结果成功确定所述目标物种的情况下,向用户响应所述生物对象所属的目标物种。
12.在一种实现方式下,所述基于所述物种识别模型的输出结果无法确定所述目标物种,包括:
13.若所述物种识别模型对所述生物对象属于各个物种的输出结果均不能满足预设的置信要求,则确定基于所述物种识别模型的输出结果无法确定所述目标物种。
14.在一种实现方式下,在所述生物对象为植物的情况下,所述无法确定所述目标物种的原因类型包括以下一或多项:
15.所述生物对象处于幼苗状态;
16.所述生物对象处于枯黄状态;
17.所述生物对象缺乏强识别特征;
18.所述生物对象缺乏完整识别特征;
19.所述生物对象未处于合适的拍摄距离;
20.所述待识别图像的画质过低;
21.所述待识别图像的背景杂乱;
22.其他无法确定目标物种的原因。
23.在一种实现方式下,所述基于所述原因类型,向用户响应对应于所述原因类型的引导操作,包括:
24.若确定所述原因类型为所述生物对象处于幼苗状态,则向用户响应所述生物对象处于幼苗状态,建议待其成长后再行识别的引导信息。
25.在一种实现方式下,所述方法还包括:
26.基于预设的等待时长,在目标时间向用户响应针对所述生物对象所属的目标物种再行识别的引导信息。
27.在一种实现方式下,所述基于所述原因类型,向用户响应对应于所述原因类型的引导操作,包括:
28.若确定所述原因类型为所述生物对象处于枯黄状态,则向用户响应所述生物对象处于枯黄状态,建议待其恢复健康后再行识别或重新提供包含健康生物对象的待识别图像的引导信息。
29.在一种实现方式下,所述基于所述原因类型,向用户响应对应于所述原因类型的引导操作,包括:
30.若确定所述原因类型为所述生物对象缺乏强识别特征,则确定所述生物对象所属的上位物种,并向用户响应所述生物对象所属的上位物种。
31.在一种实现方式下,所述方法还包括:
32.若确定所述原因类型为所述生物对象缺乏强识别特征,则确定所述生物对象所属的物种范围,并向用户响应所述生物对象所属的物种范围;所述物种范围内包括多个物种。
33.在一种实现方式下,所述方法还包括:
34.在向用户响应所述物种范围时,向用户响应所述物种范围内各个物种的强识别特征和/或所述物种范围内各个物种间的区别特征,以供用户对所述生物对象所属的目标物种进行判别。
35.在一种实现方式下,所述方法还包括:
36.引导用户针对所述生物对象的目标部位进行拍摄,并结合拍摄所得的待识别图像再次确定所述生物对象所属的目标物种。
37.在一种实现方式下,所述基于所述原因类型,向用户响应对应于所述原因类型的引导操作,包括:
38.若确定所述原因类型为所述生物对象缺乏完整识别特征,则引导用户针对所述生物对象的目标部位进行拍摄,并结合拍摄所得的待识别图像再次确定所述生物对象所属的目标物种。
39.在一种实现方式下,所述基于所述原因类型,向用户响应对应于所述原因类型的引导操作,包括:
40.若确定所述原因类型为所述生物对象未处于合适的拍摄距离,则向用户响应所述生物未处于合适的拍摄距离,建议调整焦距后再行识别的引导信息。
41.在一种实现方式下,所述方法还包括:
42.进行焦距自动调整后引导用户针对所述生物对象再行拍摄,并对拍摄所得的待识别图像中所述生物对象所属的目标物种进行再次确定。
43.在一种实现方式下,所述基于所述原因类型,向用户响应对应于所述原因类型的引导操作,包括:
44.若确定所述原因类型为所述待识别图像的画质过低,则对所述待识别图像的画质进行优化,并对优化后的待识别图像中所述生物对象所属的目标物种进行再次确定。
45.在一种实现方式下,所述方法还包括:
46.在无法确定优化后的待识别图像中所述生物对象所属的目标物种的情况下,基于优化前的待识别图像的画质参数,引导用户调整拍摄参数后再行拍摄,并对拍摄所得的待识别图像中所述生物对象所属的目标物种进行再次确定。
47.在一种实现方式下,所述基于所述原因类型,向用户响应对应于所述原因类型的引导操作,包括:
48.若确定所述原因类型为所述待识别图像的背景杂乱,则引导用户从所述待识别图像包含的多个生物对象中选取有待进行物种识别的目标生物对象,并对所述目标生物对象所属的目标物种进行确定。
49.在一种实现方式下,所述基于所述原因类型,向用户响应对应于所述原因类型的引导操作,包括:
50.若确定所述原因类型为所述待识别图像的背景杂乱,则对所述待识别图像中包含的各个生物对象所属的物种进行分别确定,并向用户响应所述各个生物对象所属的物种,以供用户自行判别目标生物对象所属的目标物种。
51.在一种实现方式下,其特征在于,所述原因分析模型为基于卷积神经网络或残差网络实现的分类模型。
52.根据本发明一个或多个实施例的第二方面,提出了一种生物物种的识别装置,所述装置包括识别单元、分析单元以及引导单元;其中:
53.所述识别单元,用于将用户提供的待识别图像作为入参输入已训练的物种识别模型,基于所述物种识别模型的输出结果,对所述待识别图像中所包含生物对象所属的目标物种进行确定;
54.所述分析单元,用于在基于所述物种识别模型的输出结果无法确定所述目标物种的情况下,将所述待识别图像作为入参输入已训练的原因分析模型,基于所述原因分析模型的输出结果,对无法确定所述目标物种的原因类型进行确定;
55.所述引导单元,用于基于所述原因类型,向用户响应对应于所述原因类型的引导操作。
56.根据本发明一个或多个实施例的第三方面,提出了一种电子设备,包括:
57.处理器、以及用于存储处理器可执行指令的存储器;
58.其中,所述处理器通过运行所述可执行指令实现上述第一方面所述方法中的步骤。
59.根据本发明一个或多个实施例的第四方面,提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述方法中的步
骤。
60.由以上描述可以看出,本发明中,在物种识别模型无法确定待识别图像中生物对象所属的目标物种的情况下,基于已训练的原因分析模型对所述物种识别模型无法识别出目标物种的原因类型进行了确定,然后,基于所述原因类型,向用户响应了对应于所述原因类型的引导操作。
61.该方案能够避免向用户反馈并不准确的生物物种识别结果,且适应于无法由图像识别出生物物种的具体原因,向用户响应了具有针对性的引导操作,保障用户后续能够根据引导得到更准确的物种识别结果,提升了物种识别的准确性和用户的使用体验。
附图说明
62.图1是一示例性实施例提供的一种生物物种的识别方法的流程图。
63.图2是一示例性实施例示出的向用户响应引导操作的方法流程图。
64.图3是另一示例性实施例示出的向用户响应引导操作的方法流程图。
65.图4是又一示例性实施例示出的向用户响应引导操作的方法流程图。
66.图5是又一示例性实施例示出的向用户响应引导操作的方法流程图。
67.图6是又一示例性实施例示出的向用户响应引导操作的方法流程图。
68.图7是再一示例性实施例示出的向用户响应引导操作的方法流程图。
69.图8是再一示例性实施例示出的向用户响应引导操作的方法流程图。
70.图9是再一示例性实施例示出的向用户响应引导操作的方法流程图。
71.图10是再一示例性实施例示出的向用户响应引导操作的方法流程图。
72.图11是再一示例性实施例示出的向用户响应引导操作的方法流程图。
73.图12是一示例性实施例示出的原因分析模型的训练流程图。
74.图13是另一示例性实施例示出的原因分析模型的训练流程图。
75.图14是又一示例性实施例示出的原因分析模型的训练流程图。
76.图15是一示例性实施例提供的一种生物物种的识别装置所在电子设备的结构示意图。
77.图16是一示例性实施例提供的一种生物物种的识别装置的框图。
具体实施方式
78.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明一个或多个实施例相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明一个或多个实施例的一些方面相一致的装置和方法的例子。
79.需要说明的是:在其他实施例中并不一定按照本发明示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中,其方法所包括的步骤可以比本发明所描述的更多或更少。此外,本发明中所描述的单个步骤,在其他实施例中可能被分解为多个步骤进行描述;而本发明中所描述的多个步骤,在其他实施例中也可能被合并为单个步骤进行描述。
80.目前,相关技术中,采用人工智能领域技术,基于已训练的模型,可以对图像中生
物对象所属的物种进行识别;比较常见的,利用打有物种标签的图像样本实现分类模型的有监督学习后,将待识别图像作为入参输入已训练的分类模型,可以得到所述待识别图像中生物对象属于各个物种的置信度,其中置信度最高的物种即可作为所述生物对象所属的目标物种进行反馈。
81.但是,由于同一科或同一属下的不同种生物间往往具有相似的特征,时常难以分辨,且用户上传的图像有时也存在着缺乏必要特征的问题,相关技术中识别出的生物物种可能未必准确,如何避免反馈错误结论,保障用户始终能够得到较为准确的识别结果成为亟待解决的技术问题。
82.有鉴于此,本发明提出一种生物物种的识别方法,所述生物物种的识别方法可以app、小程序、网页等多种方式应用于诸如智能手机、pad或个人电脑等各类电子设备上。
83.举例来说,当所述识别方法以app、小程序、网页等方式运行时,执行所述识别方法的电子设备可以为智能手机、pad及个人电脑,也可以为与所述智能手机、pad及个人电脑进行数据交互的服务器,本发明对此不做具体的限制。
84.请参考图1,图1所示为本发明一示例性实施例提供的一种生物物种的识别方法的流程图。
85.所述生物物种的识别方法,可以包括如下具体步骤:
86.步骤102,将用户提供的待识别图像作为入参输入已训练的物种识别模型,基于所述物种识别模型的输出结果,对所述待识别图像中所包含的生物对象所属的目标物种进行确定。
87.本实施例中,首先,用户可以通过实时拍摄或上传相册图像提供有待进行物种识别的待识别图像,在比较理想的情况下,用户提供的所述待识别图像中仅包含一个生物对象,基于已训练的物种识别模型可以对该生物对象所属的目标物种进行确定,但在有些情况下,所述待识别图像中也可能包含多个生物对象,进而可能造成生物物种识别上的困难。
88.在获取到用户提供的所述待识别图像后,以所述待识别图像作为入参输入已训练的物种识别模型,所述物种识别模型将针对所述生物对象所属的物种输出相应结果,基于前文所述,在所述物种识别模型为分类模型的情况下,其输出结果可以为所述生物对象属于各个不同物种的置信度,基于所述置信度,可以确定其中置信度最高的物种为所述生物对象所属的目标物种。
89.本实施例对所述物种识别模型具体采用何种算法实现不做限制,不过,可以理解的是,基于不同算法实现的物种识别模型,其输出结果的形式不同,由输出结果确定目标物种的具体方式也不同,所述生物对象所属的目标物种也可以不以置信度为标准进行确定。而所述物种识别模型的训练过程,也与其采用的算法有关,具体可以参见相关技术,此处不再赘述。
90.在一种可选择的实现方式下,如果基于所述物种识别模型的输出结果成功确定所述目标物种,则可以向用户响应所述生物对象所属的目标物种。
91.例如,所述物种识别模型输出的所述生物对象属于各个物种的置信度中,置信度最大值超出了预设的置信度阈值,则可以确定识别成功,向用户响应所述置信度最大值对应物种为目标物种。
92.步骤104,在基于所述物种识别模型的输出结果无法确定所述目标物种的情况下,
将所述待识别图像作为入参输入已训练的原因分析模型,基于所述原因分析模型的输出结果,对无法确定所述目标物种的原因类型进行确定。
93.本实施例中,如果基于所述物种识别模型的输出结果不能准确确定所述生物对象所属的目标物种,不会像相关技术中一样强行给出一个识别结果,而是继而将所述待识别图像输入已训练的原因分析模型,由所述原因分析模型对所述物种识别模型识别失败的原因进行分析。
94.在一种可选择的实现方式下,所述基于所述物种识别模型的输出结果无法确定所述目标物种,包括:
95.若所述物种识别模型对所述生物对象属于各个物种的输出结果均不能满足预设的置信要求,则确定基于所述物种识别模型的输出结果无法确定所述目标物种。
96.基于前文所述,在所述物种识别模型为分类模型的情况下,其输出结果为待识别图像中生物对象属于各个物种的置信度,如果所述生物对象属于各个物种的置信度均低于预设的置信度阈值,则可以确定所述物种识别模型识别失败,无法确定所述目标物种。
97.例如,所述物种识别模型输出的所述生物对象属于各个物种的置信度均低于预设的置信度阈值0.3,则可以确定基于所述物种识别模型的输出结果无法确定所述目标物种,并执行后续步骤。
98.而所述原因分析模型可以为有监督的分类模型,利用打有原因类型标签的图像样本对其进行训练后,已训练的所述原因分析模型可以输出造成所述目标物种识别失败的各个原因类型的置信度,并确定其中置信度最高的原因类型为无法确定所述目标物种的原因类型。
99.同前文所述的物种识别模型类似,基于不同算法实现的原因分析模型,其输出结果的形式不同,由输出结果确定原因类型的具体方式也不同,所述原因类型也可以不以置信度为标准进行确定。
100.在待识别图像中的生物对象为植物的情况下,无法确定所述生物对象所属的目标物种的原因类型,可以为以下任意一项:
101.所述生物对象处于幼苗状态;
102.所述生物对象处于枯黄状态;
103.所述生物对象缺乏强识别特征;
104.所述生物对象缺乏完整识别特征;
105.所述生物对象未处于合适的拍摄距离;
106.所述待识别图像的画质过低;
107.所述待识别图像的背景杂乱;
108.其他无法确定目标物种的原因。
109.可以理解的是,所述原因类型还可以包括其他未示出的原因类型,技术人员可以根据实际场景状况,增加新的原因类型标签。
110.例如,技术人员可以在所述原因分析模型训练及应用的过程中,针对原因类型为其他无法确定目标物种的原因这一情况进行归纳总结,统计该原因类型下包括的多个其他无法确定目标物种的原因所分别出现的次数,并在其中任一原因出现的次数超出预设的次数阈值的情况下,确定其为新增的一个原因类型。
111.具体地,假设造成识别失败的原因r1、r2和r3均被包含在其他无法确定目标物种的原因这一原因类型下,则在应用过程中,可以收集被所述原因分析模型确定为这一原因类型的待识别图像,并对原因r1、r2及r3分别造成所述待识别图像中目标物种识别失败的次数进行统计,若原因r1出现的次数超出预设的次数阈值,或原因r1出现的次数比例超出预设的比例阈值,则可将原因r1增加为新的原因类型r1,后续设置对应于原因类型r1的引导操作。
112.而在所述生物对象为动物的情况下,无法确定其目标物种的原因类型也可以依照上述原因类型进行联想推得,例如,所述生物对象处于幼崽状态等,具体不再赘述。
113.步骤106,基于所述原因类型,向用户响应对应于所述原因类型的引导操作。
114.本实施例中,在基于原因分析模型确定无法识别目标物种的原因类型后,可以基于所述原因类型,向用户响应对应于所述原因类型的引导操作,例如,以可视化界面显示对应的引导信息,或是调用摄像头获取新图像等,通过这些引导操作可以指示用户后续得到更为准确的物种识别结果。
115.为了使本领域技术人员更加清晰详尽地了解本发明方案,下面基于前文所述的各个原因类型,针对步骤106的具体实现方式做进一步说明。
116.(1)原因类型为生物对象处于幼苗状态:
117.如果步骤104中,确定无法识别目标物种的原因类型为待识别图像中的生物对象处于幼苗状态,即,所述生物对象过于幼小而难以识别物种,需要等待所述生物对象长为成苗后再确认。
118.请参考图2,图2所示为一示例性实施例示出的向用户响应引导操作的方法流程图。在一种可选择的实现方式,步骤106中,基于所述原因类型,向用户响应对应于所述原因类型的引导操作,可以包括:
119.步骤106a1,向用户响应所述生物对象处于幼苗状态,建议待其成长后再行识别的引导信息。
120.具体地,可以在app、小程序或网页的可视化界面上显示相关的图文信息以进行引导。
121.进一步地,步骤106还可以包括:
122.步骤106a2,基于预设的等待时长,在目标时间向用户响应针对所述生物对象所属的目标物种再行识别的引导信息。
123.具体地,还可以在预设时长后以弹窗推送、闹钟提示等方式引导用户对成苗所属的目标物种进行再识别。
124.(2)原因类型为生物对象处于枯黄状态:
125.如果步骤104中,确定无法识别目标物种的原因类型为待识别图像中的生物对象处于枯黄状态,即,所述生物对象的叶片枯黄,处于枯萎、凋谢、病虫灾等状态而难以识别物种,需要等待所述生物对象恢复健康后再确认,或需要寻找同物种且处于健康状态的生物对象进行识别。
126.请参考图3,图3所示为另一示例性实施例示出的向用户响应引导操作的方法流程图。在一种可选择的实现方式,步骤106中,基于所述原因类型,向用户响应对应于所述原因类型的引导操作,可以包括:
127.步骤106b1,向用户响应所述生物对象处于枯黄状态,建议待其恢复健康后再行识别或重新提供包含健康生物对象的待识别图像的引导信息。
128.具体地,也可以在app、小程序或网页的可视化界面上显示相关的图文信息以进行引导。
129.(3)原因类型为生物对象缺乏强识别特征:
130.如果步骤104中,确定无法识别目标物种的原因类型为待识别图像中的生物对象缺乏强识别特征,即,待识别图像中的所述生物对象缺乏能够细化出下位物种的有效特征,所述强识别特征能够使所述生物对象明确区别于其他物种。
131.请参考图4,图4所示为又一示例性实施例示出的向用户响应引导操作的方法流程图。在一种可选择的实现方式,步骤106中,基于所述原因类型,向用户响应对应于所述原因类型的引导操作,可以包括:
132.步骤106c1,确定所述生物对象所属的上位物种,并向用户响应所述生物对象所属的上位物种。
133.具体地,在无法确定所述生物对象所属的种时,可以确定所述生物对象所属的诸如科、属的上位物种,或在无法确定所述生物对象所属的亚种或变种时,可以确定所述生物对象所属的诸如系、种的上位物种,然后,可以通过app、小程序或网页的可视化界面显示相关的图文信息以进行引导。
134.请参考图5,图5所示为又一示例性实施例示出的向用户响应引导操作的方法流程图。在另一种可选择的实现方式下,步骤106中,基于所述原因类型,向用户响应对应于所述原因类型的引导操作,可以包括:
135.步骤106c2,确定所述生物对象所属的物种范围,并向用户响应所述生物对象所属的物种范围,所述物种范围内包括多个物种。
136.具体地,在无法确定所述生物对象所属的目标物种时,可以将所述生物对象可能属于的若干物种构成物种范围响应给用户,例如,将物种识别模型输出结果中置信度处于前列的多个物种通过app、小程序或网页的可视化界面以图文信息进行显示。
137.进一步地,步骤106还可以包括:
138.步骤106c3,在向用户响应所述物种范围时,向用户响应所述物种范围内各个物种的强识别特征和/或所述物种范围内各个物种间的区别特征,以供用户对所述生物对象所属的目标物种进行判别。
139.具体地,在确定了所述物种范围并向用户进行响应时,可以将预先存储的所述物种范围内各个物种的强识别特征的图片通过app、小程序或网页的可视化界面进行显示,也可以将所述物种范围内各个物种间的区别特征以图文信息进行显示,以使用户能够根据所述图文信息的引导自行判别所述生物对象所属的目标物种。
140.举例来说,假设所述物种范围包括朝天椒,魔鬼椒,灯笼椒,小米椒,二荆条等多个辣椒品种,则可以通过app、小程序或网页的可视化界面向用户分别显示各个辣椒品种的果实、叶茎的图片,以使用户能够根据图片对照确认目标物种。
141.请参考图6,图6所示为又一示例性实施例示出的向用户响应引导操作的方法流程图。在又一种可选择的实现方式,步骤106中,基于所述原因类型,向用户响应对应于所述原因类型的引导操作,可以包括:
142.步骤106c4,引导用户针对所述生物对象的目标部位进行拍摄,并结合拍摄所得的待识别图像再次确定所述生物对象所属的目标物种。
143.具体地,在待识别图像中所述生物对象缺乏强识别特征的情况下,也可以调用摄像头引导用户针对诸如果实、叶茎、树干等目标部位进行拍摄和图像上传以期获取所述生物对象更多的强识别特征,进而能够结合拍摄所得的待识别图像对所述目标物种进行再次确认。其中,所述生物对象的目标部位可以是预先设置的若干部位,也可以是在确定了所述上位物种和/或所述物种范围后,对应于所述上位物种或所述物种范围的若干部位。
144.此外,上述步骤106c1至步骤106c4存在着多种组合执行方式,本实施例对此不做具体限制。举例来说,步骤106c1和步骤106c2可以均予以执行,也可以择一执行,即,可以向用户同时响应所述上位物种以及所述物种范围,也可以只响应所述上位物种或只响应所述物种范围;而步骤106c4既可以单独执行,也可以在步骤106c1或步骤106c2后执行,即,可以在确定生物对象缺乏强识别特征后直接引导用户拍摄生物特定部位的图像再行识别,也可以先提供上位物种和/或物种范围供用户判别,在用户无法判别的情况下再引导用户拍摄图像再识别。可以理解的是,本领域技术人员能够联想到的上述步骤106c1至步骤106c4的组合执行方式都应当在本发明的保护范围内。
145.(4)原因类型为生物对象缺乏完整识别特征:
146.如果步骤104中,确定无法识别目标物种的原因类型为待识别图像中的生物对象缺乏完整识别特征,即,待识别图像并未呈现所述生物对象完整的外形特征,这一情况在所述生物对象为树木的情况下较为多见,待识别图像中常常仅包含某一树木的树干,却没有展示其树叶和整株全景。
147.请参考图7,图7所示为再一示例性实施例示出的向用户响应引导操作的方法流程图。在一种可选择的实现方式,步骤106中,基于所述原因类型,向用户响应对应于所述原因类型的引导操作,可以包括:
148.步骤106d1,引导用户针对所述生物对象的目标部位进行拍摄,并结合拍摄所得的待识别图像再次确定所述生物对象所属的目标物种。
149.具体地,可以调用摄像头引导用户针对诸如树干、叶片、整株全景等目标部位进行拍摄和图像上传,进而能够结合拍摄所得的待识别图像对所述目标物种进行再次确认。其中,所述生物对象的目标物种可以是预先设置的若干部位,也可以是在确定了所述生物对象属于乔木、灌木或草本植物后,对应于具体植物类型的若干部位。
150.举例来说,在确定待识别图像中所述生物对象缺乏完整识别特征且属于树木的情况下,可以引导用户跳转至针对树木识别的多拍模式,针对树干、叶片、整株全景分配拍摄图像并上传,然后结合拍摄得到的这三张待识别图像确认所述生物对象所属的目标物种。
151.(5)原因类型为生物对象未处于合适的拍摄距离:
152.如果步骤104中,确定无法识别目标物种的原因类型为待识别图像中的生物对象未处于合适的拍摄距离,即,待识别图像中的生物对象与镜头距离过近或过远,所述生物对象不能以良好的面积占比呈现于所述待识别图像中而难以识别。
153.请参考图8,图8所示为再一示例性实施例示出的向用户响应引导操作的方法流程图。在一种可选择的实现方式下,步骤106中,基于所述原因类型,向用户响应对应于所述原因类型的引导操作,可以包括:
154.步骤106e1,若确定所述原因类型为所述生物对象未处于合适的拍摄距离,则向用户响应所述生物未处于合适的拍摄距离,建议调整焦距后再行识别的引导信息。
155.具体地,可以在app、小程序或网页的可视化界面上显示相关的图文信息以进行引导。
156.进一步地,步骤106还可以包括:
157.步骤106e2,进行焦距自动调整后引导用户针对所述生物对象再行拍摄,并对拍摄所得的待识别图像中所述生物对象所属的目标物种进行再次确定。
158.具体地,还可以对生物对象在待识别图像中所占的面积比例进行确定,进而基于所述面积比例以预设的理想比例为目标进行自动调焦,并在完成自动调焦后引导用户针对所述生物对象再行拍摄,并对拍摄所得的待识别图像中所述生物对象所属的目标物种进行再次确认。
159.举例来说,假设调焦前生物对象在待识别图像中所占面积比例过小,即生物对象距离镜头远于合适的拍摄距离,则可以以生物对象在待识别图像中所占面积比例增加至预设的理想比例为目标自动减少相机焦距,并在完成自动调焦后进行重新拍摄及物种识别。
160.(6)原因类型为待识别图像的画质过低:
161.如果步骤104中,确定无法识别目标物种的原因类型为待识别图像的画质过低,即,所述待识别图像的亮度、对比度、清晰度等难以满足物种识别的需求。
162.请参考图9,图9所示为再一示例性实施例示出的向用户响应引导操作的方法流程图。在一种可选择的实现方式,步骤106中,基于所述原因类型,向用户响应对应于所述原因类型的引导操作,可以包括:
163.步骤106f1,对所述待识别图像的画质进行优化,并对优化后的待识别图像中所述生物对象所属的目标物种进行再次确定。
164.具体地,可以判断所述待识别图像诸如亮度、对比度、清晰度等画质参数是否满足预设的画质要求,并针对其中不能满足所述画质要求的画质参数进行优化,然后对优化后的待识别图像中所述生物对象所属的目标物种进行确认。
165.进一步地,步骤106还可以包括:
166.步骤106f2,在无法确定优化后的待识别图像中所述生物对象所属的目标物种的情况下,基于优化前的待识别图像的画质参数,引导用户调整拍摄参数后再行拍摄,并对拍摄所得的待识别图像中所述生物对象所属的目标物种进行再次确定。
167.具体地,假设画质优化后的待识别图像仍不能够实现目标物种的识别,则可以针对优化前不能满足画质要求的画质参数,引导用户调整拍摄参数后调用摄像头重新拍摄所述生物对象的待识别图像并上传,然后对拍摄所得的待识别图像中所述生物对象所属的目标物种进行确认。
168.举例来说,假设优化前的待识别图像的亮度不足,则可以引导用户开启补光灯或转移至明亮处后再对生物对象进行拍摄,清晰度不足,则可以引导用户正确对焦后再对生物对象进行拍摄。
169.(7)原因类型为待识别图像的背景杂乱:
170.如果步骤104中,确定无法识别目标物种的原因类型为待识别图像的背景杂乱,即,待识别图像中包含的生物对象过多而难以识别。
171.请参考图10,图10所示为再一示例性实施例示出的向用户响应引导操作的方法流程图。在一种可选择的实现方式,步骤106中,基于所述原因类型,向用户响应对应于所述原因类型的引导操作,可以包括:
172.步骤106g1,引导用户从所述待识别图像包含的多个生物对象中选取有待进行物种识别的目标生物对象,并对所述目标生物对象所属的目标物种进行确定。
173.具体地,可以先确定所述待识别图像中包含的多个生物对象并通过app、小程序或网页的可视化界面进行显示,例如,框出所述待识别图像中包含的多个生物对象,引导用户在所述多个生物对象中选取其欲进行物种识别的目标生物对象,然后对所述目标生物对象所属的目标物种进行确认。
174.请参考图11,图11所示为再一示例性实施例示出的向用户响应引导操作的方法流程图。在另一种可选择的实现方式下,步骤106中,基于所述原因类型,向用户响应对应于所述原因类型的引导操作,可以包括:
175.步骤106g2,对所述待识别图像中包含的各个生物对象所属的物种进行分别确定,并向用户响应所述各个生物对象所属的物种,以供用户自行判别目标生物对象所属的目标物种。
176.具体地,也可以在确定所述待识别图像中包含的多个生物对象后,针对每个生物对象分别确定其所属的物种,将各个生物对象及其所属的物种均通过app、小程序或网页的可视化界面向用户进行显示,以使用户自行判别目标生物对象所属的目标物种。
177.由以上描述可以看出,本发明中,在物种识别模型无法确定待识别图像中生物对象所属的目标物种的情况下,基于已训练的原因分析模型对所述物种识别模型无法识别出目标物种的原因类型进行了确定,然后,基于所述原因类型,向用户响应了对应于所述原因类型的引导操作。
178.该方案能够避免向用户反馈并不准确的生物物种识别结果,且适应于无法由图像识别出生物物种的具体原因,向用户响应了具有针对性的引导操作,保障用户后续能够根据引导得到更准确的物种识别结果,提升了物种识别的准确性和用户的使用体验。
179.下面对原因分析模型的训练过程进行说明:
180.所述原因分析模型存在多种可选择的实现算法,本实施例对此不做具体限制。在一种可选择的实现方式下,所述原因分析模型可以为基于卷积神经网络或残差网络实现的分类模型,具有准确度高的优点。
181.请参考图12,图12所示为一示例性实施例示出的原因分析模型的训练流程图。在一种可选择的实现方式下,所述原因分析模型的训练过程,可以包括如下具体步骤:
182.步骤1202,获取若干待识别图像样本;所述待识别图像样本标记有无法确定所述待识别图像样本中生物对象所属的目标物种的原因类型;
183.步骤1204,基于预设的比例要求,由所述若干待识别图像样本确定样本训练集和样本测试集;
184.步骤1206,采用所述样本训练集对原始的原因分析模型进行训练,并采用所述样本测试集对训练后的原因分析模型的准确度进行确定;
185.步骤1208,在训练后的原因分析模型的准确度满足预设的准确度要求的情况下,确定所述训练后的原因分析模型为所述已训练的原因分析模型。
186.预先准备一定数量的待识别图像样本,并为所述待识别图像样本打标,其标签为所述待识别图像样本中生物对象所属的目标物种无法识别的原因类型。
187.按照预设的比例将所述待识别图像样本划分为样本训练集和样本测试集,例如,随机选取待识别图像样本中的90%作为样本训练集,余下的10%作为样本测试集。
188.利用样本训练集对所述原因分析模型进行训练,其训练方式可以所述原因分析模型为独立模型加以训练,也可以联合所述物种识别模型进行端到端训练,具体不做限制。
189.训练完成后,利用样本测试集测量当前原因分析模型的准确度,在其准确度超出预设的准确度阈值的情况下,确定当前原因分析模型为已训练的原因分析模型。
190.请参考图13,图13所示为另一示例性实施例示出的原因分析模型的训练流程图。在另一种可选择的实现方式下,所述原因分析模型的训练过程,还包括:
191.步骤1210,在训练后的原因分析模型的准确度不满足预设的准确度要求的情况下,新增若干待识别图像样本;
192.步骤1212,结合所述新增的若干待识别图像样本,对当前的原因分析模型进行再训练,直至所述原因分析模型满足所述准确度要求。
193.如果当前原因分析模型并不能满足准确度要求,可以增加新的待识别图像样本,同样打标,利用新增的待识别图像样本扩充样本训练集和样本测试集,对当前原因分析模型进行再训练,直至其满足准确度要求。
194.请参考图14,图14所示为又一示例性实施例示出的原因分析模型的训练流程图。在又一种可选择的实现方式下,所述原因分析模型的训练过程,还包括:
195.步骤1214,在训练后的原因分析模型的准确度不满足预设的准确度要求的情况下,调整所述比例要求,重新确定新的样本训练集和样本测试集;
196.步骤1216,采用所述新的样本训练集对当前的原因分析模型进行再训练,采用所述新的样本测试集对再训练后的原因分析模型的准确度进行确定,直至所述原因分析模型的准确度满足所述准确度要求。
197.如果当前原因分析模型并不能满足准确度要求,除扩充样本数量外,还可以调整样本训练集和样本测试集之间的比例关系,然后按照新的比例关系,重新划分样本训练集和样本测试集,对当前原因分析模型进行再训练,直至其满足准确度要求。
198.请参考图15,图15所示为本发明一示例性实施例提供的一种生物物种的识别装置所在电子设备的结构示意图。在硬件层面,所述电子设备包括处理器1502、内部总线1504、网络接口1506、内存1508以及非易失性存储器1510,当然还可能包括其他业务所需要的硬件。本发明一个或多个实施例可以基于软件方式来实现,比如由处理器1502从非易失性存储器1510中读取对应的计算机程序到内存1508中然后运行。当然,除了软件实现方式之外,本发明一个或多个实施例并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
199.请参考图16,图16所示为本发明一示例性实施例提供的一种生物物种的识别装置,所述识别装置可以应用于如图15所示的电子设备中,以实现本发明的技术方案。其中,所述识别装置包括识别单元1610、分析单元1620以及引导单元1630;其中:
200.所述识别单元1610,用于将用户提供的待识别图像作为入参输入已训练的物种识
别模型,基于所述物种识别模型的输出结果,对所述待识别图像中所包含生物对象所属的目标物种进行确定;
201.所述分析单元1620,用于在基于所述物种识别模型的输出结果无法确定所述目标物种的情况下,将所述待识别图像作为入参输入已训练的原因分析模型,基于所述原因分析模型的输出结果,对无法确定所述目标物种的原因类型进行确定;
202.所述引导单元1630,用于基于所述原因类型,向用户响应对应于所述原因类型的引导操作。
203.可选择地,所述识别装置,还包括响应单元1640:
204.所述响应单元1640,用于在基于所述物种识别模型的输出结果成功确定所述目标物种的情况下,向用户响应所述生物对象所属的目标物种。
205.可选择地,所述识别单元1610,基于所述物种识别模型的输出结果无法确定所述目标物种,具体包括:
206.若所述物种识别模型对所述生物对象属于各个物种的输出结果均不能满足预设的置信要求,则确定基于所述物种识别模型的输出结果无法确定所述目标物种。
207.可选择地,在所述生物对象为植物的情况下,所述无法确定所述目标物种的原因类型包括以下一或多项:
208.所述生物对象处于幼苗状态;
209.所述生物对象处于枯黄状态;
210.所述生物对象缺乏强识别特征;
211.所述生物对象缺乏完整识别特征;
212.所述待识别图像的画质过低;
213.所述待识别图像的背景杂乱;
214.其他无法确定目标物种的原因。
215.可选择地,所述引导单元1630,在基于所述原因类型,向用户响应对应于所述原因类型的引导操作时,具体用于:
216.若确定所述原因类型为所述生物对象处于幼苗状态,则向用户响应所述生物对象处于幼苗状态,建议待其成长后再行识别的引导信息。
217.可选择地,所述引导单元1630,还用于:
218.基于预设的等待时长,在目标时间向用户响应针对所述生物对象所属的目标物种再行识别的引导信息。
219.可选择地,所述引导单元1630,在基于所述原因类型,向用户响应对应于所述原因类型的引导操作时,具体用于:
220.若确定所述原因类型为所述生物对象处于枯黄状态,则向用户响应所述生物对象处于枯黄状态,建议待其恢复健康后再行识别或重新提供包含健康生物对象的待识别图像的引导信息。
221.可选择地,所述引导单元1630,在基于所述原因类型,向用户响应对应于所述原因类型的引导操作时,具体用于:
222.若确定所述原因类型为所述生物对象缺乏强识别特征,则确定所述生物对象所属的上位物种,并向用户响应所述生物对象所属的上位物种。
223.可选择地,所述引导单元1630,在基于所述原因类型,向用户响应对应于所述原因类型的引导操作时,具体用于:
224.若确定所述原因类型为所述生物对象缺乏强识别特征,则确定所述生物对象所属的物种范围,并向用户响应所述生物对象所属的物种范围;所述物种范围内包括多个物种。
225.可选择地,所述引导单元1630,还用于:
226.在向用户响应所述物种范围时,向用户响应所述物种范围内各个物种的强识别特征和/或所述物种范围内各个物种间的区别特征,以供用户对所述生物对象所属的目标物种进行判别。
227.可选择地,所述引导单元1630,还用于:
228.引导用户针对所述生物对象的目标部位进行拍摄,并结合拍摄所得的待识别图像再次确定所述生物对象所属的目标物种。
229.可选择地,所述引导单元1630,在基于所述原因类型,向用户响应对应于所述原因类型的引导操作时,具体用于:
230.若确定所述原因类型为所述生物对象缺乏完整识别特征,则引导用户针对所述生物对象的目标部位进行拍摄,并结合拍摄所得的待识别图像再次确定所述生物对象所属的目标物种。
231.可选择地,所述引导单元1630,在基于所述原因类型,向用户响应对应于所述原因类型的引导操作时,具体用于:
232.若确定所述原因类型为所述待识别图像的画质过低,则对所述待识别图像的画质进行优化,并对优化后的待识别图像中所述生物对象所属的目标物种进行再次确定。
233.可选择地,所述引导单元1630,还用于:
234.在无法确定优化后的待识别图像中所述生物对象所属的目标物种的情况下,基于优化前的待识别图像的画质参数,引导用户调整拍摄参数后针对所述生物对象再行拍摄,并对拍摄所得的待识别图像中所述生物对象所属的目标物种进行再次确定。
235.可选择地,所述引导单元1630,在基于所述原因类型,向用户响应对应于所述原因类型的引导操作时,具体用于:
236.若确定所述原因类型为所述待识别图像的背景杂乱,则引导用户从所述待识别图像所包含的多个生物对象中选取有待进行物种识别的目标生物对象,并对所述目标生物对象所属的目标物种进行确定。
237.可选择地,所述引导单元1630,在基于所述原因类型,向用户响应对应于所述原因类型的引导操作时,具体用于:
238.若确定所述原因类型为所述待识别图像的背景杂乱,则对所述待识别图像所包含的各个生物对象所属的物种进行分别确定,并向用户响应所述各个生物对象所属的物种,以供用户自行判别目标生物对象所属的目标物种。
239.可选择地,所述原因分析模型为基于卷积神经网络或残差网络实现的分类模型。
240.上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的
任意几种设备的组合。
241.在一个典型的配置中,计算机包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
242.内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
243.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
244.还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
245.上述对本发明特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
246.在本发明一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明一个或多个实施例。在本发明一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
247.应当理解,尽管在本发明一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明一个或多个实施例范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
248.以上所述仅为本发明一个或多个实施例的较佳实施例而已,并不用以限制本发明一个或多个实施例,凡在本发明一个或多个实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明一个或多个实施例保护的范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1