本发明涉及图像识别,特别是一种基于ai+无人机的图像识别系统及图像识别方法。
背景技术:
1、目前,无人机图片识别通常依赖于专门的软件和硬件解决方案,然而,当前的无人机图片识别存在一些挑战。首先受制于无人机平台自身的芯片算力缺陷,无法支持流行的模型,只能使用一些轻量级的量化后模型,无法实现多模型兼容,而且经过量化之后模型的ai识别精度还会有所下降。
2、其次,无人机上使用的芯片需要和模型适配,但由于芯片和模型的多样化,因此也很难实现芯片与模型的兼容,由此操作性和应用的灵活性带来了挑战。
技术实现思路
1、为解决上述问题,本发明提出一种基于ai+无人机的图像识别系统及图像识别方法,其将独立的网络接口层、动态库层、解码器均搭载在高算力芯片上,可在无人机机体上实时完成图像的高效检测,同时可实现ai框架及图像识别模型的扩展能力。
2、为实现上述目的,本发明采用的技术方案是:
3、一方面,提供了一种基于ai+无人机的图像识别系统,其包括:
4、网络接口层,其用于接收图像识别请求和待识别的场景图像;
5、动态库层,其连接所述网络接口层,用于存储若干不同的图像识别模型;
6、以及芯片,其用于搭载所述网络接口层、动态库层;
7、所述图像识别请求、待识别的场景图像通过所述网络接口层发送至所述动态库层,所述动态库层接收所述网络接口层发送的图像识别请求,并根据所述图像识别请求加载对应的图像识别模型,并通过该图像识别模型对待识别的场景图像进行识别检测,并生成图像检测结果。
8、优选的,所述图像识别系统还包括:
9、云台成像设备,其搭载在无人机机体上,用于获取场景图像,且将所述场景图像发送至无人机机体。
10、优选的,所述图像识别系统还包括:用户端,其与所述无人机机体通讯连接,用于向无人机机体发送图像识别请求。
11、优选的,所述用户端包括智能手机、pc电脑、平板电脑、可穿戴设备以及遥控器中的一种或几种。
12、优选的,所述图像识别模型包括支持使用cuda、tensorrt、dnn等多个加速推理中一种或几种。
13、优选的,所述芯片包括nvidia jetsonnx芯片。
14、优选的,所述图像识别系统还包括:解码器,其连接所述网络接口层,用于接收所述网络接口层发送的待识别的场景图像,并对待识别的场景图像进行解码。
15、优选的,所述动态库层生成的图像检测结果返回至用户端。
16、优选的,所述芯片搭载在无人机机体上。
17、另一方面,还提供一种通过上述图像识别系统实现的图像识别方法,其包括如下步骤:
18、s1、获取场景图像;
19、s2、接收用户端发送图像识别请求,并将所述图像识别请求、待识别的场景图像发送至网络接口层;
20、s3、所述网络接口层将图像识别请求、待识别的场景图像发送至所述动态库层;
21、或,所述网络接口层将图像识别请求、经解码器解码的待识别的场景图像发送至所述动态库层;
22、s4、所述动态库层根据所述图像识别请求加载对应的图像识别模型,并通过该图像识别模型对场景图像进行识别检测,并生成图像检测结果;
23、以及s5、所述图像检测结果返回至用户端。
24、本发明的有益效果是:
25、本申请采用模块化设计思路,其将独立的网络接口层、动态库层、解码器均搭载在高算力芯片上,可在无人机机体上实时完成图像的高效检测,同时,动态库层中兼容不同的图像识别模型,且不同的图像识别模型单独封装,第三方的厂家或者用户可以进行自定义图像识别模型设计的增加或删除,以实现ai框架及图像识别模型的扩展能力。
1.一种基于ai+无人机的图像识别系统,其特征在于,包括:
2.如权利要求1所述的图像识别系统,其特征在于,所述图像识别系统还包括:
3.如权利要求1所述的图像识别系统,其特征在于,所述图像识别系统还包括:用户端,其与所述无人机机体通讯连接,用于向无人机机体发送图像识别请求。
4.如权利要求3所述的图像识别系统,其特征在于,所述用户端包括智能手机、pc电脑、平板电脑、可穿戴设备以及遥控器中的一种或几种。
5.如权利要求1所述的图像识别系统,其特征在于,所述图像识别模型包括cuda、tensorrt、dnn模型中一种或几种。
6.如权利要求1所述的图像识别系统,其特征在于,所述芯片包括nvidia jetsonnx芯片。
7.如权利要求1所述的图像识别系统,其特征在于,所述图像识别系统还包括:解码器,其连接所述网络接口层,用于接收所述网络接口层发送的待识别的场景图像,并对待识别的场景图像进行解码。
8.如权利要求1所述的图像识别系统,其特征在于,所述动态库层生成的图像检测结果返回至用户端。
9.如权利要求1所述的图像识别系统,其特征在于,所述芯片搭载在无人机机体上。
10.一种通过权利要求1-9任一项所述图像识别系统实现的图像识别方法,其特征在于,包括如下步骤: