基于三维模拟的昆虫识别装置及方法与流程

文档序号:12675695阅读:来源:国知局

技术特征:

1.一种基于三维模拟的昆虫识别装置,其特征在于,包括:

标准姿态昆虫三维重建模块,用于构建标准姿态昆虫三维模型库;

昆虫三维姿态信息获取模块,用于获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息;

三维模型变形模块,用于对昆虫三维模型进行基于昆虫翅膀以及躯干的变形以实现昆虫任意姿态的模拟,得到昆虫任意姿态的三维模型;

基于三维模型变形投影的昆虫识别模块,用于基于所述待识别昆虫的三维姿态信息以及二维图像特征信息进行昆虫种类的初步筛选,并在所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应种类的三维模型,并利用所述三维模型变形模块对初选的若干昆虫种类的三维模型分别进行基于昆虫翅膀以及躯干的变形,以实现每种类型昆虫对应姿态的模拟,得到每种类型昆虫对应姿态的三维模型;所述对应姿态指与所述待识别昆虫的三维姿态相同的姿态;

所述基于三维模型变形投影的昆虫识别模块,还用于基于每种类型昆虫对应姿态的三维模型,分别获取与每种类型昆虫对应姿态的三维模型分别对应的二维投影图像,并分别计算所述待识别昆虫的二维图像特征信息与获取的二维投影图像特征信息之间的马氏距离以获取最小马氏距离对应的二维投影图像,且将最小马氏距离对应的二维投影图像所对应的昆虫类型作为所述待识别昆虫的类型识别结果。

2.根据权利要求1所述的装置,其特征在于,所述标准姿态昆虫三维重建模块,具体用于:

应用三维扫描仪或立体视觉或结构光进行标准姿态昆虫三维点云的获取;

选择能够保持昆虫特征曲率采样方法进行昆虫点云简化,对噪点进行过滤,并采用无噪音降低方法对点云进行三角化封装;

将昆虫分割成躯干与4个翅膀,并通过孔洞修补和平滑处理的步骤进一步实现网格优化;

经纹理贴图建立昆虫各器官的三维模型,并通过网格融合、逻辑分析实现器官联接,实现昆虫三维模型的构建,得到构建好的标准姿态昆虫三维模型库;

获取标准姿态昆虫器官尺度、整体尺度的三维模型的形态、颜色、纹理数据信息,并存入数据库。

3.根据权利要求1所述的装置,其特征在于,所述昆虫三维姿态信息获取模块,具体用于:采用昆虫图像获取装置获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息;

其中,所述昆虫图像获取装置,包括:昆虫扎取单元和基于立体视觉的图像采集单元;

其中,所述昆虫扎取单元包括:底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块;

所述摆臂运动模块,固定在所述底座上,包括:第三电机、行星齿轮减速机、旋转轴和支架,所述支架包括丝杆和螺母套;所述行星齿轮减速机与所述旋转轴连接,所述第三电机用于驱动所述行星齿轮减速机转动,由旋转轴带动所述扎虫模块做摆臂运动;

所述水平运动模块,包括:依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂;所述传动轴通过螺母套固定于所述支架上,所述第二电机用于带动所述传动轴,所述传动轴用于驱动所述第一滚珠丝杆组件,所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动;

所述旋转运动模块,包括:第四电机、同步带、同步轮和法兰盘;所述第四电机通过所述同步带带动所述同步轮转动,所述法兰盘与所述同步轮连接,所述法兰盘与所述扎虫模块连接,用于带动所述扎虫模块进行转动;

所述扎虫模块,包括:针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针;所述第五电机与所述第二滚珠丝杆组件连接,所述第二滚珠丝杆组件与所述推杆连接,所述弹簧位于所述推杆与所述针杆之间,所述针固定槽位于所述针杆末端,用于固定所述扎虫针,所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落;

其中,所述基于立体视觉的图像采集单元包括:云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD、第二CCD、第三CCD;其中,第一CCD位于所述半圆形支架的斜上方位置、第二CCD位于所述半圆形支架的水平方向位置、所述第三CCD位于所述半圆形支架的斜下方位置;所述云台与所述半圆形支架连接,用于固定所述第一CCD、第二CCD和第三CCD。

4.根据权利要求3所述的装置,其特征在于,所述昆虫三维姿态信息获取模块,具体用于:

采用昆虫图像获取装置获取待识别昆虫的三维姿态信息:

对第一CCD、第二CCD、第三CCD进行标定;通过昆虫图像获取装置获取昆虫图像,将虫体的二维图像进行边缘检测、分割,将第一CCD、第三CCD所获取的图像进行比较,以昆虫胸部有无足的特征进行虫体正反面的确定,选择正面图像、第二CCD获取的图像进行姿态信息的获取;若因姿态变化没有正面图像,则选择第一CCD或第三CCD所获取的图像与第二CCD获取的图像进行处理;应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索,应用特征点之间相对位置的关系进行躯干头、腹部末端特征点以及翅膀特征点的定位;通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架,通过曲线拟合获取躯干变形信息;基于极线约束实现特征点的立体匹配,计算特征点的三维空间位置信息,获得昆虫翅膀、躯干三维姿态信息;对所获取的姿态信息进行验证,直到获取准确的昆虫三维姿态信息;昆虫三维姿态信息的获取为昆虫标准姿态三维模型的变形提供信息源;

以及基于昆虫图像获取装置获取的昆虫图像,经图像处理获得昆虫二维图像特征,包括形状、颜色、纹理特征,用于昆虫的匹配识别。

5.根据权利要求4所述的装置,其特征在于,所述昆虫三维模型变形模块,具体用于:

进行昆虫躯干部分的变形:昆虫躯干部分的变形主要由躯干弯曲、扭曲组成;躯干的扭曲变形以旋转其某腹部横切面作为变形驱动,腹部的弯曲变形以腹部骨架作为变形驱动,采用基于梯度编辑的网格变形方法实现躯干部分的变形;以及,进行昆虫翅膀的变形:昆虫的翅膀呈平面结构,且不易扭曲变形,翅膀的姿态变化主要是翅膀绕肩角发生旋转产生的形变;通过肩角的识别定位翅膀旋转点,通过计算旋转矩阵实现翅膀在三维空间的旋转;依据所述待识别昆虫的三维姿态信息对选择出来的三维模型进行变形,并将变形后的三维模型投影图像特征与待识别昆虫的二维图像特征进行对比分析,通过对比评价三维模型的变形效果,实现三维模型的准确变形;将躯干、翅膀的变形方法、动作进行集成,实现昆虫任意姿态的三维模拟。

6.根据权利要求5所述的装置,其特征在于,所述基于三维模型变形投影的昆虫识别模块,具体用于:

根据待识别昆虫的三维姿态信息、二维特征信息进行昆虫种类的初选;根据待识别昆虫的三维姿态信息,从所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应昆虫种类的三维模型进行变形;将所选择的三维模型根据所获取的躯干、翅膀三维空间姿态信息,判断变形动作,提取变形关键点以及骨架信息,计算旋转矩阵或偏移量,自动驱动三维模型变形,实现任一种姿态昆虫信息的模拟;应用与图像获取装置相同姿态的虚拟相机进行变形后三维模型的二维投影图像获取;

经图像处理获取二维投影图像特征,应用最小距离分类器计算三维模型变形的二维投影图像特征信息与图像获取装置所获得的二维图像特征信息之间的马氏距离,将最小的马氏距离所对应的三维模型的昆虫种类作为分类器的输出,以实现待识别昆虫的类型识别。

7.一种基于三维模拟的昆虫识别方法,其特征在于,包括:

构建标准姿态昆虫三维模型库;

获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息;

基于所述待识别昆虫的三维姿态信息以及二维图像特征信息进行昆虫种类的初步筛选,并在所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应种类的三维模型,并对初选的若干昆虫种类的三维模型分别进行基于昆虫翅膀以及躯干的变形,以实现每种类型昆虫对应姿态的模拟,得到每种类型昆虫对应姿态的三维模型;所述对应姿态指与所述待识别昆虫的三维姿态相同的姿态;

基于每种类型昆虫对应姿态的三维模型,分别获取与每种类型昆虫对应姿态的三维模型分别对应的二维投影图像,并分别计算所述待识别昆虫的二维图像特征信息与获取的二维投影图像特征信息之间的马氏距离以获取最小马氏距离对应的二维投影图像,且将最小马氏距离对应的二维投影图像所对应的昆虫类型作为所述待识别昆虫的类型识别结果。

8.根据权利要求7所述的方法,其特征在于,所述构建标准姿态昆虫三维模型库,具体包括:

应用三维扫描仪或立体视觉或结构光进行标准姿态昆虫三维点云的获取;

选择能够保持昆虫特征曲率采样方法进行昆虫点云简化,对噪点进行过滤,并采用无噪音降低方法对点云进行三角化封装;

将昆虫分割成躯干与4个翅膀,并通过孔洞修补和平滑处理的步骤进一步实现网格优化;

经纹理贴图建立昆虫各器官的三维模型,并通过网格融合、逻辑分析实现器官联接,实现昆虫三维模型的构建,得到构建好的标准姿态昆虫三维模型库;

获取标准姿态昆虫器官尺度、整体尺度的三维模型的形态、颜色、纹理数据信息,并存入数据库。

9.根据权利要求7所述的方法,其特征在于,获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息,包括:

采用昆虫图像获取装置获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息;

其中,所述昆虫图像获取装置,包括:昆虫扎取单元和基于立体视觉的图像采集单元;

其中,所述昆虫扎取单元包括:底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块;

所述摆臂运动模块,固定在所述底座上,包括:第三电机、行星齿轮减速机、旋转轴和支架,所述支架包括丝杆和螺母套;所述行星齿轮减速机与所述旋转轴连接,所述第三电机用于驱动所述行星齿轮减速机转动,由旋转轴带动所述扎虫模块做摆臂运动;

所述水平运动模块,包括:依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂;所述传动轴通过螺母套固定于所述支架上,所述第二电机用于带动所述传动轴,所述传动轴用于驱动所述第一滚珠丝杆组件,所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动;

所述旋转运动模块,包括:第四电机、同步带、同步轮和法兰盘;所述第四电机通过所述同步带带动所述同步轮转动,所述法兰盘与所述同步轮连接,所述法兰盘与所述扎虫模块连接,用于带动所述扎虫模块进行转动;

所述扎虫模块,包括:针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针;所述第五电机与所述第二滚珠丝杆组件连接,所述第二滚珠丝杆组件与所述推杆连接,所述弹簧位于所述推杆与所述针杆之间,所述针固定槽位于所述针杆末端,用于固定所述扎虫针,所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落;

其中,所述基于立体视觉的图像采集单元包括:云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD、第二CCD、第三CCD;其中,第一CCD位于所述半圆形支架的斜上方位置、第二CCD位于所述半圆形支架的水平方向位置、所述第三CCD位于所述半圆形支架的斜下方位置;所述云台与所述半圆形支架连接,用于固定所述第一CCD、第二CCD和第三CCD;

其中,采用昆虫图像获取装置获取待识别昆虫的三维姿态信息,包括:

对第一CCD、第二CCD、第三CCD进行标定;通过昆虫图像获取装置获取昆虫图像,将虫体的二维图像进行边缘检测、分割,将第一CCD、第三CCD所获取的图像进行比较,以昆虫胸部有无足的特征进行虫体正反面的确定,选择正面图像、第二CCD获取的图像进行姿态信息的获取;若因姿态变化没有正面图像,则选择第一CCD或第三CCD所获取的图像与第二CCD获取的图像进行处理;应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索,应用特征点之间相对位置的关系进行躯干头、腹部末端特征点以及翅膀特征点的定位;通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架,通过曲线拟合获取躯干变形信息;基于极线约束实现特征点的立体匹配,计算特征点的三维空间位置信息,获得昆虫翅膀、躯干三维姿态信息;对所获取的姿态信息进行验证,直到获取准确的昆虫三维姿态信息;昆虫三维姿态信息的获取为昆虫标准姿态三维模型的变形提供信息源;

以及基于昆虫图像获取装置获取的昆虫图像,经图像处理获得昆虫二维图像特征,包括形状、颜色、纹理特征,用于昆虫的匹配识别。

10.根据权利要求9所述的方法,其特征在于,所述基于所述待识别昆虫的三维姿态信息以及二维图像特征信息进行昆虫种类的初步筛选,并在所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应种类的三维模型,并对初选的若干昆虫种类的三维模型分别进行基于昆虫翅膀以及躯干的变形,以实现每种类型昆虫对应姿态的模拟,得到每种类型昆虫对应姿态的三维模型;所述对应姿态指与所述待识别昆虫的三维姿态相同的姿态;以及基于每种类型昆虫对应姿态的三维模型,分别获取与每种类型昆虫对应姿态的三维模型分别对应的二维投影图像,并分别计算所述待识别昆虫的二维图像特征信息与获取的二维投影图像特征信息之间的马氏距离以获取最小马氏距离对应的二维投影图像,且将最小马氏距离对应的二维投影图像所对应的昆虫类型作为所述待识别昆虫的类型识别结果,具体包括:

基于所述待识别昆虫的三维姿态信息、二维图像特征信息进行昆虫种类的初选,在所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应种类的三维模型,并根据待识别昆虫的三维姿态信息,对选择出来的若干昆虫种类的三维模型进行相应变形;将所选择的三维模型根据所获取的躯干、翅膀三维空间姿态信息,判断变形动作,提取变形关键点以及骨架信息,计算旋转矩阵或偏移量,自动驱动三维模型变形,实现任一种姿态昆虫信息的模拟;应用与图像获取装置相同姿态的虚拟相机进行变形后三维模型的二维投影图像获取;

经图像处理获取二维投影图像特征,应用最小距离分类器计算三维模型变形的二维投影图像特征信息与图像获取装置所获得的二维图像特征信息之间的马氏距离,将最小的马氏距离所对应的三维模型的昆虫种类作为分类器的输出,以实现待识别昆虫的类型识别。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1