专利名称：基于全景立体视觉的捕捞对象的识别和空间定位装置及方法
技术领域：
本发明属于全景立体视觉技术、捕捞机器人技术、数字图像处理技术和模式识别技术在海底生物自动化捕捞方面的应用，尤其适用于捕捞机器人的自动捕捞作业。
背景技术：
深海生物捕捞，即对深海生物进行捕捞，把生物从深海捕获出水进行科学研究或者其他商业用途。目前通常采用一种拖网捕获技术，它是一种利用船舶航行的拖拽式捕捞方式。底拖网是一种用于对深海底栖生物等小型生物进行捕获技术。这种底拖网技术对生态系统造成了灾难性伤害，珊瑚、海绵、鱼类和其它动物都将因此受到捕杀。同时众多海洋生物的栖息地一海山等水下生态系统也遭到了严重的破坏。这种捕捞方式对海洋生态系统造成了无法弥补的损失。由于拖网技术很难对生物进行有针对性的捕获，往往造成不分青红皂白的“滥杀无辜”，成功率低且浪费资源。联合国海洋署已经起草相关公约将禁止这种损害海洋生态系统的捕捞方式。实现精准化、自动化的深海生物捕捞，捕捞对象的识别与定位是实现捕捞自动化的第一步。考虑到捕捞对象的生长环境、空间位置和分布状态等要素，采用三维视觉进行捕捞对象的检测是一种非常有前途的解决方案。所谓三维视觉信息包括从摄像机到捕捞对象之间的距离、捕捞对象的大小和形状等。对于捕捞机器人视觉系统而言，不仅要探测到捕捞对象的存在，还要计算出捕捞对象的空间坐标。颜色、大小和形状是反映捕捞对象的重要视觉特征，是基于机器视觉的捕捞对象的识别、分类的重要依据。每一种捕捞对象都有其特有的颜色、大小和形状特征，这些视觉信息是识别捕捞对象的重要属性特征；同时每一种捕捞对象在其不同的生长期和不同的品质上，其颜色、大小和形状均有较大的差别，这些差别是基于机器视觉的分类中各种判定指标和阈值取值的根据。在捕捞对象颜色测量中，应选用一定的颜色模型来对捕捞对象表面的颜色特征进行研究。通过该研究建立多种各具特色的颜色模型，在机器视觉研究中，常用的RGB和HIS颜色模型，HIS颜色模型的描述更接近人的视觉对颜色的感知方式，它包含色相、饱和度和亮度三要素。根据对颜色的研究结果，结合有关评级标准，就可选定区别不同色度等级的色相阈值，计算出此值下的累计频度值，就可完成颜色分级。机器视觉的作用是从三维环境图像中获得所需的信息并构造出观察对象的明确而有意义的描述。视觉包括三个过程:图像增强、特征提取和图像理解。由视觉传感器获取数字图像，经图像增强后提取颜色、形状和纹理特征参数对棉花进行分类、识别和描述。目前获取捕捞对象的三维坐标的定位方法主要有下面4种类型:1)多目立体视觉:融合多个摄像机观察到的目标特征，重构这些特征的三维原像，并计算出目标的空间坐标；2)时间差法:利用一台摄像机的多幅连续图像序列实现“从运动得到结构”，由图像匹配估计匹配点的三维坐标；3)结构光法:选择激光、微波或超声波等光源，采用光栅法、移动投光法获取距离图像和反射图像，经联合分析测出物体的形状和空间分布；4)传感器融合:由视觉传感器获取原始平面图像，计算其形心坐标，再利用测距传感器测量目标的深度信息。就上述4种定位方式来说，立体视觉具有投资小、能与捕捞机器人的自动导航共用一套立体视觉系统、能与前期捕捞对象的识别和分类等处理共用一种视频源，因此是一种首选的解决方案。立体视觉系统一般可分为图像采集、摄像系统标定、特征选择与提取、立体匹配、深度确定和内插6个步骤。双目立体视觉运用两个相同的摄像机对同一景物从不同位置成像，获得景物的立体图像对，通过各种算法匹配出相应像点，从而计算出视差，然后采用基于三角测量的方法恢复深度信息。 目前的立体视觉系统，利用立体摄像机获取不同距离的捕捞对象的立体图像对，通过对图像进行灰度图像处理，将彩色图像转换为灰度图像.然后根据灰度图像对中像素点的相关性进行立体匹配，计算像素点的位置信息而获得一幅深度图像。最后对照捕捞对象在深度图像中的位置，获取捕捞对象的三维位置信息。但是目前的立体视觉系统在海底生物捕捞的实际应用中还存在着不少问题，其主要问题在于:立体成像范围有限，由于捕捞机器人行走在海底捕捞作物环境中，捕捞对象的生长区域是开放式的、随机的、不规则的和全方位的，因此，需要转动立体视觉系统来获取周边的捕捞对象视频信息；其次，立体成像摄像机标定、特征提取和立体图像匹配方面在实际应用上仍然存在着一些难以解决的问题。另外由于固定的焦距只能在一定景深范围内清晰拍摄图像，因而，它限制了在某些方面的应用。此外，还存在着以下不足之处:1)由于标定技术不够完善，立体视觉测量系统在捕捞机器人运动中其摄像机的内外参数变化是不可避免的，因而限制了许多应用；2)在各种shape from X过程中，涉及多次坐标的转换，造成计算量过大，难以进行实时处理，限制了对捕捞对象的实时识别等应用；3)双目视觉的对应点匹配歧异性大，造成了匹配的误差，影响了匹配精度。立体匹配属于典型的视觉“病态”计算问题，目前的技术还很难对图像进行无歧义高准确率的立体匹配。近年发展起来的全方位视觉传感器，以下简称0DVS，为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景中的安放位置更加自由，为感知捕捞机器人自身周围状态提供了一种新的重要手段；0DVS技术是以人为中心观察的图像获取技术，能使人产生身临其境的沉浸感，将ODVS技术应用于捕捞机器人的导航、捕捞对象的识别、分类和定位，就相当给予了捕捞机器人具备了以捕捞机器人为中心观察的图像获取技术，特别的是单视点的全景成像镜面的设计为构建捕捞机器人的双目立体全景获取技术提供了一个良好的技术基础。
发明内容
为了克服已有的海底生物捕捞机器人的视觉系统难以同时完成自主导航、海底生物的识别、分类和空间定位等不足，本发明提供一种既能用于捕捞机器人的自主导航，又能用于海底生物的识别、分类和空间定位的基于全景立体视觉的捕捞对象的识别和空间定位
装置
本发明解决其技术问题所采用的技术方案是:
一种基于全景立体视觉的捕捞对象的识别和空间定位装置，包括双目立体全景视觉传感器，用于对捕捞对象的识别、分类和空间定位进行分析处理的微处理器，所述的双目立体全景视觉传感器与所述的微处理器进行连接；所述的双目立体全景视觉传感器，包括两台具有相同参数的固定单视点的全方位视觉装置，全方位视觉装置简称0DVS，两台ODVS按照全方位的极线平面要求以背靠背的垂直连接固定，并保证两个ODVS的主轴在同一直线上；所述的微处理器包括:视频图像读取单元，用于读取两个ODVS的视频图像，并保存在指定的存储设备中，其输出与捕捞对象识别模块连接；捕捞对象识别模块，用于根据捕捞对象的颜色和外形特征对捕捞机器人周围的全景图中的捕捞对象进行识别，其输出与捕捞对象点匹配单元相连接；ODVS标定单元，首先通过标定来确定构成双目立体ODVS的两个ODVS的内部和外部参数，然后对双目立体ODVS进行极线校正处理，最后将ODVS的标定结果和极线校正后的结果存放在ODVS内外部参数库中；比较标准特征参数抽取模块，用 于从全景视频图像中抽取出捕捞对象的颜色和外形特征，并将这些特征值存放在捕捞对象的特征库中；捕捞对象点匹配单元，用于找出同一时刻两个不同视点的图像中同一捕捞对象的中心点对应的两个像点，其输出与空间信息计算单元连接；空间信息计算单元，用于根据ODVS的标定结果以及捕捞对象点的匹配结果计算空间上的捕捞对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角，其输出与仿生机器手空间位置计算单元连接；仿生机器手空间位置计算单元，用于计算仿生机器手的捕捞端的空间位置，其输出控制仿生机器手的动作，完成捕捞任务。进一步，所述的捕捞对象识别模块中，通过被捕捞对象的颜色特征进行识别，利用被捕捞对象的颜色色差信息进行图像识别，针对每种不同的捕捞对象通过实验研究，将能对某种捕捞对象进行有效识别的特征值写入到各种不同的捕捞对象的分类标准指标库以及捕捞对象的特征库中，每一种捕捞对象在各种不同的捕捞对象的分类标准指标库以及捕捞对象的特征库中都有其相对应的颜色或者外形特征的描述，所述的捕捞对象识别模块根据某个规定的捕捞对象的描述从ODVS获取的全景图像中检索出相似的对象，以实现捕捞对象识别的目的。所述的空间信息计算单元，依据所述的捕捞对象识别模块所得到的识别结果，通过全景立体ODVS所获得的立体全景视频图像，从上ODVS图像中所识别出的捕捞对象通过物点的匹配找到下ODVS图像中的对应点，然后计算空间上的捕捞对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角；两个ODVS的入射角，SP Φ1和Φ2和基线距AB的长度，就能计算出物点离视点中心的距离；基线距AB的长度d在设计双目立体全方位视觉传感器的结构时已经确定，公式
(7)为ODVS的入射角的计算方法，公式中的各参数是通过ODVS的标定来确定的；
权利要求
1.一种基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于:包括双目立体全景视觉传感器和用于对捕捞对象的识别和空间定位进行分析处理的微处理器，所述的双目立体全景视觉传感器与所述的微处理器连接； 所述的双目立体全景视觉传感器，包括两台具有相同参数的无死角的固定单视点的全方位视觉装置，以下简称ODVS，两台ODVS按照全方位的极线平面要求以背靠背的方式结合在一起，且两个ODVS的主轴在同一直线上； 所述的微处理器包括: 视频图像读取单元，用于读取两个ODVS的视频图像，并保存在指定的存储设备中，其输出与捕捞对象识别模块连接； 捕捞对象识别模块，用于根据捕捞对象的颜色和外形特征对捕捞机器人周围的全景图中的捕捞对象进行识别，其输出与捕捞对象点匹配单元相连接； ODVS标定单元，首先 通过标定来确定构成双目立体ODVS的两个ODVS的内部和外部参数，然后对双目立体ODVS进行极线校正处理，最后将ODVS的标定结果和极线校正后的结果存放在ODVS内外部参数库中； 比较标准特征参数抽取模块，用于从全景视频图像中抽取出捕捞对象的颜色和外形特征，并将这些特征值存放在捕捞对象的特征库中； 捕捞对象点匹配单元，用于找出同一时刻两个不同视点的图像中同一捕捞对象的中心点对应的两个像点，其输出与空间信息计算单元连接； 空间信息计算单元，用于根据ODVS的标定结果以及捕捞对象点的匹配结果计算空间上的捕捞对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角，其输出与仿生机器手空间位置计算单元连接； 仿生机器手空间位置计算单元，用于计算仿生机器手的捕捞端的空间位置，其输出控制仿生机器手的动作，完成捕捞任务。
2.如权利要求1所述的基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于:所述的ODVS标定单元，首先通过标定来确定构成双目立体ODVS的两个ODVS的内部和外部参数，然后对双目立体ODVS进行极线校正处理，最后将ODVS的标定结果和极线校正后的结果存放在ODVS内外部参数库中。
3.如权利要求1或2所述的基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于:所述的捕捞对象点匹配单元，用于找出同一时刻两个不同视点的图像中同一捕捞对象的中心点对应的两个像点，其输出与空间信息计算单元连接； 空间上的同一捕捞对象点必定落在校正后的极线平面上，在结构上满足极线约束条件后，空间物点二维平面检索问题就简化为一维检索问题，从而为在两个全景图上点与点之间的快速匹配提供了基础；从纬度角度考虑，如果所设计的ODVS的入射角与成像平面上的像素点满足某种函数关系，所组合后的两个ODVS入射角之间又是可以方便计算的，又可以将一维检索问题再简化为在一条线上的某个区间内检索对应点的问题；如公式(5)所示，180° ( Φ 1+Φ2 ( 2Φι βχ(5) 式中:Φ I为下ODVS上的成像物点的入射角，Φ2为上ODVS上的成像物点的入射角，(tmax为ODVS的成像物点的最大入射角，即仰角，在本发明中为120° ； 进一步，采用归一化相关匹配算法来对上下两个全景图中的特征点进行匹配；该算法基于匹配特征点在相邻的窗体区域内具有相同灰度值原理，计算方法由公式(6)所示，
4.如权利要求1或2所述的基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于:所述的空间信息计算单元，依据所述的捕捞对象识别模块所得到的识别结果，通过全景立体ODVS所获得的立体全景视频图像，从上ODVS图像中所识别出的捕捞对象通过物点的匹配找到下OD V S图像中的对应点，然后计算空间上的捕捞对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角； 所述的空间信息计算单元，依据所述的捕捞对象识别模块所得到的识别结果，通过全景立体ODVS所获得的立体全景视频图像，在所述的捕捞对象点匹配单元中从上ODVS图像中所识别出的捕捞对象通过物点的匹配找到下ODVS图像中的对应点，然后计算空间上的捕捞对象的中心点到立体视觉测量装置中心点的距离、方位角以及入射角； 两个上下ODVS的入射角，S卩Φ1和Φ2和基线距AB的长度，就能计算出物点离视点中心的距离；基线距AB的长度dc在设计全景立体ODVS的结构时已经确定，公式(7)为ODVS的入射角的计算方法，公式中的各参数是通过ODVS的标定结果来确定的，也就是从所述的ODVS内外部参数库中读取的；
5.如权利要求1或2所述的基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于:所述的空间信息计算单元，得到捕捞对象的中心点P在高斯坐标系中的方位角βρ、入射角Φρ和捕捞中心点的距离rp，根据高斯坐标系与笛卡尔坐标系的转换关系，可以将捕捞对象的中心点P用笛卡尔坐标系表达，如公式(9)所示，
6.如权利要求1或2所述的基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于:所述的仿生机器手空间位置计算单元，用于计算仿生机器手的捕捞端的空间位置；由于本发明中共有四 个仿生机器手，这里将所述的双目立体ODVS的中点作为视觉坐标系的原点，并建立XV、YV和Zv构成的三维全景视觉坐标系，并用四个象限来划分四个仿生机器手的工作范围，al、a2、a3和a4, al为前左仿生机器手的工作范围，a2为前右仿生机器手的工作范围，a3为后右仿生机器手的工作范围，a4为后左仿生机器手的工作范围；将各仿生机器手的固定点作为各仿生机器手的坐标原点，并分别建立前左仿生机器手Xal、Yal、zal，前右仿生机器手Xa2、Ya2> Za2,后右仿生机器手Xa3、Ya3> Za3,后左仿生机器手Xa4、Ya4> Za4等构成的三维仿生机器手运动坐标系；由于双目立体ODVS和仿生机器手均固定在捕捞机器人的行走部分的上面，因此，用公式(10)建立三维全景视觉坐标系和三维各捕捞仿生机器手运动坐标系的几何关系；
7.如权利要求1或2所述的基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于:所述的仿生机器手空间位置计算单元，根据在所述的空间信息计算单元中计算得到的捕捞对象的中心点P所处的象限，确定由哪个捕捞仿生机器手进行捕捞，然后根据公式(10)计算得到该仿生机器手与捕捞对象的中心点P的位置关系，最后驱动捕捞模块进行捕捞动作。
8.如权利要求1或2所述的基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于:所述的双目立体全景视觉传感器，包括两台具有相同参数的无死角的固定单视点的0DVS，在ODVS的折反射镜面设计上通过增大视觉垂直范围来扩大两个合成的ODVS视觉重叠区域来获得较大的双目立体视觉范围，并使双目立体ODVS具有同时知觉、融合力和立体感；组合时将上下两个ODVS的单视点固定在同一轴线上；考虑到所述的双目立体全景视觉传感器将在深海工作，需要具有较大的抗压强度，在结构上球面式的设计具有良好的抗压能力。
9.如权利要求1或2所述的基于全景立体视觉的捕捞对象的识别和空间定位装置，其特征在于:执行捕捞动作的是由仿生机器手来实现的，仿生机器手具有两种功能，一种是完成捕捞机器人的行走，另一种是完成捕捞动作；本发明中一共有四个仿生机器手，分别固定在捕捞机器人本体的收集舱两侧前后，非常类似于海龟的四肢，由人工肌肉制成；仿生机器手的外形呈管三自由度肌肉状，管内分隔成三个互成120°的扇形柱状空腔，通过分别控制三个空腔的水压力来实现沿中心轴Z方向的伸缩及任意一个方向的弯曲，实现三个自由度的控制；在捕捞机器人行走时，所述的仿生机器手支撑着所述的捕捞机器人本体；在所述的捕捞机器人进行捕捞时，仿生机器手的前端对准捕捞对象实现对准捕捞对象吸入捕捞；在仿生机器手中设置有捕捞管道，当仿生机器手的前端对准捕捞对象时所述的捕捞管道中产生脉冲式负压，将捕捞对象吸入到捕捞管道中，然后随着捕捞管道进入到捕捞舱内。
10.一种基于全景立体视觉的捕捞对象的识别和空间定位方法，其特征在于:在对捕捞对象的识别前，首先需要建立一个各种不同的捕捞对象的特征库，同时也需要完成全景立体ODVS的内外参数设定、标定和极线校正的预备工作，设定、标定和极线校正的参数均保存在ODVS内外部参数库中，以便下一次使用捕捞机器人时调用；接着，进入捕捞对象的识别和空间定位处理主要流程如下； 步骤I):通过视频图像读取单元读取两个相同成像参数的ODVS的两幅全景视频图像； 步骤2):根据保存在存储单元中的设定、标定和极线校正的参数对两幅全景视频图像进行处理； 步骤3):根据保存在捕捞对象的特征库中的捕捞对象的特征参数对上ODVS所获取的全景图像展开图进行检索和识别，得到在上ODVS所获取的全景图像中的捕捞对象中心点； 步骤4):根据在步骤3)中得到的在上ODVS所获取的全景图像中的捕捞对象中心点对下ODVS所获取的全景图像展开图进行匹配计算，得到在下ODVS所获取的全景图像中的相应匹配点； 步骤5):根据在步骤3)中得到的在上ODVS所获取的全景图像中的捕捞对象中心点以及在步骤4)得到的在下ODVS所获取的全景图像中的相应匹配点进行捕捞对象空间信息的计算，得到捕捞对象的中心点到全景立体ODVS中心点的距离、方位角以及入射角；然后根据高斯坐标系和笛卡尔坐标系之间的转换关系，将捕捞对象的中心点用笛卡尔坐标系进行表达； 步骤6):根据在步骤5)计算得到的捕捞对象的中心点位置确定由哪一个仿生机器手进行捕捞，然后将捕捞对象的中心点位置到全景立体ODVS中心点的坐标值映射到仿生机器手的坐标系中，最后根据在所确定的进行捕捞动作的仿生机器手的坐标系中的坐标值控制该捕捞仿生机器手的动作； 步骤7):控制该仿生机 器手将捕捞对象吸入到捕捞机器人的收集舱中；跳转到步骤2)。
全文摘要
一种基于全景立体视觉的捕捞对象的识别和空间定位装置，包括全景立体视觉传感器，用于对捕捞对象的识别和空间定位进行分析处理的微处理器，全景立体视觉传感器由两台具有相同参数的固定单视点的无死角全方位视觉传感器构成，并按照全方位的极线平面要求以垂直背靠背方式连接固定。以及一种基于全景立体视觉的捕捞对象的识别和空间定位方法。本发明采用一台全景立体视觉传感器解决了深海捕捞对象的识别和空间定位的图像获取问题，同时还能为捕捞机器人导航提供全景立体视觉，具有特征点立体匹配计算量少、空间定位高等优点。
文档编号G06T7/00GK103226693SQ201310093260
公开日2013年7月31日 申请日期2013年3月21日 优先权日2013年3月21日
发明者汤一平, 俞立, 孙明轩, 倪洪杰, 余世明 申请人:浙江工业大学