仿生眼装置、仿生眼设备及图像构建方法
【专利摘要】本发明提供一种对周围环境进行三维重建、识别的仿生眼装置、仿生眼设备及图像构建方法，可模拟人眼运动的方式做运动。该仿生眼装置包括图像捕捉设备、驱动图像捕捉设备运动的动力装置和底座，所述图像捕捉设备通过支撑关节轴承、第一联动机构和第二联动机构连接于底座，通过控制所述第一联动机构和所述第二联动机构来带动所述装置进行相应的运动和图像捕捉。该仿生眼设备主要利用图像捕捉设备自身运动信息和视觉图像信息结合来进行三维重建，应用于智能机器人的运动导航上，这项技术拥有先进的优势。
【专利说明】
仿生眼装置、仿生眼设备及图像构建方法
技术领域
[0001]本发明属于智能仿生机器人技术领域，特别涉及一种可任意角度注视、三维重建的仿生眼装置、仿生眼设备及图像构建方法。
【背景技术】
[0002]人类感知客观世界绝大多数信息都是需要借助眼睛而获得的视觉信息，对机器人来说，“机器人眼睛”也是一个重要的感知设备。当今的机器人急切需要具备人眼诸多功能的仿生机器人眼。有了这样的机器人眼，机器人视觉技术和机器人技术将得到巨大的发展。
[0003]虽然经过20多年的发展，但从实际应用角度来看，现有的立体视觉技术还处于不成熟阶段，这不仅仅涉及到技术上的原因，也是因为人类对自身视觉机制还没有了解透彻。目前的计算机视觉大多采用位置相对固定的两台摄像机装置或可移动的单个摄像机装置，这种视觉方式明显和人类一双可转动眼球形成的视觉相违背。通过二维图像来获取三维图像存在很多难以克服的问题，比如:需要标定物，十分麻烦;数据量大，计算效果不好;灰度失真、几何畸变、噪声干扰等；目前的设备价格昂贵、处理过程复杂等，也影响了在工程中的使用。另外，在实际的人机交互应用上，固定眼球(摄像机)的体验远没有灵活转动的眼球体验优越、互动性强。
【发明内容】
[0004]本发明的目的在于提供一种可任意角度注视、三维重建的仿生眼装置、仿生眼设备及图像构建方法，以解决现有技术中固定眼球(摄像机)所产生的操作繁琐、设备及计算复杂度高、以及体验效果欠佳等问题。
[0005]为解决上述技术问题及其他技术问题，本发明提供一种仿生眼装置，包括:
[0006]底座；
[0007]图像捕捉设备，通过支撑关节轴承及第一联动机构和第二联动机构活动连接于所述底座;所述支撑关节轴承连接于所述图像捕捉设备的底部中央和所述底座，所述第一联动机构包括第一关节轴承和与所述第一关节轴承连接的第一运动机构，所述第一关节轴承连接于所述图像捕捉设备的第一位置，所述第一运动机构固定于所述底座，所述第二联动机构包括第二关节轴承和与所述第二关节轴承连接的第二运动机构，所述第二关节轴承连接于所述图像捕捉设备的第二位置，所述第二运动机构固定于所述底座。
[0008]本发明仿生眼装置的进一步改进在于:所述图像捕捉设备的底部设有安装支架；所述支撑关节轴承的轴承端连接于所述安装支架的中心，所述支撑关节轴承的连接端固定于所述底座;所述第一联动机构中的所述第一关节轴承的轴承端连接于所述安装支架的第一位置，所述第一关节轴承的连接端连接于所述第一运动机构;所述第二联动机构中的所述第二关节轴承的轴承端连接于所述安装支架的第二位置，所述第二关节轴承的连接端连接于所述第二运动机构。
[0009]本发明仿生眼装置的进一步改进在于:所述支撑关节轴承在所述安装支架的连接处分别与所述第一位置和所述第二位置的距离相等，形成直角等腰三角形的关系;所述支撑关节轴承在所述底座上的连接处分别与所述第一运动机构的动力输出处和所述第二运动机构的动力输出处的距离相等，形成直角等腰三角形关系。
[0010]本发明仿生眼装置的进一步改进在于:所述第一运动机构包括:第一动力装置，固定于所述底座;第一摆动臂，所述第一摆动臂的一端通过连接轴连接于所述第一动力装置，所述第一摆动臂的另一端活动连接于所述第一关节轴承的连接端;所述第二运动机构包括:第二动力装置，固定于所述底座;第二摆动臂，所述第二摆动臂的一端通过连接轴连接于所述第二动力装置，所述第二摆动臂的另一端活动连接于所述第二关节轴承的连接端。
[0011]本发明仿生眼装置的进一步改进在于:所述第一运动机构中的所述第一摆动臂为第一方向设置，所述第二运动机构中的所述第二摆动臂为第二方向设置，所述第一方向与所述第二方向成90°夹角。
[0012]本发明仿生眼装置的进一步改进在于:所述的第一关节轴承、第二关节轴承、以及支撑关节轴承均包括具有内球面的轴承座和具有外球面且活动内嵌于所述内球面的球节，所述轴承座固定设置，所述球节带有一连接杆。
[0013]本发明另提供一种仿生眼设备，包括相互独立且协同运动的两个或多个如前所述的仿生眼装置。
[0014]本发明仿生眼设备的进一步改进在于:两个所述仿生眼装置之间设有用于连接两个所述仿生眼装置的连接座。
[0015]本发明再提供一种基于前述仿生眼设备的图像构建方法，包括:
[0016]从图像捕捉设备捕捉的图像中提取图像基本信息，通过图像预处理后得出图像特征信息；
[0017]当至少两个图像捕捉设备同时注视一点时，根据各个所述图像捕捉设备的相互位置信息以及运动信息，计算出注视点的空间坐标；
[0018]根据所述图像信息和图像捕捉设备自身的运动位置信息，构建三维空间数据库。
[0019]如上所述，本发明提供的仿生眼装置，包括底座和图像捕捉设备，所述图像捕捉设备通过支撑关节轴承及第一联动机构和第二联动机构活动悬置于所述底座，利用控制所述第一联动机构和所述第二联动机构来带动所述图像捕捉设备进行相应的运动，实现仿生化，使得装配有该仿生眼装置的仿生眼设备可以做到任意角度转动、注视，追踪物体移动，识别，对周围环境三维重建。
【附图说明】
[0020]图1为本发明仿生眼装置在一实施方式中的侧向立体图。
[0021]图2为本发明仿生眼装置在一实施方式中的后向立体图。
[0022]图3为本发明仿生眼设备在一【具体实施方式】中的侧向立体图。
[0023]图4为本发明利用仿生眼设备进行图像构建处理的框架示意图。
[0024]图5为本发明利用仿生眼设备进行图像构建方法的流程示意图。
【具体实施方式】
[0025]本发明提供了一种仿生眼装置及包括相互独立的两个仿生眼装置的仿生眼设备，每一个所述仿生眼装置均包含有底座和利用联动机构而活动悬置于所述底座上图像捕捉设备，利用控制所述第一联动机构和所述第二联动机构来带动所述图像捕捉设备进行相应的运动，使得装配有仿生眼装置的机器设备可以做到注视，追踪物体移动，识别，对周围环境三维重建。
[0026]以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的【具体实施方式】加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
[0027]需要说明的是，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
[0028]请参阅图1和图2，其中，图1为本发明仿生眼装置在一实施方式中的侧向立体图，图2为本发明仿生眼装置在一实施方式中的后向立体图。结合图1和图2，本发明仿生眼装置I包括:底座11和图像捕捉设备13。
[0029]以下对上述各个部件进行详细描述。
[0030]底座11，作为仿生眼装置的主体结构，用作图像捕捉设备13的安装基础。在本实施例中，底座11为板状结构，其形状则不作限制，可以是规则板状结构，也可以是不规则形状结构。
[0031]图像捕捉设备13，活动前置于底座11。在本实施例中，图像捕捉设备13可例如为摄像机。
[0032]在本实施例中，图像捕捉设备13是通过支撑关节轴承12及第一联动机构和第二联动机构活动悬置于底座U，即:支撑关节轴承12的轴承端连接于图像捕捉设备13的中央，支撑关节轴承12的连接端固定于底座U。第一联动机构包括第一关节轴承141和第一运动机构，第一关节轴承141的轴承端连接于图像捕捉设备13的第一位置，第一关节轴承141的连接端连接于第一运动机构，第一运动机构固定于底座U。第二联动机构包括第二关节轴承161和第二运动机构。第二关节轴承161的轴承端连接于图像捕捉设备13的第二位置，第二关节轴承161的连接端连接于第二运动机构，第二运动机构固定于底座11。
[0033]更进一步地:在本实施例中，图像捕捉设备13的底部还增设有安装支架131。如图1和图2所示，安装支架131例如为一^h字安装架，具有中心部及由所述中心部延伸出的四向辐条，相邻两个所述辐条之间相互垂直。安装支架131仅为一优选实例，并非用以限制其结构，在实际应用中，安装支架131无形状规则的限制。
[0034]支撑关节轴承12包括具有内球面的轴承座和具有外球面且活动内嵌于所述内球面的球节，所述轴承固定设置于安装支架131的中心部，所述球节带有一连接杆，所述连接杆的另一端则固定于底座11。
[0035]优选地，在本实施例中，支撑关节轴承12在安装支架131的连接处分别与所述第一位置和所述第二位置的距离相等，形成直角等腰三角形的关系。具体地，支撑关节轴承12在安装支架131的连接处与所述第一位置和所述第二位置的距离相等，且，支撑关节轴承12在安装支架131的连接处与所述第一位置相连形成第一线段，支撑关节轴承12在安装支架131的连接处与所述第二位置相连形成第二线段，所述第一线段与所述第二线段长度相等且所述第一线段与所述第二线段相互垂直呈90°夹角。当，安装支架131例如为一十字安装架，具有中心部及由所述中心部延伸出的四向辐条，相邻两个所述辐条之间相互垂直，此时，所述第一位置为其中一个辐条上的某一点，所述第二位置为相邻的另一个辐条上的某一点，如此，所述第一位置与所述第二位置成90°夹角。
[0036]第一关节轴承141包括具有内球面的轴承座和具有外球面且活动内嵌于所述内球面的球节，所述轴承固定设置于图像捕捉设备13的第一位置，所述第一位置优选为安装支架131的第一辐条上(例如为该第一辐条的末端)，所述球节带有一连接杆，所述连接杆的另一端则连接于第一运动机构。第一运动机构进一步包括第一动力装置143(例如为步进电机或伺服电机等)和第一摆动臂145，其中，第一动力装置143固定于底座11，第一摆动臂145的一端通过连接轴连接于第一动力装置143，第一摆动臂145的另一端活动连接于第一关节轴承141中作为连接端的连接杆的另一端。为便于安装及利于第一摆动臂145的摆动，底座11上设有供收纳第一摆动臂145的第一开槽147。
[0037]第二关节轴承161包括具有内球面的轴承座和具有外球面且活动内嵌于所述内球面的球节，所述轴承固定设置于图像捕捉设备13的第二位置，所述第二位置优选为装支架131的第二辐条上(例如为该第二辐条的末端)，该第二辐条相邻于该第一辐条(S卩，第二辐条与第一辐条成90°夹角)。所述球节带有一连接杆，所述连接杆的另一端则连接于第二运动机构。第二运动机构进一步包括第二动力装置163(例如为步进电机或伺服电机等)和第二摆动臂165，其中，第二动力装置163固定于底座11，第二摆动臂165的一端通过连接轴连接于第二动力装置163，第二摆动臂165的另一端活动连接于第二关节轴承161中作为连接端的连接杆的另一端。为便于安装及利于第二摆动臂165的摆动，底座11上设有供收纳第二摆动臂165的第二开槽167。
[0038]优选地，在本实施例中，支撑关节轴承12在底座11上的连接处分别与所述第一运动机构的动力输出处和所述第二运动机构的动力输出处的距离相等，形成直角等腰三角形关系。具体地，第一运动机构中的第一摆动臂145为第一方向设置(例如左右方向设置或者前后方向设置)，第二运动机构中的第二摆动臂165为第二方向设置(例如前后方向设置或者左右方向设置)，所述第一方向与所述第二方向成90°夹角。在初始状态下，第一运动机构中的第一摆动臂145为水平状态，第二运动机构中的第二摆动臂165为水平状态，支撑关节轴承12在底座11上的连接处与第一摆动臂145中轴接于第一关节轴承141的轴接端相连形成第三线段，支撑关节轴承12在底座11上的连接处与第二摆动臂165中轴接于第二关节轴承161的轴接端相连形成第四线段，所述第三线段与所述第四线段长度相等且所述第三线段与所述第四线段相互垂直呈90°夹角。
[0039]请参阅图3，显示了本发明仿生眼设备在一实施方式中的侧向立体图。如图3所示，本发明仿生眼设备2包括相互独立且协同运动的两个仿生眼装置I，必要时，两个仿生眼装置I之间可设置起到连接的连接座。在本实施例中:两个仿生眼装置I为并行同向设置，且两个仿生眼装置I具有一定的间距。如此，本发明仿生眼设备2可通过两个仿生眼装置I中各自的图像捕捉设备13的各自运动，实现对空间物体进行三维重建。
[0040]以下针对单个仿生眼装置I的整体运作一大致说明:
[0041]在理想条件下，假设预先拟定图像捕捉设备13的目标位置，根据当前位置和拟定的目标位置来确定图像捕捉设备13的运动轨迹，通过协同控制第一联动机构中的第一运动机构和第二联动机构中的第二运动机构，如此，分别带动第一联动机构中第一关节轴承141的摆动伸缩和第二联动机构中第二关节轴承161的摆动伸缩，以此来带动图像捕捉设备13相对于底座11作运动。
[0042]请参阅图4和图5，图4显示了利用本发明仿生眼设备进行视觉信息处理的框架示意图，图5显示了利用本发明仿生眼设备进行图像构建方法的流程示意图。如图4和图5所示，该图像构建方法的过程主要包括:
[0043]S501，控制仿生眼设备中的各个图像捕捉设备进行图像捕捉。
[0044]S502，从图像捕捉设备捕捉的图像中提取图像基本信息(例如RGB等信息)，通过图像预处理后得出图像特征信息。在本实施例中，所述图像预处理是借助于FPGA或GPU等处理芯片，预处理后得到的图像特征信息可包括:轮廓特征(Contour Feature)、颜色信息(Colour)等。
[0045]S503，当至少两个图像捕捉设备同时注视一点时，根据各个图像捕捉设备的相互位置信息以及运动信息，计算出注视点的空间坐标(例如XYZ值)。在本实施例中，由于图像捕捉设备的运动是由第一联动机构和第二联动机构来实现的(第一联动机构中的第一动力装置通过第一摆动臂带动第一关节轴承运动，第二联动机构中的第二动力装置通过第二摆动臂带动第二关节轴承运动，第一关节轴承与第二关节轴承配合驱使图像捕捉设备按照预定轨迹运动)，因此，所述图像捕捉设备的运动信息即可通过第一联动机构的运动信息和第二联动机构的运动信息来表征，所述第一联动机构的运动信息指的是第一动力装置143的返回的方向信息(Direct1n)和距离信息(Di stance )，第二联动机构的运动信息指的是第二动力装置163的返回的方向信息(Direct1n)和距离信息(Distance)。所述位置信息指的是各个图像捕捉设备之间的相互位置信息。
[0046]S504，根据所述图像信息和图像捕捉设备自身的运动位置信息，构建三维空间数据库。在本实施例中，通过中央控制处理系统根据前述的注视点的空间坐标(例如XYZ值)和图像特征信息(例如轮廓特征、颜色)等构建三维数据库，实现周围环境的三维重建和识别。
[0047]S505，发出控制指令以控制仿生眼设备中各个仿生眼装置中的第一联动机构和第二联动机构的运动方向和距离。
[0048]综上所述，本发明提供的仿生眼装置，包括底座和图像捕捉设备，所述图像捕捉设备通过支撑关节轴承及第一联动机构和第二联动机构活动悬置于所述底座，利用控制所述第一联动机构和所述第二联动机构来带动所述图像捕捉设备进行相应的运动，实现仿生化，使得装配有该仿生眼装置的仿生眼设备可以做到任意角度转动、注视，追踪物体移动，识别，对周围环境三维重建。该仿生眼设备主要利用图像捕捉设备自身运动信息和视觉图像信息结合来进行三维重建，是智能机器人手眼、头眼以及眼睛和自身运动协调过程中不可或缺的一环。
[0049]上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
【主权项】
1.一种仿生眼装置，其特征在于，包括: 底座； 图像捕捉设备，通过支撑关节轴承及第一联动机构和第二联动机构活动连接于所述底座;所述支撑关节轴承连接于所述图像捕捉设备的底部中央和所述底座，所述第一联动机构包括第一关节轴承和与所述第一关节轴承连接的第一运动机构，所述第一关节轴承连接于所述图像捕捉设备的第一位置，所述第一运动机构固定于所述底座，所述第二联动机构包括第二关节轴承和与所述第二关节轴承连接的第二运动机构，所述第二关节轴承连接于所述图像捕捉设备的第二位置，所述第二运动机构固定于所述底座。2.如权利要求1所述的仿生眼装置，其特征在于， 所述图像捕捉设备的底部设有安装支架； 所述支撑关节轴承的轴承端连接于所述安装支架的中心，所述支撑关节轴承的连接端固定于所述底座； 所述第一联动机构中的所述第一关节轴承的轴承端连接于所述安装支架的第一位置，所述第一关节轴承的连接端连接于所述第一运动机构； 所述第二联动机构中的所述第二关节轴承的轴承端连接于所述安装支架的第二位置，所述第二关节轴承的连接端连接于所述第二运动机构。3.如权利要求2所述的仿生眼装置，其特征在于， 所述支撑关节轴承在所述安装支架的连接处分别与所述第一位置和所述第二位置的距离相等，形成直角等腰三角形的关系； 所述支撑关节轴承在所述底座上的连接处分别与所述第一运动机构的动力输出处和所述第二运动机构的动力输出处的距离相等，形成直角等腰三角形关系。4.如权利要求2所述的仿生眼装置，其特征在于， 所述第一运动机构包括:第一动力装置，固定于所述底座；第一摆动臂，所述第一摆动臂的一端通过连接轴连接于所述第一动力装置，所述第一摆动臂的另一端活动连接于所述第一关节轴承的连接端；以及 所述第二运动机构包括:第二动力装置，固定于所述底座；第二摆动臂，所述第二摆动臂的一端通过连接轴连接于所述第二动力装置，所述第二摆动臂的另一端活动连接于所述第二关节轴承的连接端。5.如权利要求4所述的仿生眼装置，其特征在于，所述第一运动机构中的所述第一摆动臂为第一方向设置，所述第二运动机构中的所述第二摆动臂为第二方向设置，所述第一方向与所述第二方向成90°夹角。6.如权利要求2所述的仿生眼装置，其特征在于，所述的第一关节轴承、第二关节轴承、以及支撑关节轴承均包括具有内球面的轴承座和具有外球面且活动内嵌于所述内球面的球节，所述轴承座固定设置，所述球节带有一连接杆。7.—种仿生眼设备，其特征在于，包括相互独立且协同运动的两个或多个如权利要求1至6中任一项所述的仿生眼装置。8.如权利要求7所述的仿生眼设备，其特征在于，相邻两个所述仿生眼装置之间设有连接座。9.一种基于如权利要求7或8所述的仿生眼设备的图像构建方法，其特征在于，包括: 从图像捕捉设备捕捉的图像中提取图像基本信息，通过图像预处理后得出图像特征信息; 当至少两个图像捕捉设备同时注视一点时，根据各个所述图像捕捉设备的相互位置信息以及运动信息，计算出注视点的空间坐标；以及 根据所述图像信息和图像捕捉设备自身的运动位置信息，构建三维空间数据库。
【文档编号】B25J19/04GK106003154SQ201610405411
【公开日】2016年10月12日
【申请日】2016年6月8日
【发明人】边绍康
【申请人】边绍康