一种基于视觉感知的环境或物体的数字化表示与检索方法与流程

本发明涉及人工智能、机器视觉等技术概念，特别是机器人在感知周围的环境或物体后，所获取的视觉信息是怎么表示及存储、被检索的，本发明可以应用于家庭或工业机器人、机械手分拣夹持等领域。

背景技术：

随着近些年工业机器人的发展，带动了服务机器人行业的逐渐掘起，同时从2014年开始的智能硬件领域也开始突起，根据国际机器人联盟的统计，2015年服务机器人销售额将达85亿美元，并且保持较高的20％～30％增长率，在智能硬件领域，据艾瑞研究，2014年全球智能硬件装机量达到60亿台，预计2017年将超过140亿台。

在市场高速发展的背后，问题同样明显，一方面市场的潜力还远未挖掘出来，另一方面，机器人及智能硬件进入服务行业也存在着一些技术难点。

物体的视觉识别方面，虽是一大难点，但也有些技术性尝试往这方面攻关，例如专利《一种基于三维栅格地图的物体整体识别方法》与《一种基于颜色特征的物体辅助识别方法》中，提到一类方法“如何从形状的角度”、“颜色”、“材质”等方面来对物体进行识别。这里我们要解决的是：视觉感知之后，所获取的信息是如何表示、存储与检索的。

发明目的

本发明的主要目的就是解决视觉感知信息的表示、存储与检索。

技术方案

本发明的目的是这样实现的：通过相关设备及算法，例如激光雷达、ccd、cmos、点云配准算法、点云降噪算法等，获取实际环境或物体的点云信息，后续处理步骤如下：

(1)通过环境或物体的点云数据，计算出环境或物体相应的全局与局部性特征张量及特征谱值。

(2)结合其他相关信息，组织成结构化或半结构化数据，我们可以选取xml格式来承载这样的数据格式；

(3)存储环境或物体的结构化或半结构化数据；

(4)编辑或审核或检索环境与物体。

本发明所使用的系统组成如下：采集系统、视觉感知系统、存储系统、审编系统、检索系统。这五个系统是按照功能设置的软件系统，各子系统具体功能如下：

*采集系统：通过相关设备传感器采集环境或物体点云信息，可以实时或离线输出点云数据，

*视觉感知系统：接收点云数据并计算全局与局部性特征张量及特征谱值，输出结构化或半结构化数据，

*存储系统：存储结构化或半结构化数据，

*编审系统：后台人员或机器可以对环境或物体的数据进行编辑、审核及更新存储，

*检索系统：人或机器可以对存储的环境或物体进行检索。

附图说明：

图1是本发明方法所用系统组成图

图2是实际物体“门”

图3是门的特征张量

图4是门的特征谱

图5是门的数字化表示形式

图6是检索页面

具体实施方式

下面结合附图，说明本发明的实施方式。

本发明方法所用的系统整体结构可参考附图1，它有五个子系统组成，具体包含如下步骤：

第一步

在采集系统中，通过相关设备传感器采集周围环境或物体的信息，通过降噪、滤波等方法优化数据，对外输出环境或物体的点云数据，可以实时或离线输出。

第二步

在视觉感知系统中，接收采集系统传递过来的点云数据，做视觉感知计算，获取环境或物体的全局性与局部性特征张量及特征谱值，这里不局限于某一个视觉感知算法，这里我们可以使用专利《一种基于三维栅格地图的环境特征表示与识别的方法》中所述的算法来加以计算处理点云数据，如图2所示，实际当中的一扇门，其对应的局部性特征张量如图3所示，图4是其特征谱。

第三步

根据视觉感知系统中输出的特征张量与特征谱，连带其他信息如位置、分辨率、描述信息等，组织成xml形式，如图5所示，每一个xml信息我们称之为doc(文档)，需要说明的是，每一个doc都有全局唯一的id与其对应，方便后续对其doc的增删改查操作，标签tag为“tensor”的内容是存储图3所示的特征张量信息，标签tag为“spectrum”的内容是存储图4所示的特征谱信息，这些标签tag可以是但不限于图5所示的那么多。

第四步

根据上一步输出的信息组织形式，将其存储起来，可以单机存储，也可以分布式机群存储，可以用数据库、文件系统或其他形式，这里仅为说明清楚原理及简单起见，以单机的形式并且全文索引存储到搜索引擎solr里。

第五步

编审人员或相关用户都可以在后台根据关键词或点云数据查找doc，如图6所示的检索页面，可以由点云信息检索——图6中的“按图索骥”就是根据点云信息检索，也可以由关键词检索——图6中输入框中的“墙壁”就是关键词，必要的情况下可以手动更新相关doc信息并存储。

第六步

检索的操作可以由系统运营人员或相关用户来执行，也可由机器直接执行，例如机器在室内外执行任务时，用到系统存储的视觉感知数据，另外，机器采集到的当前环境或物体信息与系统存储的不一致时，机器可以直接更新系统存储。

综上，我们可以看到，通过本发明方法，成功地解决了视觉感知信息的表示、存储与检索，可以为相关人员或机器人提供高精三维地图服务，为视觉感知应用的新方向开拓打下坚实基础。

技术特征：

技术总结
本发明是一种基于视觉感知的环境或物体的数字化表示与检索方法，生物及人类的视觉原理，至今在科技界也无确切的研究清楚，对于三维物体，从不同的角度看过后，得到真实三维物体的一个“开覆盖”，这个“开覆盖”会不会是此物体所唯一对应的一个视觉感知？这个感知在大脑里的存储是二维的还是多维的？存储的信息是曲率还是轮廓线？上述“唯一对应”是共形映射还是普通双射或是其他？类似问题至今仍没有头绪，但这并不妨碍我们持续地去观察及研究，本发明以此为出发点，提出一种视觉感知的模型，其理论基础在微分几何与流形，通过分析物体表面曲率的概率分布，做为视觉信息的数字化表示，为视觉存储与检索提供支撑，为视觉应用提供具基础技术。

技术研发人员：王红军
受保护的技术使用者：王红军
技术研发日：2017.06.15
技术公布日：2017.09.08