基于计算机视觉的博物馆展品图像识别方法及系统与流程

本申请涉及通信计算领域，具体而言，涉及一种基于计算机视觉的博物馆展品图像识别方法及系统。

背景技术：

在游客游览旅游景点时，人工导游在进行讲解景点的相关信息时，可能由于游客过多、环境嘈杂等原因，导致游客不能清除的获取景点的周边信息。一些相关技术中采用通过移动终端从互联网中搜索景点信息的方式，需要游客每到一个景点都进行相应的搜索，为游客带来诸多不便。另一些相关技术中基于图像识别的手机语音导游采用游客通过手机终端在现场采集的图像的方式，通过对图像进行识别，确定游客所在的景点，然后通过识别结果链接到该景点对应的信息，但由于基于二维图像识别技术，仅能针对平面景物或者景物的一个固定视角，如油画、一个雕塑的正面照片等等，不能满足用户在实际旅行中从不同角度对三维立体景物及展品进行拍摄进而识别图像匹配导览的需要。

针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现要素：

本申请的主要目的在于提供一种基于计算机视觉的图像识别方法及系统，以解决至少上述相关技术的问题之一。

为了实现上述目的，根据本申请的一个方面，提供了一种基于计算机视觉的图像识别方法，该方法包括：

获取博物馆展品的三维点云数据，其中所述三维点云数据包括由所述博物馆展品的表面信息按照预设坐标系转化得到的所述博物馆展品表面的各个采样点的三维坐标；按照第一预设规则从所述博物馆展品的三维点云数据中选取博物馆展品的特征点；按照第二预设规则获取所述博物馆展品的特征点相对应的特征描述；将所述博物馆展品的特征描述与数据库中的标准描述进行比对，根据所述比对结果获取与所述博物馆展品对应的标准图像。

进一步的，如前述的方法，所述按照第一预设规则从所述博物馆展品的三维点云数据中选取博物馆展品的特征点，包括：计算所述博物馆展品的各个采样点在各自曲面上的曲率值；选取曲率值大于预设曲率阈值的点为所述博物馆展品的特征点。

进一步的，如前述的方法，所述计算所述博物馆展品的各个采样点在所述预设坐标系内的曲率值，包括：s211.在所述博物馆展品的三维点云数据中选取一个采样点；s212.根据k最近邻分类算法获得所述采样点的k个临近点；s213.计算出经过这k个邻域点的二次参数曲面方程，根据经过所述采样点的法线的两个相互正交的平面计算所述采样点的曲率；s214.获取下一个采样点，重复s212至s213，直至所述博物馆展品的三维点云数据的各个采样点的曲率值计算完成。

进一步的，如前述的方法，所述按照第二预设规则获取所述博物馆展品的特征点相对应的特征描述，包括：根据k最近邻分类算法获得所述特征点的k个临近点；获得所述特征点的法向量和所述k个临近点的法向量之间的k个函数关系，并为所述k个函数设置特定参数，根据所述k个函数和所述特定参数获得所述特征点的多维特征向量。

进一步的，如前述的方法，所述将所述博物馆展品的特征描述与数据库中的标准描述进行比对，包括：s41.在数据库中调取标准图像的标准点和所述标准描述；s42.获取所述博物馆展品的一个特征点及所述特征点对应的特征描述；s43.根据所述特征描述和所述标准描述选取所述标准点中与所述特征点相对应的临近点和次临近点；s44.计算所述特征点与所述临近点之间的距离与所述特征点与所述次临近点之间的距离的比值；s45.判断所述比值是否小于预设比值；s46.若所述比值小于预设比值，则判定所述特征点在所述标准图像中存在对应点；s47.若所述比值大于或等于预设比值，则判定所述特征点在所述标准图像中不存在对应点；s48.获取下一个特征点及所述特征点对应的特征描述，重复s43至s47，直至所述博物馆展品所有的特征点全部判定完成。

为了实现上述目的，根据本申请的另一方面，提供了一种基于计算机视觉的图像识别系统，该系统包括博物馆展品数据获取单元、特征点选取单元、特征描述单元和图像识别单元，其中：所述博物馆展品数据获取单元，用于获取博物馆展品的三维点云数据，其中所述三维点云数据包括由所述博物馆展品的表面信息按照预设坐标系转化得到的所述博物馆展品表面的各个采样点的三维坐标；所述特征点选取单元，用于按照第一预设规则从所述博物馆展品的三维点云数据中选取博物馆展品的特征点；所述特征描述单元，用于按照第二预设规则获取所述博物馆展品的特征点相对应的特征描述；所述图像识别单元，用于将所述博物馆展品的特征描述与数据库中的标准描述进行比对，根据所述比对结果获取与所述博物馆展品对应的标准图像。

进一步的，如前述的系统，所述特征点选取单元，包括计算单元和选定单元，其中：所述计算单元，用于计算所述博物馆展品的各个采样点在各自曲面上的曲率值；所述选定单元，用于选取曲率值大于预设曲率阈值的点为所述博物馆展品的特征点。

进一步的，如前述的系统，所述计算单元，包括采样点获取单元、第一临近点选取单元、曲率计算单元和第一返回单元，其中：所述采样点获取单元，用于在所述博物馆展品的三维点云数据中选取一个采样点；所述第一临近点选取单元，用于根据k最近邻分类算法获得所述采样点的k个临近点；所述曲率计算单元，用于计算出经过这k个邻域点的二次参数曲面方程，根据经过所述采样点的法线的两个相互正交的平面计算所述采样点的曲率；所述第一返回单元，用于在所述曲率计算单元计算完成之后，返回所述采样点获取单元，直至所述博物馆展品的三维点云数据的各个采样点的曲率值计算完成。

进一步的，如前述的系统，所述特征描述单元，还用于根据k最近邻分类算法获得所述特征点的k个临近点；所述特征描述单元，还用于获得所述特征点的法向量和所述k个临近点的法向量之间的k个函数关系，并为所述k个函数设置特定参数，根据所述k个函数和所述特定参数获得所述特征点的多维特征向量。

进一步的，如前述的系统，所述图像识别单元，包括第二临近点选取单元、比值计算单元、对应点判定单元和第二返回单元，其中：所述第二临近点选取单元，用于在数据库中调取标准图像的标准点和所述标准描述，获取所述博物馆展品的一个特征点及所述特征点对应的特征描述，根据所述特征描述和所述标准描述选取所述标准点中与所述特征点相对应的临近点和次临近点；所述比值计算单元，用于计算所述特征点与所述临近点之间的距离与所述特征点与所述次临近点之间的距离的比值；所述对应点判定单元，用于在所述比值小于预设比值时，判定所述特征点在所述标准图像中存在对应点；所述对应点判定单元，还用于在所述比值大于或等于预设比值，判定所述特征点在所述标准图像中不存在对应点；所述第二返回单元，用于在所述对应点判定单元判定之后，返回所述第二临近点选取单元，直至所述博物馆展品所有的特征点全部判定完成。

在本申请实施例中，采用从拍摄的景点博物馆展品的三维点云数据中选取特征点的方式，并对特征点进行描述，通过将特征点描述与数据库中的标准描述进行比对，达到了识别拍摄的景点博物馆展品的目的，从而实现了对拍摄的景点博物馆展品进行三维特征识别的技术效果，进而解决了相关基于二维图像识别技术难以识别用户在实际旅行中从不同角度对三维立体景物及展品进行拍摄进而无法匹配导览的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请一个实施例提供的一种基于计算机视觉的博物馆展品图像识别方法的流程示意图；

图2是本申请一个实施例提供的一种博物馆展品特征点的选取方法的流程示意图；

图3是本申请一个实施例提供的一种采样点的曲率计算方法的流程示意图；

图4是本申请一个实施例提供的一种对特征点进行特征描述的方法的流程示意图；

图5是本申请一个实施例提供的一种特征描述的比对方法的流程示意图；以及

图6是本申请一个实施例提供的一种基于计算机视觉的博物馆展品图像识别系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本发明实施例，提供了一种基于计算机视觉的博物馆展品图像识别方法，如图1至图5所示，该方法包括如下的步骤：

步骤s1.获取博物馆立体展品的三维点云数据，其中所述三维点云数据包括由所述博物馆立体展品的表面信息按照预设坐标系转化得到的所述博物馆立体展品表面的各个采样点的三维坐标；具体地，例如，根据双目立体视觉原理，可通过在移动设备上设置两个间隔一定距离的摄像头，在识别时拍摄景点博物馆立体展品的两个不同视角的图像，再通过两个图像获得景点博物馆立体展品的三维坐标(xi,yi,zi)。

步骤s2.按照第一预设规则从所述博物馆立体展品的三维点云数据中选取博物馆立体展品的特征点；具体地，物体表面几何特征变化相对较大的点的集合为物体模型本身的特征点，各个点的曲率、法向量等都属于物体的几何特征，优选地，根据曲面上各点的曲率大小来对特征点进行提取。

进一步地，如图2所示，所述步骤s2，包括：

步骤s21.计算所述博物馆立体展品的各个采样点在各自曲面上的曲率值；具体地，可在对采样点构成的模型三角网格化后估算曲率值，也可将二次参数曲面逼近固定的物体模型表面，在正交截面的模型上进行估计曲率值，还可通过最小二乘法求二次参数曲面来得到的，当计算的采样点和其邻域点到所求的二次曲面方程的距离最小时求出该曲面方程，之后再计算该采样点的曲率。

优选地，如图3所示，选取以下方法计算采样点的曲率，包括：

步骤s211.在所述博物馆立体展品的三维点云数据中选取一个采样点；

步骤s212.根据k最近邻分类算法获得所述采样点的k个临近点；

步骤s213.计算出经过这k个邻域点的二次参数曲面方程，根据经过所述采样点的法线的两个相互正交的平面计算所述采样点的曲率；

步骤s214.获取下一个采样点，重复s212至s213，直至所述博物馆立体展品的三维点云数据的各个采样点的曲率值计算完成。

步骤s22.选取曲率值大于预设曲率阈值的点为所述博物馆立体展品的特征点。

步骤s3.按照第二预设规则获取所述博物馆立体展品的特征点相对应的特征描述；具体地，特征描述可以说是对特征点的局部邻域的几何属性或者颜色、纹理等信息的特征描述的集合，通过对上述选取的博物馆立体展品的特征点进行属性描述，为待识别的博物馆立体展品建立了特征数据模型，以便与数据库中的标准模型进行比对，从而满足从不同角度对立体景物进行识别的功能。

进一步地，如图4所示，所述步骤s3，包括：

步骤s31.根据k最近邻分类算法获得所述特征点的k个临近点；

步骤s32.获得所述特征点的法向量和所述k个临近点的法向量之间的k个函数关系，并为所述k个函数设置特定参数，根据所述k个函数和所述特定参数获得所述特征点的多维特征向量。

步骤s4.将所述博物馆立体展品的特征描述与数据库中的标准描述进行比对，根据所述比对结果获取与所述博物馆立体展品对应的标准图像；

进一步地，如图5所示，所述步骤s4，包括：

步骤s41.在数据库中调取标准图像的标准点和所述标准描述；

步骤s42.获取所述博物馆立体展品的一个特征点及所述特征点对应的特征描述；

步骤s43.根据所述特征描述和所述标准描述选取所述标准点中与所述特征点相对应的临近点和次临近点；

步骤s44.计算所述特征点与所述临近点之间的距离与所述特征点与所述次临近点之间的距离的比值；

步骤s45.判断所述比值是否小于预设比值；具体地，如果预设比值设的较小，那么匹配的点对数就会相对较少，但是会更可靠。

步骤s46.若所述比值小于预设比值，则判定所述特征点在所述标准图像中存在对应点；

步骤s47.若所述比值大于或等于预设比值，则判定所述特征点在所述标准图像中不存在对应点；

步骤s48.获取下一个特征点及所述特征点对应的特征描述，重复s43至s47，直至所述博物馆立体展品所有的特征点全部判定完成。

从以上的描述中，可以看出，本发明实现了如下技术效果：

在本申请实施例中，采用比较采样点的曲率的方式，从拍摄的景点博物馆立体展品的三维点云数据中选取表面几何特征变化相对较大的点，并对该特征点进行局部邻域属性的描述，然后通过将特征点描述与数据库中的标准描述进行比对，达到了识别拍摄的景点博物馆立体展品的目的，从而实现了对拍摄的景点博物馆立体展品进行三维特征识别的技术效果，进而解决了相关景点识别技术中由于基于二维图像识别技术难以识别用户在实际旅行中从不同角度对三维立体景物及展品进行拍摄进而无法匹配导览的技术问题。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本发明实施例，还提供了一种用于实施上述基于计算机视觉的图像识别方法的基于计算机视觉的图像识别系统，如图6所示，该系统包括博物馆立体展品数据获取单元、特征点选取单元、特征描述单元和图像识别单元，其中：

所述博物馆立体展品数据获取单元，用于获取博物馆立体展品的三维点云数据，其中所述三维点云数据包括由所述博物馆立体展品的表面信息按照预设坐标系转化得到的所述博物馆立体展品表面的各个采样点的三维坐标；具体地，例如，根据双目立体视觉原理，可通过在移动设备上设置两个间隔一定距离的摄像头，在识别时拍摄景点博物馆立体展品的两个不同视角的图像，再通过两个图像获得景点博物馆立体展品的三维坐标(xi,yi,zi)。

所述特征点选取单元，用于按照第一预设规则从所述博物馆立体展品的三维点云数据中选取博物馆立体展品的特征点；具体地，物体表面几何特征变化相对较大的点的集合为物体模型本身的特征点，各个点的曲率、法向量等都属于物体的几何特征，优选地，根据曲面上各点的曲率大小来对特征点进行提取。

进一步地，所述特征点选取单元，包括计算单元和选定单元，其中：

所述计算单元，用于计算所述博物馆立体展品的各个采样点在各自曲面上的曲率值；具体地，可在对采样点构成的模型三角网格化后估算曲率值，也可将二次参数曲面逼近固定的物体模型表面，在正交截面的模型上进行估计曲率值，还可通过最小二乘法求二次参数曲面来得到的，当计算的采样点和其邻域点到所求的二次曲面方程的距离最小时求出该曲面方程，之后再计算该采样点的曲率。

更进一步地，所述计算单元，包括采样点获取单元、第一临近点选取单元、曲率计算单元和第一返回单元，其中：

所述采样点获取单元，用于在所述博物馆立体展品的三维点云数据中选取一个采样点；

所述第一临近点选取单元，用于根据k最近邻分类算法获得所述采样点的k个临近点；

所述曲率计算单元，用于计算出经过这k个邻域点的二次参数曲面方程，根据经过所述采样点的法线的两个相互正交的平面计算所述采样点的曲率；

所述第一返回单元，用于在所述曲率计算单元计算完成之后，返回所述采样点获取单元，直至所述博物馆立体展品的三维点云数据的各个采样点的曲率值计算完成。

所述选定单元，用于选取曲率值大于预设曲率阈值的点为所述博物馆立体展品的特征点。

所述特征描述单元，用于按照第二预设规则获取所述博物馆立体展品的特征点相对应的特征描述；具体地，特征描述可以说是对特征点的局部邻域的几何属性或者颜色、纹理等信息的特征描述的集合，通过对上述选取的博物馆立体展品的特征点进行属性描述，为待识别的博物馆立体展品建立了特征数据模型，以便与数据库中的标准模型进行比对，从而满足从不同角度对立体景物进行识别的功能。

所述特征描述单元，还用于根据k最近邻分类算法获得所述特征点的k个临近点；

所述特征描述单元，还用于获得所述特征点的法向量和所述k个临近点的法向量之间的k个函数关系，并为所述k个函数设置特定参数，根据所述k个函数和所述特定参数获得所述特征点的多维特征向量。

所述图像识别单元，用于将所述博物馆立体展品的特征描述与数据库中的标准描述进行比对，根据所述比对结果获取与所述博物馆立体展品对应的标准图像。

进一步地，包括第二临近点选取单元、比值计算单元、对应点判定单元和第二返回单元，其中：

所述第二临近点选取单元，用于在数据库中调取标准图像的标准点和所述标准描述，获取所述博物馆立体展品的一个特征点及所述特征点对应的特征描述，根据所述特征描述和所述标准描述选取所述标准点中与所述特征点相对应的临近点和次临近点；

所述比值计算单元，用于计算所述特征点与所述临近点之间的距离与所述特征点与所述次临近点之间的距离的比值；

所述对应点判定单元，用于在所述比值小于预设比值时，判定所述特征点在所述标准图像中存在对应点；具体地，如果预设比值设的较小，那么匹配的点对数就会相对较少，但是会更可靠。

所述对应点判定单元，还用于在所述比值大于或等于预设比值，判定所述特征点在所述标准图像中不存在对应点；

所述第二返回单元，用于在所述对应点判定单元判定之后，返回所述第二临近点选取单元，直至所述博物馆立体展品所有的特征点全部判定完成。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。例如，第一临近点选取单元、第二临近点选取单元只用于区分在不同的步骤获取临近点的单元，应该理解这两个单元在适当情况下可以互换或采用同一个单元，以便实施这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了计算单元和选定单元的特征点选取单元不必限于清楚地列出的数据获取单元、数据传输单元等等，而是可包括没有清楚地列出的或对于特征点选取单元固有的其它单元。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。