一种基于AR的文创产品展示方法及展示设备与流程

一种基于ar的文创产品展示方法及展示设备
技术领域
1.本技术涉及人工智能领域，具体涉及一种基于ar的文创产品展示方法及展示设备。


背景技术：

2.在文创产品展示过程中，可以通过ar(augmented reality，增强现实)技术，借助计算机技术带来交互式体验，使得文创产品展示过程集文字、声像、游戏等形式于一体，营造交流互动的体验氛围，向公众传递更多关于文创产品的信息。
3.在通过ar进行文创产品展示前，需要通过关键点匹配，确定与包含文创产品的文创卡片所对应的文创产品，从而将所确定的文创产品对应的增强现实ar模型进行展示。
4.由于文创产品的表面纹理通常较为复杂，在关键点匹配的过程中所涉及到的关键点数量较多，使得在进行关键点匹配的过程中需要对大量的关键点进行匹配，因此，通常会对低对比度关键点进行剔除，然而，对比度阈值通常为人为设置，对所有关键点采取同样的对比度阈值，可能会使得能够有效反映图像特征的关键点被误剔除，使得后续匹配后所展示的文创产品的匹配准确率下降。
5.因此，亟需一种在确保关键点匹配结果准确的同时，能够减少对能够有效反映图像特征的低对比度关键点的误剔除的方法，从而获得更为精确的关键点匹配结果，进而获得更加匹配的文创产品增强现实ar模型呈现结果。


技术实现要素：

6.针对上述技术问题，本发明提供了一种基于ar的文创产品展示方法及展示设备，根据包含文创产品的待匹配图像中各个区域中关键点的聚集特征，获得与关键点对应的对比度阈值，使所获得的关键点的对比度阈值与关键点的特征更为契合，从而避免对能够有效反映图像特征的低对比度关键点的误剔除，以在关键点匹配后，获得更加匹配的文创产品增强现实ar模型呈现结果。
7.第一方面，本发明实施例提出了一种基于ar的文创产品展示方法，包括：利用sift算法从包含文创产品的待匹配图像中提取关键点，并对待匹配图像进行区域划分。
8.确定待匹配图像中关键点的平均密度，并根据平均密度、每一区域的面积以及每一区域中包含的关键点的数量，分别确定每一区域的初始调整程度值。
9.对每一区域中关键点进行dbscan聚类获得多个聚类簇，并分别获得每一聚类簇的类内方差，以及每一聚类簇中包含的关键点的对比度方差。
10.根据每一关键点所在聚类簇的类内方差以及对比度方差，以及待匹配图像中所有关键点的对比度中最大对比度以及最小对比度，在每一关键点所在区域的初始调整程度值的基础上，分别确定每一关键点的目标调整程度值。
11.根据每一关键点的目标调整程度值，确定每一关键点的对比度阈值，以将待匹配
图像中关键点的对比度大于其对应的对比度阈值的关键点保留。
12.利用待匹配图像中所保留的关键点进行关键点匹配，确定与待匹配图像对应的文创产品，并将文创产品的增强现实ar模型进行展示。
13.进一步的，一种基于ar的文创产品展示方法中，根据每一关键点所在聚类簇的类内方差以及对比度方差，以及待匹配图像中所有关键点的对比度中最大对比度以及最小对比度，在每一关键点所在区域的初始调整程度值的基础上，分别确定每一关键点的目标调整程度值，包括：其中，为第k个关键点的目标调整程度值，为k个关键点所在区域的初始调整程度值，为第k个关键点所在聚类簇的类内方差，为第k个关键点所在聚类簇的对比度方差，为k个关键点到其所在聚类簇的聚类中心点的距离。
14.为方向因子，且在的情况下，的值为1，在的情况下，的值为-1，其中，为第k个关键点的对比度，为待匹配图像中所有关键点的对比度中最大对比度，为待匹配图像中所有关键点的对比度中最小对比度。
15.进一步的，一种基于ar的文创产品展示方法中，对待匹配图像进行区域划分，包括：确定待匹配图像的中心点，以中心点为顶点建立多条与待匹配图像边缘相交的线段，对待匹配图像进行区域划分，且相邻线段之间的角度相等。
16.进一步的，一种基于ar的文创产品展示方法中，根据每一关键点的目标调整程度值，确定每一关键点的对比度阈值，包括：获得每一关键点的目标调整程度值与1的求和结果，将每一关键点的求和结果与对关键点的初始对比度阈值的乘积，作为每一关键点的对比度阈值，所述初始对比度阈值为预先设定的。
17.进一步的，一种基于ar的文创产品展示方法中，根据平均密度、每一区域的面积以及每一区域中包含的关键点的数量，分别确定每一区域的初始调整程度值，包括：获得平均密度与每一区域的面积的乘积，将每一区域中包含的关键点的数量与每一区域的乘积结果的差值，分别作为每一区域的初始调整程度值。
18.进一步的，一种基于ar的文创产品展示方法中，所述方法还包括：对文创产品进行三维建模获得对应的增强现实ar模型。
19.进一步的，一种基于ar的文创产品展示方法中，利用sift算法从包含文创产品的待匹配图像中提取关键点前，所述方法还包括：对待匹配图像进行中值滤波去噪。
20.进一步的，一种基于ar的文创产品展示方法中，所述方法还包括：对包含文创产品的待匹配图像进行图像分割，使分割后的图像中文创产品以外的部分的像素点的像素值为0，并将分割后的图像作为新的待匹配图像。
21.第二方面，本发明实施例提出了一种基于ar的文创产品展示设备，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于ar的文创产品展
示程序，所述基于ar的文创产品展示程序配置为实现本发明实施例中基于ar的文创产品展示方法。
22.本发明提供了一种基于ar的文创产品展示方法及展示设备，相比于现有技术，本发明实施例的有益效果在于：根据包含文创产品的待匹配图像中各个区域中关键点的聚集特征，获得与关键点对应的对比度阈值，使所获得的关键点的对比度阈值与关键点的特征更为契合，从而避免对能够有效反映图像特征的低对比度关键点的误剔除，以在关键点匹配后，获得更加匹配的文创产品增强现实ar模型呈现结果。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
24.图1是本发明实施例提供的一种基于ar的文创产品展示方法的流程示意图。
具体实施方式
25.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
27.术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
28.本发明的主要目的是：利用图像处理技术，根据图像中各个区域中关键点的聚集特征，获得与关键点对应的对比度阈值，其中，聚集程度较高的关键点的对比度阈值越高，从而实现对于其中所存在的冗余关键点剔除，并利用所保留的关键点进行关键点匹配，确定与待匹配图像对应的文创产品的增强现实ar模型并进行展示。
29.为此，本发明实施例提供了一种基于ar的文创产品展示方法，如图1所示，包括：步骤s101、利用sift算法从包含文创产品的待匹配图像中提取关键点，并对待匹配图像进行区域划分。
30.游客在设置于博物馆或者展览馆中的文创产品进行浏览的过程中，可以利用手机等移动终端，对所设置的包含文创产品的文创卡片进行扫描，获得包含文创产品的待匹配图像。
31.同时，在游客对文创卡片进行扫描的过程中，文创卡片的摆放方向以及与游客距
离可能存在差异，使得实际扫描得到的文创卡片图像存在缩放、旋转角度变换以及不同位置的亮度存在尺度空间上的差异，而sift（scale-invariant feature transform，尺度不变特征转换）算子对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性，因此本发明实施例中使用sift算子对图像进行关键点检测，以便后续进行关键点匹配，从而将与文创产品对应的增强现实ar模型进行展示。
32.可选的，还可以对包含文创产品的待匹配图像进行图像分割，使分割后的图像中文创产品以外的部分的像素点的像素值为0，并将分割后的图像作为新的待匹配图像，其中图像分割可以通过dnn（deep neural networks，深度神经网络）实现。
33.可选的，利用sift算法从包含文创产品的待匹配图像中提取关键点前，还可以对待匹配图像进行中值滤波去噪。
34.图像去噪是指减少图像中造成的过程。现实中的图像会受到各种因素的影响而含有一定的噪声，噪声主要包括：椒盐噪声、加性噪声、乘性噪声以及高斯噪声。
35.图像去噪的算法有很多，有基于偏微分热传导方程的，也有基于滤波的，其中基于滤波的以其速度快、算法成熟，因此使用较为广泛，常用的滤波去噪算法包括：中值滤波、均值滤波以及高斯滤波。
36.其中，中值滤波是通过中值滤波器实现滤波去噪的，中值滤波器是一种常用的非线性平滑滤波器，其基本原理是把数字图像或数字序列中一点的值用该点的一个领域中各点值的中值代换，其主要功能是让周围像素灰度值的差比较大的像素改取与周围的像素值接近的值，从而可以消除孤立的噪声点，所以中值滤波对于滤除图像的椒盐噪声非常有效。
37.sift算子在进行关键点提取时，首先构建高斯差分尺度空间，然后在尺度空间(scale space)中进行关键点的检测，并生成各个关键点的描述子；在进行关键点定位的过程中，需要去除低对比度的关键点以及边缘响应点。
38.然而，在进行低对比度关键点判断时，所使用的是人为设置的固定阈值，这也就导致当文创卡片中的部分区域的关键点的对比度较低时，该部分区域的关键点可能被错误地剔除，使得无法对该区域的关键点进行检测；但是由于sift算子本身是一种局部特征描述子，无法描述文创产品的整体特征，因此本发明实施例中提高对关键点密度高的区域中关键点的对比度阈值，从而减少关键点冗余，并降低后续进行关键点匹配过程中的计算量；另一方面，对于关键点密度低的区域可以降低其中关键点的对比度阈值，从而加强对该部分区域的特征描述，提高文创产品识别的准确性。
39.对待匹配图像的区域划分，可以包括如下步骤：确定出待匹配图像的中心点，并以中心点为顶点，建立多条与待匹配图像的边缘相交的线段，对待匹配图像进行区域划分，且相邻线段之间的角度相等；例如，相邻线段之间的角度均为30
°
时，可以将待匹配图像划分为12个区域，实施者可以根据实际需求确定所划分的区域的数量。
40.作为另一种可行的实施方式，对待匹配图像的区域划分，也可以通过将待匹配图像划分为多个相同大小的矩形区域实现，同时，实施者可以根据待匹配图像的尺寸，具体确定所划分的矩形区域的尺寸，例如，将矩形区域的尺寸确定为15像素乘以15像素。
41.步骤s102、确定待匹配图像中关键点的平均密度，并根据平均密度、每一区域的面积以及每一区域中包含的关键点的数量，分别确定每一区域的初始调整程度值。
42.由于已经获得待匹配图像中所存在的关键点，可以获得待匹配图像中关键点的平
均密度，例如图像大小为时，且待匹配图像中关键点的总数为n，则表示待匹配图像中关键点的平均密度。
43.对于待匹配图像中划分后的每一区域，在区域中关键点的总体分布与整张待匹配图像中平均密度完全一致的情况下，区域的面积与待匹配图像中关键点的平均密度的乘积，应该与区域中包含的关键点的数量相等，每一区域对应的面积与平均密度的乘积，与区域中包含的关键点的数量之间的大小关系，可以用于表征区域中关键点的总体分布是否与整张待匹配图像一致；因此，可以获得平均密度与每一区域的面积的乘积，将每一区域中包含的关键点的数量与每一区域的乘积结果的差值，分别作为每一区域的初始调整程度值。
44.本发明实施例中，所获得的初始调整程度值为正的情况下，说明区域的关键点的密度大于整张待匹配图像，可以适当增大对其中关键点的对比度阈值；相反，所获得的初始调整程度值为负的情况下，说明区域的关键点的密度小于整张待匹配图像，可以适当减小对其中关键点的对比度阈值，此外，在所获得的初始调整程度值为0的情况下，可以不对其中关键点的对比度阈值进行调节。
45.步骤s103、对每一区域中关键点进行dbscan聚类获得多个聚类簇，并分别获得每一聚类簇的类内方差，以及每一聚类簇中包含的关键点的对比度方差。
46.为进一步获得分别对每一区域中关键点的对比度阈值，本发明实施例中将分别对每一区域中关键点进行dbscan聚类获得多个聚类簇，并分别获得每一聚类簇的分别获得每一聚类簇的类内方差，以及每一聚类簇中包含的关键点的对比度方差；本发明实施例中，将每聚类簇中各点到聚类簇的中心点的平均距离，作为每一聚类簇的类内方差。
47.需要说明的是，dbscan(density-based spatial clustering of applications with noise)是一个比较有代表性的基于密度的聚类算法；与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。
48.由于dbscan可以对任意形状的稠密数据集进行聚类，聚类簇的类内方差越小，表示该聚类簇中关键点的分布越集中，这些关键点对局部特征的描述较强，此时，可以根据关键点的对比度，进一步的确定对这些关键点的对比度阈值的调节量；当关键点的对比度较小可以降低其对应的对比度阈值；当聚类簇的类内方差越大，表示聚类簇中各关键点的分布越分散，这些分散的关键点越有利于对文创卡片图像的整体进行描述，因此需要避免将这些关键点进行剔除。
49.步骤s104、根据每一关键点所在聚类簇的类内方差以及对比度方差，以及待匹配图像中所有关键点的对比度中最大对比度以及最小对比度，在每一关键点所在区域的初始调整程度值的基础上，分别确定每一关键点的目标调整程度值。
50.本发明实施例将在每一关键点所在区域的初始调整程度值的基础上，进一步确定每一关键点的目标调整程度值，具体可以包括如下内容：其中，为第k个关键点的目标调整程度值，为k个关键点所在区域的初始调整程度值，为第k个关键点所在聚类簇的类内方差，为第k个关键点所在聚类簇的对比度方
差，为第k个关键点到其所在聚类簇的聚类中心点的距离。
51.需要说明的是，为方向因子，且在的情况下，的值为1；在的情况下，的值为-1，其中，为第k个关键点的对比度，为待匹配图像中所有关键点的对比度中最大对比度，为待匹配图像中所有关键点的对比度中最小对比度。
52.其中，关键点所在的聚类簇中关键点的对比度的方差越大，说明该聚类簇中对比度的情况越复杂，处在该聚类簇中的待匹配图像中第k个关键点越有利于对文创产品的整体特征进行表征，对应越小，使得对该关键点的对比度阈值的调整幅度越小；相反，当关键点所在的聚类簇中关键点的对比度的方差越大小，表示此时该关键点所在的聚类簇中对比度情况越单一，越不利于描述文创产品的整体特征，对应越大，可以扩大对其对比度阈值的调整幅度，此外，可以表示待匹配图像中关键点的平均对比度。
53.通过本发明实施例中方向因子的正负情况，可以判断关键点的特征属于强特征还是弱特征，当关键点的方向因子为负时，说明其对比度相较于待匹配图像中平均对比度更小，可以减小对其对比度阈值的调节量。
54.第k个关键点到其所在聚类簇的聚类中心点的距离越小，说明关键点在其所在簇中越接近所属聚类簇的中心点，越能代表该分布密集区域的特征，需要将此类关键点进行保留。
55.如此，本发明实施例中可以实现对于分布不同的关键点确定不同的调整程度值，从而使得对于关键点的对比度阈值更具针对性。
56.步骤s105、根据每一关键点的目标调整程度值，确定每一关键点的对比度阈值，以将待匹配图像中关键点的对比度大于其对应的对比度阈值的关键点保留。
57.根据每一关键点的目标调整程度值，确定每一关键点的对比度阈值，包括：获得每一关键点的目标调整程度值与1的求和结果，将每一关键点的求和结果与对关键点的初始对比度阈值的乘积，作为每一关键点的对比度阈值，所述初始对比度阈值为预先设定的，如此，分别确定每一关键点对应的对比度阈值，从而使得后续关键点匹配过程更为精确。
58.步骤s106、利用待匹配图像中所保留的关键点进行关键点匹配，确定与待匹配图像对应的文创产品，并将文创产品的增强现实ar模型进行展示。
59.首先，利用待匹配图像中所保留的关键点进行关键点匹配，确定与待匹配图像对应的文创产品，包括：对于每一个关键点，都拥有位置、尺度以及方向三个信息，可以为每个关键点建立一个描述符，用一组向量将这个关键点描述出来，使其不随各种变化而改变，比如光照变化、视角变化等等；这个描述子不但包括关键点，也包含关键点周围对其有贡献的像素点；将所保留的各个关键点的各描述子，与文创产品数据库中各个文创产品的各关键点进行匹配，当匹配成功的关键点的占比大于占比阈值时，可以确定与待匹配图像对应的文创产品。
60.在确定与待匹配图像对应的文创产品后，可以将文创产品的增强现实ar模型进行展示，所展示的增强现实ar模型可以是通过对现实场景进行跟踪渲染以及三维建模后获得
的，以便游客能够更好的浏览其增强现实ar模型。
61.基于与上述方法相同的发明构思，本实施例还提供了一种基于ar的文创产品展示设备，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于ar的文创产品展示程序，所述基于ar的文创产品展示程序配置为实现本发明实施例中基于ar的文创产品展示方法。
62.由于基于ar的文创产品展示方法实施例中已经对基于ar对文创产品进行展示的方法进行了说明，此处不再赘述。
63.综上所述，本发明提供了一种基于ar的文创产品展示方法及展示设备，根据包含文创产品的待匹配图像中各个区域中关键点的聚集特征，获得与关键点对应的对比度阈值，其中，聚集程度较高的关键点的对比度阈值越高，从而实现对于其中所存在的冗余关键点的剔除，并利用所保留的关键点进行关键点匹配，确定与待匹配图像对应的文创产品的增强现实ar模型并进行展示；能够在确保关键点匹配结果准确的同时，能够减少匹配过程中进行匹配的关键点数量，从而减小匹配过程的计算量，进而更快的确定所需展示的文创产品的增强现实ar模型。
64.本发明中涉及诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
65.还需要指出的是，在本发明的方法和系统中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
66.上述实施例仅仅是为清楚地说明所做的举例，并不构成对本发明的保护范围的限制。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举。凡是与本发明相同或相似的设计均属于本发明的保护范围之内。