基于人工智能的博物馆文物智能展示方法及系统与流程

本发明属于文物智能展示，具体是指基于人工智能的博物馆文物智能展示方法及系统。

背景技术：

1、我国拥有丰富多彩的文物，但由于博物馆的分布不均衡，导致人们享受的文物资源有限，在信息时代，仅仅依靠传统的博物馆已经无法满足人们对文化传播、史料保存、文物共享和学术研究等方面的需求，因此，发展智慧博物馆势在必行，智慧博物馆通过与虚拟现实技术相结合，以实现对文物进行智能展示的功能，能够根据观众的不同爱好展示特定的展品，通过这种展示方式，教育功能得到最大程度的发挥，同时增强观众的自主学习精神。

2、现有的智能展示方式主要包括文物图像采集、文物图像预处理、相机标定、立体校正、立体匹配、三维重建和智能展示，以实现对文物的智能展示功能，但现有的智能展示方式依然存在诸多缺陷：1、采集的文物图像普遍存在光照曝光不均匀、背景噪声等干扰因素，而现有的图像预处理方式常采用直方图均衡化或双边滤波对文物图像进行预处理，采用直方图均衡化时，能够增强图像的暗细节，但整体亮度增加过多，采用双边滤波时，由于对图像中大量像素点进行了平滑处理，不利于后续对同名点进行匹配；2、现有的立体匹配方式难以对图像的弱纹理区域进行准确匹配；3、由于背景和光照的变化带来的不利影响，易导致现有的立体匹配方式的准确性进一步降低；4、随着图像数量的不断增加，现有的智能展示方式需要不断地估计相机的位姿，并迭代优化调整参数，从而导致时间复杂度高和计算效率低的技术问题。

技术实现思路

1、针对上述情况，为克服现有技术的缺陷，本发明提供了基于人工智能的博物馆文物智能展示方法及系统，针对现有的立体匹配方式难以对图像的弱纹理区域进行准确匹配的问题，本方案通过进行代价聚合，以得到立体匹配结果，具体为，通过设置梯度阈值，并根据梯度阈值判断像素点所处区域的类型，使校正图像被划分为弱纹理区域和边缘区域，通过设置延长约束，所述延长约束包括左臂延长约束、右臂延长约束、上臂延长约束和下臂延长约束，设置弱纹理区域的臂长约束条件和边缘区域的臂长约束条件，并对满足延长约束、弱纹理区域的臂长约束条件和边缘区域的臂长约束条件的像素点进行臂长延长，通过上述操作，有效地提高了弱纹理区域的匹配精度，有利于后续对文物进行的精确地三维重建操作，同时，通过设置边缘区域的臂长约束条件，能够减小边缘区域的最大距离阈值和距离阈值以及边缘区域的最大颜色阈值，从而避免因边缘区域的臂长过长导致的匹配错误率增加的状况；针对背景和光照的变化易导致的现有的立体匹配方式的准确性进一步降低的技术问题，以及时间复杂度高和计算效率低的技术问题，本方案通过预处理阶段的直方图均衡化增强文物图像的对比度，并采用特征提取操作增强文物图像的边界，在预处理操作后，本方案通过相机标定和立体匹配消除畸变，通过上述操作，能够有效地解决因背景和光照的变化导致立体匹配方式的准确性进一步降低的技术问题，之后，本方案通过进行代价聚合，以得到立体匹配结果，具体为，区域划分、延长约束和臂长延长，通过上述操作，有效地减少了时间复杂度，且提高了计算效率，解决了时间复杂度高和计算效率低的技术问题。

2、本发明采取的技术方案如下：本发明提供的基于人工智能的博物馆文物智能展示方法，包括：

3、步骤s1：图像采集，具体为，通过左摄像头和右摄像头分别采集文物的图像，得到文物原始图像，所述文物原始图像包括左摄像头采集的文物原始图像和右摄像头采集的文物原始图像；

4、步骤s2：图像预处理，具体为，对文物原始图像进行直方图均衡化、边缘提取和边缘填充操作，得到预处理图像，所述预处理图像包括预处理后的左摄像头采集的文物图像和预处理后的右摄像头采集的文物图像；

5、步骤s3：相机标定，具体为，进行目标点坐标转换，并建立外部参数矩阵和内部参数矩阵；

6、步骤s4：立体校正，具体为，根据外部参数矩阵和内部参数矩阵对预处理图像进行处理，得到校正图像，所述校正图像包括校正后的左摄像头采集的文物图像和校正后的右摄像头采集的文物图像；

7、步骤s5：立体匹配，具体为，对校正图像进行代价聚合，得到立体匹配结果；

8、步骤s6：三维点云重建，具体为，根据立体匹配结果进行三维点云重建，得到文物的三维图像；

9、步骤s7：三维展示，具体为，对文物的三维图像进行智能展示。

10、作为本方案的进一步改进，在步骤s2中，所述图像预处理的步骤，包括：

11、步骤s21：对文物原始图像进行直方图均衡化，得到直方图均衡化后的图像；

12、步骤s22：对直方图均衡化后的图像进行边缘提取操作，得到边缘图像；

13、在步骤s22中，所述对直方图均衡化后的图像进行边缘提取操作的步骤，包括：

14、步骤s221：使用高斯核对直方图均衡化后的图像进行平滑处理，得到平滑后的图像；

15、步骤s222：计算平滑后的图像在水平和垂直方向上的梯度，以及梯度的幅值和方向，得到梯度幅值图；

16、步骤s223：通过非极大值抑制对梯度幅值图进行处理，具体为，对梯度幅值图进行扫描，保留局部梯度最大的像素点，将其他像素点的像素值设置为0，得到非极大值抑制后的梯度幅值图；

17、步骤s224：预先设置高阈值和低阈值，且高阈值大于低阈值，将非极大值抑制后的梯度幅值图中的像素值大于高阈值的像素点设置为强边缘像素点，将像素值小于或等于高阈值的像素点和像素值大于或等于低阈值的像素点设置为弱边缘像素点，将像素值小于低阈值的像素点设置为非边缘像素点；

18、步骤s225：以强边缘像素点作为起始点，并跟踪与强边缘像素点相连的弱边缘像素点，以形成完整的边缘轮廓，从而生成边缘图像；

19、步骤s23：边缘填充，具体为，通过膨胀核对边缘图像进行膨胀操作，得到预处理图像。

20、作为本方案的进一步改进，在步骤s3中，所述相机标定的步骤，包括：

21、步骤s31：目标点坐标转换，具体为，计算目标点从相机坐标系对应二维摄像机平面到世界坐标系对应的三维空间的转换关系，所述转换关系为三维空间的目标点在二维摄像机平面上的投影点为，其中，x，y和z表示目标点p的三维空间坐标，u和v表示投影点p在二维摄像机平面的二维空间坐标；

22、步骤s32：建立外部参数矩阵，具体为，通过旋转矩阵r和平移向量n建立外部参数矩阵，其中，旋转矩阵r表示相机坐标系相对于世界坐标系的旋转，平移向量n表示相机坐标系相对于世界坐标系的平移；

23、步骤s33：建立内部参数矩阵，所述内部参数矩阵包含透视投影矩阵和归一化矩阵。

24、作为本方案的进一步改进，在步骤s33中，所述建立内部参数矩阵的步骤，包括：

25、步骤s331：计算透视投影矩阵，具体为，通过针孔成像模型和三角相似原理得到透视投影矩阵，并通过透视投影矩阵将三维空间的目标点映射到二维摄像机平面的坐标；

26、步骤s332：计算归一化矩阵，具体为，将二维摄像机平面的坐标归一化到像素坐标，得到归一化矩阵。

27、作为本方案的进一步改进，在步骤s4中，所述立体校正的步骤，包括：

28、步骤s41：通过畸变参数消除预处理图像的镜头畸变，并补偿预处理图像的边界周围的鱼眼效应；

29、步骤s42：通过极线约束将非共面排列的预处理后的左摄像头采集的文物图像和预处理后的右摄像头采集的文物图像校正为共面排列，并将对应匹配点的搜索空间由二维降为一维直线。

30、作为本方案的进一步改进，在步骤s5中，所述立体匹配的步骤，包括：

31、步骤s51：区域划分，具体为，设置梯度阈值，并根据梯度阈值判断像素点所处区域的类型，使校正图像被划分为弱纹理区域和边缘区域；

32、步骤s52：延长约束，具体为，设置延长约束，所述延长约束包括左臂延长约束、右臂延长约束、上臂延长约束和下臂延长约束；

33、步骤s53：臂长延长，具体为，设置弱纹理区域的臂长约束条件和边缘区域的臂长约束条件，并对满足延长约束、弱纹理区域的臂长约束条件和边缘区域的臂长约束条件的像素点进行臂长延长。

34、作为本方案的进一步改进，在步骤s53中，所述臂长延长的步骤，包括：

35、步骤s531：设置弱纹理区域的臂长约束条件，并对满足弱纹理区域的臂长约束条件和延长约束的像素点进行臂长延长，所述弱纹理区域的臂长约束条件的公式为：

36、；

37、式中，u表示弱纹理区域的像素点，且u为中心像素点，表示中心像素点u的代价，表示划分弱纹理区域和边缘区域的梯度阈值，表示中心像素点和手臂上的像素点之间梯度差的阈值，和表示弱纹理区域的两个不同的距离阈值，其中，为弱纹理区域的最大距离阈值，和表示弱纹理区域的两个不同的颜色阈值，其中，为弱纹理区域的最大颜色阈值，表示弱纹理区域的像素点，且为手臂上的像素点，、和分别表示弱纹理区域的像素点和像素点u之间的梯度差、颜色差和空间距离，表示弱纹理区域的像素点和像素点u在水平方向上右移一个像素单位的像素点之间的颜色差；

38、步骤s532：设置边缘区域的臂长约束条件，并对满足边缘区域的臂长约束条件和延长约束的像素点进行臂长延长，所述边缘区域的臂长约束条件的公式为：

39、；

40、式中，v表示边缘区域的像素点，表示边缘区域的像素点v的代价，表示划分弱纹理区域和边缘区域的梯度阈值，表示弱纹理区域的距离阈值，且为弱纹理区域的最大距离阈值，表示边缘区域的最大距离阈值，表示弱纹理区域的颜色阈值，且为弱纹理区域的最大颜色阈值，表示边缘区域的最大颜色阈值，表示弱纹理区域的距离阈值，表示边缘区域的距离阈值。

41、作为本方案的进一步改进，在步骤s6中，所述三维点云重建的步骤，包括：

42、步骤s61：预先设置待配准的源点云和目标点云，根据待配准的源点云和目标点云建构二叉树结构，并通过快速最近邻搜索寻找点云对；

43、步骤s62：预先设置角度关系阈值，角度关系阈值计算每一对点云对的两个法向量和之间的角度关系值，将每一对点云对的两个法向量和之间的角度关系值与角度关系阈值进行比较，并去除角度关系值小于角度关系阈值的点云对；

44、步骤s63：计算点云对的权重，所述点云对的权重的计算公式为：

45、；

46、；

47、；

48、式中，表示点云对的权重，表示点云对之间的距离，表示待配准的源点云，表示目标点云，表示点云对之间的平均距离，z表示点云对的数量，表示所选点是否属于基准的函数，当目标点云属于待配准的源点云时，的值为1，否则，的值为1/2；

49、步骤s64：根据点云对的权重计算空间变换参数和，所述空间变换参数和的计算公式为：

50、；

51、式中，和表示空间变换参数，表示最小二乘问题的目标函数，用于求解空间变换参数和，z表示点云对的数量，表示待配准的源点云，表示目标点云，表示所选点是否属于基准的函数，当目标点云属于待配准的源点云时，的值为1，否则，的值为1/2，min表示最小化操作；

52、步骤s65：将空间变换参数和应用于源点云，得到新的点云集合v；

53、步骤s66：预先设置配准阈值，计算目标点云与新的点云集合v之间的欧氏距离，若目标点云与新的点云集合v之间的欧氏距离小于配准阈值，则转至步骤s7，否则，重复步骤s61~s65，直至目标点云与新的点云集合v之间的欧氏距离小于配准阈值。

54、本发明提供的基于人工智能的博物馆文物智能展示系统，包括图像采集模块、图像预处理模块、相机标定模块、立体校正模块、立体匹配模块、三维点云重建模块和三维展示模块；

55、所述图像采集模块，用于图像采集，具体为，通过左摄像头和右摄像头分别采集文物的图像，得到文物原始图像，并将文物原始图像发送至图像预处理模块，所述文物原始图像包括左摄像头采集的文物原始图像和右摄像头采集的文物原始图像；

56、所述图像预处理模块，用于图像预处理，具体为，对文物原始图像进行直方图均衡化、边缘提取和边缘填充操作，得到预处理图像，并将预处理图像发送至立体校正模块，所述预处理图像包括预处理后的左摄像头采集的文物图像和预处理后的右摄像头采集的文物图像；

57、所述相机标定模块，用于相机标定，具体为，进行目标点坐标转换，建立外部参数矩阵和内部参数矩阵，并将外部参数矩阵和内部参数矩阵发送至立体校正模块；

58、所述立体校正模块，用于立体校正，具体为，根据外部参数矩阵和内部参数矩阵对预处理图像进行处理，得到校正图像，并将校正图像发送至立体匹配模块，所述校正图像包括校正后的左摄像头采集的文物图像和校正后的右摄像头采集的文物图像；

59、所述立体匹配模块，用于立体匹配，具体为，对校正图像进行代价聚合，得到立体匹配结果，并将立体匹配结果发送至三维点云重建模块；

60、所述三维点云重建模块，用于三维点云重建，具体为，根据立体匹配结果进行三维点云重建，得到文物的三维图像，并将文物的三维图像发送至三维展示模块；

61、所述三维展示模块，用于三维展示，具体为，对文物的三维图像进行智能展示。

62、采用上述方案本发明取得的有益效果如下：

63、（1）针对现有的立体匹配方式难以对图像的弱纹理区域进行准确匹配的问题，本方案通过进行代价聚合，以得到立体匹配结果，具体为，通过设置梯度阈值，并根据梯度阈值判断像素点所处区域的类型，使校正图像被划分为弱纹理区域和边缘区域，通过设置延长约束，所述延长约束包括左臂延长约束、右臂延长约束、上臂延长约束和下臂延长约束，设置弱纹理区域的臂长约束条件和边缘区域的臂长约束条件，并对满足延长约束、弱纹理区域的臂长约束条件和边缘区域的臂长约束条件的像素点进行臂长延长，通过上述操作，有效地提高了弱纹理区域的匹配精度，有利于后续对文物进行的精确地三维重建操作，同时，通过设置边缘区域的臂长约束条件，能够减小边缘区域的最大距离阈值和距离阈值以及边缘区域的最大颜色阈值，从而避免因边缘区域的臂长过长导致的匹配错误率增加的状况。

64、（2）针对背景和光照的变化易导致的现有的立体匹配方式的准确性进一步降低的技术问题，以及时间复杂度高和计算效率低的技术问题，本方案通过预处理阶段的直方图均衡化增强文物图像的对比度，并采用特征提取操作增强文物图像的边界，在预处理操作后，本方案通过相机标定和立体匹配消除畸变，通过上述操作，能够有效地解决因背景和光照的变化导致立体匹配方式的准确性进一步降低的技术问题，之后，本方案通过进行代价聚合，以得到立体匹配结果，具体为，区域划分、延长约束和臂长延长，通过上述操作，有效地减少了时间复杂度，且提高了计算效率，解决了时间复杂度高和计算效率低的技术问题。

65、（3）针对现有的预处理方式易导致但整体亮度增加过多以及不利于后续对同名点进行匹配的技术问题，本方案依次采用方图均衡化、边缘提取和边缘填充操作对文物图像进行预处理操作，从而解决了现有的预处理方式易导致但整体亮度增加过多以及不利于后续对同名点进行匹配的技术问题，以及光照曝光不均匀、背景噪声等干扰因素带来的不利影响，由于本方案在采用方图均衡化对文物图像进行预处理后，依次对预处理后的文物图像进行边缘提取操作和采用膨胀核对边缘提取后的文物图像进行膨胀操作，以填充边缘区域的空洞，进而便于后续在边界处进行精确地立体匹配。