一种基于自适应邻域匹配的文物碎片自动拼接方法与流程

本发明属于计算机图形图像处理技术领域，涉及一种基于自适应邻域匹配的文物碎片自动拼接方法。

背景技术：

文物是历史社会的发展和演变中，由人类智慧及劳动所创造的具有历史、艺术及科学价值的遗物和遗迹，代表了一个民族的文化底蕴和智慧结晶，还标志着不同历史时期经济、政治、科技及文化的发展水平和走向，为当代人了解历史、研究历史提供了可靠的依据及弥足珍贵的素材。因此，文物保护工作至关重要。从20世纪90年代起，伴随信息技术的爆炸式发展，尤其是数字摄影技术、光学扫描技术、虚拟现实、多媒体等技术的研究与兴起，文物修复和复原工作也进入了信息时代，利用数字化手段对文物进行虚拟复原，即计算机辅助文物碎片虚拟拼接技术得到了长足的发展。数字化技术的出现与进步，对文物复原、保护及展示等具有重要意义，相较于传统手工复原方法，数字化虚拟拼接技术能够不受时间和空间的限制，在提高文物复原效率的同时，避免人工复原对文物的二次破坏。

文物碎片拼接问题是文物虚拟复原领域的研究热点与关键问题，其核心在于根据文物碎片模型上显著特征的相似性判定碎片的邻接关系，并通过邻接碎片的拼合实现文物复原。目前，针对文物碎片虚拟拼接问题，诸多学者分别做了大量的研究。根据特征提取阶段所提取特征的不同，当前碎片拼接算法可以分为几何特征驱动的方法以及非几何特征驱动的方法；根据文物碎片的类型，可分为薄壁类文物复原方法和非薄壁类文物复原方法；然而，无论是薄壁类碎片还是非薄壁类碎片的拼合，其基本的拼接流程是一致的，具体到拼接方法，不同则在于其特征对象及相应的形状描述方法，并且，基于不同的特征及形状描述子，后续步骤中所采用的匹配技术亦不相同。根据复原流程是否需要人工指导参与，可以分为自动复原方法与交互式复原方法。

现有的大部分碎片自动拼接方法，都依赖于碎片断裂部位(断裂面或断裂轮廓线等)的几何信息，因此针对断裂部位较完整的碎片具有较好的效果；基于统计计算的方法则针对轴对称形状的物体效果较理想。当碎片数量较大且形状复杂多变时，交互式拼接算法也难以获得令人满意的效果。也就是说，现有碎片自动拼接算法，针对断裂部位存在缺损碎片，往往容易失效。

参考文献：

[1]vendrell-vidale.adiscreteapproachforpairwisematchingofarchaeologicalfragments[j].journaloncomputing&culturalheritage,2014,7(3):1-19

技术实现要素：

针对上述现有技术中存在的问题，本发明的目的在于，提供一种基于自适应邻域匹配的文物碎片自动拼接方法，解决了现有技术需依赖碎片断裂部位几何信息的完整性及准确性，针对断裂部位缺损文物碎片容易失效的问题。

为了实现上述目的，本发明采用如下技术方案：

一种基于自适应邻域匹配的文物碎片自动拼接方法，包括以下步骤：

步骤一，对每个碎片的轮廓线进行均匀采样，得到离散的包含有颜色信息的采样点；根据采样点的颜色信息将轮廓线划分成多个曲线段；

步骤二，在所有碎片中任选两个碎片，计算分别位于两个碎片的轮廓线上的任意两个曲线段的颜色累积差，根据颜色累积差将所有碎片分成多个初始匹配组；

步骤三，计算初始匹配组中所有碎片的轮廓线上的每个采样点的方向角特征向量，根据采样点的方向角特征向量将每个初始匹配组转化为二次匹配组；

步骤四，对每个二次匹配组内的能够二次匹配的碎片进行表面几何纹理特征线桥接判定，选取能够进行桥接的碎片形成三次匹配组；

步骤五，对每个三次匹配组内的能够三次匹配的碎片进行颜色纹理拼接判定，选取能够进行颜色纹理拼接的碎片形成四次匹配组；

步骤六，针对每个四次匹配组，若所述四次匹配组内仅存在一对一的四次匹配碎片，则这两个碎片能够拼接；若所述四次匹配组内存在一对多的多组四次匹配碎片，则计算每组四次匹配的两个碎片的多特征融合相似度，将计算得到的多个多特征融合相似度的值按照从小到大的顺序进行排序，多特征融合相似度的最小值对应的两个碎片即为能够拼接的碎片。

具体地，所述步骤二中的根据颜色累积差将所有碎片分成多个初始匹配组，采用的方法如下：

用efg表示碎片fi上的第f个曲线段和碎片fj上的第g个曲线段的颜色累积差，若存在efg小于给定阈值，则认为碎片fi和碎片fj初始匹配，否则，碎片fi和碎片fj不能初始匹配；碎片fi以及与碎片fi初始匹配的所有碎片fj形成一个初始匹配组。

具体地，所述步骤三中的根据采样点的方向角特征向量将每个初始匹配组转化为二次匹配组，包括以下步骤：

记初始匹配组中能够初始匹配的碎片为fi和fj，计算碎片fi的轮廓线上的第t个采样点和碎片fj的轮廓线上的第k个采样点之间的方向角特征向量相似度sit,jk；

若sit,jk≤δ，且si(t+a),j(k+a)≤δ，其中，a为整数，δ为设定的阈值，则碎片fi和碎片fj二次匹配；

选取碎片fi和与其二次匹配的所有碎片fj形成二次匹配组。

具体地，所述步骤四中的对每个二次匹配组内的能够二次匹配的碎片进行表面几何纹理特征线桥接判定，选取能够进行桥接的碎片形成三次匹配组，包括以下步骤：

计算二次匹配组内所有碎片的表面几何纹理特征线的方向向量；

根据表面几何纹理特征线的方向向量，选取能够初步桥接的碎片，初步桥接后的碎片中包含多条初步桥接后的表面几何纹理特征线；

计算初步桥接后的表面几何纹理特征线上的桥接点的方向角特征向量和所述桥接点的多个相邻点的方向角特征向量；

计算所述桥接点分别与多个相邻点之间的方向角特征向量相似度，若求得的方向角特征向量相似度均小于或者等于设定值，则所述能够初步桥接的碎片能够进行桥接。

具体地，所述步骤五中的对每个三次匹配组内的能够三次匹配的碎片进行颜色纹理拼接判定，选取能够进行颜色纹理拼接的碎片形成四次匹配组，包括以下步骤：

记三次匹配组内能够三次匹配的两个碎片fi和碎片fj，计算碎片fi和碎片fj的轮廓线上的非桥接点的delaunay邻域；

确定delaunay邻域中多组相邻的三角面片；

针对每一组相邻的三角面片建立切向

根据切向计算碎片fi和碎片fj中相邻的三角面片的颜色纹理相似度；

若针对每一组相邻的三角面片，颜色纹理相似度均小于或者等于设定值，则碎片fi和碎片fj能够进行拼接。

与现有技术相比，本发明具有以下技术效果：

通过自适应邻域匹配的文物碎片自动拼接方法，能够有效融合文物碎片点云模型中的多种特征，进而为断裂部位缺损碎片邻接关系的判定提供更多约束，利用自适应邻域的匹配确定碎片的邻接关系，以此完成碎片的拼接与重组。文物修复及研究人员采用本发明，能够实现断裂部位存在缺损文物碎片的自动拼接问题，有效提高文物修复效率，缩短文物复原周期。

附图说明

图1是本发明的方法流程图；

图2是碎片二次匹配的示意图；其中(a)表示曲线段上采样点示意图，(b)表示采样点的匹配示意图；

图3是方向角示意图；其中(a)表示连接点与连接边的示意图，(b)表示局部坐标系内方向角示意图；

图4是表面几何纹理特征线匹配约束条件示意图；其中，(a)表示表面几何纹理特征线l1局部坐标系，(b)表示表面几何纹理特征线l2局部坐标系，(c)表示表面几何纹理特征线l1与表面几何纹理特征线l2的桥接示意图；

图5是表面颜色纹理匹配约束示意图；

图6是delaunay邻域中相邻三角面片切向场示意图；

图7是一号坑g10-13号俑碎片拼合结果示意图；其中，(a)表示碎片#1，(b)表示碎片#1特征线图，(c)表示碎片#2，(d)表示碎片#2特征线图，(e)表示碎片#3，(f)表示碎片#3特征线图，(g)表示虚拟拼接结果图，(h)表示碎片拼接结果图；

图8是1号胡人俑拼接结果图；其中，(a)表示碎片#1，(b)表示碎片#2，(c)表示碎片#3，(d)表示碎片#4，(e)表示碎片#5，(f)表示碎片拼接结果图；

图9是采用本发明的方法与基于断裂面匹配的方法对碎片进行拼接的结果对比图；其中，(a)表示碎片#1，(b)表示碎片#2，(c)表示碎片#3，(d)表示利用本发明的方法对碎片进行拼接后的正面图，(e)表示利用本发明的方法对碎片进行拼接后的点云模型背面图，(f)表示利用文献[1]的方法对碎片进行拼接后的正面图，(g)表示利用文献[1]的方法对碎片进行拼接后的点云模型背面图。

下面结合附图和具体实施方式对本发明的方案作进一步详细地解释和说明。

具体实施方式

本发明的基于自适应邻域匹配的文物碎片自动拼接方法，采用由粗到精(coarse-to-fine)的匹配框架，如图1所示，逐步判定碎片的邻接关系。碎片所包含的信息有轮廓线、表面几何纹理和表面颜色纹理，表面几何纹理利用表面几何纹理特征线表示，本发明有效融合上述信息实现碎片的自动拼接，参见图1，具体包括以下步骤：

步骤一：对所有碎片的轮廓线进行均匀采样，得到离散的采样点，采样点包含颜色信息；根据采样点的颜色信息将轮廓线分成多个曲线段，同一个轮廓线上相邻的曲线段中的采样点的颜色信息不同。

步骤二：在所有碎片中任意选取两个碎片，计算分别位于两个碎片的轮廓线上的任意两个曲线段的颜色累积差e，根据计算得到的颜色累积差e将所有碎片分成多个初始匹配组；每个初始匹配组中，一个碎片与多个碎片初始匹配。

其中，计算分别位于两个碎片的轮廓线上的任意两个曲线段的颜色累积差e，采用的公式如下：

其中，ptfi表示所选取的第i个碎片fi上的第f个曲线段上的第t个采样点，qkgj表示所选取的第j个碎片fj上的第g个曲线段上的第k个采样点，efg表示第i个碎片fi上的第f个曲线段和第j个碎片fj上的第g个曲线段的颜色累积差。r，g，b分别对应曲线段的红、绿、蓝三个颜色通道。

若存在efg小于给定阈值，则认为第i个碎片fi和第j个碎片fj初始匹配，否则，第i个碎片fi和第j个碎片fj不能初始匹配。由于此处仅计算了颜色的累积差，因此碎片间可能存在一对多的关系，即第i个碎片fi与多个碎片均初始匹配，即fi⊙{fj|j＝1,2,3,…,n1}，其中，碎片fi与n1个碎片fj均初始匹配；经过初始匹配，将所有碎片分成多个初始匹配组，每个初始匹配组中，一个碎片与一个或者多个碎片初始匹配。

步骤三：计算初始匹配组中的所有碎片的轮廓线上的每个采样点的方向角特征向量；计算分别位于初始匹配组中初始匹配的两个碎片fi与碎片fj上的两个采样点之间的方向角特征向量相似度；根据求得的方向角特征向量相似度，选取与碎片fi二次匹配的碎片，形成二次匹配组。具体实现步骤如下：

步骤3.1：计算每个初始匹配组中所有碎片的轮廓线上的每个采样点pi的方向角特征向量计算方法如下：

li＝||pi-pi-1||(2)

其中||·||为向量的模运算，pi-1为轮廓线上与采样点pi相邻的后一个采样点，如图3中的(a)所示。

鉴于曲线上一点的方向是相对上一条子曲线而言，因此，采样点pi处定义单位向量

记该三个向量相互垂直，如图3所示，并令：ii＝{pi,xi,yi,zi}

图3的(b)中，角θi与为采样点pi的方向角，其中，角θi为pipi+1在坐标平面x-o-y上的投影与x轴的夹角，pi+1为轮廓线上与采样点pi相邻的前一个采样点；角为pipi+1与平面x-o-y的夹角，角θi与为两个不变量，分别可用来表示曲线在采样点pi处的弯曲和扭曲程度，即方向角。设采样点pi+1在局部坐标系中的坐标为(xi+1,yi+1,zi+1)，则：

将角θi与作为采样点pi处的方向角特征向量angp：

步骤3.2：计算碎片fi的轮廓线上的采样点和与其初始匹配的碎片fj的轮廓线上的采样点之间的方向角特征向量相似度，采用的公式如下：

其中，pti表示碎片fi的轮廓线上的第t个采样点，qkj表示碎片fj的轮廓线上的第k个采样点。sit,jk表示碎片fi的轮廓线上的第t个采样点与碎片fj的轮廓线上的第k个采样点之间的方向角特征向量相似度。

若sit,jk≤δ，且si(t+a),j(k+a)≤δ，δ＝0.2～0.4angave，其中，angave为碎片fi及碎片fj轮廓线上所有采样点方向角特征向量的平均值，如图2所示，其中，a为整数，a＝1,...,n，则碎片fi和碎片fj二次匹配，选取碎片fi和与其二次匹配的所有碎片fj形成二次匹配组。fi⊙{fj|j＝1,2,3,…,n2}，其中n2≤n1。

步骤四：对每个二次匹配组内的能够二次匹配的碎片进行表面几何纹理特征线桥接判定，选取能够进行桥接的碎片形成三次匹配组。具体实现步骤如下：

步骤4.1：针对二次匹配组内的碎片的轮廓线上的所有桥接点p均建立frenet标架作为局部坐标系，其中，桥接点p指的是轮廓线与表面几何纹理特征线的交点，参见图4。建立方法如下：

步骤4.1.1：选取桥接点p为坐标原点，计算得到桥接点p处的frenet标架为计算方法如下：

由ann搜索方法(近似最近邻搜索方法)得到轮廓线上距离桥接点p最近的采样点pi构成局部邻域np；

利用局部邻域np到密切平面的距离平方加权和，建立移动最小二乘模型：

此处采用高斯滤波：

其中h为局部参数，取h＝||pi-p||。

利用lagrange乘子法解(8)，进一步可得最小特征值问题：

其中：

对t进行奇异值分解(singularvaluedecomposition,svd)，得到特征值λ0,λ1和λ2，且λ0≤λ1≤λ2。

利用公式(12)即可求得相应frenet标架

针对近似直线的空间曲线，法向和副法向的数值可能是不稳定的，此时，需要根据计算得到的切向此处的t3≠-1，和可以采用(13)进行表示：

步骤4.1.2：根据桥接点p处的frenet标架为确定局部坐标系的正方向。具体确定方法如下：

桥接点p将轮廓线划分为长短不同的两段，(x轴)正方向指向轮廓线较长的一段；(y轴)正方向为点p处曲率为正的方向；最后利用右手定则确定(z轴)正方向。

步骤4.2：在局部坐标系(frenet标架)内计算碎片的表面几何纹理特征线的方向向量。

取桥接点p的局部k近邻对构成的协方差矩阵t进行svd分解，得到最大特征值对应的特征向量，即为桥接点p处的方向向量即为该桥接点所在的表面几何纹理特征线的方向向量。需要注意的是，此时需要将方向向量转化到以桥接点p为坐标原点的局部坐标系内。

步骤4.3：针对二次匹配组内能够进行二次匹配的两个碎片fi和fj进行桥接判定，判定方法如下：

计算碎片fi和fj初步桥接后的表面几何纹理特征线采用的公式如下：

其中,为碎片fi上的桥接点m处的表面几何纹理特征线的方向向量，为碎片fj上的桥接点n处的表面几何纹理特征线的方向向量。

若存在且其中ε＝0.2～0.4，可根据实际需求进行调整，则两个碎片fi和fj能够进行初步桥接，即两段表面几何纹理特征线连接能构成一段较平滑的特征线，其在连接处的方向向量接近共线且反向，则二者能够初步桥接，此时桥接点m与桥接点n为同一个点，否则不能初步桥接。

两个碎片初步桥接后形成多条初步桥接后的表面几何纹理特征线，计算第k条初步桥接后的几何纹理特征线上的桥接点pk、相邻点pik∈lik及qjk∈ljk的方向角特征向量及其中，lik和ljk分别为两个碎片fi和fj上的第k条表面几何纹理特征线。

计算桥接点pk与相邻点pik之间的方向角特征向量相似度和桥接点p与相邻点qjk之间的方向角特征向量相似度采用的公式如下：

若满足公式且γ＝0.2angave～0.4angave，angave为表面几何纹理特征线lik和ljk上任意n个采样点的方向角特征向量的平均值，则认为碎片fi和fj能够由桥接点pk进行桥接，那么碎片fi和fj能够三次匹配，不会生成新的“尖锐点”，反之则不能进行桥接。为了提高约束性，可以多尺度地进行判定，即选取多个邻点参与判定，从而确定是否可以由点pk进行桥接。

能够三次匹配的所有碎片形成三次匹配组fi⊙{fj|j＝1,2,3,…,n3}，其中n3≤n2。

步骤五：对每个三次匹配组内的能够三次匹配的碎片进行颜色纹理拼接判定，选取能够进行颜色纹理拼接的碎片形成四次匹配组。

步骤5.1：计算三次匹配组内碎片fi和碎片fj的轮廓线上的非桥接点的delaunay邻域，delaunay邻域由三角面片构成。

步骤5.2：确定delaunay邻域中多组相邻的三角面片，如图5中所示轮廓线两侧的多组相邻的三角面片，即相邻三角面片的公共采样点均在轮廓线上。以轮廓线为分界，满足以下公式的三角面片为相邻的三角面片：

(δti∩δtj)＝{pi,pj}∈l(16)

其中，l为轮廓线，δti为碎片fi中的三角面片，δtj为碎片fj中的三角面片。

步骤5.3：针对每一组相邻的三角面片建立切向用来控制纹理的走向，如图5所示。切向垂直于相邻的三角面片的公共边，如图6所示。

步骤5.4：根据切向(如图6所示)，选择相邻的三角面片的非公共点中距离切向所在直线欧式距离最小的两个顶点，利用这两个顶点的颜色计算碎片fi和碎片fj中相邻的三角面片的颜色纹理相似度

其中，pik及qjk分别为针对第k组相邻的三角面片选取的两个顶点。

若针对所有的k值，颜色纹理相似度均满足μ＝0.2c，其中c为参与计算的两个顶点颜色值的平均值，则碎片fi和碎片fj的纹理符合拼接匹配条件，能够四次匹配，能够四次匹配的所有碎片形成四次匹配组fi⊙{fj|j＝1,2,3,…,n4}，其中n4≤n3。

步骤六：针对每一个四次匹配组fi⊙{fj|j＝1,2,3,…,n4}，若n4＝1，即fi⊙fj，则碎片fi与碎片fj匹配。

若n4＞1，则利用(18)计算fi⊙{fj|j＝1,2,3,…,n4}中碎片的多特征融合相似度：

其中，scontour(i,j)为碎片fi与碎片fj的轮廓曲线匹配误差，sfeatureline(i,j)为碎片fi与碎片fj特征线邻接误差，其中为碎片fi与碎片fj桥接后的第k条表面几何纹理特征线，m为可桥接的表面几何纹理特征线的条数，为碎片fi与碎片fj桥接后的第k条表面几何纹理特征线上的桥接点与其第t个相邻点之间的方向角特征向量相似度，n为采用的相邻点的个数；stexture(i,j)为碎片fi与碎片fj的颜色纹理邻接误差，其中，k为碎片fi和碎片fj中第k组相邻的三角面片的颜色纹理相似度，n为碎片fi与碎片fj中相邻的三角面片的对数；α，β及ω为加权参数。

将计算得到的mfs(i,j)值按照从小到大的顺序进行排序，选取mfs(i,j)最小的碎片fj作为与碎片fi匹配的碎片。

实验分析

如图7所示为利用本发明的方法进行碎片拼接的结果，碎片为g10-18号兵马俑中肩部部分碎片，该碎片中包含了较显著的表面几何纹理，但由于碎片上的表面颜色纹理较单一，因此，在实际的拼合过程中并没有提供能够确定碎片邻接关系的有效颜色信息。由于兵马俑为陶类质地，因此碎片的断裂部位均存在一定的缺损，断裂轮廓线信息不完整，借助于表面几何纹理及表面颜色纹理，能够提供更多的线索，该结果验证了本发明的方法针对断裂部位具有缺损的非薄壁类碎片具有较好的效果。

如图8所示为利用本发明的方法拼接胡人俑碎片的结果，胡人俑碎片为薄壁类碎片。胡人俑碎片表面包含多种表面几何纹理及表面颜色纹理，首先根据胡人俑表面颜色信息，能够有效完成碎片的初始位置判断，缩小了后续匹配对的搜索空间，提高了搜索匹配效率；且其表面几何纹理多样，能够为匹配对的判定提供更多依据。该结果说明本发明的方法针对断裂部位具有缺损的薄壁类碎片具有较好的效果。

如图9所示为本发明与参考文献[1]中基于断裂面方法的碎片拼接结果，文物碎片为k9901坑出土的泡钉俑部分碎片模型，其中，碎片#2与碎片#3上均包含表面几何纹理，且该纹理信息具有与碎片表面明显不同的颜色，如图中方框标注所示。碎片#2与碎片#3拼接后，再与碎片#1进行拼合，得到完整拼合结果。从结果可以看出，利用本发明的方法拼合后碎片间没有出现渗透情形，而采用基于断裂面匹配的方法进行拼合时，邻接碎片发生了较严重的渗透，且碎片间未准确对齐。