一种织物多角度图像融合系统及其方法与流程

本发明涉及织物图像信息采集领域，特别涉及一种织物多角度图像融合系统及其方法。

背景技术：

图像融合这一概念最早是在20世纪80年代中期被提出，是图像处理中的重要组成部分，能够利用特定的算法集合同一场景的多张图像信息，输出一幅对同一场景更为精确全面的融合图像，更适合人类视觉感知并便于利用计算机对图像做进一步处理与分析。随着数字图像处理与分析技术的发展，图像融合技术被广泛应用于各个领域，研究者们针对不同的应用领域，提出并改进了多种图像融合方法，推动了图像融合技术的研究。

在织物图像纹理研究方面，目前研究人员广泛采用的织物图像获取方法，是采用单面扫描或单个视角的方式采集织物单面图像。由于传统的采用单面扫描或单个视角采集织物图像，织物中经纬纱线的交织结构导致单根纱线上的部分信息被遮盖，仅通过采集织物的单面图像不能够将织物中纱线的信息完全记录下，造成图像信息的缺失。

技术实现要素：

本发明的第一目的是提供一种织物多角度图像融合系统，能够解决单视角信息局限性的问题，最大限度的将有效信息保留在融合图像中，且算法简便、实用性强、图像处理效果好。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种织物多角度图像融合系统，其特征是：包括有用于获取图像的图像获取装置、固定安装于所述图像获取装置的两侧以对试样织物进行照明的照明装置、固定安装于图像获取装置的一侧以用于固定夹持试样织物的试样支撑机构、控制所述试样支撑机构周向旋转以配合图像获取装置获取织物多角度采集图像的运动控制器，还包括有对获取的图像进行存储、处理的处理装置。

采用上述方案，试样支撑机构配合于运动控制器，使得夹持的试样织物能够水平周向进行角度的调整，再配合于图像获取装置，方便的实现试样织物多角度图像的获取，通过同一图像获取装置的拍摄，使得处理装置在对获取的图像进行处理分析的时候更加的方便，进而进行图像的融合获取更多的织物图像信息，避免造成信息的丢失。

作为优选，所述试样支撑机构包括有绕中心轴旋转的旋转平台、固定安装于旋转平台的中心以对试样织物进行夹持的夹具；所述夹具的边缘周向等间距设置有若干用于特征匹配的匹配参考点。

采用上述方案，试样支撑机构的旋转平台绕其中心轴旋转，配合于中心固定安装的夹具，能够实现试样织物在进行拍摄的时候的定位，同时通过同一摄像装置即可实现多角度的拍摄，减少不必要的干扰因素，使得进行匹配和处理的时候更加的高效和精确；夹具的边缘周向等间距设置的匹配参考点则使得在对图像进行处理时，便于作为分析的参考，使得分析匹配更加的简便和精准。

作为优选，运动控制器设置有控制所述旋转平台周向旋转的角度/周期。

采用上述方案，通过运动控制器对旋转平台的转动角度/周期的控制，进而进行拍摄获取图像之间具有固定的变换关系，减少图像配准及变换的计算。

本发明的第二目的是提供一种织物多角度图像融合方法，能够解决单视角信息局限性的问题，最大限度的将有效信息保留在融合图像中，且算法简便、实用性强、图像处理效果好。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种织物多角度图像融合方法，包括有以下步骤：

s1、将试样织物固定夹持于设定的旋转平台中心，通过运动控制器控制所述旋转平台绕中心轴周向旋转，通过图像获取装置对固定夹持在旋转平台上的试样织物进行多角度的拍摄以获取对应的采集图像；

s2、通过处理装置对采集图像均进行角度修正和图像裁剪预处理操作，保留各角度所采集获取的清晰织物的子图像；

s3、选取两个角度的子图像，通过基于sift特征的图像配准以获得特征匹配点并计算获取对应的位置关系，确定两个子图像之间的变换关系；

s4、根据变换关系得到变化的图像，通过融合处理将选取的两个角度的子图像进行融合以获得子融合图像；再选取未融合处理的子图像与子融合图像再次进行融合处理获得新的子融合图像；依次重复完成全部子图像的融合处理以获得最终的织物多角度融合图像。

采用上述方案，通过旋转平台的转动便捷的实现对织物的多角度拍摄和采集图像的获取，再通过处理装置的修正和裁剪预处理使得采集图像信息充足且清晰，再通过计算变换关系及对应的变换和融合处理，实现了对织物多角度的拍摄融合，使得织物图像信息丰富，避免图像信息的大量缺失，最大限度的将有效信息保留在融合图像中。

作为优选，上述步骤s1具体有以下具体操作：所述旋转平台在运动控制器的控制下以90度为基准角周向间歇旋转以拍摄获取四个角度织物的采集图像。

采用上述方案，运动控制器控制旋转平台进行周向旋转，并且以90度的基准角进行旋转，使得获取的采集图像之间的位置关系单一，便于变换关系的获取及计算，同时四个角度均匀的将织物周向的图像信息进行了采集，最少采集次数采集更充分的图像信息，操作简便。

作为优选，上述步骤s2包括有以下具体操作：

s21、对获取的采集图像通过倾斜角度检测进行角度修正，以获得四个角度上修正后的采集图像；

s22、对完成角度修正的采集图像的边缘进行裁剪，保留各角度的采样窗口中清晰的子图像。

作为优选，上述步骤s3包括有以下具体操作：

s31、特征点提取：对选取的两个角度的子图像进行尺度变换，获得子图像多尺度下的尺度空间序列，提取尺度空间序列的尺度空间主轮廓并获取对应的特征向量，提取边缘、角点检测在不同分辨率上的特征点；

s32、特征点描述：对特征点周围像素区域分块，计算特征点周围区域图像梯度直方图，生成该区域图像信息的独特性向量；

s33、特征点匹配与矫正：通过计算两组特征点的欧氏距离实现特征点的匹配，当欧式距离小于设定的阈值时，则判定为匹配成功；通过双向匹配及距离约束对匹配成功的特征点进行匹配矫正以获取正确的特征匹配点；

s34、坐标变换确定：根据获取的特征匹配点计算获取对应的几何变换矩阵并根据获取的几何变换矩阵获取子图像的变换关系。

作为优选，上述步骤s4基于多尺度分析的拉普拉斯金字塔变换进行图像融合。

采用上述方案，通过对采集图像的修正裁剪能够获得清晰的子图像，再通过对应的匹配、计算、矫正及变换则能够得到图像融合所需的图像，进而使得融合获取的图像精准、清晰。

综上所述，本发明具有以下有益效果：

通过图像获取装置与试样支撑机构的配合，能在不改变拍摄无关因素的情况下对织物的多角度进行拍摄，获取多角度的织物图像信息并进行融合处理，解决单视角图像获取受限，图像信息缺失严重的问题，并且操作简单，处理高效。

附图说明

图1为该系统的结构示意图；

图2为图像融合方法的步骤流程图；

图3为sift特征配准算法流程图；

图4为特征点周围区域图像梯度图(a)和特征点描述子示意图(b)；

图5为基于sift特征配准图；

图6为基于拉普拉斯金字塔变换的图像融合算法流程图。

图中：1、图像获取装置；2、照明装置；3、试样支撑机构；4、运动控制器；5、处理装置。

具体实施方式

以下结合附图对本发明作进一步详细说明。

实施例一：

本实施例公开的一种织物多角度图像融合系统，如图1所示，包括有图像获取装置1、照明装置2、试样支撑机构3、运动控制器4以及处理装置5。

试样支撑机构3包括有水平放置以能绕竖直中心轴做周向旋转的旋转平台、固定安装在旋转平台上的夹具。夹具固定安装在旋转平台的中心位置，且夹具两端设有固定条形磁铁，通过磁铁间的吸引力，将试样织物夹持住并提供一定的预加张力。在夹具的边缘周向等间距设置有若干用于特征匹配的匹配参考点，且优选在对称的四个边角处进行设置。

图像获取装置1采用单套高分辨率的数码相机进行拍摄，数码相机通过三脚架进行固定安装，数码相机的镜头在竖直高于旋转平台的位置朝向旋转平台，与旋转平台之间成倾斜角度设置。数码相机调节使其对焦旋转平台中心位置，进而方便且清晰的实现对试样织物的拍摄。照明装置2为固定安装在数码相机两侧可调节亮度的两个面光源，通过面光源向旋转平台上夹持的织物进行光源的提供及光亮度的调节，使得拍摄获取的图像清晰。

运动控制器4设置安装在旋转平台的下方，通过中心轴驱动旋转平台的转动，实现数码相机对织物的多角度拍摄；运动控制器4通过设置固定的角度/周期控制旋转平台的转动，且优选以90度为基准角的旋转规则进行间歇性的周向旋转控制。处理装置5为通过数据线连接至数码相机的计算机，采集的图像通过图像采集卡与计算机实现图像的数字化，再通过计算机将数码相机拍摄获取的数字化图像进行存储、分析以及处理。

实施例二：

本实施例公开的一种织物多角度图像融合方法，如图2所示，包括有步骤s1至s4，具体步骤如下：

s1、多角度图像采集：将试样织物固定夹持在设定的旋转平台中心，调节照明装置2获取拍摄所需合适的光亮度，通过运动控制器4控制旋转平台绕中心轴周向旋转，旋转平台在运动控制器4的控制下以90度为基准角周向间歇旋转，通过图像获取装置1的数码相机对固定夹持在旋转平台上的试样织物进行拍摄，调节数码相机对焦旋转平台的中心位置，以对夹持的试样织物进行拍摄；旋转平台旋转一周且每旋转90度进行一次拍摄，得到同一织物纹理在上下左右四个角度拍摄的图像序列及其在不同角度向成像平面的系列投影。

s2、图像预处理：通过处理装置5对采集图像均进行角度修正和图像裁剪预处理操作，保留各角度所采集获取的清晰织物的子图像；具体步骤如下：

s21、角度修正：织物旋转会产生一定的旋转误差，通过倾斜角度检测对获取的采集图像进行角度修正，以获得四个角度经过修正后的理想采集图像；

s22、图像裁剪：对完成角度修正的采集图像的边缘进行裁剪，保留各角度的采样窗口中清晰的子图像。

s3、图像配准：选取两个角度的子图像，通过基于sift特征的图像配准以获得特征匹配点并计算获取对应的位置关系，确定两个子图像之间的变换关系；尺度不变特征转换算法是由davidlowe提出的一种用来查找与描述图像中的局部性特征的算法，它是在空间尺度中寻找空间极值点，并提取出其位置、尺度、旋转不变量，对旋转、尺度缩放、视角变化、噪声等具有一定程度的稳定性。图3为sift特征配准算法流程图。

具体步骤如下：

s31、特征点提取：为了有效的在尺度空间检测到稳定的特征点，利用不同尺度的高斯差分核与图像卷积，式1，生成高斯差分尺度空间：

l(x，y，σ)＝g(x，y，σ)*i(x，y)式1

其中，l(x，y，σ)定义为原图像i(x，y)的尺度空间，g(x，y，σ)为一个变化尺度的高斯函数，且

式2中，(x,y)表示图像的像素位置，m，n表示高斯模板的维度,σ是尺度空间因子，其值越小则表示图像被平滑的越少，相应的尺度也就越小。大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征。

对选取的两个角度的子图像进行尺度变换，获得子图像多尺度下的尺度空间序列，提取尺度空间序列的尺度空间主轮廓并获取对应的特征向量，提取边缘、角点检测在不同分辨率上的特征点。

s32、特征点描述：对特征点周围像素区域分块，计算特征点周围区域图像梯度直方图，生成该区域图像信息的独特性向量，描述子包含了特征点与特征点周围对其有贡献的邻域点，使得特征点有更多的不变特性，提高了目标的匹配效率。

如图4所示，为2×2块像素区域，将每块的所有像素点的区域做高斯加权，每块最终取8个方向，生成2×2×8维度的向量，将这2×2×8维向量作为中心特征点的数学描述。

s33、特征点匹配与矫正：通过计算两组特征点的欧氏距离实现特征点的匹配，欧式距离越小，则相似度越高，当欧式距离小于设定的阈值时，则判定为匹配成功；再通过双向匹配及距离约束对匹配成功的特征点进行匹配矫正，以进一步的精确配准获得最终精准的特征匹配点；图5是一组以下视角图像与右视角图像进行sift特征配准，在获得了初始匹配点对，并进行误匹配点剔除后的匹配结果。

s34、变换关系确定：根据获取的特征匹配点确定特征匹配点之间的一一对应关系，得到几何变换模型，并通过特征匹配点对的像素点位置计算出变换模型参数，从而在保证图像变换前后相对位置关系不变的前提下，实现待配准子图像相对于目标子图像的统一坐标变换，得到两张配准好且像素位宽一致的待融合子图像。

选用一般几何变换模型——3×3的变换矩阵：

式3中，(x’,y’)为变换后的图像像素点位置，(x,y)为待配准子图像的像素点位置。

根据特征配准提取出的特征匹配点对，可以计算出式中的未知参数,从而得到待配准图像相对于目标图像进行统一坐标变换的几何变换关系矩阵。

s4、根据变换关系得到变化的图像，采用多尺度分析的拉普拉斯金字塔变换将选取的两个角度的子图像进行融合以获得子融合图像；再次选取未融合处理的子图像与子融合图像再次通过多尺度分析的拉普拉斯金字塔变换进行融合处理以获得新的子融合图像；依次重复完成全部子图像的融合处理以获得最终的织物多角度融合图像。

织物多角度图像融合的基本原理在于，将从多个角度获取的织物的纹理与颜色特征等信息进行融合处理，以实现织物的多角度信息融合，便于后续的对织物纹理特征分析和组织自动识别等研究。多尺度分析的拉普拉斯金字塔变换的图像融合方法，其算法流程图如图6所示。拉普拉斯金字塔能够详细地表示出图像在各个尺度和分辨率上的高频细节，通过对比对应尺度上的图像，能够分别提取多幅图像中的突出细节，并将其进行融合，以此增加融合图像的信息量，以达到较好的融合效果。拉普拉斯金字塔分解是由高斯金字塔分解发展得到，在高斯金字塔的运算过程中，图像经过卷积和下采样操作会丢失部分高频细节信息。为描述这些缺失的高频信息，通过高斯金字塔的每一层图像减去其上一层图像，上采样并高斯卷积，得到拉普拉斯金字塔。图像的高斯金字塔可以通过式4计算得到：

式中，gk表示第k层的高斯金字塔图像，gk-1表示第k-1层的高斯金字塔图像，w(m，n)表示窗函数。

通过式5的膨胀算子将低频图像gk的尺寸扩大至与高频图像gk-1相同，得到拉普拉斯金字塔第k层的扩大图像gk^*，由式6两个函数相减得到拉普拉斯金字塔第k-1层图像lgk-1。

gk^*＝expand(gk)式5

lpk-1＝gk-1-gk^*＝gk-1-expand(gk)式6

完整的拉普拉斯金字塔变换函数及其重构函数表达式如式7、式8所示：

利用基于拉普拉斯金字塔变换的图像融合方法，将多角度织物图像分解到不同的频率域，在不同的频率域选择具体的融合规则，对相应层次的图像进行融合处理，有选择性的去除图像中的冗余信息，最大限度的将有效信息保留在融合图像中。

为对本发明做进一步解释，现举一具体实验实例：

实验采用织物纹理多角度成像的数字化系统及方法，分别对三组小提花织物和三组印花织物的上下左右四个视角拍摄其图像序列，获得六组四个倾斜视角下的织物图像。

对获得的多视角图像进行角度修正与裁剪，保留包含各视角下在采样窗口内最清晰部分的织物子图像；再对预处理后的图像，分别选择目标图像与待配准图像进行两两配准，通过sift特征配准提取特征点对计算出变换矩阵，待配准图像完成统一坐标变换后与目标图像进行融合，得到多个视角的融合图像。

以下视角图像为目标图像进行四个视角图像融合，并对融合图像裁剪后的单个花型循环组织图，用于后续织物的纹理特征分析与花型自动识别。

多视角图像融合处理是为得到信息量足够多的织物纹理信息。考虑到正视图图像是单视角图像包含信息量最多的，为验证算法的有效性，将融合后图像与正视图图像进行配准与统一坐标变换，并进行相同区域的裁剪，得到相同视角相同区域的融合图像与单视角图像，从而保证算法验证的科学性。

本实验选择信息熵en与梯度结构相似度nrss两种无参考图像的清晰度评价方法，以及峰值信噪比psnr与模糊系数两个全参考图像评价指标，对织物的多角度融合图像与正视图进行信息评价比较，评价结果如表1所示。

表1

分析表格数据可知，织物的多角度融合图像的信息熵及梯度结构相似度值均高于正视图单视角图像，即表示多角度融合图像携带图像信息较多；峰值信噪比与模糊系数的值则表示了多角度融合图像相对于正视角图像的边缘和细节质量更高。总而言之，织物多角度融合图像质量评价结果表示，多视角图像融合处理后得到了更多的织物纹理信息。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。