低复杂度的全景影像接合方法
【专利摘要】本发明提出了一种低复杂度的全景影像接合方法，包括：影像亮度均衡化步骤：将明暗不同的所述两个影像均衡化，以使所述两个影像的明暗度彼此接近；影像对齐步骤：寻找所述两个影像中的相对应的特征点，并进行所述两个影像中的所述特征点之间的配对；错误匹配点检测步骤：对已配对的特征点进行去除错误配对特征处理，以消除所述已匹配的特征点之中的错误匹配点；以及影像投影与扭曲步骤：基于经去除错误配对特征处理后的所述特征点确定一坐标转换矩阵，固定所述两个影像中的第一影像的坐标，并根据所述坐标转换矩阵将所述两个影像中的第二影像的坐标直接对应到该第一影像的坐标系统上，从而将所述两个影像接合为一全景影像。
【专利说明】低复杂度的全景影像接合方法
【技术领域】
[0001]本发明涉及一种低复杂度的全景影像接合技术。
【背景技术】
[0002]在全景影像接合的步骤中，首要步骤为影像对齐(Image Alignment),意即从一张来源影像当中寻找多个特征点，此特征点即为在另一张欲作接合的来源影像的相同对应点位置，并利用这些配对的特征点来做后续处理。在影像对齐的研究方面，英属哥伦比亚大学(University of British Columbia, UBC)的 David Lowe 提出了「尺度不变特征转换算法」(Scale-1nvariant Feature Transform, SIFT),此算法为针对来源影像,利用高斯模糊(Gaussian Blur)在不同的空间尺度中寻找极值，并标示为初步的特征点。然后利用拉普拉斯运算子(Laplacian Operator)筛选掉较不明显的特征点。接下来利用特征点周围的梯度方向分布，为每个特征点指定方向参数，此步骤可使此算法具备旋转不变性。最后针对每一个特征点，产生一个128维的特征向量来代表它。利用尺度不变特征转换算法所寻找出的特征点，是基于物体的局部外观，而与影像的大小、旋转程度无关，对于光线、噪声、些微视角改变的容忍度也相当高。因此SIFT算法对于寻找特征点方面，具有相当高的准确度，然而其计算复杂度相当高，本发明以减少坐标计算的方式，提高执行效能。在影像投影与扭曲阶段的研究方面，Steve Mann在其发表的文献中比较了多种坐标转换模型，发现以八个参数的单应矩阵转换(eight-parameter projective model),可以得到较为准确的矩阵转换与投影结果。在此阶段，本发明以固定其中一来源坐标的方式，减少坐标转换所耗的时间；另一方面则以建立对照表的方式，减少冗余的矩阵计算。在影像补色的研究方面，Wu-Chih Hu等人在2007年提出一套补色流程，先针对左右图重迭部份的色彩进行平滑化，接下来计算出重迭部分的每一点的强度值,然后用非线性权重函式(nonlinear weightedfunction)计算最后输出的像素值。此影像补色流程的实作较为复杂，并且牵涉到三角函数的运算，因此计算复杂度稍嫌略大。对此本发明提出了另一套补色流程，以较为简易的步骤，使之在降低计算复杂度之余，亦能维持高质量的接合影像。
【发明内容】
[0003]本发明主要是侦测多组输入影像中相同的物体特征，将相同之处利用坐标转换接合起来成一全景接合影像，其中并利用降阶等技术来达到降低计算量的目的，并维持了良好的输出画面质量。
[0004]具体地，本发明提出了一种低复杂度的全景影像接合方法，用以侦测彼此相邻的两个影像中相同的物体特征，将相同之处利用坐标转换接合成一全景影像，其中所述两个影像为第一影像和第二影像，该全景影像接合方法包括:影像亮度均衡化步骤:将明暗不同的所述两个影像均衡化，以使所述两个影像的明暗度彼此接近；影像对齐步骤:寻找所述两个影像中的相对应的特征点，并进行所述两个影像中的所述特征点之间的配对；错误匹配点检测步骤:对已配对的特征点进行去除错误配对特征处理，以消除所述已匹配的特征点之中的错误匹配点；以及影像投影与扭曲步骤:基于经去除错误配对特征处理后的所述特征点确定一坐标转换矩阵，固定所述两个影像中的第一影像的坐标，并根据所述坐标转换矩阵将所述两个影像中的第二影像的坐标直接对应到该第一影像的坐标系统上，从而将所述两个影像接合为一全景影像。
[0005]较佳地，在上述的全景影像接合方法中，所述影像亮度均衡化步骤进一步包括:利用一直方图均衡化算法将所述两个图像均衡化。
[0006]较佳地，在上述的全景影像接合方法中，在所述影像对齐步骤进一步包括:在所述第一影像的与第二影像相邻的半边影像中寻找所述特征点；以及在所述第二影像的与第一影像相邻的半边影像中寻找所述特征点。
[0007]较佳地，在上述的全景影像接合方法中，在所述影像对齐步骤之前且在所述影像亮度均衡化步骤之后进一步包括:检测所述两个影像的解析度；若所述解析度高于一阈值，则将所述两个影像进行降阶处理，以降低该解析度。
[0008]较佳地，在上述的全景影像接合方法中，所述降阶处理包括根据所述两个影像的解析度选择一降阶率，并利用该降阶率对所述两个影像进行降阶处理。
[0009]较佳地，在上述的全景影像接合方法中，所述影像投影与扭曲步骤进一步包括:建立一个描述影像在转换前后的坐标对应关系的对照表。
[0010]较佳地，在上述的全景影像接合方法中，在所述影像投影与扭曲步骤之后，所述全景影像接合方法进一步包括:影像补色步骤:消除所述全景影像中的所述两个影像的接合部分的颜色失真。
[0011]较佳地，在上述的全景影像接合方法中，所述坐标转换矩阵是一维度为三乘三的矩阵。
[0012]较佳地，在上述的全景影像接合方法中，所述错误匹配点检测步骤进一步包括:a)分别计算所述第一影像和所述第二影像中的多个特征点的坐标的坐标矩阵的平均值山)根据所述平均值计算一归一化系数；c)根据所述归一化系数对所述坐标矩阵进行坐标变换，以得到一归一化坐标矩阵；d)将所述第二影像的所述归一化坐标矩阵进行角度旋转，以调整到目标矩阵；e)通过比较所述目标矩阵和所述第一影像的所述归一化坐标矩阵来计算出一匹配误差；以及f)如果所述匹配误差大于一预定值，则减少所述步骤a)中的特征点的数量，再重复执行所述步骤a)?步骤e)，直到匹配误差小于所述预定值。
[0013]较佳地，在上述的全景影像接合方法中，所述基于经所述去除错误配对特征处理后的所述特征点确定一坐标转换矩阵的步骤进一步包括:将所述两个影像之一切割成数个相同大小的区块；找出包含最多特征点的区块；计算出所述包含最多的已匹配特征点的区块中的所有特征点的重心坐标；根据所述重心坐标，将所述包含最多的已匹配特征点的区块再分成四个小区块；在所述四个小区块中的每一个小区块中各取出一个强度最高的特征点；以及根据所述四个小区块中的四个强度最高的特征点，确定所述坐标转换矩阵。
[0014]根据本发明的全景影像接合方法，可以通过输入二个或二个以上的影像或是影片，将这些影像或是影片彼此间均拍摄到相同的对象与特征侦测出来，并利用此相同特征建立出来源影像或是影片的转换矩阵，并经由坐标系统转换将其接合成单一全景影像后输出。本发明同时具有另一个特点，那就是即使来源影像之间有旋转角度或远近差异，利用本系统所提出的算法来转换坐标系统仍然可以产生出高质量的全景接合影像。此外，本发明进一步可以利用降阶等技术降低其计算量，并维持相同质量的全景影像输出。此外，本发明也可以利用直方图均衡化(Histogram Equalization)先行处理来源影像的亮度及使用两阶段procrustes迭代匹配去除少数错误的匹配点，让接合的效果更为精确。
[0015]应当理解，本发明以上的一般性描述和以下的详细描述都是示例性和说明性的，并且旨在为如权利要求所述的本发明提供进一步的解释。
【专利附图】
【附图说明】
[0016]包括附图是为提供对本发明进一步的理解，它们被收录并构成本申请的一部分，附图示出了本发明的实施例，并与本说明书一起起到解释本发明原理的作用。
[0017]附图中:
[0018]图1为本发明的低复杂度的全景影像接合方法的基本步骤的流程图。
[0019]图2为本发明的影像补点顺序示意图。
[0020]图3为本发明的多视角影像/影片接合流程示意图。
[0021]图4为本发明的接合影像输出与接缝示意图。
[0022]图5为本发明的最后接合影像结果图范例。
[0023]图6为本发明的多视角影像接合结果范例。
[0024]图7示意性地示出了本发明的特征点分布范例。
[0025]图8a?图8d示出了本发明的影像亮度均衡化的效果。
【具体实施方式】
[0026]根据本发明的基本原理，提供了一种低复杂度的全景影像暨影片接合技术。该技术可分为五个阶段:影像亮度均衡化、影像对齐(Image Alignment)、错误匹配点检测、影像投影与扭曲(Image Projection & Warping),影像补色(Image Repairing & Blending)。
[0027]首先，与其它接合方法不同的是，本发明增加了影像亮度均衡化阶段。其主因是摄像头的感光能力不同会导致拍摄到图像的明暗度不同，如果两张图像的明暗度相差太大，会造成影像对齐的步骤无法找到足够匹配的特征点。为了解决此问题，本发明引入直方图均衡化算法，将明暗不同的多个图像，利用直方图均衡化后，使其图像明暗度相似，也相对造成影像对齐阶段可以产生更多合适的匹配点。
[0028]其次，在影像对齐阶段，本发明寻找来源影像的特征点，并进行特征点的配对。此夕卜，经由实验得知，通常正确的配对，其特征点会出现于影像的特定一侧(左影像右侧/右影像左侧)。为了增进此部分的执行速度，与配对的正确性，本发明优选将原先寻找特征点的范围从整张影像改为半张影像(左影像的右半张/右影像的左半张)。
[0029]此外，对于其它条件相同的来源影像，在不同的分辨率下，撷取到的特征点的正确性不变，但在计算复杂度上，较高分辨率的影像会远大于低分辨率的影像。因此在撷取特征点之前，本发明可以先侦测影像的分辨率，若超过一定的大小，则先将影像做降阶(DownSample)的动作，以减去多余的计算量。将特征点配对完成后，接下来利用这些配对，寻找两张图的关系。
[0030]此外，在产生坐标转换矩阵之前，本发明可以先检测匹配点是否正确，此处是采用两阶段procrustes迭代匹配分析法对影像对齐阶段计算所得到的初步匹配点进行去除错误匹配的处理，此处以影像对齐阶段所得到的匹配点坐标矩阵作为计算的目标，目的就是要得到两幅图像匹配点坐标矩阵间的procrustes误差。为了能够比较两个目标矩阵之间的差异，首先要对目标矩阵进行转换、归一和旋转处理，然后计算处理后的目标矩阵间的误差，如果匹配点完全正确，那么最后计算得到的误差值将会非常小，反之，误差值将较大。以这样的情况下，每个匹配点都需要逐一检测，直到所有错误的匹配点已全部去除，使得转换矩阵更为精确，该方法经实测能够有效去除错配点，较RANSAC去除错配点的方法够具有确定性。
[0031]接下来，本发明还利用了一个维度为三乘三的矩阵，作为两影像的坐标转换矩阵。求得矩阵的各个元素值后，在影像投影与扭曲阶段，也可以建立了一个对照表，描述影像在转换前后的坐标对应。为了节省坐标转换的运算量，本发明选择其中一张来源影像，固定其坐标，然后只转换另一张来源影像的坐标，直接对映到第一张影像的坐标系统上。对于影片接合的实际应用方面，若拍摄此两来源影片的相机参数不变(例如:拍摄位置、角度不变...等等)，则两影像间的线性关系将不变，也就是说，此转换矩阵不需要重新计算即可使用，此特性减少了相当大量且繁复的计算。
[0032]最后，在影像补色阶段，本发明提出影像亮度调整方法以降低来源影像色差，并提出填补方法以消除坐标转换产生的失真问题。此外，本发明可以计算两影像的重迭部分的色彩差异，并计算出差异最小的线条，做为两张来源影像的接缝，以降低接合影像的失真程度。
[0033]以下将详细参考附图来详细讨论本发明的各种【具体实施方式】。
[0034]图1为本发明的低复杂度的全景影像接合方法的基本步骤的流程图。如图1所述，本发明的全景影像接合方法主要包括:影像亮度均衡化步骤101、影像对齐步骤102、错误匹配点检测步骤103以及影像投影与扭曲步骤104。
[0035]在影像亮度均衡化步骤101中，将明暗不同的两个影像均衡化，以使则两个影像的明暗度彼此接近。较佳地，可以利用一直方图均衡化算法将所述两个图像均衡化。将经均衡化的图像提供给后续的影像对齐步骤102中做运算，可解决摄像头亮度设定值不同的问题。参考图8，图8a和图Sb分别示意性地示出了未经均衡化的第一影像和第二影像，且图Sc和图8d分别示意性地示出了经均衡化的第一影像和第二影像。
[0036]在影像对齐步骤102中，寻找所述两个影像中的相对应的特征点，并进行所述两个影像中的所述特征点之间的配对。较佳地，在该影像对齐步骤102中可以进一步包括:在所述第一影像的与第二影像相邻的半边影像中寻找所述特征点；以及在所述第二影像的与第一影像相邻的半边影像中寻找所述特征点。
[0037]在错误匹配点检测步骤103中，对已配对的特征点进行去除错误配对特征处理，以消除所述已匹配的特征点之中的错误匹配点。
[0038]具体地，根据本发明的一个较佳实施例，该错误匹配点检测步骤103可以包括以下几个步骤:
[0039]比如，在该错误匹配点检测步骤103中，首先假定需要分析的两个坐标矩阵为
((X1J1), (x2,y2), (xk, yk))和((UliV1), (U2jV2),…，(Uk, Vk)); [0040]a)分别计算所述第一影像和所述第二影像中的多个特征点的坐标的坐标矩阵的平均值，例如所述第一和第二影像的平均值分别为:[0041]
【权利要求】
1.一种低复杂度的全景影像接合方法，用以侦测彼此相邻的两个影像中相同的物体特征，将相同之处利用坐标转换接合成一全景影像，其中所述两个影像为第一影像和第二影像，该全景影像接合方法包括: 影像亮度均衡化步骤:将明暗不同的所述两个影像均衡化，以使所述两个影像的明暗度彼此接近； 影像对齐步骤:寻找所述两个影像中的相对应的特征点，并进行所述两个影像中的所述特征点之间的配对； 错误匹配点检测步骤:对已配对的特征点进行去除错误配对特征处理，以消除所述已匹配的特征点之中的错误匹配点；以及 影像投影与扭曲步骤:基于经去除错误配对特征处理后的所述特征点确定一坐标转换矩阵，固定所述两个影像中的第一影像的坐标，并根据所述坐标转换矩阵将所述两个影像中的第二影像的坐标直接对应到该第一影像的坐标系统上，从而将所述两个影像接合为一全景影像。
2.如权利要求1所述的全景影像接合方法，其特征在于，所述影像亮度均衡化步骤进一步包括:利用一直方图均衡化算法将所述两个图像均衡化。
3.如权利要求1所述的全景影像接合方法，其特征在于，在所述影像对齐步骤进一步包括: 在所述第一影像的与第二影像相邻的半边影像中寻找所述特征点；以及 在所述第二影像的与第一影像相邻的半边影像中寻找所述特征点。
4.如权利要求1所述`的全景影像接合方法，其特征在于，在所述影像对齐步骤之前且在所述影像亮度均衡化步骤之后进一步包括: 检测所述两个影像的解析度； 若所述解析度高于一阈值，则将所述两个影像进行降阶处理，以降低该解析度。
5.如权利要求4所述的全景影像接合方法，其特征在于，所述降阶处理包括根据所述两个影像的解析度选择一降阶率，并利用该降阶率对所述两个影像进行降阶处理。
6.如权利要求1所述的全景影像接合方法，其特征在于，所述影像投影与扭曲步骤进一步包括:建立一个描述影像在转换前后的坐标对应关系的对照表。
7.如权利要求1所述的全景影像接合方法，其特征在于，在所述影像投影与扭曲步骤之后，所述全景影像接合方法进一步包括: 影像补色步骤:消除所述全景影像中的所述两个影像的接合部分的颜色失真。
8.如权利要求1所述的全景影像接合方法，其特征在于，所述坐标转换矩阵是一维度为三乘三的矩阵。
9.如权利要求1所述的全景影像接合方法，其特征在于，所述错误匹配点检测步骤进一步包括: a)分别计算所述第一影像和所述第二影像中的多个特征点的坐标的坐标矩阵的平均值； b)根据所述平均值计算一归一化系数； c)根据所述归一化系数对所述坐标矩阵进行坐标变换，以得到一归一化坐标矩阵； d)将所述第二影像的所述归一化坐标矩阵进行角度旋转，以调整到目标矩阵；e)通过比较所述目标矩阵和所述第一影像的所述归一化坐标矩阵来计算出一匹配误差；以及 f)如果所述匹配误差大于一预定值，则减少所述步骤a)中的特征点的数量，再重复执行所述步骤a)~步骤e)，直到匹配误差小于所述预定值。
10.如权利要求1所述的全景影像接合方法，其特征在于，所述基于经所述去除错误配对特征处理后的所述特征点确定一坐标转换矩阵的步骤进一步包括: 将所述两个影像之一切割成数个相同大小的区块； 找出包含最多特征点的区块； 计算出所述包含最多的已匹配特征点的区块中的所有特征点的重心坐标； 根据所述重心坐标，将所述包含最多的已匹配特征点的区块再分成四个小区块； 在所述四个小区块中的每一个小区块中各取出一个强度最高的特征点；以及 根据所述四个小区块中的四个强度最高的特征点，确定所述坐标转换矩阵。
【文档编号】G06T5/40GK103793891SQ201210418265
【公开日】2014年5月14日 申请日期:2012年10月26日 优先权日:2012年10月26日
【发明者】郭峻因 申请人:海法科技有限公司