一种集装箱全景图像的拼接方法和系统与流程

本发明涉及图像处理，特别是涉及一种集装箱全景图像的拼接方法和系统。

背景技术：

1、为了货物安全和集装箱卡车在行驶过程中的安全考虑，需要对集装箱进行残损检测，由于集装箱一般较长，而闸口的摄像采集设备又距离过近，故难以一次性采集到集装箱箱身的整体，所以需要使用集卡经过闸口时，相机采集到的集装箱箱面局部图像拼接出完整的箱面全景图像进行残损检测，因此精准拼接每一个集装箱全景图像是建立成熟的自动化码头的基础之一。

2、集装箱是每一辆集卡的主体部分，一般暴露在外的有左侧、右侧和顶侧三个箱面，通常是具有金属光泽的凹凸板材。常见的集装箱箱面拼接算法一般是通过灰度级的图像配准方法计算拼接图像的相似块匹配结果，获取拼接时的像素位移值，此类算法对于图像变化大的集装箱箱面进行拼接具有较好的效果，但是对集装箱身重复的凹凸金属板材难以计算出正确的相似块匹配结果，尤其是当闸口环境存在反光、阴影时，难以获取较好的拼接结果，无法兼顾实时性和稳定性要求，因此该算法本身的局限性较大，且很难推广应用到集装箱拼接的任务上。

3、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明提供的一种集装箱全景图像的拼接方法和系统，以至少解决相关技术中当闸口环境存在反光、阴影时，难以获取较好的集装箱全景图像拼接结果的技术问题。

2、根据本发明的一个方面，提供了一种集装箱全景图像的拼接方法，包括：获取集装箱的箱面图像序列，其中，所述箱面图像序列包括多张箱面图像，且多张所述箱面图像按照时间递增排序；对所述箱面图像序列中的箱面图像进行畸变矫正，得到所述集装箱的箱面矫正图像序列，其中，所述箱面矫正图像序列包括多张具有相同尺寸的矫正图像，且每张所述矫正图像与一张所述箱面图像相对应；获取所述箱面矫正图像序列中相邻矫正图像拼接时的像素位移值，以及基于所述像素位移值将多张所述矫正图像拼接成集装箱全景图像，得到一次拼接全景图像；获取所述一次拼接全景图像的长宽比例和集装箱全景图像的长宽比例区间，以及判断所述一次拼接全景图像的长宽比例是否在所述集装箱全景图像的长宽比例区间内；若所述一次拼接全景图像的长宽比例在所述集装箱全景图像的长宽比例区间内，则将所述一次拼接全景图像确定为最终拼接的集装箱全景图像；若所述一次拼接全景图像的长宽比例未在所述集装箱全景图像的长宽比例区间内，则获取所述箱面矫正图像序列中相邻矫正图像拼接时的修正像素位移值，以及基于所述修正像素位移值将多张所述矫正图像拼接成集装箱全景图像，得到二次拼接全景图像，并将所述二次拼接全景图像确定为最终拼接的集装箱全景图像。

3、可选地，对所述箱面图像序列中的箱面图像进行畸变矫正，得到所述集装箱的箱面矫正图像序列，包括：获取固定相机点位的畸变矫正参数；基于所述畸变矫正参数对所述箱面图像序列中的箱面图像的径向畸变和切向畸变分别进行矫正，得到所述箱面矫正图像序列。

4、可选地，获取所述箱面矫正图像序列中相邻矫正图像拼接时的像素位移值，包括：基于所述箱面矫正图像序列中的两张相邻矫正图像进行特征点提取和特征点匹配，得到相邻矫正图像的匹配特征点对；基于所述相邻矫正图像的匹配特征点对，计算得到相邻矫正图像拼接时的像素位移值。

5、可选地，基于所述箱面矫正图像序列中的两张相邻矫正图像进行特征点提取和特征点匹配，得到相邻矫正图像的匹配特征点对，包括：对所述箱面矫正图像序列中的两张相邻矫正图像进行特征点提取，得到相邻矫正图像的特征点；将所述相邻矫正图像的特征点进行粗略匹配，得到初始相邻矫正图像的匹配特征点对；去除所述初始相邻矫正图像的匹配特征点对中存在的错误匹配特征点对，得到所述相邻矫正图像的匹配特征点对。

6、可选地，基于所述相邻矫正图像的匹配特征点对，计算得到相邻矫正图像拼接时的像素位移值，包括：基于所述相邻矫正图像的匹配特征点对在方向的像素误差阈值，剔除异常匹配特征点对，保留匹配特征点对连线与方向接近于平行的匹配特征点对；若匹配特征点对连线与方向接近于平行，计算所述相邻矫正图像的后图相对于所述相邻矫正图像的前图在方向上所需移动的像素位移，并进行递增排序，得到所述相邻矫正图像的像素位移集合；基于所述像素位移集合对相邻矫正图像拼接时所述相邻矫正图像的后图相对于所述相邻矫正图像的前图在方向上的像素位移值进行处理，得到所述相邻矫正图像拼接时的像素位移值。

7、可选地，基于所述像素位移集合对相邻矫正图像拼接时所述相邻矫正图像的后图相对于所述相邻矫正图像的前图在方向上的像素位移值进行处理，得到所述相邻矫正图像拼接时的像素位移值，包括：基于所述像素位移集合判断所述相邻矫正图像是否具备拼接可行性；若不具备所述拼接可行性，设置0作为相邻矫正图像拼接时所述相邻矫正图像的后图相对于所述相邻矫正图像的前图在方向上的像素位移值，则所述相邻矫正图像拼接时的像素位移值为0；若具备所述拼接可行性，将所述像素位移集合的像素位移划分到多个像素位移区间，确定包含像素位移最多的像素位移区间，提取所述包含像素位移最多的像素位移区间的中间值，设置所述中间值作为相邻矫正图像拼接时所述相邻矫正图像的后图相对于所述相邻矫正图像的前图在方向上的像素位移值，则所述相邻矫正图像拼接时的像素位移值为所述中间值。

8、可选地，基于所述像素位移值将多张所述矫正图像拼接成集装箱全景图像，得到一次拼接全景图像，包括：基于所述像素位移值计算所述相邻矫正图像进行图像融合时的第一融合半径，其中，所述第一融合半径表示图像融合时前后两张所述矫正图像边界的过渡区域在方向上的第一宽度；基于所述像素位移值和所述第一融合半径重新选取所述相邻矫正图像的后图长度，所述相邻矫正图像的前图作为基准图像仍保持原图像的大小，所述相邻矫正图像的后图作为与所述相邻矫正图像的前图匹配后进行拼接的图像需根据所述像素位移值和所述第一融合半径进行截取，并对所述相邻矫正图像的前图和截取后的所述相邻矫正图像的后图进行无缝拼接，得到拼接后的第一结果图像；将所述第一结果图像作为下一个循环拼接的基准图像，直至将多张所述矫正图像拼接成一张完整的集装箱全景图像，得到所述一次拼接全景图像。

9、可选地，获取所述箱面矫正图像序列中相邻矫正图像拼接时的修正像素位移值，包括：获取二次拼接集装箱全景图像的长宽比例和所述矫正图像的尺寸；根据所述二次拼接集装箱全景图像的长宽比例和所述矫正图像的尺寸，计算得到二次拼接集装箱全景图像的长度；根据所述二次拼接集装箱全景图像的长度和参与拼接的矫正图像数量，计算得到相邻矫正图像拼接时的相邻两张所述矫正图像在方向上的平均像素位移值；根据所述像素位移值和平均像素位移值，计算得到所述修正像素位移值。

10、可选地，基于所述修正像素位移值将多张所述矫正图像拼接成集装箱全景图像，得到二次拼接全景图像，包括：基于所述修正像素位移值计算所述相邻矫正图像进行图像融合时的第二融合半径，其中，所述第二融合半径表示图像融合时前后两张所述矫正图像边界的过渡区域在方向上的第二宽度；基于所述修正像素位移值和所述第二融合半径重新选取所述相邻矫正图像的后图长度，所述相邻矫正图像的前图作为基准图像仍保持原图像的大小，所述相邻矫正图像的后图作为与所述相邻矫正图像的前图匹配后进行拼接的图像需根据所述修正像素位移值和所述第二融合半径进行截取，并对所述相邻矫正图像的前图和截取后的所述相邻矫正图像的后图进行无缝拼接，得到拼接后的第二结果图像；将所述第二结果图像作为下一个循环拼接的基准图像，直至将多张所述矫正图像拼接成一张完整的集装箱全景图像，得到所述二次拼接全景图像。

11、根据本发明的另一个方面，提供了一种集装箱全景图像的拼接系统，包括：第一处理模块，用于获取集装箱的箱面图像序列，其中，所述箱面图像序列包括多张箱面图像，且多张所述箱面图像按照时间递增排序；第二处理模块，用于对所述箱面图像序列中的箱面图像进行畸变矫正，得到所述集装箱的箱面矫正图像序列，其中，所述箱面矫正图像序列包括多张具有相同尺寸的矫正图像，且每张所述矫正图像与一张所述箱面图像相对应；第三处理模块，用于获取所述箱面矫正图像序列中相邻矫正图像拼接时的像素位移值，以及基于所述像素位移值将多张所述矫正图像拼接成集装箱全景图像，得到一次拼接全景图像；第四处理模块，用于获取所述一次拼接全景图像的长宽比例和集装箱全景图像的长宽比例区间，以及判断所述一次拼接全景图像的长宽比例是否在所述集装箱全景图像的长宽比例区间内；第五处理模块，用于若所述一次拼接全景图像的长宽比例在所述集装箱全景图像的长宽比例区间内，则将所述一次拼接全景图像确定为最终拼接的集装箱全景图像；第六处理模块，用于若所述一次拼接全景图像的长宽比例未在所述集装箱全景图像的长宽比例区间内，则获取所述箱面矫正图像序列中相邻矫正图像拼接时的修正像素位移值，以及基于所述修正像素位移值将多张所述矫正图像拼接成集装箱全景图像，得到二次拼接全景图像，并将所述二次拼接全景图像确定为最终拼接的集装箱全景图像。

12、在本发明中，采用获取集装箱的箱面图像序列；对箱面图像序列中的箱面图像进行畸变矫正，得到集装箱的箱面矫正图像序列；获取箱面矫正图像序列中相邻矫正图像拼接时的像素位移值，以及基于像素位移值将多张矫正图像拼接成集装箱全景图像，得到一次拼接全景图像；判断一次拼接全景图像的长宽比例是否在集装箱全景图像的长宽比例区间内；若一次拼接全景图像的长宽比例在集装箱全景图像的长宽比例区间内，则将一次拼接全景图像确定为最终拼接的集装箱全景图像；若一次拼接全景图像的长宽比例未在集装箱全景图像的长宽比例区间内，则获取箱面矫正图像序列中相邻矫正图像拼接时的修正像素位移值，以及基于修正像素位移值将多张矫正图像拼接成集装箱全景图像，得到二次拼接全景图像，并将二次拼接全景图像确定为最终拼接的集装箱全景图像，进而解决了相关技术中当闸口环境存在反光、阴影时，难以获取较好的集装箱全景图像拼接结果的技术问题，达到了提升反光、阴影等各种不利条件下的集装箱全景图像拼接结果的技术效果。