一种笔式图像实时拼接方法及笔式图像扫描装置与流程

1.本发明涉及图像处理技术领域，特别是涉及一种笔式图像实时拼接方法及笔式图像扫描装置。


背景技术：

2.随着科学技术的发展，词典笔、扫描笔等笔式图像扫描装置可以广泛应用到人们的生活中，用于学习、工作、娱乐当中。
3.目前的笔式图像扫描装置的图像拼接的方式，基本是帧间采用特征点和特征描述子进行匹配，再计算出单应性矩阵后，对图像进行映射，并寻找拼接线后进行图像的拼接。或者是，根据得到的单应性矩阵，对所有拼接图像进行全局优化，通过寻找最佳相机内参来优化最后的拼接结果。
4.但是，上述两种拼接方式中，都要求必须根据特征点提取到合适准确的单应性矩阵。若图像的纹理较弱(如词典笔划在长破折号上)和图像交叉区域面积较少时(如词典笔丢帧、划词速度过快等)，能够匹配到的点对会非常少，容易出现无法寻找到有效的单应性矩阵，从而导致拼接错误的情况，影响用户使用。


技术实现要素：

5.基于此，本发明的目的在于解决上述技术问题，提供一种具有拼接成功率高、鲁棒性高等特点的笔式图像实时拼接方法及笔式图像扫描装置。
6.第一方面，本发明实施例提供一种笔式图像实时拼接方法，包括：
7.采用摄像头扫描文件获取图像帧序列，从所述图像帧序列中提取相邻的第一帧图像和第二帧图像，计算所述第一帧图像和所述第二帧图像之间的单应性矩阵；
8.基于所述单应性矩阵，计算出所述摄像头与观测平面之间的倾斜角；
9.基于所述倾斜角，对所述第一帧图像和所述第二帧图像进行重投影处理，获得与所述第一帧图像对应的第三帧图像和与所述第二帧图像对应的第四帧图像，所述第三帧图像和所述第四帧图像存在刚性关系；
10.基于所述第三帧图像、所述第四帧图像和所述单应性矩阵，计算获得第一刚性矩阵；
11.基于所述第一刚性矩阵对所述第三帧图像和所述第四帧图像进行重投影拼接，获得第一拼接图像，输出所述第一拼接图像。
12.本发明实施例中，通过利用第一刚性矩阵进行图像的拼接，而非使用传统的单应性矩阵进行图像的拼图，且通过结合特征点匹配的稳定性，相较于现有技术的基于传统的特征点匹配而言，可以有效消除由于笔式图像扫描装置倾斜扫描而导致的图像拼接错位和长图像序列拼接导致的逐渐放大的问题，可以提高图像拼接的成功率和稳定性。
13.在一种可能的设计中，计算所述第一帧图像和第二帧图像之间的单应性矩阵，包括：
14.计算所述第一帧图像和所述第二帧图像各自的特征点和特征描述子；
15.基于所述第一帧图像和所述第二帧图像各自的特征点和特征描述子，采用暴力匹配算法和ransac算法，计算获得所述第一帧图像和所述第二帧图像各自的内点和所述单应性矩阵，所述内点表示为有效特征点。
16.在一种可能的设计中，基于所述单应性矩阵，计算出所述摄像头与观测平面之间的倾斜角，包括：
17.基于所述单应性矩阵，调整所述第一帧图像和/或所述第二帧图像的位移，使得所述第一帧图像和所述第二帧图像之间的图像错位满足预设要求；
18.基于所述第一帧图像和所述第二帧图像各自的内点和非线性优化计算方法，计算出所述倾斜角。
19.在一种可能的设计中，基于所述倾斜角，对所述第一帧图像和所述第二帧图像进行重投影处理，获得与所述第一帧图像对应的第三帧图像和与所述第二帧图像对应的第四帧图像，包括：
20.基于所述倾斜角，采用所述第一帧图像和所述第二帧图像上的内点进行rewarp后，获得所述第三帧图像和所述第四帧图像。
21.在一种可能的设计中，基于所述单应性矩阵，计算出所述摄像头与观测平面之间的倾斜角之后，所述方法还包括：
22.采用所述倾斜角更新存储的历史倾斜角，进行备用。
23.在一种可能的设计中，所述方法还包括：
24.若计算所述第一帧图像和所述第二帧图像之间的单应性矩阵失败，获取历史倾斜角；
25.基于所述历史倾斜角对所述第一帧图像和所述第二帧图像进行重投影处理，得到与所述第一帧图像对应的第一帧修正图像和与所述第二帧图像对应的第二帧修正图像；
26.采用第一预设卷积滤波算法对所述第一帧修正图像和所述第二帧修正图像进行处理，获得第二刚性矩阵；
27.基于所述第二刚性矩阵对所述第一帧修正图像和所述第二帧修正图像进行重投影拼接，获得第二拼接图像，输出所述第二拼接图像。
28.在一种可能的设计中，所述方法还包括：
29.若采用所述第一预设卷积滤波算法对所述第一帧修正图像和所述第二帧修正图像进行处理，获得第二刚性矩阵失败，则裁剪所述第一帧修正图像的右半边图像，获得第三帧修正图像，以及裁剪所述第二帧修正图像的左半边图像，获得第四帧修正图像；
30.对所述第三帧修正图像和所述第四帧修正图像进行无效区域抑制后，获得抑制后的第三帧修正图像和抑制后的第四帧修正图像；
31.采用第二预设卷积滤波算法对所述抑制后的第三帧修正图像和所述抑制后的第四帧修正图像进行处理，获得第三刚性矩阵；
32.基于所述第三刚性矩阵对所述抑制后的第三帧图像和所述抑制后的第四帧修正图像进行拼接，获得第三拼接图像，输出所述第三拼接图像。
33.在一种可能的设计中，所述方法还包括：
34.若采用所述第二预设卷积滤波算法对所述抑制后的第三帧修正图像和所述抑制
后的第四帧修正图像进行处理，获得第三刚性矩阵失败，则返回执行采用笔式扫描装置的摄像头扫描文件获取图像帧序列，直至获得拼接图像为止。
35.相较于现有技术的基于传统的特征点匹配而言，在本发明实施例中，通过利用第一刚性矩阵替换传统的单应性矩阵进行图像的拼图，且结合特征点匹配的稳定性和相关卷积滤波算法的高鲁棒性，可以支持低纹理和低图像交叉比的拼接场景，且不会增加额外的算法消耗。此外，通过增加上述倾斜角的计算与更新，可以有效消除由于笔式图像扫描装置倾斜扫描而导致的图像拼接错位和长图像序列拼接导致的逐渐放大的问题，可以提高图像拼接的成功率和稳定性。
36.第二方面，本发明实施例还提供一种笔式图像扫描装置，包括：
37.特征点单应性匹配模块，用于采用摄像头扫描文件获取图像帧序列，从所述图像帧序列中提取相邻的第一帧图像和第二帧图像，计算所述第一帧图像和所述第二帧图像之间的单应性矩阵；
38.刚性重投影模块，用于基于所述单应性矩阵，计算出所述摄像头与观测平面之间的倾斜角；基于所述倾斜角，对所述第一帧图像和所述第二帧图像进行重投影处理，获得与所述第一帧图像对应的第三帧图像和与所述第二帧图像对应的第四帧图像，所述第三帧图像和所述第四帧图像存在刚性关系；
39.相关滤波刚性估计模块，用于基于所述第三帧图像、所述第四帧图像和所述单应性矩阵，计算获得第一刚性矩阵；
40.刚性图像拼接模块，用于基于所述第一刚性矩阵对所述第三帧图像和所述第四帧图像进行重投影拼接，获得第一拼接图像，输出所述第一拼接图像。
41.在一种可能的设计中，所述特征点单应性匹配模块具体用于：
42.计算所述第一帧图像和所述第二帧图像各自的特征点和特征描述子；
43.基于所述第一帧图像和所述第二帧图像各自的特征点和特征描述子，采用暴力匹配算法和ransac算法，计算获得所述第一帧图像和所述第二帧图像各自的内点和所述单应性矩阵，所述内点表示为有效特征点。
44.在一种可能的设计中，所述刚性重投影模块具体用于：
45.基于所述单应性矩阵，调整所述第一帧图像和/或所述第二帧图像的位移，使得所述第一帧图像和所述第二帧图像之间的图像错位满足预设要求；
46.基于所述第一帧图像和所述第二帧图像各自的内点和非线性优化计算方法，计算出所述倾斜角。
47.在一种可能的设计中，所述刚性重投影模块具体用于：
48.基于所述倾斜角，采用所述第一帧图像和所述第二帧图像上的内点进行rewarp后，获得所述第三帧图像和所述第四帧图像。
49.在一种可能的设计中，所述刚性重投影模块还用于：
50.采用所述倾斜角更新存储的历史倾斜角，进行备用。
51.在一种可能的设计中，所述刚性重投影模块还用于：
52.若计算所述第一帧图像和所述第二帧图像之间的单应性矩阵失败，获取历史倾斜角；基于所述历史倾斜角对所述第一帧图像和所述第二帧图像进行重投影处理，得到与所述第一帧图像对应的第一帧修正图像和与所述第二帧图像对应的第二帧修正图像；
53.所述相关滤波刚性估计模块还用于：
54.采用第一预设卷积滤波算法对所述第一帧修正图像和所述第二帧修正图像进行处理，获得第二刚性矩阵；
55.所述刚性图像拼接模块还用于：
56.基于所述第二刚性矩阵对所述第一帧修正图像和所述第二帧修正图像进行重投影拼接，获得第二拼接图像，输出所述第二拼接图像。
57.在一种可能的设计中，所述刚性重投影模块还用于：
58.若采用所述第一预设卷积滤波算法对所述第一帧修正图像和所述第二帧修正图像进行处理，获得第二刚性矩阵失败，则裁剪所述第一帧修正图像的右半边图像，获得第三帧修正图像，以及裁剪所述第二帧修正图像的左半边图像，获得第四帧修正图像；对所述第三帧修正图像和所述第四帧修正图像进行无效区域抑制后，获得抑制后的第三帧修正图像和抑制后的第四帧修正图像；
59.所述相关滤波刚性估计模块还用于：
60.采用第二预设卷积滤波算法对所述抑制后的第三帧修正图像和所述抑制后的第四帧修正图像进行处理，获得第三刚性矩阵；
61.所述刚性图像拼接模块还用于：
62.基于所述第三刚性矩阵对所述抑制后的第三帧图像和所述抑制后的第四帧修正图像进行拼接，获得第三拼接图像，输出所述第三拼接图像。
63.在一种可能的设计中，所述特征点单应性匹配模块还用于：
64.若采用所述第二预设卷积滤波算法对所述抑制后的第三帧修正图像和所述抑制后的第四帧修正图像进行处理，获得第三刚性矩阵失败，则返回执行采用笔式扫描装置的摄像头扫描文件获取图像帧序列，直至获得拼接图像为止。
65.第三方面，本发明实施例还提供一种笔式图像扫描装置，所述笔式图像扫描装置包括：至少一个存储器和至少一个处理器；
66.所述至少一个存储器用于存储一个或多个程序；
67.当所述一个或多个程序被所述至少一个处理器执行时，实现上述第一方面任一种可能设计所涉及的方法。
68.第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个程序；当所述至少一个程序被处理器执行时，实现上述第一方面任一种可能设计所涉及的方法。
69.第二方面至第四方面的有益技术效果可以参见上述第一方面的有益技术效果，在此不再赘述。
70.为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
71.图1为本发明实施例提供的一种笔式扫描图像拼接方法的流程示意图；
72.图2为本发明实施例提供的一种第一帧图像和第二帧图像进行特征点匹配的结果示意图；
73.图3为本发明实施例提供的一种第一帧图像和第二帧图像的示意图；
74.图4为本发明实施例提供的一种第三帧图像和第四帧图像的示意图；
75.图5为本发明实施例提供的另一种笔式扫描图像拼接方法的流程示意图；
76.图6为本发明实施例提供的一种第一帧修正图像和第二帧修正图像的示意图；
77.图7为本发明实施例提供的一种第一预设卷积滤波算法的卷积响应示意图；
78.图8为本发明实施例提供的一种卷积滤波后的第一帧修正图像、第二帧修正图像的示意图；
79.图9为本发明实施例提供的又一种笔式扫描图像拼接方法的流程示意图；
80.图10为本发明实施例提供的另一种第一帧修正图像和第二帧修正图像的示意图；
81.图11为本发明实施例提供的一种卷积滤波后的第三帧修正图像、第四帧修正图像的示意图；
82.图12为本发明实施例提供的一种图像拼接结果的示意图；
83.图13为本发明实施例提供的一种笔式图像扫描装置的结构示意图；
84.图14为本发明实施例提供的又一种笔式图像扫描装置的结构示意图。
具体实施方式
85.在本说明书中提到或者可能提到的上、下、左、右、前、后、正面、背面、顶部、底部等方位用语是相对于其构造进行定义的，它们是相对的概念。因此，有可能会根据其所处不同位置、不同使用状态而进行相应地变化。所以，也不应当将这些或者其他的方位用语解释为限制性用语。
86.以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与本公开的一些方面相一致的实施方式的例子。
87.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
88.附图中各个部件的形状和大小不反映真实比例，目的只是示意说明以下示例性实施例中所描述的实施方式。
89.请参考图1所示，为本发明实施例提供的一种笔式扫描图像拼接方法的流程示意图。该方法可以应用于任何笔式图像扫描装置，例如词典笔、扫描笔等，本发明实施例不限定。如图1所示，该方法可以包括如下步骤：
90.s101、采用摄像头扫描文件获取图像帧序列，从该图像帧序列中提取相邻的第一帧图像和第二帧图像。
91.在一些实施例中，笔式图像扫描装置可以设有摄像头，可以通过摄像头扫描文件，获取到该文件对应的图像序列。
92.在一些实施例中，笔式图像扫描装置可以按照预设方式从该图像序列中提取出第一帧图像和第二帧图像。示例性的，笔式图像扫描装置可以从该图像序列中提取图像质量最高的相邻的两帧图像作为第一帧图像和第二帧图像；或者，笔式图像扫描装置可以从该图像序列中随机提取相邻的两帧图像作为第一帧图像和第二帧图像，等等。本发明实施例不限定从该图像序列中提取出第一帧图像和第二帧图像的具体方式。
93.s102、计算第一帧图像和第二帧图像之间的单应性矩阵。
94.在一些实施例中，笔式图像扫描装置可以计算第一帧图像和第二帧图像各自的特征点和特征描述子(feature descriptor)。示例性的，该特征点可以是orb特征点。之后，笔式图像扫描装置可以基于第一帧图像和第二帧图像各自的特征点和特征描述子，采用暴力匹配算法和ransac算法，计算获得第一帧图像和第二帧图像的内点和单应性矩阵。其中，该内点可以表示为有效特征点。示例性的，采用暴力匹配算法和ransac算法进行特征点匹配的结果可以如图2所示。
95.在具体的实现过程中，第一帧图像、第二帧图像和该单应性矩阵之间的关系可以表示为如下公式(1)：
96.l1*h＝l2ꢀꢀꢀ
(1)
97.其中，l1表示为第一帧图像，l2表示为第二帧图像，h表示为该单应性矩阵。
98.s103、基于该单应性矩阵，计算出摄像头与观测平面之间的倾斜角。
99.在一些实施例中，笔式图像扫描装置可以基于该单应性矩阵，调整第一帧图像和/或第二帧图像的位移，使得第一帧图像和第二帧图像之间的图像错位满足预设要求，例如可以调整第一帧图像和/或第二帧图像的位移，以使第一帧图像和第二帧图像之间的位移大于0.5倍的图像宽度，以确保第一帧图像和第二帧图像之间的图像错位足够大。之后，笔式图像扫描装置可以基于第一帧图像和第二帧图像各自的内点和非线性优化计算方法，计算出该倾斜角。
100.在一些实施例中，笔式图像扫描装置获得该倾斜角后，可以基于该倾斜角更新存储的历史倾斜角，进行备用。
101.s104、基于该倾斜角，对第一帧图像和第二帧图像进行重投影处理，获得与第一帧图像对应的第三帧图像和与第二帧图像对应的第四帧图像。
102.在一些实施例中，第三帧图像和第四帧图像可以存在刚性关系。
103.在具体的实现过程中，通过基于该倾斜角，采用第一帧图像和第二帧图像上的内点进行rewarp(即重新利用该倾斜角做垂直投影)后，获得存在刚性关系的第三帧图像和第四帧图像。
104.示例性的，如图3所示，第一帧图像和第二帧图像在重投影之前，存在左边文字小，右边文字大的现象。通过基于该倾斜角，采用第一帧图像和第二帧图像上的内点进行rewarp后，可以获得存在刚性关系的第三帧图像和第四帧图像，如图4所示，第三帧图像和第四帧图像的左右两边的文字几乎同高。
105.本发明实施例中，通过采用该倾斜角，对第一帧图像和第二帧图像进行重投影处理，可以消除由于笔式图像扫描装置倾斜扫词语而导致的词语出现近大越小的现象(该现象会导致图像无法利用刚性矩阵进行拼接，若强行拼接，则会出现图像拼接处错位或者图像高度越拼越大的情况)，进一步的，可以提高图像拼接的成功率和稳定性。
106.s105、基于第三帧图像、第四帧图像和该单应性矩阵，计算获得第一刚性矩阵。
107.在具体的实现过程中，第三帧图像、第四帧图像和第一刚性矩阵之间的关系可以表示为如下公式(2)：
108.lr1*hr＝lr2ꢀꢀꢀ
(2)
109.其中，lr1表示为第三帧图像，lr2表示为第四帧图像，hr表示为第一刚性矩阵。
110.s106、基于第一刚性矩阵对第三帧图像和第四帧图像进行重投影拼接，获得第一拼接图像，输出第一拼接图像。
111.在一些实施例中，笔式图像装置可以基于第一帧图像和所述第一刚性矩阵进行重投影，获得第二帧图像对应的重投影图像。示例性的，笔式图像扫描装置可以采用如下公式(3)对第三帧图像和所述第一刚性矩阵进行重投影，获得第四帧图像对应的重投影图像。之后，笔式图像扫描装置可以将第四帧图像和该重投影图像进行融合后，可以获得第一拼接图像。
112.lr
′2＝lr1*hr
ꢀꢀꢀ
(3)
113.其中，lr1表示为第三帧图像，lr
′2表示为第四帧图像对应的重投影图像。
114.在本发明实施例中，通过利用第一刚性矩阵进行图像的拼接，而非使用传统的单应性矩阵进行图像的拼图，且通过结合特征点匹配的稳定性，相较于现有技术的基于传统的特征点匹配而言，可以有效消除由于笔式图像扫描装置倾斜扫描而导致的图像拼接错位和长图像序列拼接导致的逐渐放大的问题，可以提高图像拼接的成功率和稳定性。
115.需要说明的是，上述是以计算第一帧图像和第二帧图像之间的单应性矩阵成功为例，由于当第一帧图像和第二帧图像存在弱纹理或者底交叉区域时，可能会存在该单应性矩阵无法计算的情况，因此，在本发明实施例提供的一种可适用的场景下，结合图1-5所示，若计算第一帧图像和第二帧图像之间的单应性矩阵失败，本发明实施例提供的笔式图像实时拼接方法还可以包括如下步骤进行修正：
116.s201、获取历史倾斜角。
117.在一些实施例中，该历史倾斜角可以是上一次图像拼接计算提取的两帧图像之间的单应性矩阵成功后，存储的倾斜角。
118.s202、基于历史倾斜角对第一帧图像和第二帧图像进行重投影处理，得到与第一帧图像对应的第一帧修正图像和与第二帧图像对应的第二帧修正图像。
119.在具体的实现过程中，步骤s202的实现方式与上述步骤s104的实现方式相同或者类似，在此不再赘述。
120.s203、采用第一预设卷积滤波算法对第一帧修正图像和第二帧修正图像进行处理，获得第二刚性矩阵。
121.在一些实施例中，笔式图像扫描装置可以采用第一预设卷积滤波算法对第一帧修正图像和第二帧修正图像进行刚性矩阵的估计，成功后即可获得第二刚性矩阵。
122.示例性的，如图6所示，当第一帧修正图像和第二帧修正图像的纹理比较弱时，采用特征点匹配显然是失效的。本发明实施例中，通过采用第一预设卷积滤波算法对第一帧修正图像和第二帧修正图像进行处理，结合图7-8所示，在0点的相应值最高，可以采用0点作为特征点匹配的点，因此，可以得到如图8所示的较好的特征点匹配结果，从而可以获得第二刚性矩阵，可以解决由于图像纹理弱无法得到单应性矩阵导致无法得到刚性矩阵的问题。
123.本发明实施例中，不限定第一预设卷积滤波算法具体是什么滤波算法，可以根据实际需要进行设置。
124.s204、采用第二刚性矩阵对第一帧修正图像和第二帧修正图像进行拼接，获得第二拼接图像，输出第二拼接图像。
125.在具体的实现过程中，步骤s204的实现方式和上述步骤s106的实现方式相同或者类似，在此不再赘述。
126.需要说明的是，上述是以采用所述第一预设卷积滤波算法对所述第一帧修正图像和所述第二帧修正图像进行处理，成功获得第二刚性矩阵为例，在本发明实施例提供的另一种可适用的场景下，结合图1-9所示，若采用第一预设卷积滤波算法对第一帧修正图像和第二帧修正图像进行处理，获得第二刚性矩阵失败，本发明实施例提供的笔式图像实时拼接方法还可以包括如下步骤：
127.s301、裁剪第一帧修正图像的右半边图像，获得第三帧修正图像，以及裁剪第二帧修正图像的左半边图像，获得第四帧修正图像。
128.在具体的实现过程中，由于第一预设卷积滤波算法对刚性图像的估计的正确率比较高，若采用第一预设卷积滤波算法对第一帧修正图像和第二帧修正图像进行处理，获得第二刚性矩阵失败，可能是由于第一帧修正图像和第二帧修正图像之间的交叉区域过小，导致无法计算到第二刚性矩阵。示例性的，如图10所示，当图像丢帧或者笔式图像扫描装置滑动较快时，第一帧修正图像和第二帧修正图像之间的交叉区域较少。
129.由于笔式图像扫描装置的滑动方向是固定的，本发明实施例中，通过裁剪第一帧修正图像的右半边图像，获得第三帧修正图像，以及通过裁剪第二帧修正图像的左半边图像，获得第四帧修正图像，之后，再进行相应的处理，即可获得新的刚性矩阵。
130.s302、对第三帧修正图像和第四帧修正图像进行无效区域抑制后，获得抑制后的第三帧修正图像和抑制后的第四帧修正图像。
131.本发明实施例中，通过对第三帧修正图像和第四帧修正图像进行无效率区域的抑制，可以进一步提高图像拼接的成功率和稳定性。
132.s303、采用第二预设卷积滤波算法对抑制后的第三帧修正图像和抑制后的第四帧修正图像进行处理，获得第三刚性矩阵。
133.示例性的，结合图10-11所示，可以采用无效区域约束的方式，采用第二预设卷积滤波算法只对第三帧修正图像和第四帧修正图像进行相关的卷积滤波计算，可以得到如图11所示的卷积滤波结果，从而有效克服由于笔式图像扫描装置移动过快导致的交叉区域比例过小的问题，进一步的，可以提高图像拼接的成功过率和稳定性。
134.需要说明的是，第二预设卷积滤波算法与第一预设卷积滤波算法可以相同，也可以不相同，本发明实施例不限定。
135.s304、基于第三刚性矩阵对抑制后的第三帧图像和抑制后的第四帧修正图像进行拼接，获得第三拼接图像，输出第三拼接图像。
136.在具体的实现过程中，步骤s304的实现方式与上述步骤s204的实现方式相同或者类似，在此不再赘述。
137.示例性的，上述第一拼接图像、上述第二拼接图像和上述第三拼接图像中的一个可以如图12所示。
138.本发明实施例中，通过步骤s102-s106、步骤s201-s204和步骤s301-s304的级联方式，可以兼容了特征点匹配的优势和相关滤波算法的高鲁棒性，可以增加图像拼接计算相关刚性矩阵的鲁棒性，从而可以在不加大正常图像拼接运算的情况下，可以极大的提高图像拼接的成功率和稳定性。
139.本发明实施例中，通过重复执行级联的上述步骤s102-s106、步骤s201-s204和步骤s301-s304，可以获得最终的图像帧序列对应的拼接图像。
140.在本发明实施例提供的另一种可适用的场景下，结合图1-12所示，若采用第二预设卷积滤波算法对抑制后的第三帧修正图像和抑制后的第四帧修正图像进行处理，获得第三刚性矩阵失败，则可以返回执行步骤s101，直至获得拼接图像为止。
141.通过以上描述内容可知，在本发明实施例中，通过利用第一刚性矩阵替换传统的单应性矩阵进行图像的拼图，且结合特征点匹配的稳定性和相关卷积滤波算法的高鲁棒性，相较于现有技术的基于传统的特征点匹配而言，可以支持低纹理和低图像交叉比的拼接场景，且不会增加额外的算法消耗。此外，通过增加上述倾斜角的计算与更新，可以有效消除由于笔式图像扫描装置倾斜扫描而导致的图像拼接错位和长图像序列拼接导致的逐渐放大的问题，可以提高图像拼接的成功率和稳定性。
142.基于同一发明构思，本发明实施例还提供一种笔式图像扫描装置，如图13所示，笔式图像扫描装置400可以包括：
143.特征点单应性匹配模块401，用于采用摄像头扫描文件获取图像帧序列，从所述图像帧序列中提取相邻的第一帧图像和第二帧图像，计算所述第一帧图像和所述第二帧图像之间的单应性矩阵；
144.刚性重投影模块402，用于基于所述单应性矩阵，计算出所述摄像头与观测平面之间的倾斜角；基于所述倾斜角，对所述第一帧图像和所述第二帧图像进行重投影处理，获得与所述第一帧图像对应的第三帧图像和与所述第二帧图像对应的第四帧图像，所述第三帧图像和所述第四帧图像存在刚性关系；
145.相关滤波刚性估计模块403，用于基于所述第三帧图像、所述第四帧图像和所述单应性矩阵，计算获得第一刚性矩阵；
146.刚性图像拼接模块404，用于基于所述第一刚性矩阵对所述第三帧图像和所述第四帧图像进行重投影拼接，获得第一拼接图像，输出所述第一拼接图像。
147.在一种可能的设计中，所述特征点单应性匹配模块401具体用于：
148.计算所述第一帧图像和所述第二帧图像各自的特征点和特征描述子；
149.基于所述第一帧图像和所述第二帧图像各自的特征点和特征描述子，采用暴力匹配算法和ransac算法，计算获得所述第一帧图像和所述第二帧图像各自的内点和所述单应性矩阵，所述内点表示为有效特征点。
150.在一种可能的设计中，所述刚性重投影模块402具体用于：
151.基于所述单应性矩阵，调整所述第一帧图像和/或所述第二帧图像的位移，使得所述第一帧图像和所述第二帧图像之间的图像错位满足预设要求；
152.基于所述第一帧图像和所述第二帧图像各自的内点和非线性优化计算方法，计算出所述倾斜角。
153.在一种可能的设计中，所述刚性重投影模块402具体用于：
154.基于所述倾斜角，采用所述第一帧图像和所述第二帧图像上的内点进行rewarp后，获得所述第三帧图像和所述第四帧图像。
155.在一种可能的设计中，所述刚性重投影模块402还用于：
156.采用所述倾斜角更新存储的历史倾斜角，进行备用。
157.在一种可能的设计中，所述刚性重投影模块402还用于：
158.若计算所述第一帧图像和所述第二帧图像之间的单应性矩阵失败，获取历史倾斜角；基于所述历史倾斜角对所述第一帧图像和所述第二帧图像进行重投影处理，得到与所述第一帧图像对应的第一帧修正图像和与所述第二帧图像对应的第二帧修正图像；
159.所述相关滤波刚性估计模块403还用于：
160.采用第一预设卷积滤波算法对所述第一帧修正图像和所述第二帧修正图像进行处理，获得第二刚性矩阵；
161.所述刚性图像拼接模块404还用于：
162.基于所述第二刚性矩阵对所述第一帧修正图像和所述第二帧修正图像进行重投影拼接，获得第二拼接图像，输出所述第二拼接图像。
163.在一种可能的设计中，所述刚性重投影模块402还用于：
164.若采用所述第一预设卷积滤波算法对所述第一帧修正图像和所述第二帧修正图像进行处理，获得第二刚性矩阵失败，则裁剪所述第一帧修正图像的右半边图像，获得第三帧修正图像，以及裁剪所述第二帧修正图像的左半边图像，获得第四帧修正图像；对所述第三帧修正图像和所述第四帧修正图像进行无效区域抑制后，获得抑制后的第三帧修正图像和抑制后的第四帧修正图像；
165.所述相关滤波刚性估计模块403还用于：
166.采用第二预设卷积滤波算法对所述抑制后的第三帧修正图像和所述抑制后的第四帧修正图像进行处理，获得第三刚性矩阵；
167.所述刚性图像拼接模块404还用于：
168.基于所述第三刚性矩阵对所述抑制后的第三帧图像和所述抑制后的第四帧修正图像进行拼接，获得第三拼接图像，输出所述第三拼接图像。
169.在一种可能的设计中，所述特征点单应性匹配模块401还用于：
170.若采用所述第二预设卷积滤波算法对所述抑制后的第三帧修正图像和所述抑制后的第四帧修正图像进行处理，获得第三刚性矩阵失败，则返回执行采用笔式扫描装置的摄像头扫描文件获取图像帧序列，直至获得拼接图像为止。
171.本发明实施例中的笔式图像扫描装置400与上述图1、5、9所示的笔式图像实时拼接方法是基于同一构思下的发明，通过前述对笔式图像实时拼接方法的详细描述，本领域技术人员可以清楚的了解本实施例中笔式图像扫描装置400的实施过程，所以为了说明书的简洁，在此不再赘述。
172.基于同一发明构思，本发明实施例还提供一种笔式图像扫描装置，如图14所示，笔式图像扫描装置500可以包括：至少一个存储器501和至少一个处理器502。其中：
173.至少一个存储器501用于存储一个或多个程序。
174.当一个或多个程序被至少一个处理器502执行时，实现上述图1、5、9所示的笔式图像实时拼接方法。
175.笔式图像扫描装置500还可以可选地包括通信接口，通信接口用于与外部设备进行通信和数据交互传输。
176.需要说明的是，存储器501可能包含高速ram存储器，也可能还包括非易失性存储器(nonvolatile memory)，例如至少一个磁盘存储器。
177.在具体的实现过程中，如果存储器、处理器及通信接口集成在一块芯片上，则存储器、处理器及通信接口可以通过内部接口完成相互间的通信。如果存储器、处理器和通信接口独立实现，则存储器、处理器和通信接口可以通过总线相互连接并完成相互间的通信。
178.基于同一发明构思，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质可以存储有至少一个程序，当至少一个程序被处理器执行时，实现上述图1、5、9所示的笔式图像实时拼接方法。
179.应当理解，计算机可读存储介质为可存储数据或程序的任何数据存储设备，数据或程序其后可由计算机系统读取。计算机可读存储介质的示例包括：只读存储器、随机存取存储器、cd-rom、hdd、dvd、磁带和光学数据存储设备等。
180.计算机可读存储介质还可分布在网络耦接的计算机系统中使得计算机可读代码以分布式方式来存储和执行。
181.计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频(radio frequency，rf)等，或者上述的任意合适的组合。
182.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。