一种基于图书盘点的书架图像拼接方法、电子设备及存储介质与流程

本发明涉及一种图像处理领域，尤其涉及一种基于图书盘点的书架图像拼接方法、电子设备及存储介质。

背景技术

目前，图书管理机器人已经在许多大型图书馆中得到了广泛的应用，随着数字图像处理技术的发展和成熟，其为使用装置有摄像单元的机器人对图书馆书架上的图书进行自动盘点，实现图书馆自动化管理提供了技术基础。在进行图书盘点或整理时，使用图书管理机器人定期对书架上的图书进行拍照，信息处理服务器通过分析机器人拍摄的图书照片得到图书的存放情况来完成图书的盘点和存书信息整理。拍摄时，图书管理机器人按照规划的线路在图书馆各书架间行走，机器人的摄像单元对每个书架和存书区域进行拍照，通过分析机器人拍摄的书架上的存书图像，完成图书的盘点。

但是，因为图书盘点机器人摄像单元的镜头拍摄区域有限，通常会将机器人的拍摄装置设置为垂直间隔排列在摄像杆一侧的多个摄像头，以对不同书架层进行拍摄，通过在行进拍摄过程中设置若干个经停点进行拍摄，以使整个书架上的图书都能够拍摄到，由摄像头拍摄到的多个图像，需要针对书架的垂直和水平方向拍摄多张照片拼合后获得整个书架的图像，因此，如何将批量拍摄的照片准确、快速地按照书架的垂直和水平方向区分出来，确定各拍摄图片之间的横向或竖向拼接关系，成为快速完成图像拼接的关键环节。

技术实现要素：

为了克服现有技术的不足，本发明的目的之一在于提供一种基于图书盘点的书架图像拼接方法，能够便捷地实现对图书盘点过程中对拍摄到的图像进行拼接。

本发明的目的之一采用如下技术方案实现：

一种基于图书盘点的书架图像拼接方法，包括：图像获取步骤，图书盘点机器人按规划路线行进，于一排书架对应的每一个经停点处，都分别获取垂直方向上各摄像头拍摄的对应书架层的图像，从一个经停点竖直方向上获取的相邻书架层对应的图像需存在重叠区域，同一摄像头从相邻两个经停点获取的图像需存在重叠区域；初步拼接步骤，根据垂直方向上各摄像头的位置及各经停点拍摄的顺序，确定获取的各个图像对应一排书架的各个位置，完成一排书架图像的初步拼接；重叠区域合并步骤，对获取到的对应一排书架的各个图像进行特征点查找，依次对竖向相邻的两张图像、横向相邻的两张图像，通过查找相应的两张图像边缘区域的相同特征点，使相应的两张图像边缘区域的相同特征点重叠，将相应的两张图像合并，进而完成对应整个书架的图像拼接。

进一步地，在所述图像获取步骤之前，还包括：拍摄规划步骤，在图书馆平面地图上规划行进路线，于规划路线上对应每一排书架均间隔设置经停点。

进一步地，在所述初步拼接步骤中，根据垂直方向上各摄像头的位置及经停点的顺序对拍摄到的每一张图像进行编号，根据图像编号确定获取的各个图像对应一排书架的位置，完成一排书架图像的初步拼接。

进一步地，在所述拍摄规划步骤中，还在规划路线上对应每一排书架的转弯处设置转弯点。

进一步地，所述转弯点为经停点。

进一步地，在所述初步拼接步骤中，一排书架对应的各经停点之间的间距根据摄像头的水平拍摄范围的景宽和每列书架的宽度进行设置。

进一步地，在所述重叠区域合并步骤中，通过颜色聚类进行特征点查找。

进一步地，在所述重叠区域合并步骤中，对图像进行自由变换以便调整图

像的大小和倾斜度，使相应的两张图像边缘区域的相同特征点重叠。

本发明的目的之二在于提供一种电子设备，能够实现对图书盘点过程中对拍摄到的图像进行拼接。

本发明的目的之二采用如下技术方案实现：

一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如本发明目的之一所述的一种基于图书盘点的书架图像拼接方法。

本发明的目的之三在于提供一种存储介质，能够实现对图书盘点过程中对拍摄到的图像进行拼接。

本发明的目的之三采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如本发明目的之一所述的一种基于图书盘点的书架图像拼接方法。

相比现有技术，本发明的有益效果在于：

本发明的一种基于图书盘点的书架图像拼接方法、电子设备及存储介质，通过图书盘点机器人的摄像头竖直方向排列顺序及经停点排列顺序确定拍摄到的各个图像对应一排书架的各个位置，再通过查找相邻两张图像的相同特征点完成两张图像重叠区域的合并，进而实现对图书盘点过程中对拍摄到的书架的各个图像进行拼接，便于后续图书盘点工作的进行。

附图说明

图1为发明一种基于图书盘点的书架图像拼接方法流程示意图；

图2为图书盘点机器人行走路径及拍摄经停点示意图；

图3为一排书架拍摄区域示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例一：

如图1所示的一种基于图书盘点的书架图像拼接方法，包括：

s0拍摄规划步骤，在图书馆平面地图上规划行进路线，于规划路线上对应每一排书架均间隔设置经停点。

s1图像获取步骤，图书盘点机器人按规划路线行进，于一排书架对应的每一个经停点处，都分别获取垂直方向上各摄像头拍摄的对应书架层的图像，从一个经停点竖直方向上获取的相邻两个书架层对应的图像需存在重叠区域，同一摄像头从相邻两个经停点获取的图像需存在重叠区域；

s2初步拼接步骤，根据垂直方向上各摄像头的位置及各经停点拍摄的顺序，确定获取的各个图像对应一排书架的各个位置，完成一排书架图像的初步拼接；

s3重叠区域合并步骤，对获取到的对应一排书架的各个图像进行特征点查找，依次对竖向相邻的两张图像、横向相邻的两张图像，通过查找相应的两张图像边缘区域的相同特征点，使相应的两张图像边缘区域的相同特征点重叠，将相应的两张图像合并，进而完成对应整个书架的图像拼接。

本实施例的一种基于图书盘点的书架图像拼接方法，旨在通过图书盘点机器人的摄像头竖直方向排列顺序及经停点排列顺序能够便捷的对拍摄到的各个图像进行初步拼接，再通过相同特征点重叠合并实现整个书架的图像拼接。首先，根据图书馆的平面图和书架的摆放位置规划图书盘点机器人的行走路线。因为图书盘点机器人的拍摄装置为竖直排列设置在摄像杆一侧的多个摄像头，即摄像装置设置于机器人机身的左侧或右侧，而图书馆通常设置书架的方式为在通道两侧放置有面对面的一排书架，所以在设计机器人的拍摄行走路线时，根据书架的在通道面对面的摆放方式，机器人在书架间的通道行走时，使用来回程的行走路线方式，去程覆盖通道一侧的书架，返程覆盖通道另一侧的书架，从而确保机器人能对全部书架进行拍照。如图2所示图书馆的平面图中设置有多组书架1，图书盘点机器人4从箭头所示的方向沿行走路径2从a点出发，从a至t点为去程，从u至n1点为返程，机器人沿行走路径2在通道中行走，途经点需满足能够覆盖全部的书架，且能够使拍摄装置5上垂直排列设置在摄像杆一侧的多个摄像头完成全部书架的图像拍摄。譬如，摄像头垂直设置在摄像杆的左侧，即机器人机身的左侧，则途经路径需保证机器人左侧的摄像头能路过全部的书架。根据摄像头拍摄范围和书架的摆放位置在行走线路图上按照一定间距来设定机器人的经停点。机器人按照规划路线行走，到达每个经停点后停止前进并对书架进行拍照。各经停点之间的间距根据摄像装置的水平拍摄范围的景宽和每列书架的宽度进行设置，需要保证摄像装置在相邻的两个经停点所拍摄的书架图像有一定的重叠区域，且在各个通道中根据路径对应的整排书架的起点、终点所设置的经停点均需要预留一定的距离，以保证拍摄到完整的书架区域。图像的重叠区域用于辅助照片的合并拼接，重叠区域是合并两张图像的必要因素。图2中，行走路径2上的a、b、c、d、e、f、g…～m1、n1各个点为经停点，在每排书架的左右两侧尽头的经停点同时也为路径设置的转弯点g、h、n、o、t、u、z、a1、g1、h1。假设书架每一列的宽度为120cm，转弯点的设置作为后续拍摄装置获取图像的分组依据，每一排书架的图像为一组进行书架图像拼接，转弯点作为一排书架经停点进行拍摄的起始点和终止点，图书盘点机器人从转弯点开始进行图像编号或完成一排书架对应图像的编号。拍摄装置在行走路径上进行拍摄时，根据与书架之间的拍摄距离计算出拍摄的水平范围也为120cm，则各经停点a、b、c、d…～m1、n1之间的间距设置为80cm～100cm之间，需要注意的是，间距设置需比每列书架和水平拍摄范围的宽度小，以保证摄像头拍摄的书架图像有重叠区域。同时，a点设置在整排书架左侧开始前一定距离，g点设置在整排书架右侧结束点后一定距离，便于在拍摄时能够完整拍摄到书架左、右两侧的图像。如图3所示，拍摄装置垂直设置的多个摄像头对书架1进行拍摄，在经停点a上各摄像头对应的拍摄区域为a_1、a_2、a_3、a_4、a_5、a_6，在经停点b上各摄像头对应的拍摄区域为b_1、b_2、b_3、b_4、b_5、b_6；垂直方向上各相邻的拍摄区域a_1与a_2，a_2与a_3，a_3与a_4，a_4与a_5，a_5与a_6，b_1与b_2,b_2与b_3,b_3与b_4，b_4与b_5，b_5与b_6之间分别相交有重叠区域，水平方向上a、b经停点对应的相邻拍摄区域a_1与b_1,a_2与b_2,a_3与b_3,a_4与b_4,a_5与b_5,a_6与b_6之间分别相交有重叠区域。机器人在根据规划路线图前进时，在每个经停点停止，通过拍摄装置对书架拍照，并根据垂直设置的多个摄像头的位置顺序及经停点的排列顺序，按预设的编号规则进行照片分组编号保存，完成所有的经停点拍摄根据规划路径回到设定的停靠位置。根据机器人行走路线中的各个转弯点和行走路径的间距大小和摄像头编号对拍摄的照片按一整排书架为一组进行分组。在进行拍摄照片编号时，将拍摄装置上各摄像头依次从下至上编号为1、2、3、4、5、6号摄像头，将1～6号摄像头在行走路径2上的经停点a拍摄的图像对应拍摄区域命名为a_1、a_2、a_3、a_4、a_5、a_6，如在a经停点拍摄多张则对应为a_1_1、a_1_2、a_1_3…，a_2_1、a_2_2、a_2_3…，a_3_1、a_3_2、a_3_3…，a_4_1、a_4_2、a_4_3…，a_5_1、a_5_2、a_5_3…，a_6_1、a_6_2、a_6_3…；将1～6号摄像头在行走路径2上的经停点b拍摄的图像对应拍摄区域命名为b_1、b_2、b_3、b_4、b_5、b_6。因为在每排书架的左右两侧尽头的经停点g、h、n、o、t、u、z、a1、g1、h1同时也是路径设置的转弯点，根据各个转弯点对各段路径的经停点拍摄的图像分组就可以对应每一排书架起点和终点获得对应的图片分组，更易于在图片拼接时查找图片完成拼接。如图2所示，将经停点a、b、c、d、e、f、g拍摄的图像分为一组保存，经停点h、i、g、k、l、m、n拍摄的图像分为一组保存，经停点o、p、q、r、s、t拍摄的图像分为一组保存，经停点u、v、w、x、y、z拍摄的图像分为一组保存,经停点a1、b1、c1、d1、e1、f1、g1拍摄的图像分为一组保存，经停点h1、i1、g1、k1、l1、m1、n1拍摄的图像分为一组保存，对应得到各排书架的分组图像。获取到的各排书架对应的各个图像，需根据图像分组和编号确定图片拼接方向和顺序，通过照片边缘区域的图像重叠部分依次对图像进行垂直和水平拼接。提取每排书架对应的分组图像，按照图像编号确定图片之间的拼接顺序，根据各编号图像对应书架的位置完成书架图像的初步拼接，初步拼接完成后，由于竖向及横向相邻的两张图像均存在重叠区域，所以需要将相邻两张图片重叠区域进行合并。首先将各经停点多个摄像头拍摄的垂直方向上相邻的图像依次进行进一步拼接，拼接时,先对拍摄的书架照片进行颜色聚类后查找特征点，因为书架有横向和竖向不同的层隔板和书架的框体，聚类后这些书架的框架和隔层区域均表现为连续的粗线条色块区域，通过查找出这些连续的色块特征区域，即为相邻两张图像的存在的相同特征点，通过对该图像进行自由变换以便调整图像的大小和倾斜度，使其边缘部分的特征点与第二张待拼接图像的边缘区域的特征点重叠，完成两张图像的合并。通过依次合并垂直方向上的相邻的图像，即可得到各个经停点书架的垂直方向合并图像。再根据经停点编号，将各个经停点的垂直方向合并图像按照相邻的经停点顺序依次进行水平拼接。拼接时，同样先先对拍摄的书架照片进行颜色聚类后查找特征点，对该图像进行自由变换以便调整图像的大小和倾斜度，使其边缘部分的特征点与第二张待拼接图像的边缘区域的特征点重叠，将图像合并完成图像拼接。依次将相邻经停点的书架垂直方向合并图像按水平方向合并，得到整排书架的完整图像，完成拼接。需要注意的是，本实施例的一种基于图书盘点的书架图像拼接方法，在进行两张图像重叠区域合并时，对竖向或是横向进行合并的先后顺序没有严格要求。也可先对垂直方向上的每一个摄像头拍摄的图像按一排书架对应各经停点的排列顺序先进行横向方向上相邻两张图像重叠区域的合并，在根据垂直方向上各摄像头的排列顺序进行竖向方向上相邻两张图像重叠区域的合并，进而得到整排书架的完整图像，完成拼接。如图3所示，将1～6号摄像头在行走路径2上的经停点a拍摄的图像a_1、a_2、a_3、a_4、a_5、a_6，从a_1开始向上按垂直方向顺序合并，合并时，先对拍摄的书架照片进行颜色聚类后查找特征点，再对a_1图像进行自由变换以便调整图像的大小和倾斜度，使其边缘部分的特征点与第二张待拼接图像a_2的边缘区域的特征点重叠，将a_1、a_2图像合并为a_1；不断重复根据上述方法将a_1与a_3合并得到a_2，将a_2与a_4合并得到a3，将a_3与a_5合并得到a_4，将a_4与a_6合并，最后得到经停点a的书架垂直方向合并图像a_0。同样根据上述方法，得到各个经停点书架的垂直方向合并图像b_0、c_0、d_0…～n1_0。根据各经停点按照各个转弯点的分组，对应将各组的书架垂直方向合并图像按水平方向顺序合并，即可得到每组书架对应的完整合并图像。按照上述方式，根据照片边缘区域的图像重叠部分，将第一组经停点a、b、c、d、e、f、g的各垂直合并图像a_0、b_0、c_0、d_0、e_0、f_0、g_0依次在水平方向合并，得到第一组书架的完整图像。同样方式合并第二组经停点o、p、q、r、s、t的各垂直合并图像，第三组经停点u、v、w、x、y、z的各垂直合并图像，第四组经停点a1、b1、c1、d1、e1、f1、g1的各垂直合并图像，第五组经停点h1、i1、g1、k1、l1、m1、n1的垂直合并图像，即可完成所有分组的书架图像合并。

本实施例的一种基于图书盘点的书架图像拼接方法通过图书盘点机器人的摄像头竖直方向排列顺序及经停点排列顺序确定拍摄到的各个图像对应一排书架的各个位置，再通过查找相邻两张图像的相同特征点完成两张图像重叠区域的合并，进而实现对图书盘点过程中对拍摄到的书架的各个图像进行拼接，便于后续图书盘点工作的进行。

实施例二：

实施例二公开了一种电子设备，该电子设备包括处理器、存储器以及程序，其中处理器和存储器均可采用一个或多个，程序被存储在存储器中，并且被配置成由处理器执行，处理器执行该程序时，实现实施例一的一种基于图书盘点的书架图像拼接方法，该电子设备可以是图书盘点设备、手机、电脑等等一系列的电子设备。

实施例三：

实施例三公开了一种可读的计算机存储介质，该存储介质用于存储程序，并且该程序被处理器执行时，实现实施例一的一种基于图书盘点的书架图像拼接方法。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。