一种图像拼接方法、设备、系统和计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种图像拼接方法、设备、系统和计算机可读存储介质。


背景技术：

2.现有的图像拼接方法是按照常规合成样式对多个图像进行排列，以得到一张合成图像，常规合成样式都是由设备提供的一些预先设定的样式，对于每一种预设样式，都对应一种拼接逻辑，从而根据不同的预设样式选择不同的拼接逻辑，而若客户定制出其他的合成样式，就必须根据定制的合成样式对拼接逻辑进行修改，修改的成本较高，导致出现合成样式受限制的问题。


技术实现要素：

3.本技术提供一种图像拼接方法、设备、系统和计算机可读存储介质，能够按照自定义的合成样式拼接图像。
4.为解决上述技术问题，本技术采用的技术方案是：提供一种图像拼接方法，图像拼接方法应用于图像拼接系统，图像拼接系统包括配置设备与摄像设备，该方法包括：在配置设备的配置界面上按照拼接指令对至少两个矩形框进行拼接，得到合成样式，任意一个矩形框的至少一条边与其他矩形框的至少一条边重合；将业务协议信息发送至摄像设备，业务协议信息包括每个矩形框对应的待拼接图像的序号以及待拼接图像在归一化坐标系中的第一位置信息；其中，摄像设备用于基于序号与第一位置信息，对所有待拼接图像进行拼接，得到与合成样式匹配的合成图像。
5.为解决上述技术问题，本技术采用的另一技术方案是：提供一种配置设备，该配置设备包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的图像拼接方法。
6.为解决上述技术问题，本技术采用的另一技术方案是：提供一种摄像设备，该摄像设备包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的图像拼接方法。
7.为解决上述技术问题，本技术采用的另一技术方案是：提供一种图像拼接系统，该图像拼接系统包括互相连接的配置设备和摄像设备，配置设备用于将业务协议信息发送至摄像设备，以使得摄像设备基于业务协议信息以及待拼接图像，生成合成图像，其中，配置设备为上述技术方案中的配置设备，摄像设备为上述技术方案中的摄像设备。
8.为解决上述技术问题，本技术采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的图像拼接方法。
9.通过上述方案，本技术的有益效果是：通过在配置设备的配置界面上按照拼接指令对至少两个矩形框进行拼接，得到合成样式；然后将业务协议信息发送至摄像设备，以使
得摄像设备基于序号与第一位置信息，对所有待拼接图像进行拼接，从而得到与合成样式匹配的合成图像；通过配置界面与用户的交互，能够实现合成样式的自定义，不限制于固有的合成样式，解决了合成样式受限的问题；而且，将合成样式中的矩形框对应的待拼接图像投影到归一化坐标系中，利用归一化坐标对待拼接图像的位置进行统一，无需对拼接逻辑进行改变，便可基于自定义的合成样式实现拼接操作，提升了方案的适用性，且实现简单。
附图说明
10.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
11.图1是本技术提供的图像拼接方法一实施例的流程示意图；
12.图2是本技术提供的常规合成样式的示意图；
13.图3是本技术提供的自定义合成样式的示意图；
14.图4是本技术提供的发送业务协议信息的示意图；
15.图5是本技术提供的图像拼接方法另一实施例的流程示意图；
16.图6是本技术提供的自定义合成样式中左上角坐标以及右下角坐标的示意图；
17.图7是本技术提供的违章取证模块的结构示意图；
18.图8是本技术提供的图像拼接方法另一实施例的流程示意图；
19.图9是本技术提供的配置设备一实施例的结构示意图；
20.图10是本技术提供的摄像设备一实施例的结构示意图；
21.图11是本技术提供的图像拼接系统一实施例的结构示意图；
22.图12是本技术提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
23.下面结合附图和实施例，对本技术作进一步的详细描述。特别指出的是，以下实施例仅用于说明本技术，但不对本技术的范围进行限定。同样的，以下实施例仅为本技术的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
24.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
25.需要说明的是，本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有
列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.请参阅图1，图1是本技术提供的图像拼接方法一实施例的流程示意图，该方法应用于图像拼接系统，该图像拼接系统包括配置设备与摄像设备，该方法包括：
27.步骤11：在配置设备的配置界面上按照拼接指令对至少两个矩形框进行拼接，得到合成样式。
28.配置设备可为计算机设备，可在配置设备上显示配置界面，以通过配置界面与用户进行信息交互，接收用户输入的拼接指令；具体地，配置界面可提供由用户拖拽、拉伸以及可编辑的矩形框，用户能够对矩形框进行自定义编辑，得到合成样式，任意一个矩形框的至少一条边与其他矩形框的至少一条边重合；可以理解地，用户可自定义矩形框的数量、尺寸以及排列方式，矩形框可表示待拼接图像的位置，矩形框的数量与待拼接图像的数量相同，即每个矩形框对应一个待拼接图像，矩形框的排列方式来表示每个待拼接图像之间的相对位置，矩形框的尺寸可根据实际情况进行自定义设置，每个矩形框的大小可相同还可不同，在矩形框的尺寸大小不同时可在后续拼接过程中对矩形框对应的待拼接图像的尺寸进行缩放，从而再利用尺寸相同的待拼接图像进行拼接。
29.如图2所示，图2中(a)～(e)分别为现有的五种常规合成样式，常规合成样式都是由系统预先设置的，但由于无法自定义选择或设置，存在合成样式受限的问题；以图3为例，图3为用户自定义的一种合成样式，可设置三个尺寸大小相同的矩形框，三个矩形框组成正品字型，一个矩形框与另一个矩形框沿着水平方向平行设置，剩余的矩形框设置于上述两个矩形框的上侧，且三个矩形框两两之间存在边重合。
30.步骤12：将业务协议信息发送至摄像设备。
31.业务协议信息包括每个矩形框对应的待拼接图像的序号以及待拼接图像在归一化坐标系中的第一位置信息；归一化坐标可包含水平方向上的x轴和垂直方向上的y轴，水平方向即为矩形框的宽度方向，垂直方向即为矩形框的高度方向。具体地，每个矩形框可对应一张待拼接图像，待拼接图像可为视频单路画面或局部放大图，具体可细分为远景图、近景图和特写图，以抓拍目标为车辆为例，远景图可为摄像设备在小倍率下获取到的视频画面图，通过该视频画面图能够看到目标车辆与周边景物的相对位置；近景图为摄像设备在大倍率下获取到的视频画面图，通过该视频画面图能够看清目标车辆的车牌或车身等细节特征；特写图为摄像设备在大倍率下获取到的视频画面图，然后再经软件处理后将目标车辆按用户设定比例呈现的图像。
32.进一步地，在获取每张待拼接图像时，可同时获取每张待拼接图像对应的原始图像信息，以违法停车的场景为例，原始图像信息即可包括时间信息、违法类型以及违法地点等，待拼接图像的序号可用来表示该待拼接图像的时间信息，序号越大表示该待拼接图像的获取时间越晚；在一具体的实施方式中，用户可对每个矩形框的序号进行自定义设置(即图2中每个矩形框中标识的数字)，即标识每个矩形框对应的待拼接图像的时间信息，序号为1的矩形框中的序号可表示抓拍到的第一张待拼接图像，序号为2的矩形框中的序号可表示抓拍到的第二张待拼接图像，序号为3的矩形框中的序号可表示抓拍到的第三张待拼接图像。
33.如图4所示，配置设备可将业务协议信息发送至摄像设备，以使得摄像设备基于序
号与第一位置信息，对所有待拼接图像进行拼接，从而得到与合成样式匹配的合成图像；具体地，第一位置信息可包括矩形框在归一化坐标系中的左上角坐标和右下角坐标，利用左上角坐标和右下角坐标确定每个矩形框的位置，从而实现对矩形框对应的待拼接图像的拼接；由于每个待拼接图像可能由不同的采集设备采集得到，采用归一化坐标能够将每个待拼接图像的位置信息统一到相同的坐标系中，从而降低摄像设备拼接的难度，提高拼接效率。
34.本实施例所采用的方案中配置设备在配置界面上按照拼接指令对至少两个矩形框进行拼接，得到合成样式；然后配置设备将业务协议信息发送至摄像设备，以使得摄像设备基于序号与第一位置信息，对所有待拼接图像进行拼接，从而得到与合成样式匹配的合成图像；通过配置界面与用户的交互，能够实现合成样式的自定义，不限制于固有的合成样式，解决合成样式受限的问题；而且，将合成样式中的矩形框对应的待拼接图像投影到归一化坐标系中，利用归一化坐标对待拼接图像的位置进行统一，无需对拼接逻辑进行改变，便可基于自定义的合成样式实现拼接操作，提升了方案的适用性，且实现简单。
35.请参阅图5，图5是本技术提供的图像拼接方法另一实施例的流程示意图，该方法应用于图像拼接系统，该图像拼接系统包括配置设备与摄像设备，该方法包括：
36.步骤51：接收配置设备发送的业务协议信息。
37.业务协议信息包括配置设备的配置界面上每个矩形框对应的待拼接图像的序号以及待拼接图像在归一化坐标系中的第一位置信息；配置设备还可在配置界面上按照拼接指令对至少两个矩形框进行拼接，得到与合成图像匹配的合成样式，任意一个矩形框的至少一条边与其他矩形框的至少一条边重合。
38.步骤52：基于序号与第一位置信息，对所有待拼接图像进行拼接，得到合成图像。
39.摄像设备可获取序号对应的待拼接图像，然后利用其对应的第一位置信息对所有待拼接图像进行拼接，得到与合成样式匹配的合成图像；具体地，第一位置信息可包含待拼接图像在归一化坐标系中的左上角坐标以及右下角坐标，以图6为例，a1～a3即为每个待拼接图像的左上角坐标，b1～b3即为每个待拼接图像的右下角坐标，利用每个左上角坐标以及右下角坐标确定待拼接图像在合成图像中的相对位置，以实现对所有待拼接图像的拼接，从而得到合成图像。
40.可以理解地，归一化坐标系中x轴以及y轴的最大值可由配置设备自定义设置，也可根据所有待拼接图像在归一化坐标系中的坐标值的最大值进行设置，将所有待拼接图像的右下角水平坐标(即x轴上的坐标值)中的最大值加一作为归一化坐标系中的x轴最大值，将所有待拼接图像的右下角垂直坐标(即y轴上的坐标值)中的最大值加一作为归一化坐标系中的y轴最大值；具体地，以大小为8192
×
8192的坐标系为例，坐标值的取值范围在0～8191内，即坐标值的最大值与坐标系的实际大小在数值上相差为一，则在计算归一化坐标系中的y轴最大值时，分别将所有待拼接图像的右下角水平坐标(即x轴上的坐标值)以及右下角垂直坐标(即y轴上的坐标值)中的最大值加一。
41.在一具体的实施方式中，摄像设备可先对当前监控场景进行拍摄，得到多张拍摄图像，然后再对拍摄图像进行目标检测处理，得到检测结果；判断检测结果中是否出现目标对象或发生目标事件；若检测结果中出现目标对象或发生目标事件，则将拍摄图像确定为待拼接图像；具体地，摄像设备可为网络摄像机(ip camera，ipc)，例如：球型摄像机等，在
此不作限定。
42.例如，在违章取证(如违章停车)的应用场景中，可利用摄像设备对出现违章事件的车辆进行抓拍，然后将拍摄图像作为待拼接图像，从而利用待拼接图像进行违章取证；具体地，如图7所示，用于违章取证的违章取证模块可包括目标检测模块、证据链控制模块、证据链合成模块、云台控制模块以及抓图模块，证据链合成模块主要负责将抓拍到的待拼接图像按照合成样式进行排列拼接，得到合成图像；可以理解地，本实施例中的图像拼接方法便可应用于证据链合成模块中，摄像设备可参与抓图模块的抓拍过程。
43.本实施例中的摄像设备在接收配置设备发送的业务协议信息之后，能够根据序号与第一位置信息，利用每个待拼接图像的左上角坐标以及右下角坐标确定每个待拼接图像在合成图像中的相对位置；然后对所有待拼接图像进行拼接，得到合成图像，实现根据配置设备发送的业务协议信息对图像的自定义拼接，拼接方式更加多样化；而且，本实施例中的图像拼接方法还可应用于违章取证的场景中，有利于证据链的合成。
44.请参阅图8，图8是本技术提供的图像拼接方法另一实施例的流程示意图，该图像拼接方法应用于图像拼接系统中的摄像设备，该方法包括：
45.步骤81：接收配置设备发送的业务协议信息。
46.步骤81与上述步骤51相同，在此不再赘述。
47.摄像设备可在接收到业务协议信息之后，基于序号与第一位置信息，对所有待拼接图像进行拼接，得到合成图像，下面进行具体描述。
48.步骤82：获取预设基准策略集。
49.预设基准策略集包括至少一种基准确定策略，基准确定策略为事先指定的用来计算基准宽高值(包括高基准值与宽基准值)的策略。
50.步骤83：从多种基准确定策略中选取一种基准确定策略作为当前策略，采用当前策略确定基准宽高值。
51.可从多种基准确定策略中选取一种基准确定策略作为当前策略，采用当前策略确定基准宽高值。具体地，预设基准策略集包括下述多个基准确定策略：
52.1)将指定序号的待拼接图像的宽高值作为基准宽高值。
53.2)将所有待拼接图像的高度的最小值与所有待拼接图像的宽度的最小值作为基准宽高值。
54.3)将所有待拼接图像的高度的最大值与所有待拼接图像的宽度的最大值作为基准宽高值。
55.4)将所有矩形框的高度的最大值对应的待拼接图像的高度与所有矩形框的宽度的最大值对应的待拼接图像的宽度作为基准宽高值。
56.5)将所有矩形框的高度的最小值对应的待拼接图像的高度与所有矩形框的宽度的最小值对应的待拼接图像的宽度作为基准宽高值。
57.可以理解地，基准确定策略可根据实际情况进行选择，在用户自定义设置的矩形框的尺寸相同时，可从上述基准确定策略1)、2)以及3)中选取一种基准确定策略作为当前策略，即可根据待拼接图像的宽高值来确定基准宽高值；在用户自定义设置的矩形框的尺寸不同时，可从上述基准确定策略4)与5)中选取一种基准确定策略作为当前策略，即可根据矩形框的宽高值的最大值/最小值获取相应的待拼接图像，并以对应的待拼接图像的宽
高值来作为基准宽高值。
58.步骤84：基于基准宽高值与所有矩形框的宽高值，计算出待拼接图像在合成图像中的宽高值。
59.在获取基准宽高值之后，可以该基准宽高值作为基准对矩形框对应的待拼接图像的宽高值进行调整，从而获取所有待拼接图像在合成图像中的宽高值。具体地，可将基准宽高值对应的矩形框称作基准矩形框，将所有矩形框中除基准矩形框以外的矩形框称作其他矩形框，计算其他矩形框的宽度与基准矩形框的宽度的比值，得到第一比值，计算第一比值与宽基准值的乘积，得到其他矩形框对应的待拼接图像在合成图像中的宽度；然后计算其他矩形框的高度与基准矩形框的高度的比值，得到第二比值，计算第二比值与高基准值的乘积，得到其他矩形框对应的待拼接图像在合成图像中的高度，最后基于所有待拼接图像在合成图像中的宽度以及高度，生成合成图像。
60.以图6所示的合成样式为例，要对三个待拼接图像进行拼接，设置的三个矩形框的尺寸相同，可将序号为1的矩形框对应的待拼接图像称作第一待拼接图像，将序号为2的矩形框对应的待拼接图像称作第二待拼接图像，将序号为3的矩形框对应的待拼接图像称作第三待拼接图像，若用户选择基准确定策略1)来设定基准宽高值，将第一待拼接图像的实际宽高值作为基准宽高值，基准矩形框便为第一待拼接图像对应的矩形框。
61.假设基准矩形框的宽度(即宽基准值)为w，基准矩形框的高度(即高基准值)为h，第一待拼接图像在归一化坐标系中的左上角坐标为(x10，y10)，右下角坐标为(x11，y11)，第二待拼接图像在归一化坐标系中的左上角坐标为(x20，y20)，右下角坐标为(x21，y21)；第三待拼接图像在归一化坐标系中的左上角坐标为(x30，y30)，右下角坐标为(x31，y31)；通过上述计算方式可计算得到第二待拼接图像在合成图像中的宽度为w*(x21-x20)/(x11-x10)，高度为h*(y21-y20)/(y11-y10)，第三待拼接图像在合成图像中的宽度为w*(x31-x30)/(x11-x10)，高度为h*(y31-y30)/(y11-y10)。
62.步骤85：基于所有待拼接图像在合成图像中的宽高值，生成合成图像。
63.基于待拼接图像在合成图像中的宽度以及高度，计算出合成图像的宽度以及高度；将第一位置信息映射到合成图像中，得到第二位置信息，第二位置信息为合成图像中每个待拼接图像的位置信息；然后基于待拼接图像的像素值、第二位置信息、合成图像的宽度以及高度，生成合成像素值；对合成像素值进行编码，得到合成图像。可以理解地，像素值可为待拼接图像的yuv格式下的像素数据，合成图像为规则的矩形，可在进行图像拼接时，将不包含待拼接图像的像素值的空白部分用黑色像素填充。
64.进一步地，仍以图6为例，可根据三个待拼接图像在合成图像中的宽度以及高度，得到合成图像的宽度以及高度，可知，合成图像的宽度即为第二待拼接图像与第三待拼接图像的宽度之和，即w*(x21-x20)/(x11-x10)+w*(x31-x30)/(x11-x10)，合成图像的高即为第一待拼接图像与第二待拼接图像/第三待拼接图像的高度之和，即h+h*(y31-y30)/(y11-y10)；可以理解地，在第二待拼接图像与第三待拼接图像的尺寸不同时，可将第二待拼接图像与第三待拼接图像之间的高度最大值与第一待拼接图像之和，作为合成图像的高，即h+max(h*(y21-y20)/(y11-y10)，h*(y31-y30)/(y11-y10))，然后将所有待拼接图像的左上角坐标以及右下角坐标映射到合成图像中，得到每张待拼接图像在合成图像中的第二位置信息，也就是得到每张待拼接图像中的像素值在在合成图像中的位置，从而根据第二位置信
息对所有待拼接图像的像素值进行合并，得到合成像素值，然后对合成像素值进行编码，最终得到合成图像。
65.在一具体的实施方式中，在用户自定义设置合成样式时，可能存在设置的矩形框的尺寸不同的情况，从而导致合成图像中的待拼接图像的尺寸不同的情况，此时可对待拼接图像进行缩放，将合成图像中的每个待拼接图像的尺寸统一；具体地，可判断待拼接图像在合成图像中的宽度以及高度是否分别与待拼接图像的宽度以及高度相同；若待拼接图像在合成图像中的宽度以及高度与待拼接图像的宽度以及高度不同，则可按照待拼接图像在合成图像中的宽度以及高度，对待拼接图像进行缩放，得到缩放后的待拼接图像，从而基于缩放后的待拼接图像的像素值、第二位置信息、合成图像的宽度以及高度，生成合成像素值。例如：用户在配置界面设置三个矩形框，将第一个矩形框的尺寸设置为第二个矩形框和第三个矩形框的尺寸的1/2，第二个矩形框和第三个矩形框的尺寸相同，则此时可将第一个矩形框对应的待拼接图像的尺寸缩小1/2，然后再与其他两个矩形框对应的待拼接图像进行拼接。
66.本实施例从多种基准确定策略中选取一种基准确定策略作为当前策略；然后采用当前策略确定基准宽高值，并基于基准宽高值与所有矩形框的宽高值，计算出待拼接图像在合成图像中的宽高值，从而得到合成图像的宽度以及高度；通过将第一位置信息映射到合成图像，得到每个待拼接图像在合成图像中的第二位置信息；最终根据第二位置信息、像素值以及合成图像的宽度以及高度进行编码，得到最终的合成图像；通过对待拼接图像的位置映射，将待拼接图像按照合成样式中的排列进行拼接，无需改变拼接逻辑，能够按照任意自定义的合成样式对待拼接图像进行自适应拼接，从而解决合成样式受限的问题；此外还能够根据用户设置的尺寸不同的矩形框，对待拼接图像的尺寸进行适应性地调整，进一步提升合成的多样性。
67.请参阅图9，图9是本技术提供的配置设备一实施例的结构示意图，配置设备90包括互相连接的存储器91和处理器92，存储器91用于存储计算机程序，计算机程序在被处理器92执行时，用于实现上述实施例中的图像拼接方法。
68.请参阅图10，图10是本技术提供的摄像设备一实施例的结构示意图，摄像设备100包括互相连接的存储器101和处理器102，存储器101用于存储计算机程序，计算机程序在被处理器102执行时，用于实现上述实施例中的图像拼接方法。
69.请参阅图11，图11是本技术提供的图像拼接系统一实施例的结构示意图，图像拼接系统110包括互相连接的配置设备111和摄像设备112，配置设备111用于将业务协议信息发送至摄像设备112，以使得摄像设备112基于业务协议信息以及待拼接图像，生成合成图像，其中，配置设备111为上述实施例中的配置设备，摄像设备112为上述实施例中的摄像设备。
70.请参阅图12，图12是本技术提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质120用于存储计算机程序121，计算机程序121在被处理器执行时，用于实现上述实施例中的图像拼接方法。
71.计算机可读存储介质120可以是服务端、u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
72.在本技术所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
73.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
74.另外，在本技术各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
75.以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。