一种基于多摄像头的图像生成方法、装置和计算机设备与流程

一种基于多摄像头的图像生成方法、装置和计算机设备
【技术领域】
1.本发明涉及图像技术领域，尤其涉及一种基于多摄像头的图像生成方法、装置和计算机设备。


背景技术：

2.目前，视频监控在各行各业的应用非常广泛，在一个监控地点会安装摄像头，以获取到监控画面。但是能够达到超高清分辨率的单一焦距的摄像头的成本较高；普通摄像头往往只能拍摄一段距离内的清晰图像，超出了相应的距离范围图像就会变得模糊不清，只能通过数字插值方法调节图像的分辨率，但调节过程中会存在图像失真的问题，生成图像的可靠性较低，监控效果较差。


技术实现要素：

3.有鉴于此，本发明实施例提供了一种基于多摄像头的图像生成方法、装置和计算机设备，可以避免图像失真，从而提高图像的可靠性，监控效果较好。
4.一方面，本发明实施例提供了一种基于多摄像头的图像生成方法，所述方法包括：
5.获取多个远焦摄像头拍摄的多幅初始远焦图像和至少一个近焦摄像头拍摄的至少一幅初始近焦图像；
6.将多幅初始远焦图像进行拼接，生成拼接远焦图像；
7.通过提升算法，根据初始近焦图像的分辨率和拼接远焦图像的分辨率，生成超分辨率图像。
8.可选地，将多幅初始远焦图像进行拼接，生成拼接远焦图像，包括：
9.通过第一算法，提取出初始远焦图像的特征点并对初始远焦图像进行特征点匹配，生成特征点对；
10.通过仿射变换，根据特征点对，生成旋转矩阵；
11.根据旋转矩阵，对多幅初始远焦图像进行拼接，生成初始拼接图像，初始拼接图像包括重叠区域；
12.通过第二算法，对重叠区域进行融合，生成拼接远焦图像。
13.可选地，通过提升算法，根据初始近焦图像的分辨率和拼接远焦图像的分辨率，生成超分辨率图像，包括：
14.将拼接远焦图像输入提升算法，按照初始近焦图像的分辨率对拼接远焦图像的分辨率进行调节，生成超分辨率图像，超分辨率图像的分辨率与初始近焦图像的分辨率相同。
15.可选地，提升算法包括插值算法。
16.可选地，第一算法包括尺度不变特征变换算法、加速稳健特征算法、快速最近邻逼近搜索函数库算法或定向快速旋转中之一；第二算法包括渐入渐出融合算法或平均值算法。
17.另一方面，本发明实施例提供了一种辅助设备的确定装置，包括：
18.获取单元，用于获取多个远焦摄像头拍摄的多幅初始远焦图像和至少一个近焦摄像头拍摄的至少一幅初始近焦图像；
19.第一生成单元，用于将多幅初始远焦图像进行拼接，生成拼接远焦图像；
20.第二生成单元，用于通过提升算法，根据初始近焦图像的分辨率和拼接远焦图像的分辨率，生成超分辨率图像。
21.可选地，第一生成单元具体包括：
22.提取子单元，用于通过第一算法，提取出初始远焦图像的特征点并对初始远焦图像进行特征点匹配，生成特征点对；
23.第一生成子单元，用于通过仿射变换，根据特征点对，生成旋转矩阵；
24.第二生成子单元，用于根据旋转矩阵，对多幅初始远焦图像进行拼接，生成初始拼接图像，初始拼接图像包括重叠区域；
25.第三生成子单元，用于通过第二算法，对重叠区域进行融合，生成拼接远焦图像。
26.可选地，还包括：
27.第二生成单元，具体用于将拼接远焦图像输入提升算法，按照初始近焦图像的分辨率对拼接远焦图像的分辨率进行调节，生成超分辨率图像，超分辨率图像的分辨率与初始近焦图像的分辨率相同。
28.另一方面，本发明实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述基于多摄像头的图像生成方法。
29.另一方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于，所述程序指令被处理器加载并执行时实现上述基于多摄像头的图像生成方法。
30.本发明实施例的方案中，获取多个远焦摄像头拍摄的多幅初始远焦图像和至少一个近焦摄像头拍摄的至少一幅初始近焦图像；将多幅初始远焦图像进行拼接，生成拼接远焦图像；通过提升算法，根据初始近焦图像的分辨率和拼接远焦图像的分辨率，生成超分辨率图像，可以避免图像失真，从而提高图像的可靠性，监控效果较好。
【附图说明】
31.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
32.图1为本发明实施例提供的一种基于多摄像头的图像生成系统的结构示意图；
33.图2为本发明实施例提供的一种基于多摄像头的图像生成方法的流程图；
34.图3为本发明实施例提供的又一种基于多摄像头的图像生成方法的流程图；
35.图4为本发明实施例提供的一种多幅初始远焦图像的示意图；
36.图5为本发明实施例提供的一种初始近焦图像的示意图；
37.图6为本发明实施例提供的一种超分辨率图像的示意图；
38.图7为本发明实施例提供的一种基于多摄像头的图像生成装置的结构示意图；
39.图8为本发明实施例提供的一种计算机设备的示意图。
【具体实施方式】
40.为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
41.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
42.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
43.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
44.应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述设定阈值，但这些设定阈值不应限于这些术语。这些术语仅用来将设定阈值彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一设定阈值也可以被称为第二设定阈值，类似地，第二设定阈值也可以被称为第一设定阈值。
45.图1为本发明实施例提供的一种基于多摄像头的图像生成系统的结构示意图，如图1所示，该系统包括：多个远焦摄像头100和至少一个近焦摄像头200，本发明实施例以远焦摄像头100的数量为17个，近焦摄像头200的数量为1个作为示例，具体对基于多摄像头的图像生成系统进行描述。
46.本发明实施例中，多个远焦摄像头100和至少一个近焦摄像头200呈阵列分布。近焦摄像头200位于多个远焦摄像头100的中心位置，近焦摄像头200的拍摄视角较大，远焦摄像头100的拍摄时间较小，近焦摄像头200拍摄到的场景能够覆盖多个远焦摄像头100拍摄到的场景。
47.本发明实施例中，各个摄像头所拍摄到的场景存在重叠区域，以便后续对拍摄到的图像进行拼接，保证能够同时获取远景原始图像与近景原始图像。
48.本发明实施例中，为保证多个远焦摄像头100拍摄到的场景的累加视角能够与近焦摄像头200拍摄到的场景的视角一致，对多个远焦摄像头100和近焦摄像头的200的横向阵列排布方式有以下要求：
49.a*n≥a*n
50.其中，a为远焦摄像头100的横向视角，n为远焦摄像头100的横向数量，a为近焦摄像头200的横向视角，n为近焦摄像头200的横向数量；本发明实施例中，n＝6，n＝1。
51.对多个远焦摄像头100和近焦摄像头200的纵向阵列排布方式有以下要求：
52.b*m≥b*m
53.其中，b为远焦摄像头100的纵向视角，m为远焦摄像头100的纵向数量，b为近焦摄像头200的纵向视角，m为近焦摄像头200的纵向数量。
54.本发明实施例提供的技术方案中，获取多个远焦摄像头拍摄的多幅初始远焦图像和至少一个近焦摄像头拍摄的至少一幅初始近焦图像；将多幅初始远焦图像进行拼接，生成拼接远焦图像；通过提升算法，根据初始近焦图像的分辨率和拼接远焦图像的分辨率，生
成超分辨率图像，可以避免图像失真，从而提高图像的可靠性，监控效果较好。
55.图2为本发明实施例提供的一种基于多摄像头的图像生成方法的流程图，如图2所示，该方法包括：
56.步骤101、获取多个远焦摄像头拍摄的多幅初始远焦图像和至少一个近焦摄像头拍摄的至少一幅初始近焦图像。
57.步骤102、将多幅初始远焦图像进行拼接，生成拼接远焦图像。
58.步骤103、通过提升算法，根据初始近焦图像的分辨率和拼接远焦图像的分辨率，生成超分辨率图像。
59.本发明实施例提供的技术方案中，获取多个远焦摄像头拍摄的多幅初始远焦图像和至少一个近焦摄像头拍摄的至少一幅初始近焦图像；将多幅初始远焦图像进行拼接，生成拼接远焦图像；通过提升算法，根据初始近焦图像的分辨率和拼接远焦图像的分辨率，生成超分辨率图像，可以避免图像失真，从而提高图像的可靠性，监控效果较好。
60.图3为本发明实施例提供的又一种基于多摄像头的图像生成方法的流程图，如图3所示，该方法包括：
61.步骤201、获取多个远焦摄像头拍摄的多幅初始远焦图像和至少一个近焦摄像头拍摄的至少一幅初始近焦图像。
62.本发明实施例中，各步骤由服务器执行。
63.本发明实施例中，每个远焦摄像头拍摄的场景能够覆盖远距离的小部分区域，近焦摄像头拍摄的场景能够从较大视角覆盖指定区域，且近焦摄像头拍摄到的场景能够覆盖多个远焦摄像头拍摄到的场景，即：初始近焦图像能够覆盖多幅初始远焦图像。
64.本发明实施例中，各个摄像头所拍摄到的场景存在重叠区域，以便后续对拍摄到的图像进行拼接，保证能够同时获取远景原始图像与近景原始图像。
65.作为一种可选方案，图4为本发明实施例提供的一种多幅初始远焦图像的示意图，如图4所示，每幅初始远焦图像均能够覆盖远距离的小部分区域，且多幅初始远焦图像之间存在重叠区域。图5为本发明实施例提供的一种初始近焦图像的示意图，如图5所示，初始近焦图像的场景与多幅初始远焦图像的场景相同，且初始近焦图像的场景能够多幅初始远焦图像的场景。
66.步骤202、通过第一算法，提取出初始远焦图像的特征点并对初始远焦图像进行特征点匹配，生成特征点对。
67.本发明实施例中，将初始远焦图像输入第一算法，提取出初始原料图像的特征点并进行特征点匹配，生成特征点对。
68.本发明实施例中，第一算法包括尺度不变特征变换算法、加速稳健特征算法、快速最近邻逼近搜索函数库算法或定向快速旋转中之一。
69.步骤203、通过仿射变换，根据特征点对，生成旋转矩阵。
70.具体地，对特征点对进行仿射变换，生成旋转矩阵。
71.本发明实施例中，对仿射变换生成旋转矩阵的具体实现方式不做限定。
72.步骤204、根据旋转矩阵，对多幅初始远焦图像进行拼接，生成初始拼接图像，初始拼接图像包括重叠区域。
73.本发明实施例中，按照旋转矩阵，对多幅初始远焦图像旋转至指定角度，将旋转后
的多幅初始远焦图像进行拼接，生成初始拼接图像，初始拼接图像包括重叠区域。
74.步骤205、通过第二算法，对重叠区域进行融合，生成拼接远焦图像。
75.具体地，将初始拼接图像输入第二算法，对初始拼接图像中的重叠区域进行融合，生成拼接远焦图像。
76.本发明实施例中，第二算法包括渐入渐出融合算法或平均值算法。
77.步骤206、通过提升算法，根据初始近焦图像的分辨率和拼接远焦图像的分辨率，生成超分辨率图像。
78.具体地，将拼接远焦图像输入提升算法，按照初始近焦图像的分辨率对拼接远焦图像的分辨率进行调节，生成超分辨率图像，超分辨率图像的分辨率与初始近焦图像的分辨率相同。
79.本发明实施例中，提升算法包括插值算法。
80.进一步地，通过下降算法，可以将超分辨率图像从超分辨率降低至较低分辨率，从而实现拼接图像在超分辨率和较低分辨率之间的平滑切换。
81.本发明实施例中，下降算法包括采样算法。
82.作为一种可选方案，初始近焦图像的分辨率4k分辨率，拼接远焦图像的分辨率为16k分辨率，通过提升算法或下降算法实现对拼接远焦图像的分辨率的调节。图6为本发明实施例提供的一种超分辨率图像的示意图，如图6所示，通过提升算法，按照初始近焦图像的分辨率对拼接远焦图像的分辨率进行调节，将拼接远焦图像的分辨率调节至与初始近焦的分辨率相同，生成超分辨率图像。本发明实施例中，初始近焦图像的视角比较大，覆盖了所有远焦摄像头拍摄图像的拍摄区域，而且初始近焦图像未经过任何的拼接过程，整体性较好，可以作为拼接远焦图像拼接与效果优化的参考。在日常生活所需的监控下使用远距离拍摄图像即可，若需要高清效果，可以通过提升算法对拼接远焦图像的分辨率进行调节，生成超分辨率图像。
83.本发明实施例提供的基于多摄像头的图像生成方法的技术方案中，获取多个远焦摄像头拍摄的多幅初始远焦图像和至少一个近焦摄像头拍摄的至少一幅初始近焦图像；将多幅初始远焦图像进行拼接，生成拼接远焦图像；通过提升算法，根据初始近焦图像的分辨率和拼接远焦图像的分辨率，生成超分辨率图像，可以避免图像失真，从而提高图像的可靠性，监控效果较好。
84.图7为本发明实施例提供的一种基于多摄像头的图像生成装置的结构示意图，该装置用于执行上述基于多摄像头的图像生成方法，如图7所示，该装置包括：获取单元11、第一生成单元12和第二生成单元13。
85.获取单元11用于获取多个远焦摄像头拍摄的多幅初始远焦图像和至少一个近焦摄像头拍摄的至少一幅初始近焦图像。
86.第一生成单元12用于将多幅初始远焦图像进行拼接，生成拼接远焦图像。
87.第二生成单元13用于通过提升算法，根据初始近焦图像的分辨率和拼接远焦图像的分辨率，生成超分辨率图像。
88.本发明实施例中，第一生成单元12具体包括：
89.提取子单元121用于通过第一算法，提取出初始远焦图像的特征点并对初始远焦图像进行特征点匹配，生成特征点对。
90.第一生成子单元122用于通过仿射变换，根据特征点对，生成旋转矩阵。
91.第二生成子单元123用于根据旋转矩阵，对多幅初始远焦图像进行拼接，生成初始拼接图像，初始拼接图像包括重叠区域。
92.第三生成子单元124用于通过第二算法，对重叠区域进行融合，生成拼接远焦图像。
93.本发明实施例中，第二生成单元13具体用于将拼接远焦图像输入提升算法，按照初始近焦图像的分辨率对拼接远焦图像的分辨率进行调节，生成超分辨率图像，超分辨率图像的分辨率与初始近焦图像的分辨率相同。
94.本发明实施例的方案中，获取多个远焦摄像头拍摄的多幅初始远焦图像和至少一个近焦摄像头拍摄的至少一幅初始近焦图像；将多幅初始远焦图像进行拼接，生成拼接远焦图像；通过提升算法，根据初始近焦图像的分辨率和拼接远焦图像的分辨率，生成超分辨率图像，可以避免图像失真，从而提高图像的可靠性，监控效果较好。
95.本发明实施例提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述基于多摄像头的图像生成方法的实施例的各步骤，具体描述可参见上述基于多摄像头的图像生成方法的实施例。
96.本发明实施例提供了一种计算机设备，包括存储器和处理器，存储器用于存储包括程序指令的信息，处理器用于控制程序指令的执行，程序指令被处理器加载并执行时实现上述基于多摄像头的图像生成方法的实施例的各步骤，具体描述可参见上述基于多摄像头的图像生成方法的实施例。
97.图8为本发明实施例提供的一种计算机设备的示意图。如图8所示，该实施例的计算机设备30包括：处理器31、存储器32以及存储在存储32中并可在处理器31上运行的计算机程序33，该计算机程序33被处理器31执行时实现实施例中的应用于基于多摄像头的图像生成方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器31执行时实现实施例中应用于基于多摄像头的图像生成装置中各模型/单元的功能，为避免重复，此处不一一赘述。
98.计算机设备30包括，但不仅限于，处理器31、存储器32。本领域技术人员可以理解，图8仅仅是计算机设备30的示例，并不构成对计算机设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
99.所称处理器31可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
100.存储器32可以是计算机设备30的内部存储单元，例如计算机设备30的硬盘或内存。存储器32也可以是计算机设备30的外部存储设备，例如计算机设备30上配备的插接式硬盘，智能存储(smart media,sm)卡，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，存储器32还可以既包括计算机设备30的内部存储单元也包括外部存储
设备。存储器32用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器32还可以用于暂时地存储已经输出或者将要输出的数据。
101.关于上述实施例中描的各个装置、产品包含模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用或集成芯片的各个装置、产品其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者至少部分模块/单元可以采用软件程序的方式实现，该运行于芯片内部集成处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应于或集成芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同模块/单元可以位于芯片模组的同一件(例如片、电路模块等)或者不同组件中，至少部分/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成处理器剩余(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余(如果有)部分模块/单元可以采用电路等硬件方式实现。
102.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。