一种图像生成方法、装置、设备及存储介质与流程

1.本申请实施例涉及智能驾驶技术领域，涉及但不限于一种图像生成方法、装置、设备及存储介质。


背景技术：

2.在相关技术的图像生成方法中，当需要将一幅白天自动驾驶场景图像通过图像生成的方式转化为夜晚场景的图像时，转换后的图像的车尾灯也是暗的，使得生成的图像的真实性不能得到保证。


技术实现要素：

3.本申请实施例提供一种图像生成技术方案。
4.本申请实施例的技术方案是这样实现的：
5.本申请实施例提供一种图像生成方法，所述方法包括：检测原始图像中的目标对象上的照明灯；将所述原始图像转换为特定场景下的待处理图像；在所述待处理图像中，确定工作状态与所述特定场景的场景信息不匹配的照明灯为待替换对象；根据所述场景信息以及所述待替换对象，确定包括工作状态与所述场景信息相匹配的待替换对象的替换图像；采用所述替换图像替换所述待处理图像中所述待替换对象所占据的区域的图像，生成目标图像。
6.本申请实施例提供一种图像生成装置，所述装置包括：照明灯检测模块，用于检测原始图像中的目标对象上的照明灯；图像转换模块，用于将所述原始图像转换为特定场景下的待处理图像；对象确定模块，用于在所述待处理图像中，确定工作状态与所述特定场景的场景信息不匹配的照明灯为待替换对象；替换图像确定模块，用于根据所述场景信息以及所述待替换对象，确定包括工作状态与所述场景信息相匹配的待替换对象的替换图像；图像生成模块，用于采用所述替换图像替换所述待处理图像中所述待替换对象所占据的区域的图像，生成目标图像。
7.对应地，本申请实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现上述所述的方法步骤。
8.本申请实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现上述所述的方法步骤。
9.本申请实施例提供一种图像生成方法、装置、设备及存储介质，首先将原始图像转换为特定场景下的待处理图像；然后，将待处理图像中目标对象上的、工作状态与特定场景的场景信息不匹配的照明灯作为待替换对象，并根据场景信息以及待替换对象，确定包括工作状态与场景信息相匹配的待替换对象的替换图像；最后，采用该替换图像替换待处理图像中待替换对象所占据的区域的图像，以生成目标图像；如此，使得目标图像中的对象的工作状态与场景信息相匹配，从而使得生成的目标图像更加符合真实场景。
附图说明
10.图1为本申请实施例图像生成方法的实现流程示意图；
11.图2为本申请实施例提供的图像生成方法的另一实现流程示意图；
12.图3a为本申请实施例提供的图像生成系统的组成结构示意图；
13.图3b为本申请实施例图像生成方法的应用场景示意图；
14.图4为本申请实施例提供的图像生成方法的实现框架结构图；
15.图5为本申请实施例图像生成方法的另一应用场景示意图；
16.图6为本申请实施例图像生成装置结构组成示意图；
17.图7为本申请实施例计算机设备的组成结构示意图。
具体实施方式
18.为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
19.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
20.在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使在一些实施例中描述的本申请实施例能够以除了在一些实施例中图示或描述的以外的顺序实施。
21.除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
22.对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
23.1)高斯模糊：对于图像来说就是一个低通滤波器。所谓"模糊"，可以理解成每一个像素都取周边像素的平均值。
24.2)自主车辆(ego vehicle)：包含感知周围环境传感器的车辆。车辆坐标系固连在自主车辆上，其中，x轴为汽车前进的方向，y轴指向车辆前进方向的左侧，z轴垂直于地面向上，符合右手坐标系。坐标系原点位于后轴中点下方的大地上。
25.下面说明本申请实施例提供的图像生成的设备的示例性应用，本申请实施例提供的设备可以实施为具有图像采集功能的笔记本电脑，平板电脑，台式计算机，相机，移动设备(例如，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。下面，将说明设备实施为终端或服务器时示例性应用。
26.该方法可以应用于计算机设备，该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算机设备至少包括处理器和存储介质。
27.图1为本申请实施例图像生成方法的实现流程示意图，如图1所示，结合如图1所示
步骤进行说明：
28.步骤s101，检测原始图像中的目标对象上的照明灯。
29.在一些实施例中，原始图像可以是任意场景下采集的图像，可以是包括画面内容复杂的图像还可以是包括画面内容简单的图像，比如，在深夜采集的街道场景的图像，或者在白天采集的街道场景的图像等。目标对象为车辆或者路灯等具有照明灯的对象。目标对象包括行驶设备和路灯等工作状态可变的设备，工作状态可变的设备，包括：具有至少两种工作状态的可移动设备，比如，各种各样功能的车辆(如卡车、汽车、摩托车、自行车等)、各种轮数的车辆(如四轮车辆、两轮车辆等)和任意可移动设备(如机器人、飞行器、导盲器、智能家具设备或智能玩具等)等。或者具有至少两种工作状态的固定设备，比如，各种各样的道路照明灯(如高杆路灯、中杆灯、道路灯、庭院灯、草坪灯或景观灯等)。下面不妨以车辆为例进行说明。比如，待处理图像为夜晚场景的道路图像，其中，工作状态可变的设备为道路上行进的车辆上的照明灯。
30.步骤s102，将原始图像转换为特定场景下的待处理图像。
31.在一些实施例中，特定场景的场景信息可以包括场景中光线明暗程度、场景所在的位置以及场景中的对象等，比如，待处理图像是深夜场景下的街道图像，那么场景信息包括：该街道的明亮程度、该街道的位置以及街道上的车辆和路灯等对象。
32.在一些可能的实现方式中，待处理图像可以是特定场景下的图像，其中，特定场景可以是设定的任意场景，比如，深夜的场景、傍晚的场景或凌晨的场景等。
33.在步骤s102中，将原始图像转换为特定场景下的待处理图像可以通过以下方式实现：
34.第一步，获取原始图像。
35.在一些可能的实现方式中，原始图像为任意场景下采集到的图像，比如，在白天采集的道路图像或者在夜晚采集的道路图像等。
36.第二步，确定原始图像的场景信息。
37.在一些可能的实现方式中，获取到原始图像之后，通过训练好的判别器，判断该图像的场景信息是否为特定场景的场景信息。比如，特定场景的场景信息为夜晚场景，通过判别器判断该图像的场景信息是否为夜晚场景。
38.第三步，在所述场景信息与所述特定场景的场景信息不匹配的情况下，根据所述特定场景的场景信息，对所述原始图像的场景信息进行转换，得到转换图像。
39.在一些可能的实现方式中，在场景信息与特定场景的场景信息相差较远的情况下，将原始图像的场景信息转换为特定场景的场景信息，即将原始图像转换为特定场景下的图像，从而得到转换图像。比如，特定场景的场景信息为夜晚场景，原始图像为白天场景下采集到的图像，那么将白天场景下采集的原始图像转换为夜晚场景的图像，可以通过将原始图像输入生成器，生成对应的夜晚待处理图像。
40.在一些实施例中，在场景信息与所述特定场景的场景信息相匹配的情况下，将所述原始图像确定为所述待处理图像。
41.比如，场景信息与特定场景的场景信息相同或极为相近的情况下，说明原始图像即具有特定场景的场景信息，所以不需要对原始图像进行图像转换，即可将原始图像作为待处理图像。在一个具体例子中，特定场景的场景信息为深夜场景，原始图像为夜幕降临的
场景下采集到的图像，该场景与特定场景相似均为夜晚，那么将原始图像确定为待处理图像。
42.第四步，将转换图像确定为待处理图像。
43.通过上述第一步至第四步，在获取原始图像之后，通过对原始图像的场景信息进行判断，在场景信息不是特定场景的场景信息的情况下，对原始图像的场景信息进行转换，从而得到具有特定场景的场景信息的待处理图像。
44.步骤s103，在待处理图像中，确定工作状态与特定场景的场景信息不匹配的照明灯为待替换对象。
45.在一些实施例中，照明灯的工作状态与特定场景的场景信息相关联，可以理解为照明灯的工作状态应该随着特定场景的场景信息的变化而变化。比如，如果特定场景的场景信息从白天场景转换为夜晚场景，那么照明灯的工作状态也随着发生改变。在一个具体例子中，如果待处理图像为具有夜晚场景的道路图像，照明灯为该图像中运行的车辆的车灯，在真实情况下，夜晚场景的车辆的照明灯(如车尾灯)应该是处于发光状态，如果在待处理图像中车灯是处于未发光状态，那么确定该车辆的车灯为待替换对象。而白天场景的车辆的车灯应该是处于未发光状态，如果在待处理图像中车灯是处于发光状态，那么确定该车辆的车灯为待替换对象。或者，待替换对象为路灯，那么在实际场景中，夜晚场景的路灯应该是处于发光状态，而白天场景的路灯应该是处于未发光状态。
46.在其他实施例中，还可以将待处理图像中包括工作状态与所述特定场景的场景信息不匹配的照明灯的整个目标对象作为待替换对象。比如，特定场景的场景信息为夜晚场景，目标对象为车辆，该车辆中包括处于未发光状态的车灯，可以将该车辆作为待替换对象。
47.步骤s104，根据场景信息以及待替换对象，确定包括工作状态与场景信息相匹配的待替换对象的替换图像。
48.在一些实施例中，替换图像包括的待替换对象的工作状态与场景信息相匹配，即替换图像包括的照明灯的工作状态与场景信息相匹配。待处理图像中待替换对象的工作状态与场景信息不匹配，可以理解为是，待替换对象的工作状态不是该场景下合理的状态，比如，场景信息为夜晚场景，待替换对象为车灯，待替换对象的工作状态为未发光状态，即说明待替换对象的工作状态与场景信息不匹配。
49.替换图像中的待替换对象的工作状态与场景信息相匹配，可以理解为，替换图像中的待替换对象的工作状态是在场景下合理的状态。比如，场景信息为夜晚场景，待替换对象为车灯，那么替换图像中的待替换对象的工作状态为发光状态，对应的，替换图像即为采集的处于发光状态的车灯的图像。
50.步骤s105，采用所述替换图像替换待处理图像中待替换对象所占据的区域的图像，生成目标图像。
51.在一些实施例中，在待处理图像中，通过确定出工作状态与场景信息不匹配的待替换对象，并确定出待替换对象在待处理图像中占据的区域；采用工作状态与场景信息匹配的替换对象所对应的替换图像替换该区域的图像，并针对替换后的图像进行平滑处理，从而生成目标图像。
52.在一个具体例子中，以场景信息为夜晚场景为例，待处理图像为具有夜晚场景的
道路图像，工作状态随着场景的变化而变化的照明灯为车辆中的车灯；在车灯的工作状态为未发光状态时，即该工作状态与夜晚场景不匹配，在这种情况下，按照该车灯的规格，在预设图像库中查找包括与该车灯的规格相同的预设车灯的替换图像；其中，替换图像中的待替换对象的工作状态与场景匹配，即在该替换图像中预设车灯的工作状态为发光状态。最后，采用该替换图像替换待处理图像中车灯所在的区域的图像，从而生成目标图像。如此，生成的目标图像中车灯的工作状态为发光状态，与夜晚场景相匹配，从而使得生成的目标图像更加逼真。
53.在本申请实施例中，通过在待处理图像中，确定出工作状态与场景信息不匹配的待替换对象；然后，利用替换图像替换待替换对象占据的区域的图像，从而使得生成的目标图像中包括工作状态匹配场景信息的待替换对象，进而使得生成的目标图像更加生动逼真。
54.在其他实施例中，将包括工作状态与所述场景信息相匹配的待替换对象的替换图像存储在预设图像库中，可以用来实时渲染待替换对象，从而可以生成动画播放的目标图像，提高生成的目标图像的丰富性，实现过程如下，在本申请实施例中以待替换对象为车灯为例进行说明：
55.首先，确定待替换对象的工作模式。
56.在一些可能的实现方式中，车灯是指车辆上的照明灯，可以是前照灯、吾雾灯、倒车灯、牌照灯等等。车灯的工作模式至少包括：闪烁模式、远光模式和近光模式等。
57.如果工作模式为预设工作模式，在预设图像库中，查找包括与所述待替换对象相匹配的对象，且按照所述预设工作模式随时间序列发生变化的多个目标预设图像，得到目预设图像集合。
58.在一些可能的实现方式中，预设工作模式可以设定为闪烁模式，即如果工作模式为闪烁模式，在预设图像库中，确定该车灯在闪烁的过程中随时间序列变化的多个目标预设图像，得到目标预设图像集合。
59.最后，按照随时间序列变化的多个目标预设图像，对当前的待替换对象进行实时渲染，生成待替换对象处于预设工作模式的目标动画，并以动画格式播放生成的目标动画。
60.在本申请实施例中，对于待替换对象，由于采用灯取代了发光二极管(light emitting diode，led)，所以车灯可以发出各种颜色的光以及，通过多种发光模式进行工作，比如，通过闪烁模式工作。在这种情况下，本申请实施例不仅能够输出静止的目标图像，还可以采用动画格式的目标图像。由于将包括工作状态与场景信息相匹配的对象的替换图像存储在预设图像库中，从而能够通过随时间序列变化的预设图像渲染待替换对象，以生成并播放目标动画。
61.在一些实施例中，为了提高确定待替换对象的准确度，通过在待处理图像中确定目标对象，并将该目标对象中工作状态与场景信息不匹配的照明灯，作为待替换对象，可以通过以下步骤实现：
62.第一步，确定待处理图像中的工作状态可变的照明灯。
63.在一些可能的实现方式中，在待处理图像中的目标对象中，确定出工作状态与所述场景信息具有关联关系的照明灯。该照明灯的工作状态虽与场景信息具有关联关系，但是与场景信息并不一定匹配。
64.第二步，确定工作状态与场景信息不匹配的照明灯，作为待替换对象。
65.在一些可能的实现方式中，如果目标对象为可移动设备，那么待替换对象为可移动设备中工作状态与场景信息不匹配的照明灯，比如，目标对象为车辆，那么待替换对象为车辆中工作状态与场景信息不匹配的车灯(如车头灯、前车灯或尾灯等)。如果目标对象为固定设备，那么待替换对象为固定设备中工作状态与场景信息不匹配的照明灯；比如，目标对象为高杆路灯，那么待替换对象为高杆路灯中工作状态与场景信息不匹配的灯。目标对象还可以为固定照明设备，该固定照明设备中工作状态与所述场景信息不匹配的照明灯为照明灯，即待替换对象为所述固定照明设备上的照明灯；在待处理图像中，该照明灯的工作状态可以是发光或者不发光，即待处理图像中的照明灯可以处于亮灯状态，也可以处于灯不亮状态。
66.在一些可能的实现方式中，以固定照明设备为高杆路灯，待替换对象为该路灯的灯具为例，如果待处理图像的场景信息为白天场景，比如，待处理图像为通过对夜晚采集的街道场景下的原始图像进行场景转换后得到的白天场景的图像。假如在原始图像中街道上的路灯是不亮的，而且进行图像转换后，待处理图像是白天场景的图像，路灯自然不需要处于亮灯状态；所以这种情况下，不需要对待处理图像上的路灯进行替换；如果待处理图像的场景信息为夜晚场景，比如，待处理图像为通过对白天采集的街道场景下的原始图像进行场景转换后得到的夜晚场景的图像。假如在原始图像中街道上的路灯是不亮的，进行图像转换后，待处理图像是夜晚场景的图像，路灯需要处于亮灯状态；这种情况下，需要确定包括处于亮灯状态的路灯的替换图像，将该替换图像替换待处理图像中待替换对象所占据的区域的图像，生成目标图像。
67.在一些可能的实现方式中，目标对象可以为行驶设备，该行驶设备中工作状态与所述场景信息不匹配的照明灯为行驶设备的照明灯，比如，行驶设备为车辆，那么待替换对象为车灯；在待处理图像中，该车辆上的车灯的工作状态可以是发光或者不发光，即待处理图像中的车灯可以是处于亮灯状态，也可以是处于灯不亮状态。以行驶设备为车辆，待替换对象为车尾灯为例，如果待处理图像的场景信息为白天场景，比如，待处理图像为通过对夜晚采集的街道场景下的原始图像进行场景转换后得到的白天场景的图像。假如在原始图像中街道上的车辆的前照灯是不亮的，而且进行图像转换后，待处理图像是白天场景的图像，前照灯并不需要处于亮灯状态；所以这种情况下，不需要对待处理图像上的前照灯进行替换；如果待处理图像的场景信息为夜晚场景，比如，待处理图像为通过对白天采集的街道场景下的原始图像进行场景转换后得到的夜晚场景的图像，假如在原始图像中街道上的前照灯是不亮的，进行图像转换后，待处理图像是夜晚场景的图像，前照灯需要处于亮灯状态；这种情况下，需要确定包括处于亮灯状态的前照灯的替换图像，将该替换图像替换待处理图像中待替换对象所占据的区域的图像，生成目标图像。
68.在本申请实施例中，通过在待处理图像中确定出存在多种工作状态的目标对象，并针对该目标对象中工作状态与场景信息不匹配的照明灯进行替换，从而使得替换后的目标图像与场景信息更加匹配，画面内容更合理生动。
69.在一些实施例中，待替换图像可以是从预设图像库中查找得到，还可以是通过分析待替换对象的属性信息生成该待替换图像，即在步骤s104中，可以通过以下两种方式确定待替换图像，其中：
70.方式一：在预设图像库中，查找包括与待替换对象相匹配的预设对象的替换图像。
71.在一些实施例中，预设图像库中存储的预设对象的工作状态与场景信息相匹配。比如，场景信息为夜晚场景，那么预设图像库中存储的是处于发光状态的车灯图像。与待替换对象相匹配的目标预设图像，可以理解为是与待替换对象至少规格相同或类型相同的目标预设图像。比如，待替换对象为车灯，那么目标预设图像为与该车灯规格相同的车灯图像。
72.在一些可能的实现方式中，可以通过以下过程在预设图像库中查找替换图像，如图2所示，图2为本申请实施例提供的图像生成方法的另一实现流程示意图，步骤s104可以通过s201至s203实现，结合图2所示的步骤进行说明：
73.步骤s201，确定待替换对象的属性信息。
74.在一些可能的实现方式中，可借助于训练好的第二神经网络来查找替换图像，从而提高确定替换图像的准确度，即通过第二神经网络，确定待替换对象的属性信息。其中，待替换对象的属性信息为用于表征待替换对象规格和类型等，描述待替换对象自身的信息；比如，待替换对象为车灯，属性信息为该车灯的规格、该车灯具体的种类和车灯的左右侧等；其中，车灯的种类包括：后位灯、左尾灯、右尾灯、前大灯等。
75.步骤s202，在预设图像库中，查找包括属性与待替换对象的属性信息相匹配的预设对象的目标预设图像。
76.在一些可能的实现方式中，首先，查找属性信息与待替换对象的属性信息相同的预设对象；然后，在预设图像库中，查找包括该预设对象的目标预设图像。
77.步骤s203，将查找到的目标预设图像，确定为所述替换图像。
78.在一些可能的实现方式中，预设对象在替换图像中的工作状态与场景信息相匹配。在一个具体例子中，待替换对象为左右两个尾灯，那么在预设图像库中查找包括与该车灯的属性信息相同的且处于发光状态的尾灯的目标预设图像。因为左尾灯和右尾灯在外观形状上相同，所以确定出的目标预设图像可以是一帧图像，也可以分别与左尾灯和右尾灯相同的两个对称图像。如果目标预设图像是一帧图像，那么在采用目标预设图像替换待替换对象占据的区域时，采用该目标预设图像按照左右尾灯的形状分别进行替换，使得替换后的目标图像中左右尾灯仍然对称。同理，如果待替换对象为前大灯或后位灯，那么当采用目标预设图像对待替换对象所在的区域进行替换时，通过待替换对象的位置信息确定是前大灯还是后位灯，以保证替换后的目标图像更加合理且逼真。
79.在方式一中，响应于待替换对象为目标对象中工作状态与所述场景信息不匹配的照明灯，在预设图像库中，查找目标预设图像，可以通过以下过程实现：
80.首先，确定所述待替换对象与采集原始图像的装置之间的距离。
81.在一些实施例中，待处理图像由原始图像转换得到，即待处理图像是通过对原始图像进行图像转换得到的；比如，原始图像为白天场景下采集的街道图像，将该白天场景转换为夜晚场景，得到待处理图像。首先，通过确定待替换对象的尺寸，然后，基于该尺寸、待替换对象在待处理图像中占据的像素数和采集原始图像的装置的焦距，可计算该距离。
82.在一可能的实现方式中，通过根据待替换对象的类别信息，确定待替换对象的尺寸信息，并根据待替换对象的尺寸信息以及待处理图像中待替换对象的尺寸，确定采集原始图像的装置与待替换对象之间的距离。
83.在一些可能的实现方式中，待替换对象的尺寸信息包括待替换对象的长度、宽度和高度等。待替换对象的类别信息包括：待替换对象所属的品牌或类型等，以目标对象为行驶设备为例进行说明，目标对象的类别信息包括：小轿车，suv，面包车，小卡车，大卡车，大巴车，公交车或箱式货车等；那么待替换对象为小轿车，suv，面包车，小卡车，大卡车，大巴车，公交车或箱式货车等中工作状态与特定场景的场景信息不匹配的车灯。以目标对象为固定照明设备，目标对象的类别信息包括：各种类型的路灯、工地照明灯、探照灯、建筑照明灯、船用灯或民用灯；那么待替换对象为各种类型的路灯、工地照明灯、探照灯、建筑照明灯、船用灯或民用灯中工作状态与特定场景的场景信息不匹配的灯具。
84.确定待替换对象的类别信息之后，即可确定目标对象的规格，从而得到目标对象的尺寸信息。比如，确定目标对象的类别信息为面包车，进一步确定是哪一款哪一规格的面包车，从而得到该面包车的宽度。以目标对象为面包车为例，确定出该面包车的真实宽度之后，即可确定待替换对象(即面包车车灯)的真实宽度在待处理图像中对应的像素数目；然后，结合图像采集装置的焦距(比如，相机的焦距)，通过像素数目与该焦距的商来估算图像采集装置与待替换对象之间的距离。
85.然后，根据所述待替换对象的类别信息以及确定的距离，在所述预设图像库中，查找包括属性与所述待替换对象的属性信息相匹配的预设对象的目标预设图像。
86.在一些实施例中，不同类别的待替换对象，在不同距离下，待替换对象的工作参数不同，所以，通过将待替换对象的类别与距离相结合，在预设图像库中查找目标预设图像，能够提高查找到的目标预设图像的准确度。以目标对象为固定照明设备，所述待替换对象为所述固定照明设备上的照明灯，或，以目标对象为行驶设备，待替换对象为行驶设备上的照明灯，为例进行说明，图像采集装置与照明灯的距离不同，照明灯的光照强度也不同，基于该距离下的光照强度，在预设图像库中查找与该光照强度相同的照明灯，将具有该照明灯的目标预设图像，作为替换图像。
87.方式二：响应于在预设图像库中查找不到目标预设图像，可以生成包括属性与待替换对象的属性信息相匹配的预设对象的目标预设图像，并将生成的目标预设图像，作为替换图像，并且基于生成的目标预设图像更新预设图像库，可以通过以下过程实现：
88.首先，确定所述待替换对象与采集所述原始图像的装置之间的距离。
89.在一些实施例中，如果目标对象为行驶设备，那么确定的距离为：行驶设备的照明灯与采集原始图像的装置之间的距离。比如，行驶设备为车辆，那么确定的距离为车辆的车灯和图像采集装置之间的距离。
90.其次，根据确定的距离，确定预设对象的工作参数。
91.在一些实施例中，预设对象的工作参数包括：该预设对象在正常工作时的各项数据，参数的类别与预设对象的类别对应，包括：预设对象的工作功率和工作强度等；比如，预设对象为照明灯(行驶设备的照明灯或者固定照明设备的照明灯)，那么照明灯的工作参数至少包括该照明灯的光照强度，且距离不同，照明灯的光照强度不同，距离越大，照明灯的光照强度越弱，即工作参数越小。
92.再次，根据确定的工作参数，生成包括预设对象的目标预设图像。
93.在一些实施例中，在确定预设对象的工作参数之后，可以按照该工作参数，生成具有处于该工作参数对应的工作状态下的对象的目标预设图像，以得到替换图像。在一个具
体例子中，如果预设对象为照明灯，工作参数为该照明灯的光照强度，那么根据该光照强度，生成具有该光照强度的待替换对象的替换图像。这里，确定该距离下的光照强度之后，即可生成用于该光照强度的待替换对象的替换图像。在确定出替换图像之后，可将替换图像，以及替换图像与距离之间的对应关系存储在预设图像库中，以得到更新的预设图像库。
94.再次，将待替换对象占据的区域替换为目标预设图像，生成目标图像。
95.在一些可能的实现方式中，生成替换图像之后，首先，确定待替换对象在待处理图像中占据的区域大小，然后基于该大小调整替换图像的尺寸，以使调整后的替换图像与待替换对象占据的区域大小契合，从而采用调整后的替换图像替换待替换对象所占据的区域的图像，使得生成的目标图像质量较高。在一个具体例子中，待处理图像为夜晚场景的道路图像，目标对象为道路上运行的车辆，待替换对象为目标对象中未发光的车灯，比如，夜景图像中车辆未发光的车尾灯，通过基于图像采集的装置与所述目标对象的照明灯之间的距离，生成具有该距离相匹配的光强度的车灯的替换图像，利用该替换图像替换待处理图像中的车尾灯。这样，将夜晚待处理图像中的未发光的车灯图像替换为发光的替换图像，从而使得生成的目标图像更加逼真。
96.最后，将目标预设图像存储在预设图像库中。
97.在一些实施例中，通过确定待替换对象的类别信息，来确定该设备的尺寸，从而能够确定出该设备与图像采集装置之间的距离，基于此，按照距离与预设对象的工作参数之间的对应关系，可在关系对应表中确定出该距离匹配的工作参数，从而生成具有处于该工作参数对应的工作状态下的对象的目标预设图像。最后，将距离与工作参数之间的对应关系、待替换对象的类别信息与尺寸信息之间的对应关系和生成的目标预设图像，均存储在预设图像库中，以更新该预设图像库。从而当再次需要从预设图像库中查找目标预设图像时，能够提供更丰富的预设对象以供选择，进而提高选择的目标预设图像的准确度。
98.在一些可能的实现方式中，如果目标对象为行驶设备或固定照明设备，预设对象为固定照明设备上的照明灯或行驶设备上的照明灯，预设对象的工作参数为照明灯的光照强度，通过确定预设对象的工作参数，生成包括预设对象的目标预设图像的过程，可以通过以下步骤实现：
99.第一步，确定照明灯处于启动状态时的光照强度。
100.在一些实施例中，该照明灯可以是任意规格的照明灯，比如，功率较小的路灯或者功率较大的探照灯，那么确定该照明灯处于已启动状态的光照强度。
101.第二步，根据距离以及照明灯处于启动状态时的光照强度，确定照明灯的与距离相匹配的光照强度。
102.在一些实施例中，首先，确定照明灯处于启动状态时的光照强度与该距离之间的对应关系，然后，基于该对应关系，确定不同距离下照明灯的光照强度。光照强度与该距离之间的对应关系为，距离越大光照强度越小；换言之，由于图像采集的装置与待替换对象之间的距离不同，采集到的待替换对象的光照强度不同，该光照强度与距离成反比，即图像采集的装置与待替换对象之间的距离越大，采集到的待替换对象的光照强度越小。这样，通过测量多个距离与光照强度，可以创建表征光照强度与距离之间对应关系的关系对应表，在需要依据距离，确定照明灯的光照参数时，可以从该表中查找与距离相匹配的光照强度。
103.第三步，根据与距离相匹配的光照强度，生成包括具有与距离相匹配的光照强度
的预设对象的目标预设图像。
104.在一些实施例中，按照该光照强度，渲染生成具有该光照强度的预设对象的图像，即目标预设图像。
105.在上述方式一和上述方式二中实现了“确定包括工作状态与场景信息相匹配的待替换对象的替换图像”，并且可通过第二神经网络确定出待替换对象的属性信息，在预设图像库中查找包括与该属性信息相同的预设对象的目标预设图像；如果在预设图像库中查找不到目标预设图像，那么通过综合考虑待替换对象的类别信息以及该设备与图像采集装置之间的距离，确定与该距离匹配的预设对象的工作参数；从而生成包括具有该工作参数的预设对象的目标预设图像，并通过将目标预设图像存储在预设图像库中更新该预设图像库，从而保证了最终得到的替换对象是与场景信息完美匹配的。
106.在一些实施例中，上述确定替换对象的过程，可以通过神经网络来实现，该神经网络包括第一神经网络和第二神经网络，利用第一神经网络确定目标对象的类别信息；通过第二神经网络，根据类别信息，确定目标对象中工作状态与所述场景信息不匹配的照明灯，即可得到待替换对象，实现过程如下：
107.利用第一神经网络检测待处理图像中的目标对象。
108.在一些可能的实现方式中，第一神经网络可以是任意类型的神经网络，比如，卷积神经网络，或残差网络等。将待处理图像输入已训练的第一神经网络，第一神经网络输出目标对象的检测框和类别。
109.在一些实施例中，第一神经网络的训练过程可以通过以下步骤实现：
110.第一步，将训练图像输入待训练第一神经网络中，预测所述待训练图像中的目标对象的第一位置信息。
111.在一些可能的实现方式中，通过大量的训练图像对待训练第一神经网络进行训练，即将大量的训练图像输入待训练第一神经网络，以预测待训练图像中的目标对象的位置和类别。
112.第二步，根据所述训练图像中的目标对象的标注位置信息，确定第一位置信息的第一预测损失。
113.在一些可能的实现方式中，利用训练图像中目标对象的标注位置信息和目标对象的第一位置信息的差值，确定第一预测损失。
114.第三步，根据所述第一预测损失，对所述待训练第一神经网络的网络参数进行调整，得到所述第一神经网络。
115.在一些可能的实现方式中，通过结合目标对象的标注位置信息确定预测的每一个第一位置信息的准确度，将这一准确度反馈给神经网络，以使神经网络调整如权值参数等网络参数，从而提升神经网络检测的准确度。所述第一预测损失为正样本和负样本的交叉熵损失。采用该预测损失对神经网络的权重等参数进行调整，从而使得调整后的神经网络预测结果更加准确。
116.上述过程为对第一神经网络进行训练的过程，基于目标对象的预测位置和目标对象的标注位置，进行多次迭代，以使训练后的第一神经网络输出的第一位置信息的第一预测损失满足收敛条件，从而使得该第一神经网络检测的目标对象的准确度更高。
117.基于对第一神经网络的训练过程，在目标对象中确定待替换对象的过程如下：
118.首先，通过所述第一神经网络确定所述目标对象的类别信息。
119.在一些可能的实现方式中，通过第一神经网络，预测出目标对象的类别信息之后，将该类别信息输入到第二神经网络中。
120.然后，通过第二神经网络，根据所述类别信息，确定所述目标对象中的待替换对象。
121.在一些可能的实现方式中，第二神经网络可以是用于预测目标对象中的待替换对象的已训练网络，该网络可以是任意类型的神经网络。将该目标对象的类别信息输入到第二神经网络中，即可预测出该目标对象中与特定场景的场景信息具有关联关系的待替换对象。
122.在一些实施例中，第二神经网络的训练过程可以通过以下步骤实现：
123.第一步，对所述训练图像中的目标对象所属的类别信息进行标注，得到已标注训练图像。
124.第二步，将所述已标注图像输入待训练第二神经网络，根据标注的类别信息，预测所述目标对象的待替换对象的第二位置信息。
125.在一些可能的实现方式中，待训练第二神经网络用于预测目标对象中的待替换对象的位置。将已标注图像输入到待训练第二神经网络，从而预测出待替换对象的第二位置信息，即预测目标对象中的待替换对象的位置。
126.第三步，根据所述目标对象的待替换对象的标注位置信息，确定所述第二位置信息的第二预测损失。
127.第二预测损失可以是与第一预测损失类型相同的损失函数，比如，交叉熵损失函数。
128.第四步，根据所述第二预测损失，对所述待训练第二神经网络的网络参数进行调整，得到所述第二神经网络。
129.在一些可能的实现方式中，待训练第二神经网络的网络参数包括神经网络中神经元权重等。采用该第二预测损失对待训练第二神经网络的权重等参数进行调整，从而使得调整后的第二神经网络的检测结果更加准确。
130.上述过程为对第二神经网络进行训练的过程，基于目标对象的类别信息，进行多次迭代，以使训练后的第二神经网络输出的预测的待替换对象的位置信息的第二预测损失满足收敛条件，从而使得该第二神经网络输出的待替换对象准确度更高。
131.在一些实施例中，采用所述替换图像替换所述待处理图像中所述待替换对象所占据的区域的图像，生成目标图像，可以通过以下过程实现：
132.首先，确定所述替换图像的尺寸信息。
133.其次，确定所述待替换对象在待处理图像中所占据的区域的面积。
134.在一些可能的实现方式中，利用第一神经网络输出待替换对象的检测框，可以将检测框的面积作为待替换对象在待处理图像中所占据的区域的面积。
135.再次，根据所述面积，对所述替换图像的尺寸信息进行调整，得到已调整图像。
136.在一些可能的实现方式中，按照待替换对象在待处理图像中所占据的区域的面积，对替换图像的尺寸信息进行调整，得到已调整图像，从而使得已调整图像的尺寸信息与该区域的大小相契合。
137.再次，采用所述已调整图像替换所述待替换对象所占据的区域的图像，生成候选图像。
138.在一些可能的实现方式中，在待处理图像中，采用已调整图像替换待替换对象所占据的区域的图像，从而得到替换后的图像，即候选图像。在一个具体例子中，如果特定场景的场景信息为夜晚场景，待处理图像为具有夜晚场景的道路图像，待替换对象为工作状态与夜晚场景不匹配的车灯，即处于未发光状态的车灯，说明该车灯在图像中的呈现方式并不合理，那么目标预设图像(即从预设图像库中查找到的替换图像)为包括处于发光状态的车灯的图像，通过对目标预设图像进行尺寸调整，即可得到已调整图像，从而采用已调整图像替换待替换对象所占据的区域的图像，生成包括处于发光状态的车灯的目标图像。
139.最后，对所述候选图像进行平滑处理，生成所述目标图像。
140.在一些可能的实现方式中，可以是通过对候选图像中发生替换操作的区域进行平滑处理，以消除图像在该区域的噪声，还可以是对整个候选图像进行平滑处理，对整个图像进行降噪，从而得到目标图像；使得生成的目标图像更加的合理且清晰。
141.下面，将说明本申请实施例在一个实际的应用场景中的示例性应用，以针对白天场景下采集的道路图像转换为夜晚场景为例，即，以特定场景为夜晚场景，待处理图像为夜晚待处理图像，目标对象为车辆，待替换对象为车灯为例，进行说明。
142.本申请实施例提供一种基于图像生成、目标检测和尾灯匹配的夜晚场景车尾灯添加的方法，使得生成的夜晚图像中车辆更加逼真。本申请实施例可以应用于更多的图像生成领域。例如，夜晚场景车辆前照灯添加、路灯添加等，使得生成图像中的车尾灯生成更加真实。
143.图3a为本申请实施例提供的图像生成系统(用于生成待处理图像)的组成结构示意图，结合图3a进行以下说明：
144.本申请实施例提供的图像生成系统包括：生成器301和判别器302。其中，首先，将白天待处理图像(对应于上述实施例中的原始图像，如图3b中的白天待处理图像321)作为输入，从输入端303输入到生成器301；
145.其次，通过生成器301生成夜晚场景图像(对应于上述实施例中的待处理图像，如图3b中的夜晚场景图像322)，并将生成的夜晚场景图像通过输出端304输出到判别器302；
146.在一些可能的实现方式中，将在夜晚场景下采集到的夜晚场景图像和生成的夜晚场景图像均输入到判别器302中。
147.再次，通过判别器302来区分夜晚场景的图像是来自真实的夜晚场景图像还是生成的夜晚场景图像，即分别得到真实图像305和转换图像306；
148.最后，通过不断优化生成器和判别器的损失函数，使得生成器生成的夜晚场景更加真实。
149.在一些实施例中，通过图3b所示的图像生成系统生成夜晚场景数据之后，对图像中的车辆进行细粒度的目标检测标注，即，用矩形框将图像中的车辆框出，且标注了每辆车的类别信息(比如，小轿车，越野轿车，面包车，小卡车，大卡车，大巴车，公交车，箱式货车等)。此外，针对每一辆车，标注每辆车的尾灯(对应于上述实施例中的待替换对象)，即采用矩形框对车尾灯位置进行标记。同时，根据每个车型的不同，对真实夜晚场景中的车灯进行收集，即抠出夜晚场景下，采集的车辆图像中亮灯的区域，组成包括车灯数据的图像库(对
应于上述实施例中的预设图像库)，用于后续对待替换对象进行匹配，以得到与待替换对象匹配的车尾灯(对应于上述实施例中与待替换对象相匹配的预设对象)。对车尾灯进行匹配的过程，如图4所示，图4为本申请实施例提供的图像生成方法的实现框架结构图，结合图4进行以下说明：
150.图像获取模块401，用于通过对原始图像进行目标检测，采用标注框对目标进行标注。
151.车辆检测网络训练模块402，用于利用该标注框和对车辆的分类，训练对应的检测网络，得到车辆检测网络(对应于上述实施例中的第一神经网络)。
152.车辆检测结果模块403，用于利用车辆检测网络对原始图像进行检测，获得车辆检测结果(比如，获得车辆在图像坐标系下的左上角和右下角坐标(即，标注车辆所在区域的矩形框)，并获得检测的车辆所属的类别，即车辆类型404，进而为图像生成时车灯匹配做准备。
153.裁剪模块409，用于基于车辆检测结果中对车辆进行检测的矩形框，从原始图像中裁剪出矩形框对应的位置，并确定矩形框中车辆的车灯信息。
154.车灯检测网络训练模块405，用于根据矩形框中车辆的车灯信息训练车灯检测网络(对应于上述实施例中的第二神经网络)。
155.车灯检测结果输出模块406，用于通过车灯检测网络对原始图像中的车灯进行检测，得到车灯检测结果。
156.在一些实施例中，该车灯检测结果中包括该车辆对应车灯的位置以及车灯的大小，在本申请实施例中，车灯检测网络也并不限定为具体网络。
157.车灯匹配替换模块408，用于在检测到原始图像中车辆对应车灯位置及大小，以及该车辆所对应的细分类类别之后，利用在车灯库407中查找到的与原始图像的车尾灯匹配的样本尾灯图对原始图像中的车尾灯进行车灯匹配替换。
158.在一些实施例中，通过图像匹配的方法到对应的车灯库407中查找对应类别车辆夜晚场景下尾灯的样例，并将尾灯通过伸缩尺寸，得到包括与该车辆尾灯一样大小的样本尾灯的样本尾灯图(即与该车辆尾灯相匹配的目标预设图像)。
159.最终结果输出模块410，用于利用该样本尾灯图替换原始图像中的车尾灯所在的区域，并使用平滑技术对替换车尾灯区域的周围图像进行平滑处理，从而得到目标图像，即最终的夜晚带发光车尾灯的图像结果。
160.在一些实施例中，利用车灯库中的尾灯图替换原始图像中的车尾灯之后的图像如图5所示，图5为本申请实施例图像生成方法的另一应用场景示意图，其中，原始图像501(对应于上述实施例中的原始图像)为白天场景下采集的图像，目标图像的生成过程如下：
161.首先，通过对原始图像501进行目标检测，利用矩形框标出车辆502、503和504。
162.然后，对矩形框标出的区域(即车辆502、503和504)进行扣取并放大，并转换为夜晚场景图像，依次得到夜晚场景图像511、512和513(对应于上述实施例中的待处理图像)。
163.最后，从预设图像库中确定包括与夜晚场景图像511、512和513中的车尾灯相匹配的样本尾灯的样本尾灯图，将样本尾灯图替换夜晚场景图像511、512和513中的车尾灯所在的区域，依次得到加入发光尾灯后的夜晚场景图像521、522和523，即目标图像。
164.在本申请实施例中，首先，通过在车辆检测的同时对车型进行细分类，然后，通过
车辆检测结果进行车尾灯检测，以获得车尾灯位置和大小，最后，根据车型分类结果，车尾灯位置以及大小，在尾灯库中匹配出样本尾灯，以获得最终的带车尾灯的图像；如此，不仅能够使得车尾灯的添加更加自然，而且将白天场景的图像转换为夜晚场景图像的车辆尾灯进行点亮，更加符合夜晚场景的真实性。
165.本申请实施例提供一种图像生成装置，图6为本申请实施例图像生成装置结构组成示意图，如图6所示，所述装置600包括：
166.照明灯检测模块601，用于检测原始图像中的目标对象上的照明灯；
167.图像转换模块602，用于将所述原始图像转换为特定场景下的待处理图像；
168.对象确定模块603，用于在所述待处理图像中，确定工作状态与所述特定场景的场景信息不匹配的照明灯为待替换对象；
169.替换图像确定模块604，用于根据所述场景信息以及所述待替换对象，确定包括工作状态与所述场景信息相匹配的待替换对象的替换图像；
170.目标图像生成模块605，用于采用所述替换图像替换所述待处理图像中所述待替换对象所占据的区域的图像，生成目标图像。
171.在上述装置中，所述替换图像确定模块604，包括：
172.属性确定子模块，用于确定所述待替换对象的属性信息；
173.目标预设图像查找子模块，用于在预设图像库中，查找包括属性与所述待替换对象的属性信息相匹配的预设对象的目标预设图像；
174.替换图像确定子模块，用于将查找到的目标预设图像，确定为所述替换图像；其中，所述预设对象在所述替换图像中的工作状态与所述场景信息相匹配。
175.在上述装置中，所述装置还包括：
176.距离确定还模块，用于确定所述待替换对象与采集所述原始图像的装置之间的距离；
177.所述目标预设图像查找子模块，还用于：
178.根据所述待替换对象的类别信息以及确定的距离，在所述预设图像库中，查找包括属性与所述待替换对象的属性信息相匹配的预设对象的目标预设图像。
179.在上述装置中，响应于在所述预设图像库中查找不到所述目标预设图像，所述装置还包括：
180.目标预设图像生成模块，用于生成包括属性与所述待替换对象的属性信息相匹配的预设对象的目标预设图像；并将生成的目标预设图像，确定为所述替换图像。
181.在上述装置中，所述装置还包括：
182.距离确定模块，还用于确定所述待替换对象与采集所述原始图像的装置之间的距离；
183.所述目标预设图像生成模块，包括：
184.工作参数确定子模块，用于根据确定的距离，确定所述预设对象的工作参数；
185.目标预设图像生成子模块，用于根据确定的工作参数，生成包括所述预设对象的目标预设图像。
186.在上述装置中，所述距离确定模块，包括：
187.尺寸信息确定子第一模块，用于根据所述待替换对象的类别信息，确定所述待替
换对象的尺寸信息；
188.距离确定子模块，用于根据所述尺寸信息以及所述待处理图像中所述待替换对象的尺寸，确定采集所述原始图像的装置与所述待替换对象之间的距离。
189.在上述装置中，在生成所述目标预设图像之后，所述装置还包括：
190.图像库更新模块，用于将所述目标预设图像存储在所述预设图像库中。
191.在上述装置中，所述预设对象的工作参数为照明灯的光照强度；
192.所述工作参数确定子模块，包括：光照强度确定第一单元，用于确定所述照明灯处于启动状态时的光照强度；光照强度确定第二单元，用于根据所述距离以及所述照明灯处于启动状态时的光照强度，确定所述照明灯的与所述距离相匹配的光照强度；
193.对应地，所述目标预设图像生成子模块，还用于：根据所述与距离相匹配的光照强度，生成包括具有与距离相匹配的光照强度的所述预设对象的目标预设图像。
194.在上述装置中，所述目标图像生成模块605，包括：
195.尺寸信息确定子第二模块，用于确定所述替换图像的尺寸信息；
196.面积确定子模块，用于确定所述待替换对象在所述待处理图像中所占据的区域的面积；
197.替换图像调整子模块，用于根据所述面积，对所述替换图像的尺寸信息进行调整，得到已调整图像；
198.候选图像生成子模块，用于采用所述已调整图像替换所述待替换对象所占据的区域的图像，生成候选图像；
199.目标图像生成子模块，用于对所述候选图像进行平滑处理，生成所述目标图像。
200.在上述装置中，所述目标对象包括行驶设备、路灯。
201.需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
202.需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的图像生成方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、运动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
203.对应地，本申请实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现本申请实施例提供的图像生成方法中的步骤。相应的，本申请实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述该计算机可执行指令被处理器执行时实现上述实施例提供的图像生成方法的步骤。相应的，本申请实施例提供一种计算机设备，图7为本申请实施例计算机设备的组成结构示意图，如图7所示，所述设备700包括：一个处理器701、至少一个通信总线、通信接口702、至少一个外部通信接口和存储器703。其中，通信接口702配置为实现
这些组件之间的连接通信。其中，通信接口702可以包括显示屏，外部通信接口可以包括标准的有线接口和无线接口。其中所述处理器701，配置为执行存储器中图像处理程序，以实现上述实施例提供的图像生成方法的步骤。
204.以上图像生成装置、计算机设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同相应方法实施例相似的技术描述和有益效果，限于篇幅，可案件上述方法实施例的记载，故在此不再赘述。对于本申请图像生成装置、计算机设备和存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
205.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
206.在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
207.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
208.或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以
是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。