图像合成方法、装置、电子设备、存储介质和程序产品与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像合成方法、装置、电子设备、存储介质和程序产品。


背景技术：

2.随着计算机视觉技术的发展，目标检测被广泛应用到各个领域。例如，采用障碍物检测模型对某一路段进行障碍物检测，以在检测到障碍物后及时通知自动驾驶车辆，从而保证自动驾驶车辆安全、平稳地行驶。
3.目前，为训练障碍物检测模型，通常需要先采集大量含有障碍物的样本图像，在采集样本图像的过程中，可以采用如下方式：1)对路段进行抓拍，得到施工现场或交通事故的抓拍图像；2)在路段中进行障碍物的摆拍，得到含有障碍物的摆拍图像。
4.然而，由于施工和交通事故并不是常发事件，因此抓拍图像的数量有限；而在路段中进行摆拍，需要耗费大量的人力物力，并且摆拍图像的数量也有限。因此，上述样本图像的采集方式并不能满足障碍物检测模型的训练需求。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够解决抓拍图像和摆拍图像数量有限的问题，满足障碍物检测模型的训练需求的图像合成方法、装置、电子设备、存储介质和程序产品。
6.第一方面，本公开实施例提供一种图像合成方法，该方法包括：
7.获取目标物的物体图像和目标场景的场景图像；
8.在场景图像中识别可合成区域，并在可合成区域中确定合成位置；其中，可合成区域为目标场景中目标物出现的概率大于预设概率阈值的区域；
9.根据合成位置确定目标物在场景图像中的图像尺寸；
10.根据图像尺寸对物体图像进行调整，并将调整后的物体图像合成在场景图像的合成位置处得到样本图像。
11.第二方面，本公开实施例提供了一种障碍物检测模型的训练方法，该方法包括：
12.获取样本图像集合；其中，所述样本图像集合包括多个样本图像，所述样本图像为利用上述第一方面公开的图像合成方法得到的；
13.基于所述样本图像集合进行模型训练，得到障碍物检测模型。
14.第三方面，本公开实施例提供了一种障碍物检测方法，该方法包括：
15.获取检测图像；
16.利用预先训练的障碍物检测模型对所述检测图像进行检测，得到检测结果；其中，所述障碍物检测模型采用上述第二方面公开的方法训练得到；所述检测结果用于指示所述检测图像中是否存在障碍物。
17.第四方面，本公开实施例提供了一种图像合成装置，该装置包括：
18.图像获取模块，用于获取目标物的物体图像和目标场景的场景图像；
19.合成位置确定模块，用于在所述场景图像中识别可合成区域，并在所述可合成区域中确定合成位置；其中，所述可合成区域为所述目标场景中所述目标物出现的概率大于预设概率阈值的区域；
20.尺寸确定模块，用于根据所述合成位置确定所述目标物在所述场景图像中的图像尺寸；
21.图像合成模块，用于根据所述图像尺寸对所述物体图像进行调整，并将调整后的物体图像合成在所述场景图像的所述合成位置处得到样本图像。
22.第五方面，本公开实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
23.第六方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
24.第七方面，本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的方法。
25.上述图像合成方法、装置、电子设备、存储介质和程序产品，获取目标物的物体图像和目标场景的场景图像；在场景图像中识别可合成区域，并在可合成区域中确定合成位置；之后，电子设备根据合成位置确定目标物在场景图像中的图像尺寸；根据图像尺寸对物体图像进行调整，并将调整后的物体图像合成在场景图像的合成位置处得到样本图像。通过本公开实施例，可以自动合成样本图像，这样就解决了抓拍图像和摆拍图像数量不足的问题，不仅满足了障碍物检测模型的训练需求，还节省了人力物力。
附图说明
26.图1为一个实施例中图像合成方法的应用环境图；
27.图2为一个实施例中图像合成方法的流程示意图；
28.图3为一个实施例中物体图像的示意图；
29.图4为一个实施例中场景图像的示意图；
30.图5为一个实施例中场景图像中可合成区域的示意图；
31.图6为一个实施例中确定图像尺寸步骤的流程示意图；
32.图7为另一个实施例中确定图像尺寸步骤的流程示意图；
33.图8为另一个实施例中图像合成方法的流程示意图；
34.图9为一个实施例中亮度调整步骤的流程示意图；
35.图10为一个实施例中障碍物检测模型的训练方法的流程示意图；
36.图11为一个实施例中障碍物检测方法的流程示意图；
37.图12为一个实施例中图像合成装置的结构框图之一；
38.图13为一个实施例中图像合成装置的结构框图之二；
39.图14为一个实施例中电子设备的内部结构图。
具体实施方式
40.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
41.首先，在具体介绍本公开实施例的技术方案之前，先对本公开实施例基于的技术背景或者技术演进脉络进行介绍。通常情况下，为训练障碍物检测模型，需要先采集大量含有障碍物的样本图像，在采集样本图像的过程中，可以采用如下方式：1)对路段进行抓拍，得到施工现场或交通事故的抓拍图像；2)在路段中进行障碍物的摆拍，得到含有障碍物的摆拍图像。但是，由于施工和交通事故并不是常发事件，因此抓拍图像的数量有限；而在目标路段中进行摆拍，需要耗费大量的人力物力，并且摆拍图像的数量也有限。基于该背景，申请人通过长期的模型模拟研发以及实验数据的搜集、演示和验证，发现上述样本图像的采集方式并不能满足障碍物检测模型的训练需求。
42.下面结合本公开实施例所应用的场景，对本公开实施例涉及的技术方案进行介绍。
43.本公开实施例提供的图像合成方法，可以应用于如图1所示的应用环境中。该应用环境包括图像采集设备101和电子设备102。其中，图像采集设备101对目标场景进行图像采集，得到场景图像；电子设备102通过网络与图像采集设备101进行通信，从图像采集设备101获取目标场景的场景图像。上述图像采集设备101可以但不限于是各种摄像头，电子设备102可以但不限于是各种个人计算机、笔记本电脑、平板电脑和服务器，其中，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
44.在一个实施例中，如图2所示，提供了一种图像合成方法，以该方法应用于图1中的电子设备为例进行说明，包括以下步骤：
45.步骤201，获取目标物的物体图像和目标场景的场景图像。
46.其中，目标物为障碍物检测模型需要检测的物体，可以包括锥桶、水马和标牌中的至少一种。目标物的物体图像可以如图3所示。目标场景可以是障碍物需要检测的场景，目标场景的场景图像是图像采集设备对目标场景进行图像采集得到的，如图4所示。
47.在图像合成时，电子设备可以从本地获取预先存储的目标物的物体图像，也可以接收通过网络或者存储介质导入的目标物体的物体图像。本公开实施例对此不做限定。
48.同时，电子设备可以从本地获取预先存储的目标场景的场景图像，也可以从图像采集设备获取目标场景的场景图像。本公开实施例对此也不做限定。
49.步骤202，在场景图像中识别可合成区域，并在可合成区域中确定合成位置。
50.其中，可合成区域为目标场景中目标物出现的概率大于预设概率阈值的区域。
51.在图像合成时，目标物应出现在目标场景中的合理位置处，因此，电子设备先从场景图像中识别出可合成区域，然后再在可合成区域中确定物体图像的合成位置。该合成位置可以是电子设备随机选取的，本公开实施例对合成位置的确定方式不做限定。
52.上述在场景图像中识别可合成区域的过程，可以包括：将场景图像输入到预先训练的区域识别模型中，得到区域识别模型输出的多个边界点坐标；根据多个边界点坐标确定场景图像中的可合成区域，如图5所示的多边形。
53.步骤203，根据合成位置确定目标物在场景图像中的图像尺寸。
54.电子设备确定物体图像的合成位置后，根据物体图像的合成位置确定目标物在目标场景中的位置；然后，根据目标物在目标场景中的位置和目标物在目标场景中的尺寸，确定目标物在场景图像中的图像尺寸。
55.步骤204，根据图像尺寸对物体图像进行调整，并将调整后的物体图像合成在场景图像的合成位置处得到样本图像。
56.电子设备确定目标物在场景图像中的图像尺寸后，根据图像尺寸对物体图像进行调整，使得目标物出现在场景图像中大小合理。接着，电子设备可以将调整后的物体图像合成在场景图像的合成位置处，得到样本图像。例如，将调整后的物体图像粘贴在场景图像中的合成位置处，得到样本图像。
57.在实际应用中，电子设备可以选取多个物体图像，然后依据上述步骤对各物体图像进行调整，最后将多个调整后的物体图像均合成到场景图像中，得到样本图像。本公开实施例对物体图像的数量不做限定。
58.上述图像合成方法中，电子设备获取目标物的物体图像和目标场景的场景图像；在场景图像中识别可合成区域，并在可合成区域中确定合成位置；之后，电子设备根据合成位置确定目标物在场景图像中的图像尺寸；根据图像尺寸对物体图像进行调整，并将调整后的物体图像合成在场景图像的合成位置处得到样本图像。通过本公开实施例，电子设备可以自动合成样本图像，这样就解决了抓拍图像和摆拍图像数量不足的问题，不仅满足障碍物检测模型的训练需求，还节省了人力物力。进一步地，在图像合成过程中，电子设备识别出可合成区域，并对物体图像进行尺寸调整，因此可以保证合成的样本图像中，障碍物的位置和大小较为合理，从而提高了样本图像的质量，进而提高了障碍物检测模型的训练效率。
59.在一个实施例中，如图6所示，上述根据合成位置确定目标物在场景图像中的图像尺寸的过程，可以包括如下步骤：
60.步骤301，根据预先建立的坐标映射关系对合成位置进行映射处理，得到目标物的场景位置。
61.其中，合成位置包括目标物上第一参考点在场景图像中的坐标，场景位置包括第一参考点在目标场景中的坐标。
62.以目标物为锥桶为例，目标物上第一参考点可以为锥桶的底边中点，也可以是锥桶顶部的顶点。本公开实施例对第一参考点的位置不做限定。假设目标物上第一参考点为锥桶的底边中点，则合成位置为锥桶底边中点在场景图像中的坐标，场景位置为锥桶底边中点在目标场景中的坐标。
63.可选地，场景图像中的坐标为像素坐标或图像坐标；目标场景中的坐标为世界坐标或utm坐标。其中，utm是一种国际标准化的地图投影法，采用横轴墨卡托投影，使用笛卡尔坐标系，标记南纬80度至北纬84度之间所有的位置。
64.上述坐标映射关系包括场景图像中的坐标与目标场景中的坐标之间的对应关系。电子设备可以根据图像采集设备的内外参数矩阵预先建立坐标映射关系，其中，坐标映射关系可以包括公式(1)：
65.p
uv
＝k
·
t
·
pw‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑‑
(1)
66.其中，p
uv
为场景图像中的坐标，k为图像采集设备的内参矩阵，t为图像采集设备的
外参矩阵，pw为目标场景中的坐标。
67.电子设备在确定合成位置后，根据坐标映射关系对目标物上第一参考点在场景图像中的坐标进行映射处理，得到目标物上第一参考点在目标场景中的坐标。
68.例如，电子设备根据坐标映射关系将锥桶底边中点在场景图像中的坐标l1映射到目标场景中，得到锥桶底边中点在目标场景中的坐标u1。
69.步骤302，根据目标物的实际尺寸和场景位置，计算出目标物上多个第二参考点在目标场景中的坐标。
70.在目标场景下，各种目标物具有标准的实际尺寸。例如，锥桶高度分为70cm和50cm，锥桶底边宽度分为320cm和240cm。
71.电子设备在确定目标物的场景位置即目标物上第一参考点在目标场景中的坐标后，根据目标物的实际尺寸，可以计算出目标物上多个第二参考点在目标场景中的坐标。
72.例如，第一参考点为锥桶底边中点，第二参考点可以包括锥桶顶部的顶点、锥桶底边的两个顶点。确定锥桶底边中点在目标场景中的坐标u1后，根据锥桶高度可以计算出锥桶顶点在目标场景中的坐标u2，根据锥桶底边宽度可以计算出锥桶底边两个顶点在目标场景中的坐标u3和u4。本公开实施例对第二参考点不做限定。
73.步骤303，根据坐标映射关系分别对各第二参考点在目标场景中的坐标进行映射处理，得到各第二参考点在场景图像中的坐标。
74.电子设备在确定多个第二参考点在目标场景中的坐标后，根据上述坐标映射关系对各第二参考点在目标场景中的坐标进行映射处理，得到各第二参考点在场景图像中的坐标。
75.例如，根据上述公式(1)对锥桶顶点在目标场景中的坐标u2，以及锥桶底边两个顶点在目标场景中的坐标u3和u4进行映射处理，得到锥桶顶点在场景图像中的坐标l2，以及锥桶底边两个顶点在场景图像中的坐标l3和l4。
76.步骤304，根据多个第二参考点在场景图像中的坐标确定目标物在场景图像中的图像尺寸。
77.电子设备计算出多个第二参考点在场景图像中的坐标后，根据多个第二参考点在场景图像中的坐标计算出目标物在场景图像中的图像尺寸。
78.例如，电子设备根据锥桶顶点在场景图像中的坐标l2，以及锥桶底边两个顶点在场景图像中的坐标l3和l4计算出锥桶在场景图像中的图像尺寸。
79.上述根据合成位置确定目标物在场景图像中的图像尺寸的过程中，电子设备根据预先建立的坐标映射关系对合成位置进行映射处理，得到目标物的场景位置；根据目标物的实际尺寸和场景位置，计算出目标物上多个第二参考点在目标场景中的坐标；根据坐标映射关系分别对各第二参考点在目标场景中的坐标进行映射处理，得到各第二参考点在场景图像中的坐标。通过本公开实施例，电子设备可以利用图像采集设备的内外参数矩阵建立坐标映射关系，从而根据合成位置和坐标映射关系计算出目标物在场景图像中的图像尺寸，使得目标物在场景图像中的大小更为合理，从而提高样本图像的质量。
80.在一个实施例中，在上述得到目标物的场景位置之后，本公开实施例还可以采用其他方式确定目标物在场景图像中的图像尺寸，如图7所示：
81.步骤305，确定场景位置与图像采集设备之间的第一距离。
82.其中，图像采集设备为采集场景图像的设备。安装图像采集设备后，即可确定图像采集设备在目标场景中的坐标。
83.电子设备确定目标物的场景位置后，根据目标物在目标场景中的坐标和图像采集设备在目标场景中的坐标，计算场景位置与图像采集设备之间的第一距离。
84.例如，电子设备根据目标物在目标场景中的坐标为u1，图像采集设备在目标场景中的坐标为u0，计算出场景位置与图像采集设备之间的第一距离为d。
85.步骤306，根据图像采集设备的焦距和第一距离确定尺寸调整比例。
86.根据图像采集设备的成像原理可知，尺寸调整比例为第一距离与图像采集设备的焦距之间的比值，如公式(2)：
[0087][0088]
其中，i为尺寸调整比例，d为场景位置到图像采集设备之间的第一距离，f为图像采集设备的焦距。
[0089]
步骤307，根据目标物的实际尺寸和尺寸调整比例计算出目标物在场景图像中的图像尺寸。
[0090]
已知目标物的实际尺寸，在确定尺寸调整比例后，电子设备可以根据目标物的实际尺寸和尺寸调整比例计算出目标物在场景图像中的图像尺寸。
[0091]
例如，已知锥桶高度h，锥桶底边宽度w，则锥桶在场景图像中的高度为底边宽度为根据锥桶在场景图像中的高度h和底边宽度w即可确定锥桶在场景图像中的图像尺寸。
[0092]
在其中一个实施例中，可以将第二参考点在场景图像中的坐标与尺寸调整比例相结合来确定目标物在场景图像中的图像尺寸。例如，根据锥桶顶部的顶点在场景图像中的坐标，以及锥桶在场景图像中的底边宽度，确定锥桶在场景图像中的图像尺寸。其中，根据锥桶在场景图像中的底边宽度可以确定场景图像中锥桶底边两个顶点的坐标，由锥桶顶部的顶点和锥桶底边的两个顶点构成锥桶对应的三元组，从而确定锥桶在场景图像中的图像尺寸。
[0093]
上述确定目标物在场景图像中的图像尺寸的过程中，电子设备根据预先建立的坐标映射关系对合成位置进行映射处理，得到目标物的场景位置；确定场景位置与图像采集设备之间的第一距离；根据图像采集设备的焦距和第一距离确定尺寸调整比例；根据目标物的实际尺寸和尺寸调整比例计算出目标物在场景图像中的图像尺寸。通过本公开实施例，电子设备可以利用图像采集设备的焦距确定尺寸调整比例，然后根据尺寸调整比例计算出目标物在场景图像中的图像尺寸，使得目标物在场景图像中的大小更为合理，从而提高样本图像的质量。
[0094]
在一个实施例中，如图8所示，在根据图像尺寸对物体图像进行调整，并将调整后的物体图像合成在场景图像的合成位置处得到样本图像之后，本公开实施例还可以包括如下步骤：
[0095]
步骤205，对样本图像中的调整后的物体图像进行亮度调整。
[0096]
在实际应用中，不仅可以对物体图像进行尺寸调整，使目标物在场景图像中的大小合理，还可以对调整后的物体图像进行亮度调整，从而使目标物在场景中的光照合理。
[0097]
如图9所示，亮度调整的过程可以包括如下步骤：
[0098]
步骤401，对调整后的物体图像所对应的灰度图进行灰度值统计得到灰度众数，并将灰度众数确定为亮度基准值。
[0099]
电子设备先根据尺寸调整后的物体图像生成对应的灰度图，然后对该灰度图进行灰度值统计得到灰度众数，并将该灰度众数确定为亮度基准值。
[0100]
步骤402，确定调整后的物体图像中的基准点，并根据基准点与调整后的物体图像中各像素点之间的第二距离确定各像素点对应的亮度调整比例。
[0101]
电子设备确定亮度调整的基准点，并计算调整后的物体图像中各像素点与该基准点之间的第二距离；然后，根据第二距离确定各像素点对应的亮度调整比例。可以理解地，第二距离越大，亮度调整比例越大；第二距离越小，亮度调整比例越小。
[0102]
在其中一个实施例中，确定调整后的物体图像中的基准点，并确定各像素点对应的亮度调整比例的过程，可以包括：确定调整后的物体图像中的最大内切圆，并将最大内切圆的圆心确定为调整后的物体图像中的基准点；对于调整后的物体图像中的各像素点，计算第二距离与最大内切圆的半径之间的比值，并将比值确定为像素点对应的亮度调整比例。
[0103]
例如，最大内切圆的圆心为o、半径为r，调整后的物体图像中各像素点与圆心o之间的第二距离为di，i为像素点的序号。对于像素点i，计算第二距离di与最大内切圆的半径r之间的比值ki，该比值ki即为像素点i对应的亮度调整比例。
[0104]
步骤403，根据亮度基准值和亮度调整比例对调整后的物体图像中的各像素点进行亮度调整。
[0105]
对于调整后的物体图像中的各像素点，根据亮度基准值和像素点对应的亮度调整比例，计算出像素点对应的亮度调整值；根据亮度基准值和各像素点对应的亮度调整值对各像素点的rgb通道值进行调整，从而实现对各像素点的亮度调整。
[0106]
例如，亮度基准值为n，对于像素点i，计算亮度基准值n与亮度调整比例ki之间的乘积得到亮度调整值为δn＝n
·ki
，之后，根据亮度基准值n和亮度调整值δn分别对像素点i的r通道值、g通道值和b通道值进行调整，从而实现对像素点i的亮度调整。
[0107]
在其中一个实施例中，上述根据亮度基准值和各像素点对应的亮度调整值对各像素点的rgb通道值进行调整的过程，可以包括：若亮度基准值大于预设亮度阈值，则将像素点的rgb通道值与像素点对应的亮度调整值相加，得到调整后的像素点的rgb通道值；若亮度基准值小于或等于预设亮度阈值，则将像素点的rgb通道值与像素点对应的亮度调整值相减，得到调整后的像素点的rgb通道值。
[0108]
例如，预设亮度阈值为128，如果亮度基准值n大于128，则对于像素点i，将像素点i的r通道值与亮度调整值δn相加，得到调整后的r通道值；将像素点i的g通道值与亮度调整值δn相加，得到调整后的g通道值；将像素点i的b通道值与亮度调整值δn相加，得到调整后的b通道值。如果亮度基准值n小于或等于128，则对于像素点i，将像素点i的r通道值减去亮度调整值δn，得到调整后的r通道值；将像素点i的g通道值减去亮度调整值δn，得到调整后的g通道值；将像素点i的b通道值减去亮度调整值δn，得到调整后的b通道值。本公开
实施例对预设亮度阈值不做限定。
[0109]
在其中一个实例中，还可以包括：若调整后的像素点的rgb通道值大于预设范围的最大值，则将预设范围的最大值确定为调整后的像素点的rgb通道值；若调整后的像素点的rgb通道值小于预设范围的最小值，则将预设范围的最小值确定为调整后的像素点的rgb通道值。
[0110]
例如，预设范围为0-255，如果调整后的像素点的r通道值大于255，则将255确定为调整后的像素点的r通道值；如果调整后的像素点的g通道值大于255，则将255确定为调整后的像素点的g通道值；如果调整后的像素点的b通道值大于255，则将255确定为调整后的像素点的b通道值。如果调整后的像素点的r通道值小于0，则将0确定为调整后的像素点的r通道值；如果调整后的像素点的g通道值小于0，则将0确定为调整后的像素点的g通道值；如果调整后的像素点的b通道值小于0，则将0确定为调整后的像素点的b通道值。在实际应用中，预设范围还可以设置为其他范围，本公开实施例对预设范围不做限定。
[0111]
上述亮度调整的过程中，电子设备对调整后的物体图像所对应的灰度图进行灰度值统计得到灰度众数，并将灰度众数确定为亮度基准值；确定调整后的物体图像中的基准点，并根据基准点与调整后的物体图像中各像素点之间的第二距离确定各像素点对应的亮度调整比例；根据亮度基准值和亮度调整比例对调整后的物体图像中的各像素点进行亮度调整。通过本公开实施例，电子设备根据图像灰度对调整后的物体图像进行亮度调整，使目标物在目标场景中的光照更为合理，从而提高样本图像的质量。
[0112]
在一个实施例中，如图10所示，提供了一种障碍物检测模型的训练方法，该方法用于电子设备，可以包括如下步骤：
[0113]
步骤501，获取样本图像集合。
[0114]
其中，样本图像集合包括多个样本图像，样本图像为利用上述图像合成方法合成的。各样本图像中包含目标物，比如锥桶、水马等。
[0115]
电子设备依据上述图像合成方法合成多个样本图像，并由多个样本图像组成样本图像集合。
[0116]
步骤502，基于样本图像集合进行模型训练，得到障碍物检测模型。
[0117]
电子设备在获取到样本图像集合后，将样本图像输入到深度学习模型中进行训练，得到深度学习模型输出的障碍物检测结果；若确定障碍物检测结果不满足收敛条件，则调整深度学习模型中的模型参数继续训练；若确定障碍物检测结果满足收敛条件，则结束训练得到障碍物检测模型。
[0118]
上述障碍物检测模型的训练方法中，电子设备获取样本图像集合，基于样本图像集合进行模型训练，得到障碍物检测模型。由于样本图像集合中的样本图像是依据上述图像合成方法得到的，无需耗费人力物力即可获得大量的样本图像，因此，可以提高障碍物检测模型的训练效率。进一步地，依据上述图像合成方法得到样本图像的质量较高，因此，可以训练出检测准确性较高的障碍物检测模型，从而满足障碍物检测需求。
[0119]
在一个实施例中，如图11所示，提供了一种障碍物检测方法，该方法用于电子设备，可以包括如下步骤：
[0120]
步骤601，获取检测图像。
[0121]
其中，检测图像为图像采集设备对目标场景进行图像采集得到的。
[0122]
电子设备可以从图像采集设备实时获取检测图像。
[0123]
步骤602，利用预先训练的障碍物检测模型对检测图像进行检测，得到障碍物检测结果。
[0124]
其中，障碍物检测模型采用上述训练方法训练得到，检测结果用于指示检测图像中是否存在障碍物。
[0125]
电子设备将检测图像输入到障碍物检测模型中，障碍物检测模型对检测图像进行检测，输出检测图像中是否存在障碍物的检测结果。如果检测结果指示检测图像中存在障碍物，则电子设备可以将障碍物的位置发送到自动驾驶车辆，从而保证自动驾驶车辆安全、平稳地行驶。
[0126]
上述障碍物检测方法中，电子设备获取检测图像；利用预先训练的障碍物检测模型对检测图像进行检测，得到障碍物检测结果。由于障碍物检测模型是预先训练的，并且训练障碍物检测模型的样本图像是依据上述图像合成方法得到的，样本图像的质量较高，训练出的障碍物检测模型的检测准确性较高，电子设备采用该障碍物检测模型进行障碍物检测，可以有效地检测出目标场景中的障碍物，从而自动驾驶车辆安全、平稳地行驶。
[0127]
应该理解的是，虽然图2至图11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图11中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0128]
在一个实施例中，如图12所示，提供了一种图像合成装置，包括：
[0129]
图像获取模块701，用于获取目标物的物体图像和目标场景的场景图像；
[0130]
合成位置确定模块702，用于在场景图像中识别可合成区域，并在可合成区域中确定合成位置；其中，可合成区域为目标场景中目标物出现的概率大于预设概率阈值的区域；
[0131]
尺寸确定模块703，用于根据合成位置确定目标物在场景图像中的图像尺寸；
[0132]
图像合成模块704，用于根据图像尺寸对物体图像进行调整，并将调整后的物体图像合成在场景图像的合成位置处得到样本图像。
[0133]
在其中一个实施例中，尺寸确定模块703，包括：
[0134]
第一映射子模块，用于根据预先建立的坐标映射关系对合成位置进行映射处理，得到目标物的场景位置；合成位置包括目标物上第一参考点在场景图像中的坐标，场景位置包括第一参考点在目标场景中的坐标；
[0135]
第一坐标计算子模块，用于根据目标物的实际尺寸和场景位置，计算出目标物上多个第二参考点在目标场景中的坐标；
[0136]
第二坐标计算子模块，用于根据坐标映射关系分别对各第二参考点在目标场景中的坐标进行映射处理，得到各第二参考点在场景图像中的坐标；
[0137]
第一尺寸确定子模块，用于根据多个第二参考点在场景图像中的坐标确定目标物在场景图像中的图像尺寸。
[0138]
在其中一个实施例中，尺寸确定模块703还包括：
[0139]
距离确定子模块，用于确定场景位置与图像采集设备之间的第一距离；图像采集设备为采集场景图像的设备；
[0140]
尺寸调整比例确定子模块，用于根据图像采集设备的焦距和第一距离确定尺寸调整比例；
[0141]
第二尺寸确定子模块，用于根据目标物的实际尺寸和尺寸调整比例计算出目标物在场景图像中的图像尺寸。
[0142]
在其中一个实施例中，如图13所示，该装置还包括：
[0143]
亮度调整模块705，用于对样本图像中的调整后的物体图像进行亮度调整。
[0144]
在其中一个实施例中，亮度调整模块705，包括：
[0145]
灰度统计子模块，用于对调整后的物体图像所对应的灰度图进行灰度值统计得到灰度众数，并将灰度众数确定为亮度基准值；
[0146]
亮度调整比例确定子模块，用于确定调整后的物体图像中的基准点，并根据基准点与调整后的物体图像中各像素点之间的第二距离确定各像素点对应的亮度调整比例；
[0147]
亮度调整子模块，用于根据亮度基准值和亮度调整比例对调整后的物体图像中的各像素点进行亮度调整。
[0148]
在其中一个实施例中，亮度调整比例确定子模块，具体用于确定调整后的物体图像的最大内切圆，并将最大内切圆的圆心确定为调整后的物体图像中的基准点；对于调整后的物体图像中的各像素点，计算第二距离与最大内切圆的半径之间的比值，并将比值确定为像素点对应的亮度调整比例。
[0149]
在其中一个实施例中，亮度调整子模块，具体用于对于调整后的物体图像中的各像素点，根据亮度基准值和像素点对应的亮度调整比例，计算出像素点对应的亮度调整值；根据亮度基准值和各像素点对应的亮度调整值对各像素点的rgb通道值进行调整。
[0150]
在其中一个实施例中，亮度调整子模块，具体用于若亮度基准值大于预设亮度阈值，则将像素点的rgb通道值与像素点对应的亮度调整值相加，得到调整后的像素点的rgb通道值；若亮度基准值小于或等于预设亮度阈值，则将像素点的rgb通道值与像素点对应的亮度调整值相减，得到调整后的像素点的rgb通道值。
[0151]
在其中一个实施例中，亮度调整子模块，还用于若调整后的像素点的rgb通道值大于预设范围的最大值，则将预设范围的最大值确定为调整后的像素点的rgb通道值；若调整后的像素点的rgb通道值小于预设范围的最小值，则将预设范围的最小值确定为调整后的像素点的rgb通道值。
[0152]
在其中一个实施例中，合成位置确定模块702，具体用于将场景图像输入到预先训练的区域识别模型中，得到区域识别模型输出的多个边界点坐标；根据多个边界点坐标确定场景图像中的可合成区域。
[0153]
关于图像合成装置的具体限定可以参见上文中对于图像合成方法的限定，在此不再赘述。上述图像合成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0154]
图14示出的一种电子设备的框图。该电子设备可以是服务器1400，服务器1400包括处理组件1420，其进一步包括一个或多个处理器，以及由存储器1422所代表的存储器资
源，用于存储可由处理组件1420执行的指令或者计算机程序，例如应用程序。存储器1422中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1420被配置为执行指令，以执行上述图像合成的方法。
[0155]
服务器1400还可以包括一个电源组件1424被配置为执行设备1400的电源管理，一个有线或无线网络接口1426被配置为将设备1400连接到网络，和一个输入输出(i/o)接口1428。服务器1400可以操作基于存储在存储器1422的操作系统，例如window14 14ervertm，mac o14 xtm，unixtm,linuxtm，freeb14dtm或类似。
[0156]
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器1422，上述指令可由服务器1400的处理器执行以完成上述方法。存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0157]
在示例性实施例中，还提供了一种计算机程序产品，该计算机程序被处理器执行时，可以实现上述方法。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行这些计算机指令时，可以全部或部分地按照本公开实施例所述的流程或功能实现上述方法中的部分或者全部。
[0158]
示例性的，本技术实施例公开了ts1、一种图像合成方法，其特征在于，所述方法包括：
[0159]
获取目标物的物体图像和目标场景的场景图像；
[0160]
在所述场景图像中识别可合成区域，并在所述可合成区域中确定合成位置；其中，所述可合成区域为所述目标场景中所述目标物出现的概率大于预设概率阈值的区域；
[0161]
根据所述合成位置确定所述目标物在所述场景图像中的图像尺寸；
[0162]
根据所述图像尺寸对所述物体图像进行调整，并将调整后的物体图像合成在所述场景图像的所述合成位置处得到样本图像。
[0163]
ts2、如ts1所述的方法，其特征在于，所述根据所述合成位置确定所述目标物在所述场景图像中的图像尺寸，包括：
[0164]
根据预先建立的坐标映射关系对所述合成位置进行映射处理，得到所述目标物的场景位置；所述合成位置包括所述目标物上第一参考点在所述场景图像中的坐标，所述场景位置包括所述第一参考点在所述目标场景中的坐标；
[0165]
根据所述目标物的实际尺寸和所述场景位置，计算出所述目标物上多个第二参考点在所述目标场景中的坐标；
[0166]
根据所述坐标映射关系分别对各所述第二参考点在所述目标场景中的坐标进行映射处理，得到各所述第二参考点在所述场景图像中的坐标；
[0167]
根据多个所述第二参考点在所述场景图像中的坐标确定所述目标物在所述场景图像中的图像尺寸。
[0168]
ts3、如ts2所述的方法，其特征在于，在所述根据预先建立的坐标映射关系对所述合成位置进行映射处理，得到所述目标物的场景位置之后，还包括：
[0169]
确定所述场景位置与图像采集设备之间的第一距离；所述图像采集设备为采集所述场景图像的设备；
[0170]
根据所述图像采集设备的焦距和所述第一距离确定尺寸调整比例；
[0171]
根据所述目标物的实际尺寸和所述尺寸调整比例计算出所述目标物在所述场景图像中的图像尺寸。
[0172]
ts4、如ts1所述的方法，其特征在于，在所述根据所述图像尺寸对所述物体图像进行调整，并将调整后的物体图像合成在所述场景图像的所述合成位置处得到样本图像之后，所述方法还包括：
[0173]
对所述样本图像中的所述调整后的物体图像进行亮度调整。
[0174]
ts5、如ts4所述的方法，其特征在于，所述对所述样本图像中的所述调整后的物体图像进行亮度调整，包括：
[0175]
对所述调整后的物体图像所对应的灰度图进行灰度值统计得到灰度众数，并将所述灰度众数确定为亮度基准值；
[0176]
确定所述调整后的物体图像中的基准点，并根据所述基准点与所述调整后的物体图像中各像素点之间的第二距离确定各像素点对应的亮度调整比例；
[0177]
根据所述亮度基准值和所述亮度调整比例对所述调整后的物体图像中的各像素点进行亮度调整。
[0178]
ts6、如ts5所述的方法，其特征在于，所述确定所述调整后的物体图像中的基准点，并根据所述基准点与所述调整后的物体图像中各像素点之间的第二距离确定各像素点对应的亮度调整比例，包括：
[0179]
确定所述调整后的物体图像的最大内切圆，并将所述最大内切圆的圆心确定为所述调整后的物体图像中的基准点；
[0180]
对于所述调整后的物体图像中的各像素点，计算所述第二距离与所述最大内切圆的半径之间的比值，并将所述比值确定为所述像素点对应的亮度调整比例。
[0181]
ts7、如ts5所述的方法，其特征在于，所述根据所述亮度基准值和所述亮度调整比例对所述调整后的物体图像中的各像素点进行亮度调整，包括：
[0182]
对于所述调整后的物体图像中的各像素点，根据所述亮度基准值和所述像素点对应的亮度调整比例，计算出所述像素点对应的亮度调整值；
[0183]
根据所述亮度基准值和各所述像素点对应的亮度调整值对各所述像素点的rgb通道值进行调整。
[0184]
ts8、如ts7所述的方法，其特征在于，所述根据所述亮度基准值和各所述像素点对应的亮度调整值对各所述像素点的rgb通道值进行调整，包括：
[0185]
若所述亮度基准值大于预设亮度阈值，则将所述像素点的rgb通道值与所述像素点对应的亮度调整值相加，得到调整后的所述像素点的rgb通道值；
[0186]
若所述亮度基准值小于或等于所述预设亮度阈值，则将所述像素点的rgb通道值与所述像素点对应的亮度调整值相减，得到调整后的所述像素点的rgb通道值。
[0187]
ts9、如ts8所述的方法，其特征在于，所述方法还包括：
[0188]
若调整后的所述像素点的rgb通道值大于预设范围的最大值，则将所述预设范围的最大值确定为调整后的所述像素点的rgb通道值；
[0189]
若调整后的所述像素点的rgb通道值小于所述预设范围的最小值，则将所述预设范围的最小值确定为调整后的所述像素点的rgb通道值。
[0190]
ts10、如ts1所述的方法，其特征在于，所述在所述场景图像中识别可合成区域，包
括：
[0191]
将所述场景图像输入到预先训练的区域识别模型中，得到所述区域识别模型输出的多个边界点坐标；
[0192]
根据所述多个边界点坐标确定所述场景图像中的可合成区域。
[0193]
ts11、一种图像合成装置，其特征在于，所述装置包括：
[0194]
图像获取模块，用于获取目标物的物体图像和目标场景的场景图像；
[0195]
合成位置确定模块，用于在所述场景图像中识别可合成区域，并在所述可合成区域中确定合成位置；其中，所述可合成区域为所述目标场景中所述目标物出现的概率大于预设概率阈值的区域；
[0196]
尺寸确定模块，用于根据所述合成位置确定所述目标物在所述场景图像中的图像尺寸；
[0197]
图像合成模块，用于根据所述图像尺寸对所述物体图像进行调整，并将调整后的物体图像合成在所述场景图像的所述合成位置处得到样本图像。
[0198]
ts12、如ts11所述的装置，其特征在于，所述尺寸确定模块，包括：
[0199]
第一映射子模块，用于根据预先建立的坐标映射关系对所述合成位置进行映射处理，得到所述目标物的场景位置；所述合成位置包括所述目标物上第一参考点在所述场景图像中的坐标，所述场景位置包括所述第一参考点在所述目标场景中的坐标；
[0200]
第一坐标计算子模块，用于根据所述目标物的实际尺寸和所述场景位置，计算出所述目标物上多个第二参考点在所述目标场景中的坐标；
[0201]
第二坐标计算子模块，用于根据所述坐标映射关系分别对各所述第二参考点在所述目标场景中的坐标进行映射处理，得到各所述第二参考点在所述场景图像中的坐标；
[0202]
第一尺寸确定子模块，用于根据多个所述第二参考点在所述场景图像中的坐标确定所述目标物在所述场景图像中的图像尺寸。
[0203]
ts13、如ts12所述的装置，其特征在于，所述尺寸确定模块还包括：
[0204]
距离确定子模块，用于确定所述场景位置与图像采集设备之间的第一距离；所述图像采集设备为采集所述场景图像的设备；
[0205]
尺寸调整比例确定子模块，用于根据所述图像采集设备的焦距和所述第一距离确定尺寸调整比例；
[0206]
第二尺寸确定子模块，用于根据所述目标物的实际尺寸和所述尺寸调整比例计算出所述目标物在所述场景图像中的图像尺寸。
[0207]
ts14、如ts11所述的装置，其特征在于，所述装置还包括：
[0208]
亮度调整模块，用于对所述样本图像中的所述调整后的物体图像进行亮度调整。
[0209]
ts15、如ts14所述的装置，其特征在于，所述亮度调整模块，包括：
[0210]
灰度统计子模块，用于对所述调整后的物体图像所对应的灰度图进行灰度值统计得到灰度众数，并将所述灰度众数确定为亮度基准值；
[0211]
亮度调整比例确定子模块，用于确定所述调整后的物体图像中的基准点，并根据所述基准点与所述调整后的物体图像中各像素点之间的第二距离确定各像素点对应的亮度调整比例；
[0212]
亮度调整子模块，用于根据所述亮度基准值和所述亮度调整比例对所述调整后的
物体图像中的各像素点进行亮度调整。
[0213]
ts16、如ts15所述的装置，其特征在于，所述亮度调整比例确定子模块，具体用于确定所述调整后的物体图像的最大内切圆，并将所述最大内切圆的圆心确定为所述调整后的物体图像中的基准点；对于所述调整后的物体图像中的各像素点，计算所述第二距离与所述最大内切圆的半径之间的比值，并将所述比值确定为所述像素点对应的亮度调整比例。
[0214]
ts17、如ts15所述的装置，其特征在于，所述亮度调整子模块，具体用于对于所述调整后的物体图像中的各像素点，根据所述亮度基准值和所述像素点对应的亮度调整比例，计算出所述像素点对应的亮度调整值；根据所述亮度基准值和各所述像素点对应的亮度调整值对各所述像素点的rgb通道值进行调整。
[0215]
ts18、如ts17所述的装置，其特征在于，所述亮度调整子模块，具体用于若所述亮度基准值大于预设亮度阈值，则将所述像素点的rgb通道值与所述像素点对应的亮度调整值相加，得到调整后的所述像素点的rgb通道值；若所述亮度基准值小于或等于所述预设亮度阈值，则将所述像素点的rgb通道值与所述像素点对应的亮度调整值相减，得到调整后的所述像素点的rgb通道值。
[0216]
ts19、如ts18所述的装置，其特征在于，所述亮度调整子模块，还用于若调整后的所述像素点的rgb通道值大于预设范围的最大值，则将所述预设范围的最大值确定为调整后的所述像素点的rgb通道值；若调整后的所述像素点的rgb通道值小于所述预设范围的最小值，则将所述预设范围的最小值确定为调整后的所述像素点的rgb通道值。
[0217]
ts20、如ts11所述的装置，其特征在于，所述合成位置确定模块，具体用于将所述场景图像输入到预先训练的区域识别模型中，得到所述区域识别模型输出的多个边界点坐标；根据所述多个边界点坐标确定所述场景图像中的可合成区域。
[0218]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0219]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0220]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。