影像数据生成方法、装置、车辆、电子设备及可读介质与流程

文档序号:31660489发布日期:2022-09-27 22:59阅读:30来源:国知局
影像数据生成方法、装置、车辆、电子设备及可读介质与流程

1.本发明涉及影像数据生成技术领域,特别是涉及一种影像数据生成方法、一种影像数据生成装置、车辆、一种电子设备以及一种计算机可读介质。


背景技术:

2.随着科技的飞速发展,数字摄影技术的出现为古老的摄影艺术注入了新的活力。数字摄影以其方便、快捷、直观、成本低等因素,为人们的数字化生活方式带来了前所未有的便捷与乐趣,受到大众的喜爱。
3.除了方便快捷这一特点,用户还可以基于数字摄影技术随时为影像添加特效,从而为用户增添了摄影乐趣,然而,在现有技术中,若要为影像增添特效,只能将整幅影像画面一起添加特效,而无法针对影像中的某一元素添加特效,例如,图片中有一台汽车,如要对录像画面添加抽象画特效,整个图片画面都会变成抽象画的风格,而无法只将汽车风格迁移而不改变背景,这便使得成像效果单一化,从而降低了用户体验。


技术实现要素:

4.本发明实施例是提供一种影像数据生成方法、装置、车辆、电子设备以及计算机可读存储介质,以解决无法针对影像中的特定元素进行风格迁移的问题。
5.本发明实施例公开了一种影像数据生成方法,所述方法应用于车载计算机,所述车载计算机具有对应的图像采集设备,所述方法可以包括:
6.采用所述图像采集设备获取影像数据;所述影像数据包括图片;
7.确定所述图片中的道路环境元素和背景元素;所述道路环境元素包括车辆元素,和/或,建筑元素;
8.提取所述道路环境元素;所述道路环境元素具有对应的风格类型数据;
9.当检测到用户选定所述风格类型数据时,基于所述风格类型数据,根据所述道路环境元素生成目标元素;所述风格类型数据支持用户自定义;
10.根据所述目标元素和所述背景元素生成最终影像数据。
11.可选地,所述提取所述道路环境元素的步骤可以包括:
12.采用经预先训练的深度学习模型提取所述道路环境元素。
13.可选地,所述根据所述道路环境元素生成目标元素的步骤可以包括:
14.采用经预先训练的生成式对抗网络,根据所述道路环境元素生成目标元素。
15.可选地,所述根据所述目标元素和所述背景元素生成最终影像数据的步骤包括:
16.采用泊松融合法融合所述目标元素和所述背景元素,并生成最终影像数据。
17.可选地,所述最终影像数据配置有对应的图像美化评价插件,所述方法还可以包括:
18.采用所述图像美化评价插件对所述最终影像数据评分,并当所述评分低于预设阈值时,对所述最终影像数据进行平滑滤波处理,和/或,亮度矫正处理。
19.可选地,所述车载计算机具有对应的平视显示器,所述车载计算机安装于车辆,还包括:
20.当所述车载计算机判定所述车辆为停止状态,或所述车辆处于自动驾驶状态时时,采用所述平视显示器显示所述最终影像数据。
21.一种影像数据生成装置,所述装置应用于车载计算机,所述车载计算机具有对应的图像采集设备,所述装置可以包括:
22.影像数据获取模块,用于采用所述图像采集设备获取影像数据;所述影像数据包括图片;
23.元素确定模块,用于确定所述图片中的道路环境元素和背景元素;所述道路环境元素包括车辆元素,和/或,建筑元素;
24.道路环境元素提取模块,用于提取所述道路环境元素;所述道路环境元素具有对应的风格类型数据;
25.目标元素生成模块,用于在检测到用户选定所述风格类型数据时,基于所述风格类型数据,根据所述道路环境元素生成目标元素;所述风格类型数据支持用户自定义;
26.最终影像数据生成模块,用于根据所述目标元素和所述背景元素生成最终影像数据。
27.可选地,所述道路环境元素提取模块可以包括:
28.道路环境元素提取子模块,用于采用经预先训练的深度学习模型提取所述道路环境元素。
29.可选地,所述目标元素生成模块可以包括:
30.目标元素生成子模块,用于采用经预先训练的生成式对抗网络,根据所述道路环境元素生成目标元素。
31.可选地,所述最终影像数据生成模块可以包括:
32.最终影像数据生成子模块,用于采用泊松融合法融合所述目标元素和所述背景元素,并生成最终影像数据。
33.可选地,所述最终影像数据配置有对应的图像美化评价插件,所述装置还可以包括:
34.最终影像数据评分模块,用于采用所述图像美化评价插件对所述最终影像数据评分,并当所述评分低于预设阈值时,对所述最终影像数据进行平滑滤波处理,和/或,亮度矫正处理。
35.可选地,所述车载计算机具有对应的平视显示器,所述车载计算机安装于车辆,还包括:
36.最终影像数据显示模块,用于在所述车载计算机判定所述车辆为停止状态,或所述车辆处于自动驾驶状态时时,采用所述平视显示器显示所述最终影像数据。
37.本发明实施例还公开了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
38.所述存储器,用于存放计算机程序;
39.所述处理器,用于执行存储器上所存放的程序时,实现如本发明实施例所述的方
法。
40.本发明实施例还公开了一个或多个计算机可读介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行如本发明实施例所述的方法。
41.本发明实施例还公开了一种车辆,可以包括车载计算机,所述车载计算机具有对应的图像采集设备,所述车载计算机机械耦合,和/或,电连接于所述车辆,以使得包括所述车载计算机的车辆执行如本发明实施例所述的方法。
42.本发明实施例包括以下优点:
43.本发明实施例通过采用图像采集设备获取影像数据;影像数据包括图片;确定图片中的道路环境元素和背景元素;道路环境元素包括车辆元素,和/或,建筑元素;提取道路环境元素;道路环境元素具有对应的风格类型数据;当检测到用户选定风格类型数据时,基于风格类型数据,根据道路环境元素生成目标元素;风格类型数据支持用户自定义;根据目标元素和背景元素生成最终影像数据,避免了在对影像数据进行风格迁移时,只能对完整影像进行风格迁移,而无法针对影像中的特定元素进行风格迁移的问题,从而避免了用户在对影像数据进行风格迁移的过程中感到迁移方式单调的问题,进而提升了用户体验。
附图说明
44.图1是本发明实施例中提供的一种影像数据生成方法的步骤流程图;
45.图2是本发明实施例中提供的一种全卷积神经网络训练流程图;
46.图3是本发明实施例中提供的一种影像数据生成装置的结构框图;
47.图4是本发明实施例中提供的一种电子设备的框图;
48.图5是本发明实施例中提供的一种计算机可读介质的示意图。
具体实施方式
49.为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
50.参照图1,示出了本发明实施例中提供的一种影像数据生成方法的步骤流程图,具体可以包括如下步骤:
51.步骤101,采用图像采集设备获取影像数据;影像数据包括图片;
52.步骤102,确定图片中的道路环境元素和背景元素;道路环境元素包括车辆元素,和/或,建筑元素;
53.步骤103,提取道路环境元素;道路环境元素具有对应的风格类型数据;
54.步骤104,当检测到用户选定风格类型数据时,基于风格类型数据根据道路环境元素生成目标元素;风格类型数据支持用户自定义;
55.步骤105,根据目标元素和背景元素生成最终影像数据。
56.在具体实现中,本发明实施例可以应用于应用程序中,应用程序可以装载于车载计算机,车载计算机可以为智能车机终端设备,智能车机终端设备具有强大的数据运算能力,可以为车辆完成大部分关于车辆的数据运算。
57.在具体实现中,本发明实施例的车载计算机可以配置有对应的图像采集设备,例如,车载摄像头,车载摄像头可以用于拍摄道路环境影像以实现获取影像数据,例如,车载
计算机可以通过车载摄像头拍摄道路上的车辆和道路两旁的建筑物、行人、树木等等,以及道路本身,以获取影像数据,当然,车载计算机也可以直接接收其他设备发送的影像以实现获取影像数据。
58.本发明实施例的影像数据可以为视频流,具体地,视频流可以是由多张有序的图片所组成的数据,当然,可以理解,本发明实施例的影像数据也可以是单张或多张图片。
59.本发明实施例的在获取到影像数据后,可以在影像数据的图片中确定出道路环境元素和背景元素,具体地,道路环境元素可以是图像采集设备拍摄的目标车辆的影像或者目标建筑物的影像,进一步地,还可以是道路旁的行人、树木等等能可以作为道路环境元素的影像,当然,可以理解的是,上述任一影像都可以单独作为道路环境元素,道路环境元素也可以由上述多个影像共同组成,背景元素则可以是除道路环境元素以外的元素,例如当道路环境元素为汽车的影像和道路两旁建筑的影像时,背景元素可以为道路本身的影像,或者,当汽车的影像单独作为道路环境元素时,背景元素可以为除汽车的影像外的道路本身的影像和道路两旁建筑的影像等等。
60.本发明实施例针对确定图片中的道路环境元素和背景元素支持用户自行确定,或者,可以在对元素类型进行预设后,由车载计算机根据预设特定元素类型确定,即,本发明实施例可以由用户确定图片中的道路环境元素和背景元素,或者,由车载计算机根据预设特定元素类型确定图片中的道路环境元素和背景元素,例如,可以在生成图片后用户点击图片中的任一车辆,车载计算机中的卷积神经网络可以将图片中的其他车辆进行标记,并将其共同作为道路环境元素,或者,预设特定元素为车辆元素和建筑元素,在图片生成后卷积神经网络可以直接将图片中的所有车辆和建筑物进行标记,并将其共同作为道路环境元素。
61.风格迁移是一种将一张图像在保持内容不变的同时换成另一种风格的方法,从而使得人或风景的图片转换为各种艺术风格效果,比如抽象风格、二次元风格等。
62.在实际应用中,用户往往希望能够在风格迁移的过程中,能够选择不同的风格,所以本发明实施例在图片中确定出道路环境元素和背景元素后,可以将道路环境元素从图片中提取出来,再独立对道路环境元素进行风格迁移,具体地,可以配置至少一个风格类型数据库,风格类型数据库可以用于储存于与其自身对应的风格类型数据,用户可以在风格类型数据库对风格类型数据进行选择,而风格类型数据可以用于对目标元素进行风格迁移,所以,在道路环境元素从图片中提取出来后,若检测到用户选定了风格类型数据,可以基于风格类型数据对道路环境元素进行风格迁移从而生成目标元素,即,本发明实施例的目标元素可以为经风格迁移的道路环境元素。
63.例如,车载计算机通过车载摄像头拍摄了一段视频,该视频中包含了汽车影像,则汽车影像可以为道路环境元素,应用程序可以将该段视频中的每一帧图片中的汽车影像通过抠图的方式提取出来,当用户在针对车辆的风格数据库中选定针对汽车影像的漫画风格这一风格类型数据时,可以基于图片中的汽车影像生成与该汽车影像具有关联关系的卡通角色形象,又如,该视频中包含了建筑影像,则建筑影像可以为道路环境元素,当用户在针对建筑的风格数据库选定针对建筑影像的城市风格这一风格类型数据时,可以基于图片中的建筑影像生成具有其他城市建筑风格的建筑影像,即,假设用户在a市中行车,车载摄像头拍摄到a市的道路环境元素中包含了a市道路旁的建筑,则可以基于a市建筑的影像生成
带有b市建筑风格的影像。
64.当然,本发明实施例针对独立对道路环境元素进行风格迁移并非只能单独对一个种类型的元素进行风格迁移,当道路环境元素包括不同类型的元素时,统一对其进行风格迁移,或根据用户自定义同时分别对不同元素进行风格迁移都是可以的。
65.进一步地,本发明实施例的风格类型数据可以支持用户自定义,例如,用户可以基于漫画风格的基础上,通过例如调整透视参数等方法,生成形象更为夸张的目标元素。
66.在生成目标元素后,本发明实施例可以根据目标元素和背景元素生成最终影像数据。
67.在具体实现中,在本发明实施例的应用程序可以包括融合模块,融合模块可以用于在生成目标元素后,对生成的目标元素与图片原有的背景元素重新进行融合,从而生成最终影像数据,即,最终影像数据可以是包含了目标元素和背景元素的影像数据。
68.进一步地,本发明实施例的应用程序可以与第三方社交平台绑定,最终影像数据可以用于发布在第三方社交平台。
69.本发明实施例通过采用图像采集设备获取影像数据;影像数据包括图片;确定图片中的道路环境元素和背景元素;道路环境元素包括车辆元素,和/或,建筑元素;提取道路环境元素;道路环境元素具有对应的风格类型数据;当检测到用户选定风格类型数据时,基于风格类型数据,根据道路环境元素生成目标元素;风格类型数据支持用户自定义;根据目标元素和背景元素生成最终影像数据,避免了在对影像数据进行风格迁移时,只能对完整影像进行风格迁移,而无法针对影像中的特定元素进行风格迁移的问题,从而避免了用户在对影像数据进行风格迁移的过程中感到迁移方式单调的问题,进而提升了用户体验。
70.本发明实施例还可以在针对道路环境元素的风格迁移过程中为用户提供丰富的风格类型,使用户能够自由的在风格数据库中对道路环境元素选取不同的风格类型数据,另外,风格类型数据还可以支持用户自定义,从而进一步加强了风格迁移效果的可拓展性,进而更进一步地提升了用户体验。
71.在上述实施例的基础上,提出了上述实施例的变型实施例,在此需要说明的是,为了使描述简要,在变型实施例中仅描述与上述实施例的不同之处。
72.在本发明的一个可选地实施例中,所述方法还可以包括:
73.采用影像采集设备获取影像数据;影像数据包括图片;
74.确定图片中的道路环境元素和背景元素;
75.提取背景元素;
76.根据背景元素生成第二目标元素;
77.根据第二目标元素和道路环境元素生成最终影像数据。
78.在实际应用中,用户除了有将道路环境元素单独进行风格迁移的需求还可能具有将背景元素进行风格迁移的需求,所以,本发明实施例还可以在能够与车载计算机发生数据交互的影像采集设备获取到影像数据后,可以将影像数据发送至车载计算机,车载计算机则可以在影像数据的图片中确定出道路环境元素和背景元素,并在图片中确定出道路环境元素和背景元素后,将背景元素从图片中提取出来,再单独对背景元素进行风格迁移,从而实现根据背景元素生成第二目标元素,即,本发明实施例的第二目标元素可以为经风格迁移的背景元素。
79.例如,用户用车载摄像头拍摄了一段汽车在公路上行驶的视频,该视频中包含了该车辆的影像,和街道环境的影像,则车辆的影像可以单独作为为道路环境元素,而街道环境的影像则可以是背景元素,视频发送到车载计算机后,车载计算机可以将该段视频中的每一帧图片中的车辆影像通过抠图的方式提取出来,再对除去车辆影像之外的街道环境的影像部分单独进行抽象画类型的风格迁移,从而得到具有抽象画风格的车内环境影像,或者,可以直接通过抠图的方式提取出街道环境的影像,然后对街道环境的影像直接进行风格迁移,从而得到具有抽象画风格的车内环境影像。
80.在生成第二目标元素后,本发明实施例可以根据第二目标元素和道路环境元素生成最终影像数据。
81.本发明实施例可以通过采用影像采集设备获取影像数据;影像数据包括图片;确定图片中的道路环境元素和背景元素;提取背景元素;根据背景元素生成第二目标元素;根据第二目标元素和道路环境元素生成最终影像数据;避免了在对影像数据进行风格化时,只能对完整影像进行风格迁移,而无法针对影像中的特定元素进行风格迁移的问题,从而避免了用户在对影像数据进行风格迁移的过程中感到迁移方式单调的问题,进而提升了用户体验,进一步地,本发明实施例除了可以单独对道路环境元素进行风格迁移还可以单独对背景元素进行风格迁移,进而更进一步地提升了用户体验。
82.在本发明的一个可选地实施例中,提取道路环境元素的步骤包括:
83.采用经预先训练的深度学习模型提取道路环境元素。
84.在实际应用中,因为车辆往往会移动,所以在每一帧照片中,道路环境元素的位置和大小都有可能不同,例如,在车辆行进过程中,车载摄像头拍摄的物体在视频流中近大远小,视频流中的每幅图片中的道路环境元素的位置和大小都有可能不同,这对从图片中自动提取出道路环境元素造成了一定的困难,所以,本发明实施例可以预先对深度学习模型进行训练,并采用该深度学习模型从图片中提取该道路环境元素。
85.在具体实现中,本发明实施例的应用程序可以包括道路环境元素分割模块,道路环境元素分割模块可以为经预先训练的深度学习模型,可选地,深度学习模型可以为基于卷积神经网络unet的编码-解码模型encoder-decoder。
86.编码-解码模型encoder-decoder是深度学习中一种模型框架,encoder编码模型和decoder解码模型的处理对象可以是任意的文字、语音、图像、视频等数据,编码模型encoder对图像下采样并提取丰富的语义特征和纹理特征,解码模型decoder对图像上采样,恢复到输入分辨率,并且与编码模型encoder特征融合,得到边缘较完整的分割图像。
87.例如,编码模型encoder可以将对带有汽车影像的图片转化为一个固定未读的稠密向量,而解码器则可以在解码阶段基于该稠密向量从图片中提取出汽车影像。
88.可选地,道路环境元素分割模块还可以为分割网络模型deeplabv3或分割网络模型bisenet v2,deeplab是谷歌公司旗下结合了深度卷积神经网络和概率图模型的分割网络模型,而则是bisenet则是开源的分割网络模型,其都可以用于对图片中的特定元素进行分割提取
89.本发明通过采用经预先训练的深度学习模型提取道路环境元素,避免了用户手动提取道路环境元素,且由于深度学习模型能够准确的提取道路环境元素,从而实现了自动且准确的提取道路环境元素。
90.在本发明的一个可选地实施例中,根据道路环境元素生成目标元素的步骤包括:
91.采用经预先训练的生成式对抗网络,根据道路环境元素生成目标元素。
92.在实际应用中,若要通过道路环境元素生成目标元素,例如,将图像中的汽车影像由原始的自然样貌风格迁移成抽象画的风格,可能会因为算法上的缺陷,导致生成的目标元素出现失真,即,生成的目标元素与道路环境元素偏差太大,从而导致用户体验低下,所以,本发明实施例可以先对生成式对抗网络进行训练,并采用经训练的生成式对抗网络根据道路环境元素生成目标元素。
93.在具体实现中,本发明实施例的车载计算机可以包括道路环境元素风格迁移模块,道路环境元素风格迁移模块可以为经预先训练的生成式对抗网络(gan,generative adversarial networks)。
94.gan具有两个基本元素:一个生成器以及一个决策器,生成器可以接收随机噪声并生成伪图像,而决策器同时接收伪图像和真实图像,并识别该图像是真实图像还是伪图像。在训练过程中,如果鉴别器成功检测到其生成的图像是假的,则生成器的执行结果会被否决,因此,生成器将学会生成越来越类似于真实图像的伪造图像。
95.在本发明的一个具体示例中,生成器可以为基于fcn(全卷积神经网络,fully convolutional networks)的网络结构,对输入的图像,可以实现浅层网络特征和深层网络特征的融合,最终生成带有目标风格和原始输入内容的图像;决策器可以为9层的分类网络,用于评判生成的图片和参考图之间的差别,生成器与决策器相互博弈,最终使整个模型达到稳定的状态。
96.例如,可以生成器可以基于原汽车影像,生成带有抽象风格的汽车影像,而决策器则可以判定该带有抽象风格的汽车影像是否与原汽车影像偏差过大,若是,则可以让生成器重新生成带有抽象风格的汽车影像,如此反复博弈,最终生成带有抽象风格汽车影像,且该最终生成带有抽象风格汽车影像不会过度失真。
97.针对图像风格迁移的gan训练包括两种类型,一种是成对,例如从影像地图转换为矢量地图,从素描转换为纹理图等,其特点是训练数据集之间的成对的,另一种则是非成对,例如,不同物体之间的转换,如从橙子转换为苹果,或者,将图片中的汽车影像转换为带有抽象风格的汽车影像,而在实际应用中,往往会遇到没有成对的不同风格图像的情况,所以本发明可以对gan进行如下训练。
98.如图2所示,图2是本发明实施例中提供的一种全卷积神经网络训练流程图,对于两个风格x和y,先用生成网络g
x
→y将x风格输入图像201转换成y风格图像202,与y风格的其他输入图像一起进入判别网络dy;然后用生成网络gy→
x
将刚生成的图像202转换成x风格图像203,图像201通过两个生成网络最终得到x风格图像203,图像201与图像203应该是越接近越好。同样的方式,对于y风格输入图像204,经过生成网络gy→
x
和生成网络g
x
→y,得到y风格图像205,也是越接近越好,通过上述方式对gan进行训练,可以使用非成对的不同风格图像进行训练,解决成对的不同风格图像获取难的问题。
99.可选地,道路环境元素风格化模块还可以为开源的生成式对抗网络stargan,或者生成式对抗网络bicyclegan,其都可以用于根据道路环境元素生成目标元素。
100.本发明通过采用经预先训练的生成式对抗网络,根据道路环境元素生成目标元素,从而保证了在针对道路环境元素的风格迁移过程中,生成的目标元素不会过度失真,从
而进一步的提升了用户体验。
101.在本发明的一个可选地实施例中,根据目标元素和背景元素生成最终影像数据的步骤包括:
102.采用泊松融合法融合目标元素和背景元素,并生成最终影像数据。
103.具体地,融合方式采用泊松融合法,泊松融合法是在融合目标元素与图片原有的背景元素时,需要保证前景平滑,边缘一致,从而构成泊松方程,得到无缝的最终影像数据。
104.在本发明的一个优选地实施例中,最终影像数据配置有对应的图像美化评价插件,方法还包括:
105.采用图像美化评价插件对最终影像数据评分,并当评分低于预设阈值时,对最终影像数据进行平滑滤波处理,和/或,亮度矫正处理。
106.在实际应用中,往往会因为算法不成熟,导致生成的目标元素出现生成的最终影像数据不符合基于客观标准下的图像美化评价,例如,经过风格迁移的汽车影像锐度过低,或者出现经过风格迁移的汽车影像的亮度参数与背景的亮度参数具有明显差别等等,从而导致用户体验低下,所以,本发明实施例可以在为最终影像数据配置对应的图像美化评价插件(image beautify evaluation),并可以采用图像美化评价插件对最终影像数据进行评分,当评分低于预设阈值时,则可以对最终影像数据进行优化处理。
107.在具体实现中,图像美化评价插件可以用于评价图像是否真实,以及是否美观,应用程序可以通过该评价,界定最终影像数据是否符合自然感和美感标准,并在判定最终影像数据不符合自然感和美感标准时,对其进行优化处理。
108.本发明实施例的图像美化评价插件还可以包括:图像美化评分模块和美化后处理模块。
109.在具体实现中,本发明实施例可以对图像美化评分模块输入多张风景或自拍图片,然后图像美化评分模块可以为每张图片的美学得分,范围在0-1之间,分数越高表示图像越美观和真实,反之则为不美观、不真实。图像美化评分模块可以采用全卷积网络结构,并且具有两个分支:全局分支和局部分支,全局分支可以负责提取全局特征,从整体评价图片的美学效果;局部分支可以从多个局部区域提取特征,从局部评价图片的美学效果,最终两种特征共同计算出图片的美学得分。
110.本发明实施例还可以在针对最终影像数据的评分低于预设阈值时,调用美化后处理模块对图像进行优化,优化方式主要包括:对图像进行平滑滤波,以及保边操作,从而减少图像的噪声,增强图像的锐化程度;对图像进行亮度矫正,压低过曝的区域,增强过暗的区域。
111.本发明实施例通过采用图像美化评价插件对最终影像数据评分,并当评分低于预设阈值时,对最终影像数据进行平滑滤波处理,和/或,亮度矫正处理,避免了最终影像数据不符合基于客观标准下的图像美化评价,从而提升了用户体验。
112.可选地,车载计算机具有对应的平视显示器,车载计算机安装于车辆,还包括:
113.当车载计算机判定车辆为停止状态,或车辆处于自动驾驶状态时,采用平视显示器显示最终影像数据。
114.在具体实现中,本发明实施例的车载计算机可以具有对应的平视显示器,平视显示器hud(head up display)hud最早运用于飞机上,作为飞行辅助仪器,能将飞机的各项参
数投射到飞行员视野的正前方,使飞行员能够保持平视状态,提高飞行安全,随着汽车工业的发展,hud也应用到了汽车上,hud按实现方法的不同,分为三大类c-hud(combiner hud),w-hud(windshield hud),ar-hud(augmented reality-hud),c-hud是将一块透明的树脂玻璃放置于仪表上方,从而实现车辆信息的投影,w-hud直接使用汽车的挡风玻璃作为显示屏,将相关信息直接投影到挡风玻璃上,ar-hud还是将挡风玻璃作为显示屏,但是会提供更加远距离的虚拟图像,并与实景相结合的呈现,ar-hud必然会继续向前发展,成为汽车必不可少的系统。
115.本发明实施例可以采用平视显示器显示最终影像数据,例如,用户将车辆停在路边坐在车内休息时,或者,用户将车辆的驾驶权转移给车辆自动驾驶系统时,可以通过平视显示器看到经风格迁移的建筑影像,而显示于平视显示器中的车辆和道路则是未经处理的原影像,以使用户能够体验到当前处于其他环境中的感觉。
116.在实际应用中,本发明实施例的车辆还可以具有自动驾驶功能,为了保证行车安全,本发明实施例的车载计算机可以判断车辆是否为停止状态,或处于自动驾驶状态,并在车载计算机判定车辆为停止状态或处于自动驾驶状态时,才采用平视显示器显示最终影像数据。
117.本发明实施例通过在车载计算机判定车辆为停止状态,或车辆处于自动驾驶状态时,采用平视显示器显示最终影像数据,从而使用户能够在车辆处于停车状态或者处于自动驾驶状态时,通过平视显示器同时看到包含目标元素和背景元素的最终影像数据,以使用户能够体验到当前处于其他环境中的感觉,进而既保证了用户的行车安全,还进一步的提升了用户体验。
118.需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
119.参照图3,示出了本发明实施例中提供的一种影像数据生成装置的结构框图,具体可以包括如下模块:
120.影像数据获取模块301,用于采用所述图像采集设备获取影像数据;所述影像数据包括图片;
121.元素确定模块302,用于确定所述图片中的道路环境元素和背景元素;所述道路环境元素包括车辆元素,和/或,建筑元素;
122.道路环境元素提取模块303,用于提取所述道路环境元素;所述道路环境元素具有对应的风格类型数据;
123.目标元素生成模块304,用于在检测到用户选定所述风格类型数据时,基于所述风格类型数据,根据所述道路环境元素生成目标元素;所述风格类型数据支持用户自定义;
124.最终影像数据生成模块305,用于根据所述目标元素和所述背景元素生成最终影像数据。
125.可选地,所述道路环境元素提取模块可以包括:
126.道路环境元素提取子模块,用于采用经预先训练的深度学习模型提取所述道路环
境元素。
127.可选地,所述目标元素生成模块可以包括:
128.目标元素生成子模块,用于采用经预先训练的生成式对抗网络,根据所述道路环境元素生成目标元素。
129.可选地,所述最终影像数据生成模块可以包括:
130.最终影像数据生成子模块,用于采用泊松融合法融合所述目标元素和所述背景元素,并生成最终影像数据。
131.可选地,所述最终影像数据配置有对应的图像美化评价插件,所述装置还可以包括:
132.最终影像数据评分模块,用于采用所述图像美化评价插件对所述最终影像数据评分,并当所述评分低于预设阈值时,对所述最终影像数据进行平滑滤波处理,和/或,亮度矫正处理。
133.可选地,所述车载计算机具有对应的平视显示器,所述车载计算机安装于车辆,还可以包括:
134.最终影像数据显示模块,用于在所述车载计算机判定所述车辆为停止状态,或所述车辆处于自动驾驶状态时时,采用所述平视显示器显示所述最终影像数据。
135.对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
136.另外,本发明实施例还提供一种电子设备,如图4所示,包括处理器401、通信接口402、存储器403和通信总线404,其中,处理器401,通信接口402,存储器403通过通信总线404完成相互间的通信,
137.存储器403,用于存放计算机程序;
138.处理器401,用于执行存储器403上所存放的程序时,实现如上述实施例中所述的影像数据生成方法。
139.上述终端提到的通信总线可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
140.通信接口用于上述终端与其他设备之间的通信。
141.存储器可以包括随机存取存储器(random access memory,简称ram),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
142.上述的处理器可以是通用处理器,包括中央处理器(central processing unit,简称cpu)、网络处理器(network processor,简称np)等;还可以是数字信号处理器(digital signal processing,简称dsp)、专用集成电路(application specific integrated circuit,简称asic)、现场可编程门阵列(field-programmable gate array,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
143.如图5所示,在本发明提供的又一实施例中,还提供了一种计算机可读存储介质501,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述
实施例中所述的影像数据生成方法。
144.在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中所述的影像数据生成方法。
145.本发明实施例还公开了一种车辆,可以包括车载计算机,所述车载计算机具有对应的图像采集设备,所述车载计算机机械耦合,和/或,电连接于所述车辆,以使得包括所述车载计算机的车辆执行如本发明实施例所述的方法。
146.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
147.需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
148.本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
149.以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1