图像校正方法、装置及车辆与流程

文档序号:37236276发布日期:2024-03-06 16:57阅读:12来源:国知局
图像校正方法、装置及车辆与流程

本发明涉及图像处理,尤其涉及一种图像校正方法、装置及车辆。


背景技术:

1、随着5g网络的发展,在车上进行视频会议或者直播也会逐渐普及。然而在车上视频电话的场景,和通过手机、便携式笔记本进行视频有着非常大的差异,在这样的场景下,如何能使车上人员和远端沟通的人员依然保持面对面自然的眼神接触交流,是亟待解决的问题,通过车机屏幕与车内摄像头能够实现车辆上的视频会议。

2、相关技术中,基于车机与车内摄像头能够实现车辆上的视频会议的方案在会议过程中无法反映用户的自然习惯工作,并且用户视线无法自然的与他车用户相交,因此使得在车机屏幕上展示的图像中用户不够自然,并且姿态较为僵硬。


技术实现思路

1、本发明实施例提供一种图像校正方法、装置及车辆,旨在解决或者部分解决背景技术中存在的问题。

2、为了解决上述技术问题,本发明是这样实现的:

3、第一方面,本发明实施例提供了一种图像校正方法,方法包括:

4、获取目标用户至少两个视角的多视角图像;

5、获取目标用户至少两个视角的多视角图像;

6、根据多视角图像,确定目标用户的初始人体三维模型;

7、对初始人体三维模型进行修正,得到目标人体三维模型;

8、根据头姿偏差角度和视线偏差角度,对目标人体三维模型进行修正;

9、根据修正后的目标人体三维模型,生成目标用户的第一图像。

10、可选地,根据多视角图像,确定目标用户的初始人体三维模型的步骤包括:

11、根据多视角图像,生成目标用户的3d点云图;

12、根据目标用户的3d点云图,生成目标用户的初始人体三维模型。

13、可选地,对初始人体三维模型进行修正,得到目标人体三维模型的步骤包括:

14、根据预先建立的目标用户的标准人体三维模型,对初始人体三维模型进行修正,生成目标人体三维模型。

15、可选地,根据预先建立的目标用户的标准人体三维模型,对初始人体三维模型进行修正,生成目标人体三维模型的步骤包括:

16、获取初始人体三维模型中的第一关键点集合和标准人体三维模型中的第二关键点集合;

17、比较第一关键点集合和第二关键点集合,确定初始人体三维模型是否存在关键点缺失;

18、在确定初始人体三维模型存在关键点缺失的情况下,基于第二关键点集合对初始人体三维模型进行盲区融合,生成目标人体三维模型。

19、可选地,根据头姿偏差角度和视线偏差角度,对目标人体三维模型进行修正的步骤包括:

20、获取目标用户的初始头姿偏差角度;

21、在初始头姿偏差角度大于预设阈值的情况下,按照预设比例缩减初始头姿偏差角度,获得目标头姿偏差角度;

22、根据目标头姿偏差角度,对目标人体三维模型进行头姿修正;

23、获取目标用户的初始视线偏差角度;

24、在始视线偏差角度大于预设阈值的情况下,对进行头姿修正后的目标人体三维模型进行瞳孔位置修正。

25、可选地,根据修正后的目标人体三维模型,生成目标用户的第一图像的步骤包括:

26、根据修正后的目标人体三维模型,生成目标用户的初始图像;其中初始图像为修正后的目标人体三维模型的正面投影视图;

27、将初始图像与预先生成的空载座舱背景进行融合,生成目标用户的第一图像。

28、可选地,空载座舱背景是通过以下步骤获得的:

29、获取第一座舱三维模型,并对第一座舱三维模型进行的正面投影,生成空载座舱背景;或

30、重构座舱的3d点云图,生成第二座舱三维模型,并对第二座舱三维模型进行的正面投影,生成空载座舱背景。

31、可选地,在根据修正后的目标人体三维模型,生成目标用户的第一图像的步骤之后,方法还包括:

32、根据人脸检测和肩部关键点对第一图像进行裁剪,生成目标用户的第二图像。

33、第二方面,本发明实施例提供了一种图像校正装置,装置包括:

34、图像获取模块,用于获取目标用户至少两个视角的多视角图像;

35、模型生成模块,用于根据多视角图像,确定目标用户的初始人体三维模型;

36、第一模型修正模块,用于对初始人体三维模型进行修正,得到目标人体三维模型;

37、第二模型修正模块,用于根据头姿偏差角度和视线偏差角度,对目标人体三维模型进行修正;

38、图像生成模块,用于根据修正后的目标人体三维模型,生成目标用户的第一图像;

39、图像裁剪模块,用于根据人脸检测和肩部关键点对第一图像进行裁剪,生成目标用户的第二图像。

40、本发明实施例第三方面提出一种电子设备,电子设备包括:

41、至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,

42、存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本发明实施例第一方面提出方法步骤。

43、本发明实施例第四方面提出一种车辆,车辆包括处理器,处理器用于执行时实现如本发明实施例第一方面提出方法步骤。

44、本发明实施例包括以下优点:首先,获取目标用户的至少两个视角的多视角图像,并根据多视角图像,确定目标用户的初始人体三维模型。然后,根据预先建立的目标用户的目标人体三维模型,对初始人体三维模型进行调整,生成目标人体三维模型,从而弥补实时重建中摄像头盲区缺失的区域,满足了车载宽广座椅空间人容易坐偏的场景的应用需求。并根据头姿偏差角度和视线偏差角度,对目标人体三维模型进行修正,使得用户虽然视线并未直视摄像头,但是在车机屏幕上进行显示时,用户的视线能够与他车用户自然相交,从而解决摄像头和视线方向在车载环境中大偏角的问题。最后,根据修正后的目标人体三维模型,生成目标用户的第一图像,并根据人脸检测和肩部关键点对第一图像进行裁剪,生成目标用户的第二图像。在本发明中将空载座椅作为背景,在图像校正过程中,能够使整个与会场景更自然,提高用户的会议体验。

45、为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

46、图1是本发明实施例中一种图像校正方法的步骤流程图;

47、图2是本发明实施例中目标用户的3d点云图;

48、图3是本发明实施例中目标用户的初始人体三维模型示意图;

49、图4是本发明实施例中目标用户的第一图像示意图;

50、图5是本发明实施例中目标用户的第二图像示意图;

51、图6是本发明实施例中生成空载座舱背景的示意图;

52、图7是本发明实施例中一种图像校正装置的模块示意图。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1