一种生成汽车A柱盲区图像的方法和装置与流程

本发明主要涉及图像处理技术，尤其涉及一种生成汽车a柱盲区图像的方法和装置。

背景技术：

车辆a柱，是位于车辆左前方和右前方的用于连接车顶和前舱的连接柱，起着支撑车身顶盖、增强车身刚度的作用。被车辆a柱遮挡住的视野区域被称作车辆a柱盲区。解决车辆a柱盲区对驾乘人员的视野影响问题，是实现车辆驾乘的安全性和提高驾乘舒适度的重要课题。

技术实现要素：

本发明要解决的技术问题是提供一种生成汽车a柱盲区图像的方法和装置，解决车辆a柱盲区对驾乘人员的视野影响问题。

为解决上述技术问题，本发明提供了一种生成汽车a柱盲区图像的方法，包括以下步骤：

通过第一摄像装置获取a柱盲区景象在世界坐标系中的图像和所述a柱盲区景象的深度信息；

基于所述图像和所述深度信息对所述a柱盲区景象进行三维重建，得到所述a柱盲区镜像的三维场景；

通过第二摄像装置获取车内的人眼在所述世界坐标系中的三维坐标，并以设定的时间间隔更新所述人眼的三维坐标；

根据所述以特定的时间间隔更新所述人眼的三维坐标和所述a柱的内侧屏幕在所述世界坐标系中的坐标以得到视线盲区的范围；

根据所述三维场景和所述视线盲区的范围，生成所述视线盲区的图像，并将所述视线盲区的图像投影到所述a柱内侧的屏幕上。

在本发明的一实施例中，所述第一摄像装置包括深度相机。

在本发明的一实施例中，所述图像包括黑白图和彩色图。

在本发明的一实施例中，所述彩色图包括rgb图。

在本发明的一实施例中，所述深度信息包括所述a柱盲区景象到所述第一摄像装置的距离。

在本发明的一实施例中，根据所述以特定的时间间隔更新所述人眼的三维坐标和所述a柱的内侧屏幕在所述世界坐标系中的坐标以得到视线盲区的范围包括，通过坐标变换，得到所述视线盲区的范围。

在本发明的一实施例中，通过第二摄像装置获取车内的人眼在所述世界坐标系中的三维坐标包括，通过对所述第二摄像装置拍摄的图像进行人脸检测和对所述图像中的像素进行深度测量得到人眼坐标。

在本发明的一实施例中，所述深度测量包括获取所述图像中的像素对应的景象的实际位置到所述第二摄像装置的距离。

本发明还提供一种生成汽车a柱盲区图像的装置，包括：

第一摄像装置，获取a柱盲区景象在世界坐标系中的图像和所述a柱盲区景象的深度信息；

第二摄像装置，获取车内的人眼在所述世界坐标系中的三维坐标，并以设定的时间间隔更新所述人眼的三维坐标；

图像处理装置，基于所述图像和所述深度信息对所述a柱盲区景象进行三维重建，得到所述a柱盲区镜像的三维场景；根据所述以特定的时间间隔更新所述人眼的三维坐标和所述a柱的内侧屏幕在所述世界坐标系中的坐标以得到视线盲区的范围；根据所述三维场景和所述视线盲区的范围，生成所述视线盲区的图像；

图像显示装置，将所述视线盲区的图像投影到所述a柱内侧的屏幕上。

与现有技术相比，本发明具有以下优点：本申请的技术方案能够实现使a柱盲区景象显示达到真正的‘透明’效果，提高汽车驾乘的安全性和驾乘人员的体验舒适度。

附图说明

附图是为提供对本申请进一步的理解，它们被收录并构成本申请的一部分，附图示出了本申请的实施例，并与本说明书一起起到解释本发明原理的作用。附图中：

图1是本申请一实施例的生成汽车a柱盲区图像的方法的流程图。

图2是本申请的一种生成汽车a柱盲区图像的方法的效果示意图。

图3是本申请一实施例的生成汽车a柱盲区图像的装置的示意图。

具体实施方式

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。

如本申请所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

在本申请的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。

此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。此外，尽管本申请中所使用的术语是从公知公用的术语中选择的，但是本申请说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本申请。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

本申请的实施例描述一种生成汽车a柱盲区图像的方法和装置。

图1是本申请一实施例的生成汽车a柱盲区图像的方法的流程图。

如图1所示，生成汽车a柱盲区图像的方法包括，步骤101，通过第一摄像装置获取a柱盲区景象在世界坐标系中的图像和所述a柱盲区景象的深度信息；步骤102，基于所述图像和所述深度信息对所述a柱盲区景象进行三维重建，得到所述a柱盲区镜像的三维场景；步骤103，通过第二摄像装置获取车内的人眼在所述世界坐标系中的三维坐标，并以设定的时间间隔更新所述人眼的三维坐标；步骤104，根据所述以特定的时间间隔更新所述人眼的三维坐标和所述a柱的内侧屏幕在所述世界坐标系中的坐标以得到视线盲区的范围；步骤105；根据所述三维场景和所述视线盲区的范围，生成所述视线盲区的图像，并将所述视线盲区的图像投影到所述a柱内侧的屏幕上。

具体地，在步骤101，通过第一摄像装置获取a柱盲区景象在世界坐标系中的图像和所述a柱盲区景象的深度信息。

在一些实施例中，第一摄像装置包括深度相机。图像包括黑白图和彩色图，所述彩色图包括rgb图，也可例如为hsv图、yuv图等图像表示形式的彩色图。深度信息包括所述a柱盲区景象到所述第一摄像装置的距离。

在步骤102，基于所述图像和所述深度信息对所述a柱盲区景象进行三维重建，得到所述a柱盲区镜像的三维场景。三维重建例如通过对所述图像和深度信息进行滤波处理和纹理映射实现。

在步骤103，通过第二摄像装置获取车内的人眼在所述世界坐标系中的三维坐标，并以设定的时间间隔更新所述人眼的三维坐标；所述设定的时间间隔可根据需求和实际情形进行设置，例如设置为毫秒(ms)级或秒(s)级的时间间隔，具体例如为10ms、20ms、……、1s、1.5s等时间间隔。

在一些实施例中，通过第二摄像装置获取车内的人眼在所述世界坐标系中的三维坐标包括，通过对所述第二摄像装置拍摄的图像进行人脸检测和对所述图像中的像素进行深度测量得到人眼坐标。深度测量包括获取所述图像中的像素对应的景象的实际位置到所述第二摄像装置的距离。

在步骤104，根据所述以特定的时间间隔更新所述人眼的三维坐标和所述a柱的内侧屏幕在所述世界坐标系中的坐标以得到视线盲区的范围。

在一些实施例中，根据所述以特定的时间间隔更新所述人眼的三维坐标和所述a柱的内侧屏幕在所述世界坐标系中的坐标以得到视线盲区的范围包括，通过坐标变换，得到所述视线盲区的范围。第二摄像装置例如可根据需要进行视角的变化。

在步骤105，根据所述三维场景和所述视线盲区的范围，生成所述视线盲区的图像，并将所述视线盲区的图像投影到所述a柱内侧的屏幕上。

图2是本申请的一种生成汽车a柱盲区图像的方法的效果示意图。

如图2所示，在实际情景中，当车内的驾乘人员的眼睛处于不同位置时，车外同一位置的景象投影在a柱显示装置ad上的位置应是不一样的。图2中as表示a柱盲区景象。本申请的技术方案，对汽车外部的a柱盲区景象作投影计算时，考虑到相隔特定的时间间隔，可发生变化的驾乘人员的眼睛(人眼e)的位置，从而实现a柱盲区景象显示达到真正的‘透明’效果，提高汽车驾乘的安全性和驾乘人员的体验舒适度。

本申请还提供一种生成汽车a柱盲区图像的装置，包括第一摄像装置、第二摄像装置、图像处理装置和图像显示装置。

图3是本申请一实施例的生成汽车a柱盲区图像的装置的示意图。如图3所示，生成汽车a柱盲区图像的装置300包括第一摄像装置302、第二摄像装置304、图像处理装置306和图像显示装置308。第一摄像装置302、第二摄像装置304、图像处理装置306和图像显示装置308可进行通信，以进行数据和指令的传输。

在一些实施例中，第一摄像装置用于获取a柱盲区景象在世界坐标系中的图像和所述a柱盲区景象的深度信息。第二摄像装置用于获取车内的人眼在所述世界坐标系中的三维坐标，并以设定的时间间隔更新所述人眼的三维坐标；

图像处理装置用于先基于所述图像和所述深度信息对所述a柱盲区景象进行三维重建，得到所述a柱盲区镜像的三维场景；而后根据所述以特定的时间间隔更新所述人眼的三维坐标和所述a柱的内侧屏幕在所述世界坐标系中的坐标以得到视线盲区的范围；再根据所述三维场景和所述视线盲区的范围，生成所述视线盲区的图像。

图像显示装置可用于将所述视线盲区的图像投影到所述a柱内侧的屏幕上。

本申请的生成汽车a柱盲区图像的装置，根据驾乘人员的眼睛的位置，以特定的时间间隔更新a柱盲区图像在a柱内侧屏幕上的显示，从而实现a柱盲区景象显示达到真正的‘透明’效果和保证显示的准确度，提高汽车驾乘的安全性和驾乘人员的体验舒适度。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

本申请的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理器件(dapd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器或者其组合。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，压缩盘cd、数字多功能盘dvd……)、智能卡以及闪存设备(例如，卡、棒、键驱动器……)。

计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

虽然本申请已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本申请，在没有脱离本申请精神的情况下还可作出各种等效的变化或替换，因此，只要在本申请的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。