扩展车辆视角的方法和装置与流程

本公开涉及车辆控制领域，具体地，涉及一种扩展车辆视角的方法和装置。

背景技术：

随着我国汽车保有量不断提高，城市道路日益拥挤，交通事故频发，车辆的行驶安全越来越受到人们的重视。当车辆在雨、雪、雾等恶劣天气条件下行驶时，由于车内外的温差或者车外高湿度的影响极易造成玻璃以及后视镜上有水雾(或水滴)出现，导致车辆视野被遮挡，使驾驶员很难辨认后方来车或侧方障碍物，无法正确判断道路状况和环境情况，此时如果靠边停车、超车和变道容易发生交通事故。现有技术中，车辆通常会通过开启空调除雾及加热功能，以去除前、后挡风玻璃及后视镜上的水雾(或水滴)，但无法去除侧窗玻璃位于车外一侧的水雾(或水滴)，导致驾驶员仍旧无法看清后视镜的情况，存在安全隐患，降低了车辆行驶的安全度。

技术实现要素：

本公开的目的是提供一种扩展车辆视角的方法和装置，能够解决现有技术中，车辆在恶劣天气下行驶时，车辆视角被遮挡导致的安全度低的问题。

为了实现上述目的，根据本公开实施例的第一方面，提供一种扩展车辆视角的方法，所述方法包括：

当获取到控制指令，或车辆上的环境传感器检测到的环境信息满足预设条件时，控制所述车辆的全景影像系统avm启动，所述avm包括预设数量个图像采集装置；

控制每个所述图像采集装置由初始位置旋转至预设位置，以获取所述每个图像采集装置在当前时刻采集的图像数据；

将所述预设数量个所述图像采集装置采集的所述预设数量个所述图像数据合成为全景图像；

控制所述车辆的显示界面显示所述全景图像。

可选地，所述环境传感器包括：雨量传感器、湿度传感器、温度传感器中的至少一种，所述环境信息包括：雨量信息、湿度信息、温度信息中的至少一种；

所述预设条件包括：所述雨量传感器检测到的所述雨量信息指示的所述车辆外部的雨量大于雨量阈值，所述湿度传感器检测到的所述湿度信息指示的所述车辆的预设位置处的湿度大于湿度阈值，所述温度传感器检测到的所述温度信息指示的所述车辆的内外温度差大于温度阈值中的至少一种条件。

可选地，所述控制每个所述图像采集装置由初始位置旋转至预设位置，以获取所述每个图像采集装置在当前时刻采集的图像数据，包括：

控制第一图像采集装置旋转第一角度，以获取所述第一图像采集装置在所述当前时刻采集的所述车辆两侧对应的第一图像数据，所述第一图像采集装置为设置在所述车辆两侧的图像采集装置；

控制第二图像采集装置旋转第二角度，以获取所述第二图像采集装置在所述当前时刻采集的所述车辆后方对应的第二图像数据，所述第二图像采集装置为设置在所述车辆尾部的图像采集装置。

可选地，所述将所述预设数量个所述图像采集装置采集的所述预设数量个所述图像数据合成为全景图像，包括：

提取所述预设数量个所述图像数据中的特征点；

根据所述预设数量个所述图像数据中的特征点，按照预设的特征匹配算法确定所述预设数量个所述图像数据之间的匹配关系；

根据所述匹配关系合成所述预设数量个所述图像数据，以获取所述全景图像。

可选地，所述方法还包括：

当获取到关闭指令时，控制所述图像采集装置由所述预设位置旋转至所述初始位置；

控制所述avm进入待机状态。

根据本公开实施例的第二方面，提供一种扩展车辆视角的装置，所述装置包括：

控制模块，用于当获取到控制指令，或车辆上的环境传感器检测到的环境信息满足预设条件时，控制所述车辆的全景影像系统avm启动，所述avm包括预设数量个图像采集装置；

所述控制模块，还用于控制每个所述图像采集装置由初始位置旋转至预设位置，以获取所述每个图像采集装置在当前时刻采集的图像数据；

合成模块，用于将所述预设数量个所述图像采集装置采集的所述预设数量个所述图像数据合成为全景图像；

显示模块，用于控制所述车辆的显示界面显示所述全景图像。

可选地，所述环境传感器包括：雨量传感器、湿度传感器、温度传感器中的至少一种，所述环境信息包括：雨量信息、湿度信息、温度信息中的至少一种；

所述预设条件包括：所述雨量传感器检测到的所述雨量信息指示的所述车辆外部的雨量大于雨量阈值，所述湿度传感器检测到的所述湿度信息指示的所述车辆的预设位置处的湿度大于湿度阈值，所述温度传感器检测到的所述温度信息指示的所述车辆的内外温度差大于温度阈值中的至少一种条件。

可选地，所述控制模块包括：

第一控制子模块，用于控制第一图像采集装置旋转第一角度，以获取所述第一图像采集装置在所述当前时刻采集的所述车辆两侧对应的第一图像数据，所述第一图像采集装置为设置在所述车辆两侧的图像采集装置；

第二控制子模块，用于控制第二图像采集装置旋转第二角度，以获取所述第二图像采集装置在所述当前时刻采集的所述车辆后方对应的第二图像数据，所述第二图像采集装置为设置在所述车辆尾部的图像采集装置。

可选地，所述合成模块包括：

提取子模块，用于提取所述预设数量个所述图像数据中的特征点；

确定子模块，用于根据所述预设数量个所述图像数据中的特征点，按照预设的特征匹配算法确定所述预设数量个所述图像数据之间的匹配关系；

合成子模块，用于根据所述匹配关系合成所述预设数量个所述图像数据，以获取所述全景图像。

可选地，所述控制模块，还用于当获取到关闭指令时，控制所述图像采集装置由所述预设位置旋转至所述初始位置；

所述控制模块，还用于控制所述avm进入待机状态。

通过上述技术方案，本公开中当车辆获取到控制指令，或车辆上的环境传感器检测到的环境信息满足预设条件时，首先控制车辆的全景影像系统avm启动，其中avm上设置了预设数量个图像采集装置，之后控制每个图像采集装置由初始位置旋转至预设位置，以获取每个图像采集装置在当前时刻采集的图像数据，然后根据预设数量个图像采集装置采集到的预设数量个图像数据，合成为全景图像，最后控制车辆的显示界面显示全景图像。本公开能够在车辆视角被遮挡时，由avm实时采集车辆周围的图像，以扩展车辆视角，为驾驶员提供行驶状况的判断依据，从而提高车辆行驶的安全度，降低事故风险。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种扩展车辆视角的方法的流程图。

图2是图1所示实施例示出的一种步骤102的流程图。

图3是图1所示实施例示出的一种步骤103的流程图。

图4是根据一示例性实施例示出的另一种扩展车辆视角的方法的流程图。

图5是根据一示例性实施例示出的一种扩展车辆视角的装置的框图。

图6是图5所示实施例示出的一种控制模块的框图。

图7是图5所示实施例示出的一种合成模块的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在介绍本公开提供的扩展车辆视角的方法和装置之前，首先对本公开各个实施例所涉及的应用场景进行介绍。该应用场景可以包括设置有avm英文：aroundviewmonitor，中文：全景式监控影像系统)的车辆，该avm上设置有多个图像采集装置，图像采集装置例如可以是摄像头，可以设置在车辆的头部、两侧或者尾部，能够按照预设的频率采集车辆周围的图像。该车辆可以是汽车，该汽车不限于传统汽车、纯电动汽车或是混动汽车，除此之外还可以适用于其他类型的机动车或非机动车。

图1是根据一示例性实施例示出的一种扩展车辆视角的方法的流程图。如图1所示，该方法包括以下步骤：

在步骤101中，当获取到控制指令，或车辆上的环境传感器检测到的环境信息满足预设条件时，控制车辆的全景影像系统avm启动，avm包括预设数量个图像采集装置。

示例的，当车辆在雨、雪、雾等恶劣天气条件下行驶时，由于车内外的温差或者车外高湿度的影响极易造成玻璃以及后视镜上有水雾(或水滴)出现，导致车辆视角受限，可以通过启动avm来扩展车辆视角。启动avm的条件可以包括：驾驶员自行判断当前行驶条件差，车辆视角被遮挡，此时驾驶员可以通过打开设置在车辆上的控制开关，以发出控制指令来控制avm启动。或者通过车辆上设置的环境传感器检测到的环境信息来控制车辆的avm启动，当环境信息满足预设条件时，控制车辆的avm启动，当环境信息不满足预设条件时，保持avm为待机状态。其中，当用户打开控制开关时，触发控制指令，车辆获取控制指令，控制车辆的avm启动，当驾驶员关闭控制开关时，触发关闭指令，车辆获取关闭指令，控制车辆的avm进入待机状态。环境传感器能够采集车辆当前的环境信息，以判断当前车辆所处环境是否影响驾驶员驾驶，即当前的环境是否会产生遮挡车辆视角的问题。例如环境传感器可以包括：雨量传感器、湿度传感器、温度传感器等，相应的这些传感器可以采集当前环境中的雨量信息、湿度信息、温度信息作为环境信息。avm中可以包括预设数量个图像采集装置，预设数量可以是4，例如可以是设置在车辆的头部、尾部、左侧、右侧的图像采集装置。预设条件可以是环境传感器采集到的环境信息与预设阈值之间满足预设条件。

在步骤102中，控制每个图像采集装置由初始位置旋转至预设位置，以获取每个图像采集装置在当前时刻采集的图像数据。

示例的，当avm启动后，控制每个图像采集装置由初始位置旋转至预设位置以获取每个图像采集装置在当前时刻采集的图像数据。控制图像采集装置的方式可以是控制与图像采集装置连接的电机，由avm向电机发出控制信号，控制信号中可以包括指示电机旋转的角度信息，以使电机带动图像采集装置旋转，电机例如可以是步进电机。通常情况下，为了适用于停车入库等场景，avm上设置的图像采集装置的初始位置是朝向地面方向，可以将预设位置设置为朝向车尾方向，以在车辆的尾部、左侧和右侧各设置1个摄像头为例，每个摄像头均与电机相连，电机带动摄像头由朝向地面方向旋转为朝向车尾方向，此时每个摄像头均为上电状态，能够获取当前时刻采集的图像数据。

在步骤103中，将预设数量个图像采集装置采集的预设数量个图像数据合成为全景图像。

在步骤104中，控制车辆的显示界面显示全景图像。

示例的，将预设数量个图像采集装置采集到的预设数量个图像数据按照预设的算法合成为全景图像，并将合成后的全景图像发送到车辆的显示界面，车辆的显示界面显示全景图像，其中，车辆的显示界面例如可以是中控显示屏。

需要说明的是，在avm启动之前，显示界面上可能显示有其他信息，例如：车辆当前的行驶状态、播放器播放的音频信息、导航信息等，可以对应显示界面不同的工作模式，例如：行驶模式、娱乐模式和导航模式等，当avm启动后，可以将显示界面当前的工作模式切换至后台，使显示界面能够进入avm显示模式，以显示全景图像。例如：车辆启动后，车辆的显示界面处于正常工作状态，avm进入待机状态，当车辆获取到控制指令，或环境传感器检测到的环境信息满足预设条件时，车辆的显示界面将当前的工作模式切换为后台继续工作(当前的工作模式例如可以是导航模式)，进入avm显示模式，以显示全景图像，当车辆获取到关闭指令时，控制车辆的显示界面退出avm显示模式，恢复到前一个工作状态(例如可以是导航模式)。

综上所述，本公开中当车辆获取到控制指令，或车辆上的环境传感器检测到的环境信息满足预设条件时，首先控制车辆的全景影像系统avm启动，其中avm上设置了预设数量个图像采集装置，之后控制每个图像采集装置由初始位置旋转至预设位置，以获取每个图像采集装置在当前时刻采集的图像数据，然后根据预设数量个图像采集装置采集到的预设数量个图像数据，合成为全景图像，最后控制车辆的显示界面显示全景图像。本公开能够在车辆视角被遮挡时，由avm实时采集车辆周围的图像，以扩展车辆视角，为驾驶员提供行驶状况的判断依据，从而提高车辆行驶的安全度，降低事故风险。

可选地，环境传感器包括：雨量传感器、湿度传感器、温度传感器中的至少一种，环境信息包括：雨量信息、湿度信息、温度信息中的至少一种。

预设条件包括：雨量传感器检测到的雨量信息指示的车辆外部的雨量大于雨量阈值，湿度传感器检测到的湿度信息指示的车辆的预设位置处的湿度大于湿度阈值，温度传感器检测到的温度信息指示的车辆的内外温度差大于温度阈值中的至少一种条件。

示例的，车辆上的环境传感器检测到的环境信息满足预设条件，能够表明车辆所处的环境不利于驾驶员驾驶，需要扩展车辆视角，环境传感器通过采集环境信息来判断车辆所处的环境是否需要扩展车辆视角。环境传感器可以包括：雨量传感器、湿度传感器、温度传感器中的至少一种，相应采集到的环境信息包括：雨量信息(雨量信息可以包括：每分钟降雨量、雨滴大小)、湿度信息、温度信息(温度信息可以包括：车内温度、车外温度和车内外温度差)中的至少一种。预设条件可以是在车辆的设计研发阶段预先设置的，也可以在车辆的使用过程中，根据驾驶员的不同需求来具体调整。预设条件例如可以包括：1)雨量传感器检测到的雨量信息指示的车辆外部的雨量大于雨量阈值(雨量阈值例如可以是2mm/min)。2)湿度传感器检测到的湿度信息指示的车辆的预设位置处的湿度大于湿度阈值(湿度传感器可以安装在侧窗玻璃上，湿度阈值例如可以是80％)。3)温度传感器检测到的温度信息指示的车辆的内外温度差大于温度阈值(温度阈值例如可以是20℃)。预设条件可以是同时满足1)、2)、3)，也可以是满足1)、2)、3)其中的至少一个。以环境传感器中只包括温度传感器，温度阈值为20℃为例，当温度传感器检测到车辆的内外温度差大于20℃时，表明环境传感器检测到的环境信息满足预设条件，控制avm启动。

图2是图1所示实施例示出的一种步骤102的流程图。如图2所示，步骤102包括以下步骤：

在步骤1021中，控制第一图像采集装置旋转第一角度，以获取第一图像采集装置在当前时刻采集的车辆两侧对应的第一图像数据，第一图像采集装置为设置在车辆两侧的图像采集装置。

在步骤1022中，控制第二图像采集装置旋转第二角度，以获取第二图像采集装置在当前时刻采集的车辆后方对应的第二图像数据，第二图像采集装置为设置在车辆尾部的图像采集装置。

示例的，在avm启动后，控制第一图像采集装置和第二图像采集装置分别旋转第一角度、第二角度，以分别获取第一图像采集装置在当前时刻采集的车辆两侧对应的第一图像数据，和第二图像采集装置在当前时刻采集的车辆后方对应的第二图像数据。第一图像采集装置为设置在车辆两侧的图像采集装置，第二图像采集装置为设置在车辆尾部的图像采集装置。以第一图像采集装置设置在车辆两侧的后视镜的下方，第二图像采集装置设置在车辆尾部的中央处，第一图像采集装置和第二图像采集装置的初始位置都为朝向地面方向为例，当avm启动后，第一图像采集装置需要从朝向地面方向旋转至朝向车尾方向以采集当前时刻车辆两侧对应的第一图像数据，例如可以控制第一图像采集装置逆时针旋转90°(即第一角度为90°)，第二图像采集装置需要从朝向地面方向旋转至朝向车尾方向以采集当前时刻车辆后方对应的第二图像数据，例如可以控制第二图像装置逆时针旋转70°(即第二角度为70°)。

图3是图1所示实施例示出的一种步骤103的流程图。如图3所示，步骤103包括以下步骤：

在步骤1031中，提取预设数量个图像数据中的特征点。

在步骤1032中，根据预设数量个图像数据中的特征点，按照预设的特征匹配算法确定预设数量个图像数据之间的匹配关系。

在步骤1033中，根据匹配关系合成预设数量个图像数据，以获取全景图像。

示例的，可以按照预设的算法合成预设数量个图像采集装置采集的预设数量个图像数据，以获取全景图像。预设的算法可以包括：首先对预设数量个图像数据进行预处理(例如可以包括对预设数量个图像数据进行直方图匹配、平滑滤波、增强变换等数字图像处理的基本操作，以提高图像数据的质量)。再提取预设数量个图像数据中的特征点，之后根据预设数量个图像数据中的特征点，按照预设的特征匹配算法确定预设数量个图像数据之间的匹配关系，预设的特征匹配算法能够对预设数量个图像数据进行特征点的检测和匹配。其中，确定预设数量个图像数据之间的匹配关系可以通过预设的特征匹配算法对预设数量个图像数据进行两两匹配，以找出任意两个图像数据中匹配的特征点对，根据特征点对的数量判断两张图像之间是否有匹配关系(例如可以设定一个阈值，若两个图像数据中匹配的特征点对的数量小于或等于该阈值，则判定该两个图像数据之间不具有匹配关系，若两个图像数据中匹配的特征点对的数量大于该阈值，则判定该两个图像数据之间具有匹配关系)。最后根据匹配关系合成预设数量个图像数据，以获取全景图像，合成预设数量个图像数据的方式可以包括：根据两个图像数据中匹配的特征点对确定具有匹配关系的图像数据的位置关系，根据位置关系合成预设数量个图像数据，以获取全景图像(在获取全景图像后，还可以进一步对合成后的全景图像进行消除重影处理，以提高全景图像的质量)。其中，预设的特征匹配算法可以是orb(英文：orientedbrief)算法、sift(英文：scale-invariantfeaturetransform，中文：尺度不变特征变换)算法、fast(英文：featuresfromacceleratedsegmenttest)算法等。

图4是根据一示例性实施例示出的另一种扩展车辆视角的方法的流程图。如图4所示，该方法还包括以下步骤：

在步骤105中，当获取到关闭指令时，控制图像采集装置由预设位置旋转至初始位置。

在步骤106中，控制avm进入待机状态。

示例的，当车辆获取到驾驶员发出的关闭指令时，可以通过avm发出电机复位指令，控制与图像采集装置相连的电机旋转带动图像采集装置由预设位置旋转至初始位置，在图像采集装置由预设位置旋转至初始位置后，控制avm进入待机状态。

综上所述，本公开中当车辆获取到控制指令，或车辆上的环境传感器检测到的环境信息满足预设条件时，首先控制车辆的全景影像系统avm启动，其中avm上设置了预设数量个图像采集装置，之后控制每个图像采集装置由初始位置旋转至预设位置，以获取每个图像采集装置在当前时刻采集的图像数据，然后根据预设数量个图像采集装置采集到的预设数量个图像数据，合成为全景图像，最后控制车辆的显示界面显示全景图像。本公开能够在车辆视角被遮挡时，由avm实时采集车辆周围的图像，以扩展车辆视角，为驾驶员提供行驶状况的判断依据，从而提高车辆行驶的安全度，降低事故风险。

图5是根据一示例性实施例示出的一种扩展车辆视角的装置的框图。如图5所示，装置200包括：

控制模块201，用于当获取到控制指令，或车辆上的环境传感器检测到的环境信息满足预设条件时，控制车辆的全景影像系统avm启动，avm包括预设数量个图像采集装置。

控制模块201，还用于控制每个图像采集装置由初始位置旋转至预设位置，以获取每个图像采集装置在当前时刻采集的图像数据。

合成模块202，用于将预设数量个图像采集装置采集的预设数量个图像数据合成为全景图像。

显示模块203，用于控制车辆的显示界面显示全景图像。

可选地，环境传感器包括：雨量传感器、湿度传感器、温度传感器中的至少一种，环境信息包括：雨量信息、湿度信息、温度信息中的至少一种。

预设条件包括：雨量传感器检测到的雨量信息指示的车辆外部的雨量大于雨量阈值，湿度传感器检测到的湿度信息指示的车辆的预设位置处的湿度大于湿度阈值，温度传感器检测到的温度信息指示的车辆的内外温度差大于温度阈值中的至少一种条件。

图6是图5所示实施例示出的一种控制模块的框图。如图6所示，控制模块201包括：

第一控制子模块2011，用于控制第一图像采集装置旋转第一角度，以获取第一图像采集装置在当前时刻采集的车辆两侧对应的第一图像数据，第一图像采集装置为设置在车辆两侧的图像采集装置。

第二控制子模块2012，用于控制第二图像采集装置旋转第二角度，以获取第二图像采集装置在当前时刻采集的车辆后方对应的第二图像数据，第二图像采集装置为设置在车辆尾部的图像采集装置。

图7是图5所示实施例示出的一种合成模块的框图。如图7所示，合成模块202包括：

提取子模块2021，用于提取预设数量个图像数据中的特征点。

确定子模块2022，用于根据预设数量个图像数据中的特征点，按照预设的特征匹配算法确定预设数量个图像数据之间的匹配关系。

合成子模块2023，用于根据匹配关系合成预设数量个图像数据，以获取全景图像。

可选地，控制模块201，还用于当获取到关闭指令时，控制图像采集装置由预设位置旋转至初始位置。

控制模块201，还用于控制avm进入待机状态。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

综上所述，本公开中当车辆获取到控制指令，或车辆上的环境传感器检测到的环境信息满足预设条件时，首先控制车辆的全景影像系统avm启动，其中avm上设置了预设数量个图像采集装置，之后控制每个图像采集装置由初始位置旋转至预设位置，以获取每个图像采集装置在当前时刻采集的图像数据，然后根据预设数量个图像采集装置采集到的预设数量个图像数据，合成为全景图像，最后控制车辆的显示界面显示全景图像。本公开能够在车辆视角被遮挡时，由avm实时采集车辆周围的图像，以扩展车辆视角，为驾驶员提供行驶状况的判断依据，从而提高车辆行驶的安全度，降低事故风险。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。