同步显示方法与流程

本发明涉及一种同步显示方法。

背景技术：

目前，随着汽车技术的发展和不断进步，汽车已经开始在一般家庭中普及，越来越多的家庭都拥有了自己的私家车。这样也就导致了路面上车辆的数目明显增加，同时也很难避免驾驶技术并不熟练的司机驾驶车辆上街行驶，使得汽车碰撞事故频繁发生。通常，很多不熟悉车辆驾驶的驾驶员来说稍不注意就会让当前驾驶的车辆与周围停放的其他车辆或障碍物发生剐蹭。

例如，中国专利cn102695037a、名称为“一种车载多视点摄像头画面的切换和表示方法”的发明专利公开了一种方案，其中，在车载环视系统的画面显示中，通过拖动屏幕实现相邻摄像头的切换的车载环视系统的摄像头切换和表示方式；在车载环视系统的画面显示中，通过点击环视合成画面上的相应位置来直接切换到相应的任意的摄像头的车载环视系统的摄像头切换和表示方式。该方案中只能固定切换车辆单侧采集的图像，并且显示的单侧图像为从车内向外看的，视角单一，导致驾驶员不能立体直观的观察车辆周围的环境情况。在这种情况下，对于驾车经验较少的驾驶员来说，容易出现操作失误，而导致事故的发生。

技术实现要素：

针对相关技术中的问题，本发明提出一种同步显示方法，能够自由切换图像显示视角，同步显示车辆周围的环境情况。

为实现上述发明目的，本发明提供一种同步显示方法，包括：

采集车辆周围环境的图形来获取车辆所处场所的环视图以及所述车辆在所述场所中的位置信息，并在所述环视图中显示所述车辆的模型；

以两种不同的显示模式进行同步显示，

其中，在第一显示模式中，所述车辆的模型为2d模型，以及在第二显示模式中，所述车辆的模型为3d模型。

根据本发明的一个方面，在所述第一显示模式中，所述环视图的显示视角为俯视，以及

在所述第二显示模式中，所述环视图的显示视角可随意变换。

根据本发明的一个方面，以两种不同的显示模式进行同步显示包括：

在所述第二显示模式中，对于特定位置，设定用于变换所述环视图的显示视角的调整信息；以及

当在所述第一显示模式中选择特定位置时，根据所述调整信息，同步变换所述第二显示模式中所述环视图的显示视角。

根据本发明的一个方面，以两种不同的显示模式进行同步显示包括：

在所述第二显示模式中，对于所述车辆的运行状态，设定用于变换所述环视图的显示视角的调整信息；以及

在所述车辆的运行过程中，在所述第一显示模式和所述第二显示模式中同步显示所述车辆，其中，在所述第二显示模式中，根据所述调整信息，同步变换所述环视图的显示视角。

根据本发明的一个方面，所述调整信息包括：在所述环视图中坐标轴x、y、z方向的旋转角度以及平移量。

根据本发明的一个方面，基于所述旋转角度的旋转结果依照旋转矩阵公式计算得到：m＝mz*my*mx，

其中，mz为绕z轴旋转角度θz的旋转矩阵：

其中，my为绕y轴旋转角度θy的旋转矩阵：

其中，mx为绕x轴旋转角度θx的旋转矩阵：

根据本发明的一个方面，基于所述平移量的平移结果依照平移矩阵计算得到：

其中，offsetx、offsety、offsetz分别为坐标轴x、y、z方向上的平移量值。

根据本发明的一个方面，所述调整信息包括步长step，其用于调整所述环视图的显示视角的变换速度。

根据本发明的一个方面，所述变换速度的确定因素还包括：角度变换差δθ，其中，δθ＝[θx2-θx1，θy2-θy1，θz2-θz1]，在变换过程中第i个步长的视角的z轴旋转矩阵为：

在变换过程中第i个步长的视角的y轴旋转矩阵为：

在变换过程中第i个步长的视角的x轴旋转矩阵为：

根据本发明的一个方面，所述变换速度的确定因素还包括：平移量变换差δoffset，其中，δoffset＝[offsetx2-offsetx1，offsety2-offsety1,offsetz2-offsetz1]，在变换过程中第i个步长的视角的平移矩阵为：

根据本发明的一个方案，通过第一显示模式和第二显示模式同步显示周围信息以及车辆的模型，让驾驶员能够根据显示的图像信息驾车行进。通过在第一显示模式中自由选取需要显示的视角，第二显示模式采集的实时图像的观察视角也会相应地改变，有利于更多的显示出周围环境，并且视角变化范围广，有利于更加直观、清晰的观察车辆周围的环境情况。

根据本发明的一个方案，2d车辆模型上设有用于控制显示视角切换方式的虚拟摄像头按钮。通过点击此按钮实现对实时图像中显示视角切换的自动与手动控制。在车辆行驶过程中，通过将视角变换切换为自动方式方便驾驶员能及时了解车辆周边的环境。同时，避免了驾驶员在车辆行驶过程中手动切换视角，进一步降低了车辆行驶过程中的危险性，确保了车辆的安全性。

根据本发明的一个方案，2d车辆模型上设有改变立体显示视角的虚拟摄像头按钮。点击虚拟摄像头按钮，2d车辆模型的周围显示用于切换立体视角的环形框体。通过点击环形框体上的不同位置，第二显示模式同步的将选定的视角进行立体显示，并且显示的范围会进一步扩大，使第二显示模式中能够显示出车辆周围更多的环境情况。视角的位置变换更加方便。通过在环形框体上可以任意选择需要显示的视角，并且视角变化范围广，有利于更加直观、清晰的观察车辆周围的环境情况。

根据本发明的一个方案，在第一显示模式中，任意选取车辆周围的位置，第一显示模式和第二显示模式中的实时图像实现同步变换。第二显示模式中采集的实时图像的观察视角也会相应地改变，有利于更多的显示出选取位置的周围环境，方便驾驶员观察选取的位置是否存在障碍物、行人或其他车辆等。通过本方法可以方便的在空旷场地、路边等没有规定停车位的地方实现停车位置的自由确定，增大了停车的灵活性。

根据本发明的一个方案，如果在实时图像中显示车辆周围存在实际停车线，还可以在第一模式中通过选取实时图像中显示的实际停车线的位置。第一显示模式和第二显示模式中显示的停车标识框与实际停车线拟合形成停车位。可以方便驾驶员选取在实际停车线模糊不清或不完整的停车场地的停车位，通过拟合的停车标识框，避免了由于无法识别停车位而导致的无法停车的情况。

根据本发明的一个方案，在第一显示模式中，需要根据实时图像信息选取停车位的位置。通过图像信息可以自由变更停车的位置、大小以及形状。在第一显示模式中，可以随意改变停车标识框的位置，还可以根据停车区域的实际情况改变停车标识框的方向(例如，停车标识框可以相对车辆模型平行、垂直或倾斜等)。通过这种方式快捷方便的实现了停车位的选取，降低了停车位选取的难度，非常适合在复杂停车环境下停车位的选取。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是示意性表示根据本发明的同步显示方法的流程图；

图2是示意性表示根据本发明的一种实施方式的显示模式的布置图；

图3是示意性表示根据本发明的一种实施方式的左后近侧视角的示意图；

图4是示意性表示根据本发明的一种实施方式的自动切换视角的示意图；

图5是示意性表示根据本发明的一种实施方式的自动切换视角的示意图；

图6是示意性表示根据本发明的一种实施方式的左后远侧视角的示意图；

图7是示意性表示根据本发明的一种实施方式的选取停车位的示意图。

具体实施方式

此说明性实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。

此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。

图1是示意性表示根据本发明的同步显示方法的流程图。

根据本发明的同步显示方法，主要包括以下步骤：

步骤1：采集车辆周围环境的图形来获取车辆所处场所的环视图以及所述车辆在所述场所中的位置信息，并在所述环视图中显示所述车辆的模型；

步骤2：以两种不同的显示模式进行同步显示。

结合本发明的一种实施方式，并结合附图进一步详细说明本发明，详细阐述如下：

图2是示意性表示根据本发明的一种实施方式的显示模式的布置图。

如图2所示，根据本发明的实施例，提供了一种同步显示方法。根据本发明的方法，采用结合环视成像系统，以及在环视系统采集的实时图像中加载汽车模型的方式，能够清楚直观的观察车辆模型以及采集的实时图像。采集的实时图像中，车辆的模型与实际车辆本身相符，并且车辆模型按照合适的比例加载到实时图像的中心位置。根据不同的车辆型号可以更改实时图像中加载的车辆模型，设定为与当前车辆的型号相符，这样就能够在实时图像中真实地展示出车辆的尺寸，有助于驾驶员更加准确地了解到车辆与周围的环境，从而提供更加客观、有效的视觉指引和辅助。

根据本发明的方法，环视系统通过在车辆本身不同的方位设置多个摄像头采集周围环境的实时图像。通常情况下，车载环视系统包括4个或者6个(也可以是其他数量)摄像头。在对环视系统的多个摄像头拍摄的图像进行畸变校正和拼接等图像处理后，能够得到当前所拍摄场所的实时图像。例如，如果车载环视系统采用4个摄像头，则显示车辆立体模型的位置就是4个摄像头所拍摄图像拼接后生成的实时图像的中心位置。

如图2所示，根据本发明的方法，通过两种不同的显示模式对车辆周围的环境进行同步显示。在本实施方式中，两种不同的显示模式包括第一显示模式和第二显示模式。第一显示模式和第二显示模式共同显示在同一显示装置上，第一显示模式和第二显示模式相邻。在显示装置上，第一显示模式位于显示装置的左侧，第二显示模式位于显示装置的右侧。在本实施方式中，第一显示模式中以俯视的视角进行实时图像的显示。在第一显示模式中，加载到实时图像中间位置的车辆模型为2d模型，并且车辆模型同样以俯视的视角显示在实时图像中。在本实施方式中，第二显示模式以环视图的方式进行实施图像的显示。在第二显示模式中，加载到实施图像中间位置的车辆模型为3d模型。在第二显示模式中，显示的立体实时图像的视角是可以随意切换的。同时，位于实施图像中的3d模型的视角也随之变换。通过在第一显示模式中自由选取需要显示的视角，第二显示模式采集的实时图像的观察视角也会相应地改变，有利于更多的显示出周围环境，并且视角变化范围广，有利于更加直观、清晰的观察车辆周围的环境情况。

图3是示意性表示根据本发明的一种实施方式的左后近侧视角的示意图。

结合图2和图3所示，根据本发明的方法，第一显示模式和第二显示模式是可以同步联动显示的。在本实施方式中，在第一显示模式中，在车辆模型的周围显示有多个虚拟摄像头按钮，通过点击这些虚拟摄像头按钮可以实现对车辆周围进行观察。如图2中所示，在第一显示模式中，车辆模型的周围的四个方向具有4个固定视角的虚拟摄像头按钮。通过点击车辆模型左后近侧的虚拟摄像头按钮，在第二显示模式中，同步将左后近侧的视角的实时图像显示出来。可以理解的，点击车辆前方的虚拟摄像头按钮，第二显示模式中，同步将前视视角的实施图像显示出来。同理，点击其它两个方向的虚拟摄像头按钮，在第二显示模式中会分别将相对应的视角的实施图像显示。车辆在静止或者运动过程中，第二显示模式中的视角都能实现自由变换。

图4是示意性表示根据本发明的一种实施方式的自动切换视角的示意图；

图5是示意性表示根据本发明的一种实施方式的自动切换视角的示意图。

在第一显示模式中，车辆模型上还设有用于控制显示视角切换方式的虚拟摄像头按钮。通过点击此按钮实现对实时图像中显示视角切换的自动与手动控制。结合图4和图5所示，点击车辆模型上的虚拟摄像头按钮，则虚拟摄像头按钮变换为字符auto，第一显示模式和第二显示模式进入自动视角切换状态。当然还可以通过显示其它字符或标志标识切换方式的变换，例如数字、图标等。可以理解的，第一显示模式和第二显示模式中自动视角的切换，还可以通过改变档位或方向盘转动等方式实现。例如，使车辆切换到倒挡或者转动方向盘，则第二显示模式同步的自动将显示视角改变。或者，车辆前进过程中，显示视角将变换为前视，第二显示模式可将自动转换为由车内向前方观察的视角。在车辆行驶过程中，通过将视角变换切换为自动方式方便驾驶员能及时了解车辆周边的环境。同时，避免了驾驶员在车辆行驶过程中手动切换视角，进一步降低了车辆行驶过程中的危险性，确保了车辆的安全性。

图6是示意性表示根据本发明的一种实施方式的左后远侧视角的示意图。

如图6所示，根据本发明的实施方式，在第一显示模式中，还设有改变立体显示视角的虚拟摄像头按钮。在本实施方式中，第一显示模式中，点击虚拟摄像头按钮，车辆模型的周围显示用于切换立体视角的环形框体。通过点击环形框体上的不同位置，第二显示模式同步的将选定的视角进行立体显示，并且显示的范围还会进一步扩大，使第二显示模式中能够显示出车辆周围更多的环境情况。通过上述设置，可以方便快捷的显示车辆周围的环境情况，并且视角的位置变换更加方便。通过在环形框体上可以任意选择需要显示的视角，并且视角变化范围广，有利于更加直观、清晰的观察车辆周围的环境情况。

图7是示意性表示根据本发明的一种实施方式的选取停车位的示意图。

如图6所示，根据本发明的方法，在第一显示模式中，任意选取车辆周围的位置，第一显示模式和第二显示模式中的实时图像实现同步变换。在本实施方式中，通过点击第一显示模式中的任意位置，可以任意选取车辆周围进行停车。在第一显示模式中在点击位置同步显示出一个停车标识框，第二显示模式上会同时在选取的位置出现一个停车标识框。这个停车标识框的大小是与车辆模型相匹配的，当然在实际场所中，该停车标识框则代表符合实际车辆尺寸的位置空间。在第一显示模式中可以随意调节显示的停车标识框的位置。同时，在第二显示模式中，停车标识框的位置也会随之调整。在第二显示模式中，停车标识框在调整的过程中，采集的实时图像的观察视角也会相应地改变，有利于更多的显示出停车标识框的周围环境，方便驾驶员观察选取的停车位置是否存在障碍物、行人或其他车辆等。通过上述方式，可以方便的在空旷场地、路边等没有规定停车位的地方实现停车位置的自由确定，增大了停车的灵活性。

此外，根据本发明的方法，如果在实时图像中显示车辆周围存在实际停车线，还可以在第一模式中通过选取实时图像中显示的实际停车线的位置。第一显示模式和第二显示模式中显示的停车标识框与实际停车线拟合形成停车位。通过这种方式，可以方便驾驶员选取在实际停车线模糊不清或不完整的停车场地的停车位，通过拟合的停车标识框，避免了由于无法识别停车位而导致的无法停车的情况。

根据本发明的方法，在第一显示模式中，需要根据实时图像信息选取停车位的位置。通过图像信息可以自由变更停车的位置、大小以及形状。在第一显示模式中，可以随意改变停车标识框的位置，还可以根据停车区域的实际情况改变停车标识框的方向(例如，停车标识框可以相对车辆模型平行、垂直或倾斜等)。通过这种方式快捷方便的实现了停车位的选取，降低了停车位选取的难度，非常适合在复杂停车环境下停车位的选取。在停车标识框的位置被选定后，还可以在停车标识框中显示标识该标识物可以包括箭头、旗帜、数字或字母等。

在实际应用中，车辆上会安装摄像头，摄像头的数量可以是3个、4个、5个甚至更多。这些摄像头能够拍摄到车身周围的图像，基于拍摄的图像，可以识别车辆周围的场所，进而完成模拟建模，得到停车场所的实时图像并在实时图像中显示车辆的立体模型。随着车辆的行驶，摄像头将继续实时获取周围图像，基于图像所建立的模型以及车辆在模型场所中的位置会随着车辆的行驶而不断更新。

根据本发明的方法，实时图像中视角的变换调整需要经过算法完成。在本实施方式中，基于glm(openglmathematics)的几何数学库，进行不同视角的变换。在操作变换实时图像的过程需要基于这个数学库来实现，从而实现本发明的显示方法。

根据本发明的方法，在第一显示模式和第二显示模式中，定义车辆模型及实时图像的初始位置。在第一显示模式中选取任意不同的位置，则选定位置处就相当于相对初始位置的观察视角。通过算法将选定位置处的视角图像进行变换，从而能够在第二显示模式中实时显示。

其中，以第二显示模式为例，详细阐释本发明的算法的具体实施步骤。

通过几何模型库建立第二显示模式中车辆模型和环视图实时图像的初始位置的基础矩阵。初始位置图像即为没有进行视角变换时，第二显示模式中显示的车辆模型和环视图像。基础矩阵为：

其中，mview表示为初始位置的基础矩阵。

在第一显示模式中选取不同的位置为观察视角。则在第二显示模式中，算法通过对显示的实时图像和车辆模型进行调整，在调整过程中，需要对实时图像进行x、y、z方向的旋转角度以及平移量。其中，平移量即为视点相对于坐标轴原点的实际偏移量值。在上述调整过程中，需要先进行实施图像和车辆模型进行旋转变换。其对x方向的旋转矩阵为：

其中，mx表示为绕x轴旋转角度θx的旋转矩阵；

其对y方向的旋转矩阵为：

其中，my表示为绕y轴旋转角度θy的旋转矩阵；

其对z方向的旋转矩阵为：

其中，mz表示为绕z轴旋转角度θz的旋转矩阵；

通过上述算法对实时图像和车辆模型进行旋转处理后，需要进一步对实时图像和车辆模型进行平移变换。平移变换需要通过平移矩阵完成，其平移矩阵具体为：

其中，offsetx、offsety、offsetz分别为沿坐标轴x、y、z方向上的平移量值。

根据本发明的方法，上述对实时图像和车辆模型进行旋转变换和平移变换的过程中，还需要设置步长step。通过设置步长step就可以调整实时图像的显示视角的变换速度(即从上一个视角到下一个视角的变换速度)。此外，显示视角的变换速度变换速度还包括角度变换差δθ，角度变换差δθ具体为：δθ＝[θx2-θx1，θy2-θy1，θz2-θz1]；

其中，θx2-θx1表示从上一个视角到下一个视角绕x轴旋转的角度的变化值。θy2-θy1表示从上一个视角到下一个视角绕y轴旋转的角度的变化值。θz2-θz1表示从上一个视角到下一个视角绕z轴旋转的角度的变化值。

进一步的，对于需要进过多个步长调整的视角变换，则需要对x、y、z方向的旋转角度以及平移量进一步变换。以第i个步长的视角变换为例，其对x方向的旋转矩阵进一步变换为：

其对y方向的旋转矩阵进一步变换为：

其对z方向的旋转矩阵进一步变换为：

通过上述算法对实时图像和车辆模型进行i个步长旋转处理后，需要进一步对实时图像和车辆模型进行i个步长进行平移变换。在进行i个步长的平移变换过程中，还需要确定平移变换速度。平移变换速度主要由平移变换差δoffset确定，平移量变换差δoffset具体为：

δoffset＝[offsetx2-offsetx1，offsety2-offsety1,offsetz2-offsetz1]，

其中，offsetx2-offsetx1表示从上一个视角到下一个视角沿x轴平移量的变化值。offsety2-offsety1表示从上一个视角到下一个视角沿y轴平移量的变化值。offsetz2-offsetz1表示从上一个视角到下一个视角沿z轴平移量的变化值。

进一步的，经过i步旋转变换的实时图像和车辆模型进行平移变换。平移变换需要通过平移矩阵完成，则通过i个步长的平移变换的平移矩阵具体为：

根据本发明的方法，在对实时图像和车辆模型进行平移变换的过程中，可以进行360°可变。当选取的两个视角之间的夹角θ超过180°时，可以根据需求选择旋转方向，可旋转的角度可以为θ或者360°-θ。通过这种设置，可以使驾驶员方便查看需要快速了解车身的各个角落的实时图像。同时，还可方便驾驶员选择从夹角小的一边做旋转变换。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。