图形用户界面的显示方法与流程

本发明涉及图形用户界面(graphicaluserinterface，gui)技术，特别涉及适用于汽车仪表台的一种图形用户界面的显示方法。

背景技术

汽车通常会配备位于驾驶舱内的仪表台和位于车身外侧的后视镜。驾驶员可以通过仪表台查看到汽车行驶过程中的各类行驶信息，并且可以通过透过车门玻璃观察后视镜来判断汽车的外部行驶环境。

然而，仪表板和后视镜各自独立的配备方式会降低驾驶员对车辆驾驶的关注力。

技术实现要素：

在一个实施例中，提供了一种图形用户界面的显示方法，所述显示方法用于在汽车的仪表台显示所述图形用户界面，所述图形用户界面包括流媒体层和虚拟仪表界面层，并且所述显示方法包括：

将具有虚拟后视镜透视窗口的所述虚拟仪表界面层加载于所述流媒体层上；

捕获来自所述汽车的后视摄像头的流媒体数据；

将捕获的所述流媒体数据在所述流媒体层显示、并暴露于所述虚拟后视镜透视窗口。

可选地，所述显示方法进一步包括：将待加载至所述流媒体层上的所述虚拟仪表界面层的属性置为隐藏；在成功捕获所述流媒体数据之后将所述虚拟仪表界面层的属性置为可见。

可选地，所述显示方法进一步包括：将所述虚拟后视镜透视窗口与属性置为可见的所述虚拟仪表界面层的仪表展示区和功能展示区相邻的边界渲染为渐变。

可选地，所述显示方法进一步包括：切换在所述虚拟仪表界面层的功能展示区域的功能页面。

可选地，切换在所述虚拟仪表界面层的功能展示区域的功能页面包括：使所述功能展示区域显示的功能界面与所述汽车的方向盘的触控屏中显示的对应的功能图标同步。

可选地，所述同步响应于所述方向盘产生的以所述仪表台为控制对象的同步命令，或者响应于所述中控台产生的以所述仪表台和所述方向盘为控制对象的同步命令。

可选地，所述显示方法进一步包括：校验所述汽车的方向盘的触控屏中显示的功能图标是否与所述功能展示区域显示的功能界面同步。

可选地，切换在所述虚拟仪表界面层的功能展示区域的功能页面包括：使所述功能展示区域显示的功能界面与所述汽车的中控台的触控屏中显示的对应的功能界面同步。

在另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上所述的显示方法中的步骤。

在另一个实施例中，提供了一种汽车，包括具有显示屏的仪表台、各自具有触控屏的方向盘和中控台、如上所述的非瞬时计算机可读存储介质、以及处理器。

基于上述的实施例，通过显示所述图形用户界面，可以利用层叠的所述流媒体层和所述虚拟仪表界面层实现后视镜功能和仪表功能的集成，从而，有助于避免降低驾驶员对车辆驾驶的关注力。

附图说明

以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围。

图1a和图1b为一个实施例中的图形用户界面的示例性示意图；

图2为适用于如图1所示的图形用户界面的显示方法的示例性流程示意图；

图3为适用于如图1所示的图形用户界面的显示方法的一种扩展流程示意图；

图4为另一个实施例中的图形用户界面的示例性示意图；

图5为如图4所示的图形用户界面中的切换原理示意图；

图6为适用于如图4所示的图形用户界面的汽车电器系统的框架示意图；

图7为适用于如图4所示的图形用户界面的显示方法中用于页面同步的一种示例性流程示意图；

图8为图7所示流程的实例示意图；

图9为适用于如图4所示的图形用户界面的显示方法中用于页面同步的另一种示例性流程示意图；

图10a和图10b为图9所示流程的实例示意图；

图11为如图4所示的图形用户界面中的同步失败的实例示意图；

图12为对如图11所示同步失败实施反向归位的实例示意图；

图13a和图13b为如图4所示的图形用户界面中的页面切换的原理示意图；

图14为基于图13a和图13b所示原理的图形用户界面的显示方法中用于页面切换的示例性流程示意图；

图15a和图15b为如图14所示流程的实例示意图。

具体实施方式

为了对发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示相同的部分。

在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。

为使图面简洁，各图中的只示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。

在本文中，“第一”、“第二”等仅用于彼此的区分，而非表示重要程度及顺序、以及互为存在的前提等。

图1a和图1b为一个实施例中的图形用户界面的示例性示意图。如图1a和图1b所示的图形用户界面10包括流媒体层11和虚拟仪表界面层21，并且该图形用户界面10用于在汽车的仪表台的显示屏显示。

请先参见图1a，流媒体层11被划分为左右两个流媒体显示区域11a和11b，分别用于显示来自汽车左右两侧的后视摄像头12a和12b的媒体流120a和120b。后视摄像头12a和12b的媒体流120a和120b分别在流媒体显示区域11a和11b的分屏显示，可以产生类似于后视镜的景象反射效果。

请再参见图1b，虚拟仪表界面层21以层叠的方式加载于流媒体层11上，并且虚拟仪表界面层21具有虚拟后视镜透视窗口210、仪表展示区22、以及分布在仪表展示区22左右两侧的功能展示区23a和23b。其中，虚拟仪表界面层21可以是半透明的，以产生虚拟仪表界面层21与流媒体层11的显示元素之间的半透明互渗透的视觉效果。

其中，如图1b所示，虚拟仪表界面层21的虚拟后视镜透视窗口210可以暴露在流媒体层11分屏显示的媒体流120a和120b，并且虚拟后视镜透视窗口210的边缘形状可以设计为类似于后视镜的边框形状，以使得媒体流120a和120b的分屏显示在视觉上可以更接近后视镜的景象反射效果。

而且，仪表台可以在流媒体层11显示流媒体数据11a和11b的期间内，实时采集汽车的行驶状态信息，并将采集的行驶状态信息显示在虚拟仪表界面层21的仪表展示区22，从而实现仪表和后视镜功能的虚拟融合。

为了实现上述图形用户界面10中的流媒体层11和虚拟仪表界面层21的层叠，下述的一个实施例中提供了一种图形用户界面的显示方法。

图2为适用于如图1所示的图形用户界面的显示方法的示例性流程示意图。如图2所示，该显示方法包括：

s201：将具有虚拟后视镜透视窗口的虚拟仪表界面层加载于流媒体层上。

其中，虚拟仪表界面层可以是半透明的，或者，可以在加载的同时进一步对非透明的虚拟仪表界面层进行半透明化处理。

s202：捕获来自汽车的后视摄像头的流媒体数据。

s203：将捕获的流媒体数据在流媒体层显示、并暴露于虚拟后视镜透视窗口。

为了体现图形用户界面的层叠结构、并在层叠之后产生更柔和的融合效果，上述显示方法可以被进一步优化。

图3为适用于如图1所示的图形用户界面的显示方法的一种扩展流程示意图。如图3所示，作为一种优化方式，该显示方法可以包括：

s301：将具有虚拟后视镜透视窗口的虚拟仪表界面层的属性置为隐藏。

s302：将属性置为隐藏的虚拟仪表界面层加载于流媒体层上。

s303：捕获来自汽车的后视摄像头的流媒体数据。

s304：将捕获的流媒体数据在流媒体层显示。

s305：将虚拟仪表界面层的属性置为可见，使流媒体层显示的流媒体数据暴露于虚拟后视镜透视窗。

其中，这里所述的可见，可以是虚拟仪表界面层以半透明方式的可见，例如，虚拟仪表界面层可以是半透明的，或者，将虚拟仪表界面层的属性置为半透明化的可见。

s306：将虚拟后视镜透视窗口与属性置为可见的虚拟仪表界面层的仪表展示区和功能展示区相邻的边界渲染为渐变。

基于如图3所示的流程，上述的显示方法可以将虚拟仪表界面层的可见效果延迟于流媒体层，以产生体现层叠的异步可见的视觉效果。并且，通过渐变渲染，虚拟仪表界面层与流媒体层可以产生更加柔和的融合为一体的视觉效果。

另外，请回看图1b，虚拟仪表界面层21的功能展示区23a和23b能够可切换地显示不同的功能页面，因此，上述如图2和图3所示的流程可以进一步包括切换在虚拟仪表界面层的功能展示区域的功能页面的步骤。被切换显示的功能页面可以与虚拟仪表界面层21保持一致的透明程度，例如，功能页面本身可以是半透明的，或者，切换为显示的过程中进一步对非透明的功能页面进行半透明化处理。

图4为另一个实施例中的图形用户界面的示例性示意图。请参见图4，虚拟仪表界面层21的功能展示区23a和23b的功能页面切换可以采用与方向盘40的触控屏40a和40b以及与中控台30的触控屏同步的方式。

图5为如图4所示的图形用户界面中的切换原理示意图。如图5所示，左侧的功能展示区23a可切换显示队列形式的页面集合50a中的功能页面，例如，功率、时间、导航和里程等功能页面；右侧的功能展示区23b可切换显示队列形式的页面集合50b中的功能页面，例如音乐、广播、空调和联系人等功能页面。

对于可在左侧的功能展示区23a切换显示的页面集合50a中的功能页面，方向盘40左侧的触控屏40a能够显示队列形式的图标集合60a中对应的功能图标；对于可在右侧的功能展示区23b切换显示的功能页面，方向盘40右侧的触控屏40b能够显示队列形式的图标集合60b中对应的功能图标，并且中控台30的触控屏中可以显示对应的功能界面。

即，与中控台30的功能界面不相关的功能，其功能页面集中在页面集合50a中、并在左侧的功能展示区23a切换显示，相应地，方向盘40左侧的触控屏40a可切换地显示图标集合60a中对应于这些功能的功能图标；与中控台30的功能界面相关的功能，其功能页面集中在页面集合50b中、并在右侧的功能展示区23b切换显示，相应地，方向盘40右侧的触控屏40b可切换地显示图标集合60b中对应于这些功能的功能图标。

由此，显示图形用户界面10的仪表台、具有触控屏40a和40b的方向盘40、以及中控台30之间就存在信息同步的需求。

图6为适用于如图4所示的图形用户界面的汽车电器系统的框架示意图。如图6所示，上述的同步需求可以通过仪表台(图中以图形用户界面10表示)、方向盘40、以及中控台30之间的车身总线91来实现，车身总线91可以是can(controllerareanetwork，控制局域网)总线、以太网总线或者其他具有类似功能的总线。并且，该车身总线91连接车身网关90，以允许仪表台通过车身网关90从例如vcu(vehiclecontrolunit，整车控制器)等器件采集汽车的行驶状态信息，并将采集的行驶状态信息显示在虚拟仪表界面层21的仪表展示区22。

另外，从图6中可以看出，仪表台(图中以图形用户界面10表示)与后视摄像头12a和12b之间可以通过独立于车身总线91之外的流媒体总线92实现流数据120a和120b的传输，流媒体总线92可以是mipi(mobileindustryprocessorinterface，移动行业处理器接口)协议总线或其他适于图像传输的协议总线。

图7为适用于如图4所示的图形用户界面的显示方法中用于页面同步的一种示例性流程示意图。如图7所示，对于例如左侧的功能展示区23a和触控屏40a之间仅涉及仪表台和方向盘之间同步的情况，该显示方法中用于页面同步的过程可以包括：

s701：在汽车的仪表台显示图形用户界面，其中图形用户界面具有功能展示区域。

本步骤可以发生在图2所示流程中成功加载虚拟仪表界面层之后、或者发生在图3所示流程中将虚拟仪表界面层的属性置为可见之后。

s702：响应于方向盘产生的以仪表台为控制对象的同步命令，切换在虚拟仪表界面层的功能展示区域的功能页面，以使功能展示区域显示的功能界面与汽车的方向盘的触控屏中显示的对应的功能图标同步。

图8为图7所示流程的实例示意图。如图8所示，基于如图7所示的以左侧的功能展示区23a和触控屏40a为例实施同步的流程，同步过程可以包括在方向盘一侧执行的s711～s713以及在仪表台一侧执行的s721～s723，具体如下：

s711：在方向盘的触控屏检测触发功能图标切换的手势操作。

s712：根据手势操作切换在方向盘的触控屏中显示的功能图标。

s713：根据切换成功的功能图标向车身总线发出以仪表台对应侧的功能展示区域为控制对象的同步命令。

s721：从车身总线接收并识别同步命令。

s722：识别同步命令的控制对象。

s723：根据以对应侧的功能展示区为控制对象的同步命令，将在该侧功能展示区的功能页面切换为对应于方向盘的触控屏中当前显示的功能图标。

可替代地，除了s711-s712响应于手势操作而发起同步之外，方向盘的触控屏也可以周期性地(例如，以10毫秒为单位周期)发出表示触控屏当前显示的功能图标的同步命令。

图9为适用于如图4所示的图形用户界面的显示方法中用于页面同步的另一种示例性流程示意图。如图9所示，对于例如右侧的功能展示区23b和触控屏40b之间同时涉及仪表台、方向盘以及中控台之间三方同步的情况，该显示方法中用于页面同步的过程可以包括：

s901：在汽车的仪表台显示图形用户界面，其中图形用户界面具有功能展示区域。

本步骤可以发生在图2所示流程中成功加载虚拟仪表界面层之后、或者发生在图3所示流程中将虚拟仪表界面层的属性置为可见之后。

s902：响应于中控台产生的至少以仪表台为控制对象的同步命令，切换在虚拟仪表界面层的功能展示区域的功能页面，以使功能展示区域显示的功能界面与汽车的方向盘的触控屏中显示的对应的功能图标同步、并且还与中控台的触控屏中显示的对应的功能界面的同步。

其中，中控台发起的同步命令可以响应于方向盘的触控屏的功能图标切换，或者，也可以响应于在中控台的触控屏检测到的表示切换的手势操作。

图10a和图10b为图9所示流程的实例示意图。

如图10a所示，基于如图9所示的以右侧的功能展示区23b和触控屏40b为例实施三方同步的流程，由中控台响应方向盘的切换而发起同步的过程可以包括在方向盘一侧执行的s911～s913、在仪表台一侧执行的s921～s922和s941～s943、在中控台执行的s931～s933，具体如下：

s911：在方向盘的触控屏检测触发功能图标切换的手势操作。

s912：根据手势操作切换在方向盘的触控屏中显示的功能图标。

s913：根据切换成功的功能图标向车身总线发出以中控台为上报对象的状态通告。

s921：从车身总线接收并识别状态通告。

s922：向车身总线中继转发以中控台为上报对象的状态通告。

s931：从车身总线接收并识别状态通告。

s932：根据状态通告，将在中控台的触控屏中显示的功能界面切换为对应于方向盘的触控屏中当前显示的功能图标。

s933：根据切换成功的功能界面向车身总线发出以仪表台对应侧的功能展示区域为控制对象的同步命令。

s941：从车身总线接收并识别同步命令。

s942：识别同步命令的控制对象。

s943：根据以对应侧的功能展示区为控制对象的同步命令，将在该侧功能展示区的功能页面切换为对应于方向盘的触控屏中当前显示的功能图标、并且对应于中控台的触控屏中当前显示的功能界面。

从上述流程可见，对于右侧的功能展示区23b和触控屏40b的同步，仪表台可以只受控于中控台。

如图10b所示，基于如图9所示的以右侧的功能展示区23b和触控屏40b为例实施三方同步的流程，由中控台主动发起同步的过程可以包括在中控台执行的s951～s953、在方向盘一侧执行的s961～s963、在仪表台一侧执行的s971～s973，具体如下：

s951：在中控台的触控屏检测触发功能界面切换的手势操作。

s952：根据手势操作切换在中控台的触控屏中显示的功能界面。

s953：根据切换成功的功能界面向车身总线发出以仪表台对应侧的功能展示区域、以及方向盘的对应侧的触控屏为共同的控制对象的同步命令。

s961：从车身总线接收并识别同步命令。

s962：识别同步命令的控制对象。

s963：根据控制对象涵盖了对应侧的触控屏的同步命令，将在该侧触控屏的功能页面切换为对应于中控台的触控屏中当前显示的功能界面。

s971：从车身总线接收并识别同步命令。

s972：识别同步命令的控制对象。

s973：根据控制对象涵盖了对应侧的功能展示区的同步命令，将在该侧功能展示区的功能页面切换为对应于中控台的触控屏中当前显示的功能界面。

对于上述由方向盘的触控屏为发起源触发同步的情况，有可能由于操作手对方向盘的触控屏操作失误、或者由于中控台未能成功向仪表台发出同步命令而导致发起失败的情况，并进而导致方向盘的触控屏与仪表台不一致的问题。

图11为如图4所示的图形用户界面中的同步失败的实例示意图。在图11中所示的实例中：

对方向盘40左侧的触控屏40a的切换手势操作失误，使待替换的功能图标61a持续处于未完全移出该触控屏40a的状态、并使新替入的功能图标62a持续处于未完全移入该触控屏40a显示的状态，从而发起切换失败，并且导致在方向盘40左侧的触控屏40a中占主要面积显示的功能图标62a与仪表台的图形用户界面10左侧的功能展示区23a当前显示的功能页面51a不对应；

而对方向盘40右侧的触控屏40b的切换手势操作使待替换的功能图标61b完全移出该触控屏40b、新替入的功能图标62b完全移入该触控屏40a显示，从而成功发起切换，但由于车身总线发生传输丢包或者中控台的处理器繁忙等原因，仪表台未能成功接收到以右侧的功能展示区23b为控制对象的同步命令，从而使仪表台的图形用户界面10右侧的功能展示区23b当前显示的功能页面51b与方向盘40右侧的触控屏40b中新替入的功能图标62b不对应。

基于上述可能出现的同步失败的情况，作为响应方向盘的触控屏切换而同步切换的仪表台而言，可以反向发起对方向盘的触控屏中显示的功能图标的校验，即，校验方向盘的触控屏中显示的功能图标是否与功能展示区域显示的功能界面同步。具体地，可以周期性地(例如，以100毫秒为单位周期)向方向盘发送功能展示区域中当前显示的功能页面的标识信息。

图12为对如图11所示同步失败实施反向归位的实例示意图。请参见图12并结合图11，通过仪表台反向发起的校验，方向盘40左侧的触控屏40a可反向归位为显示切换手势操作失误发生之前的功能图标61a，方向盘40右侧的触控屏40b可反向归位为显示该触控屏40b成功发起切换之前的功能图标61b，从而，方向盘40左侧的触控屏40与仪表台的图形用户界面10左侧的功能展示区23a的显示状态恢复为同步，方向盘40右侧的触控屏40b与仪表台的图形用户界面10右侧的功能展示区23b的显示状态恢复为同步。

另外，作为对上述显示方法的优化，下述实施例中还提供了一种用于页面切换的方案。该方可以避免功能页面在功能展示区23a和23b的切换过程中对流媒体层11和虚拟仪表界面层21形成不必要的遮挡。

图13a和图13b为如图4所示的图形用户界面中的页面切换的原理示意图。在图13a和图13b中，虚拟仪表界面层21的功能展示区23a和23b中的每一个均具有透视子窗230，功能页面51和52为前文提及的页面集合50a或50b中任意两个在队列中相邻的功能页面。

请参见图13a，对于向虚拟后视镜透视窗口210所在的上方切换移出透视子窗230的功能页面51，透视子窗230与功能页面51相交的部分边界可以看作是用于将功能页面51过滤为消隐状态的消隐边界，即，从该部分边界向虚拟后视镜透视窗口210所在的上方移出至透视子窗230外的部分被过滤为透视状态，以避免移出透视子窗230的功能页面51遮挡对通过虚拟后视镜透视窗口210暴露显示的媒体流120a或120b。

同理，参见图13b，对于向下方切换移出透视子窗230的功能页面52，透视子窗230与功能页面52相交的部分边界可以看作是用于将功能页面52过滤为消隐状态的消隐边界，即，从该部分边界向下方移出至透视子窗230外的部分被过滤为透视状态，以避免移出透视子窗230的功能页面52遮挡虚拟仪表界面层21。

请再参见图13a，对于向虚拟后视镜透视窗口210所在的上方切换移入透视子窗230的功能页面52，透视子窗230与功能页面52相交的部分边界可以看作是用于允许功能页面52可见的可视边界，即，只有从该部分边界向虚拟后视镜透视窗口210所在的上方移入至透视子窗230内的部分可见，而其余未进入透视子窗230内的部分则为透视状态、以避免遮挡虚拟仪表界面层21。

同理，请参见图13b，对于向下方切换移入透视子窗230的功能页面51，透视子窗230与功能页面51相交的部分边界可以看作是用于允许功能页面51可见的可视边界，即，只有从该部分边界向下方移入至透视子窗230内的部分可见，而其余未进入透视子窗230内的部分则为透视状态、以避免遮挡对通过虚拟后视镜透视窗口210暴露显示的媒体流120a或120b。

具体实现时，图13a中进入透视子窗230的功能页面52以及图13b中进入透视子窗230的功能页面52可以从页面集合50a或50b中复制得到，并且，对功能页面52和51的复制过程可以分别沿着图13a和图13b中的虚拟边界520和510来执行。其中，虚拟边界520和510分别前文提及的可视边界保持同步，复制过程直至功能页面52和51完全进入透视子窗230后结束。即，在透视子窗230中显示的功能页面可以为复制的副本，因此，图13a和图13b中从透视子窗230中移出的功能页面51和52也可以是副本。

对于移出副本的情况，消隐的方式可以采用丢弃像素信息的裁减方式(图13a和图13b以粉末状表示)、或改变像素信息的透明化处理方式。

图14为基于图13a和图13b所示原理的图形用户界面的显示方法中用于页面切换的示例性流程示意图。如图14所示，显示方法中用于页面切换的过程可以包括：

s1401：在汽车的仪表台显示图形用户界面，其中图形用户界面具有功能展示区域，功能展示区域具有透视子窗。

本步骤可以发生在图2所示流程中成功加载虚拟仪表界面层之后、或者发生在图3所示流程中将虚拟仪表界面层的属性置为可见之后。

s1402：在功能页面移入或移出透视子窗的过程中，利用透视子窗与功能页面相交的部分边界，动态控制功能页面控制为在透视子窗之外的部分消隐、在透视子窗之内的部分可见。

图15a和图15b为如图14所示流程的实例示意图。

参见图15a，功能页面移入透视子窗的过程可以包括：

s1511：创建虚拟边界来表示透视子窗与功能页面在移入过程中相交的部分边界。

s1512：以动态变化的虚拟边界为界限复制功能页面的像素、并将复制的像素沿移入方向动态地填入所述透视子窗中，直至功能页面的全部像素被复制并填满所述透视子窗。

参见图15b，功能页面移出透视子窗的过程可以包括：

s1521：将透视子窗中的功能页面向透视子窗的边界整体移动；

s1522：沿透视子窗与所述功能页面相交的部分边界对移出透视子窗的像素实施消隐过滤。例如，可以通过丢弃像素信息实施消隐过滤，或者，也可以通过将像素透明化处理实施消隐过滤。

在上述的实施例中，仪表台可以包括处理器和非瞬时计算机可读存储介质，并且非瞬时计算机可读存储介质存储指令，这些指令可以在由处理器执行时使得处理器执行如前文提及的显示方法中在仪表台一侧执行的各步骤。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，而并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方案或变更，如特征的组合、分割或重复，均应包含在本发明的保护范围之内。