图形显示方法、装置、电子设备及存储介质与流程

本发明涉及数据处理技术领域，特别是涉及一种图形显示方法、一种图形显示装置、一种电子设备以及一种存储介质。

背景技术：

嵌入式系统是一种专用的计算机系统，作为装置或电子设备的一部分。通常，嵌入式系统是一个控制程序存储在rom(readonlymemory，只读存储器)中的嵌入式处理器控制板。事实上，所有带有数字接口的电子设备，如手表、微波炉、录像机、汽车等，都使用嵌入式系统。随着嵌入式系统的越来越广泛的应用，越来越多的用户对于图形系统提出更高的要求。

以qt为例，qt是一个跨平台c++图形用户界面应用程序开发框架。它可以提供给应用程序开发者建立艺术级的gui(graphicaluserinterface，图形用户界面)所需的所有功能。qt容易扩展，并且允许真正地组件编程。由于qt可跨平台，因此通过使用qt可以开发应用程序和用户界面，然后将其部署到嵌入式操作系统中，而无需重复编写源代码。

目前，qt绘制完成图形后，通过cpu(centralprocessingunit，中央处理器)实现的软件方式将图形拷贝，并填充到显示缓冲区以进行图形显示。由于目前qt图形显示的实现方式是通过cpu软件实现拷贝、填充等操作，这些操作会占用cpu的资源，并且效率非常低下。

技术实现要素：

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种图形显示方法、一种图形显示装置、一种电子设备以及一种存储介质。

为了解决上述问题，本发明实施例公开了一种图形显示方法，应用于图形用户界面应用程序，包括：

在图形加速结构exa驱动中注册操作指令；所述操作指令由图形处理器gpu执行；

在显示图形用户界面应用程序的界面图形时，确定所述图形用户界面应用程序的渲染类型；

基于所述渲染类型确定目标操作指令；

通过所述exa驱动控制gpu执行目标操作指令以显示所述图形用户界面应用程序的界面图形。

可选地，在所述在显示图形用户界面应用程序的图形时，确定所述图形用户界面应用程序的渲染类型的步骤之前，还包括：

绑定所述exa驱动与预置的图形用户界面图形库。

可选地，在所述通过所述exa驱动控制gpu执行目标操作指令以显示所述图形用户界面应用程序的界面图形的步骤之前，还包括：

从所述图形用户界面图形库将所述图形用户界面应用程序的界面图形绘制到窗口缓冲区；

将所述窗口缓冲区的界面图形发送到临时缓冲区。

可选地，所述操作指令包括拷贝指令，所述通过所述exa驱动控制gpu执行目标操作指令以显示所述图形用户界面应用程序的界面图形的步骤，包括：

通过所述exa驱动控制所述gpu基于所述拷贝指令从所述临时缓冲区中提取出界面图形；

将所述界面图形拷贝到显示缓冲区以在屏幕上进行显示。

可选地，所述操作指令包括填充指令，所述通过所述exa驱动控制gpu执行目标操作指令以显示所述图形用户界面应用程序的界面图形的步骤，包括：

通过所述exa驱动控制所述gpu基于所述填充指令，在屏幕的空白区域中填充背景色。

本发明实施例还公开了一种图形用户界面应用程序的图形显示装置，应用于图形用户界面应用程序，包括：

操作指令注册模块，用于在图形加速结构exa驱动中注册操作指令；所述操作指令由图形处理器gpu执行；

渲染类型确定模块，用于在显示图形用户界面应用程序的界面图形时，确定所述图形用户界面应用程序的渲染类型；

目标操作指令确定模块，用于基于所述渲染类型确定目标操作指令；

界面图形显示模块，用于通过所述exa驱动控制gpu执行目标操作指令以显示所述图形用户界面应用程序的界面图形。

可选地，还包括：

绑定模块，用于绑定所述exa驱动与预置的图形用户界面图形库。

可选地，还包括：

第一缓冲模块，用于从所述图形用户界面图形库将所述图形用户界面应用程序的界面图形绘制到窗口缓冲区；

第二缓冲模块，用于将所述窗口缓冲区的界面图形发送到临时缓冲区。

本发明实施例还公开了一种电子设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

在图形加速结构exa驱动中注册操作指令；所述操作指令由图形处理器gpu执行；

在显示图形用户界面应用程序的界面图形时，确定所述图形用户界面应用程序的渲染类型；

基于所述渲染类型确定目标操作指令；

通过所述exa驱动控制gpu执行目标操作指令以显示所述图形用户界面应用程序的界面图形。

本发明实施例还公开了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述一个或多个所述的图形显示方法。

本发明实施例包括以下优点：

在本发明实施例中，在图形加速结构exa驱动中注册由图形处理器gpu执行的操作指令，使得在显示图形用户界面应用程序的界面图形，进行图形渲染时，可以通过exa驱动控制gpu执行相应的目标操作指令来实现界面的显示。由于操作指令通过exa驱动控制gpu去执行，因此相对于现有技术而言，不需要在cpu去执行，可以有效减少cpu的占用率从而提高图形绘制性能。

附图说明

图1是本发明的一种图形显示方法实施例1的步骤流程图；

图2是本发明的一种图形显示方法实施例2的步骤流程图；

图3是一种改进前嵌入式qt应用程序的图形显示基本流程图；

图4是一种改进后嵌入式qt应用程序的图形显示基本流程图；

图5是本发明的一种图形显示装置实施例的结构框图；

图6是根据一示例性实施例示出的一种用于图形显示的电子设备的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种图形显示方法实施例1的步骤流程图，应用于图形用户界面应用程序，具体可以包括如下步骤：

步骤101，在图形加速结构exa驱动中注册操作指令；所述操作指令由图形处理器gpu执行。

需要说明的是，本发明实施例应用于图形用户界面应用程序，比如qt应用程序，当然，在实施本发明实施例时，也可以应用于其他的图形用户界面应用程序，本发明实施例对此无需加以限制。

在具体实现中，exa(extensionxfree86accelerationarchitecture，图形加速结构)驱动是linux图形系统中显卡与x窗口系统的接口，是linux图形系统实现gpu硬件加速的接口层，其工作在x窗口系统中的xserver(图形接口服务器)之下、显卡的gpu(graphicsprocessingunit，图形处理器)驱动之上，x窗口系统通过exa驱动实现所有linux图形系统的2d显卡加速。

2d又称为平面图形，2d图形内容只有水平的x轴向与垂直的y轴向，传统手工漫画、插画，应用程序界面的图形等都属于2d图形。

gpu又称为显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机、平板电脑、智能手机等电子设备上图像运算工作的微处理器。

在本发明实施例中，当启动gpu的设备时，exa驱动初始化，注册exa驱动实现的由gpu硬件加速的操作指令，例如拷贝指令、填充指令、组合指令等指令。简单来说，即在先由cpu执行的操作指令，在本发明实施例中更改为由gpu执行。

步骤102，在显示图形用户界面应用程序的界面图形时，确定所述图形用户界面应用程序的渲染类型。

在本发明实施例中，在显示图形用户界面应用程序的界面图形时，首先需要确定图形用户界面应用程序的渲染类型，不同的渲染类型具有相应的操作指令实现。

具体地，渲染类型可以包括拷贝、填充、组合等类型，则渲染类型相应的操作指令可以包括拷贝指令、填充指令、组合指令等指令。需要说明的是，上述渲染类型和操作指令仅仅是作为示例，在实施本发明实施例时，不应当视为对于本发明的限制。

步骤103，基于所述渲染类型确定目标操作指令。

在确定显示图形用户界面应用程序的界面图形的渲染类型后，就可以基于渲染类型进一步确定出实现该渲染类型相应的操作指令了。

步骤104，通过所述exa驱动控制gpu执行目标操作指令以显示所述图形用户界面应用程序的界面图形。

在前述步骤中确定出目标操作指令后，就可以通过exa驱动控制gpu去执行该目标操作指令，实现界面图形的加速显示。

在本发明实施例中，在图形加速结构exa驱动中注册由图形处理器gpu执行的操作指令，使得在显示图形用户界面应用程序的界面图形，进行图形渲染时，可以通过exa驱动控制gpu执行相应的目标操作指令来实现界面的显示。由于操作指令通过exa驱动控制gpu去执行，因此相对于现有技术而言，不需要在cpu去执行，可以有效减少cpu的占用率从而提高图形绘制性能。

参照图2，示出了本发明的一种图形显示方法实施例2的步骤流程图，具体可以包括如下步骤：

步骤201，在图形加速结构exa驱动中注册操作指令；所述操作指令由图形处理器gpu执行。

在本发明实施例中，exa驱动初始化，注册exa驱动实现的由gpu硬件加速的操作指令。

步骤202，绑定所述exa驱动与预置的图形用户界面图形库。

在实际应用中，exa驱动初始化之外，还需要进行图形用户界面底层初始化。

在本发明实施例中，图形用户界面底层初始化是指绑定由exa驱动注册的操作指令。也即是说，在调用图形用户界面图形库的图形时，可以通过调用exa驱动注册好的操作指令进行显示加速。此外，图形用户界面图形库也需要初始化。具体来说，即初始化gui模块、网络模块等图形用户界面的必要模块，以能够实现所需的功能。

步骤203，在显示图形用户界面应用程序的界面图形时，确定所述图形用户界面应用程序的渲染类型。

步骤204，基于所述渲染类型确定目标操作指令。

步骤205，从所述图形用户界面图形库将所述图形用户界面应用程序的界面图形绘制到窗口缓冲区。

步骤206，将所述窗口缓冲区的界面图形发送到临时缓冲区。

步骤207，通过所述exa驱动控制所述gpu基于所述拷贝指令从所述时缓冲区中提取出界面图形。

步骤208，将所述界面图形拷贝到显示缓冲区以在屏幕上进行显示。

在显示图形用户界面应用程序的界面图形时，首先由图形用户界面图形库的绘制引擎将相应的界面图形绘制到窗口缓冲区，然后由图形用户界面内部的调度和整合机制将窗口缓冲区的数据进行整合放入临时缓冲区，最后由图形用户界面的机制通过exa驱动由gpu实现的操作指令，将临时缓冲区的界面图形拷贝到显示缓冲区(即屏幕)进行显示。

在本发明的一种优选实施例中，还可以通过所述exa驱动控制所述gpu基于所述填充指令，在屏幕上没有窗口的空白区域中填充背景色。

本发明实施例中，通过嵌入式图形用户界面和exa驱动建立链接，将嵌入式图形用户界面应用程序的填充、拷贝等耗资源的操作交给gpu来操作，从而达到嵌入式图形用户界面性能提升的目的。

为了使本领域技术人员更好地理解本发明实施例的优点，下面通过对比改进前后的嵌入式qt应用程序的图形显示基本流程对于本发明的加速显示来进行说明。

参照图3，所示为改进前的嵌入式qt下的基本流程：

1)qt底层初始化，读取framebuffer(帧缓冲)信息，绑定qt内部实现的由cpu指令模拟的拷贝、填充等函数(操作指令)。

2)qt图形库的初始化，初始化gui模块、网络模块等qt的必要模块。

3)应用程序执行。

参照图4，所示为改进后的嵌入式qt应用程序下的基本流程：

1)exa驱动初始化。启动gpu设备，注册exa驱动实现的由gpu硬件加速的拷贝、填充等函数。

2)qt底层初始化。绑定由exa驱动注册的拷贝、填充等函数。

3)qt库的初始化，初始化gui模块、网络模块等qt的必要模块。

4)应用程序执行。

从上述操作可知，原先由cpu实现的操作指令，在本发明实施例更改为由gpu实现，通过这种方式，使得拷贝、填充等函数都交由gpu去执行而不用在cpu执行，这样，cpu可以空闲出来进行其它任务，整体效率会得到较大的提升。

此外，应用本发明实施例，在显示嵌入式qt应用程序的时候不会出现卡顿现象，并且不会有过高的cpu占用率。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图5，示出了本发明的一种图形显示装置实施例的结构框图，应用于图形用户界面应用程序，具体可以包括如下模块：

操作指令注册模块301，用于在图形加速结构exa驱动中注册操作指令；所述操作指令由图形处理器gpu执行；

渲染类型确定模块302，用于在显示图形用户界面应用程序的界面图形时，确定所述图形用户界面应用程序的渲染类型；

目标操作指令确定模块303，用于基于所述渲染类型确定目标操作指令；

界面图形显示模块304，用于通过所述exa驱动控制gpu执行目标操作指令以显示所述图形用户界面应用程序的界面图形。

在本发明的一种优选实施例中，所述装置还可以包括：

绑定模块，用于绑定所述exa驱动与预置的图形用户界面图形库。

在本发明的一种优选实施例中，所述装置还可以包括：

第一缓冲模块，用于从所述图形用户界面图形库将所述图形用户界面应用程序的界面图形绘制到窗口缓冲区；

第二缓冲模块，用于将所述窗口缓冲区的界面图形发送到临时缓冲区。

在本发明的一种优选实施例中，所述操作指令包括拷贝指令，所述界面图形显示模块304可以包括：

界面图形提取子模块，用于通过所述exa驱动控制所述gpu基于所述拷贝指令从所述临时缓冲区中提取出界面图形；

界面图形拷贝子模块，用于将所述界面图形拷贝到显示缓冲区以在屏幕上进行显示。

在本发明的一种优选实施例中，所述操作指令包括填充指令，所述界面图形显示模块304可以包括：

背景色填充子模块，用于通过所述exa驱动控制所述gpu基于所述填充指令，在屏幕的空白区域中填充背景色。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

图6是根据一示例性实施例示出的一种用于图形显示的电子设备500的结构框图。例如，电子设备500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图6，电子设备500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出(i/o)的接口512，传感器组件514，以及通信组件516。

处理组件502通常控制电子设备500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理部件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。

存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在电子设备500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电力组件504为电子设备500的各种组件提供电力。电力组件504可以包括电源管理系统，一个或多个电源，及其他与为电子设备500生成、管理和分配电力相关联的组件。

多媒体组件508包括在所述电子设备500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当电子设备500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(mic)，当电子设备500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

i/o接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件514包括一个或多个传感器，用于为电子设备500提供各个方面的状态评估。例如，传感器组件514可以检测到设备500的打开/关闭状态，组件的相对定位，例如所述组件为电子设备500的显示器和小键盘，传感器组件514还可以检测电子设备500或电子设备500一个组件的位置改变，用户与电子设备500接触的存在或不存在，电子设备500方位或加速/减速和电子设备500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件516被配置为便于电子设备500和其他设备之间有线或无线方式的通信。电子设备500可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信部件514经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件514还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由电子设备500的处理器520执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种图形显示方法，所述方法包括：

在图形加速结构exa驱动中注册操作指令；所述操作指令由图形处理器gpu执行；

在显示图形用户界面应用程序的界面图形时，确定所述图形用户界面应用程序的渲染类型；

基于所述渲染类型确定目标操作指令；

通过所述exa驱动控制gpu执行目标操作指令以显示所述图形用户界面应用程序的界面图形。

可选地，在所述在显示图形用户界面应用程序的图形时，确定所述图形用户界面应用程序的渲染类型的步骤之前，还包括：

绑定所述exa驱动与预置的图形用户界面图形库。

可选地，在所述通过所述exa驱动控制gpu执行目标操作指令以显示所述图形用户界面应用程序的界面图形的步骤之前，还包括：

从所述图形用户界面图形库将所述图形用户界面应用程序的界面图形绘制到窗口缓冲区；

将所述窗口缓冲区的界面图形发送到临时缓冲区。

可选地，所述操作指令包括拷贝指令，所述通过所述exa驱动控制gpu执行目标操作指令以显示所述图形用户界面应用程序的界面图形的步骤，包括：

通过所述exa驱动控制所述gpu基于所述拷贝指令从所述临时缓冲区中提取出界面图形；

将所述界面图形拷贝到显示缓冲区以在屏幕上进行显示。

可选地，所述操作指令包括填充指令，所述通过所述exa驱动控制gpu执行目标操作指令以显示所述图形用户界面应用程序的界面图形的步骤，包括：

通过所述exa驱动控制所述gpu基于所述填充指令，在屏幕的空白区域中填充背景色。

对于电子设备实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种图形显示方法、一种应用程序的图形显示装置、一种电子设备以及一种存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。