显示方法、装置及终端设备与流程

文档序号:12118176阅读:326来源:国知局
显示方法、装置及终端设备与流程

本发明涉及终端设备显示技术领域,更具体地,涉及一种显示方法、装置及终端设备。



背景技术:

随着社会的发展和科技的进步,智能手机、平板电脑和电子阅读器等终端设备已经广泛普及。

现有的终端设备通常是全屏显示的;例如全屏显示系统桌面或者应用的窗口等。但是由于终端设备的屏幕尺寸越来越大,例如达到6英寸或以上,导致用户对终端设备的单手操作越来越困难。

现有的一种显示方法,是由GPU(Graphics Processing Unit,图形处理单元)计算出应用窗口中所有待显示的内容、以及为了缩小应用窗口所需要的相关变换矩阵,再将应用窗口中待显示的内容,根据计算出的变换矩阵缩小绘制到帧缓冲区中,供显示。

现有的另一种显示方法,是由GPU计算出缩小应用窗口所需要的相关变换矩阵;根据计算出的变换矩阵,将应用窗口缩小到一个缓冲区,再将应用窗口的待显示的内容绘制到该缓冲区后供显示。

然而,现有的两种显示方法中,都需要强行调用GPU执行为了缩小图像而计算相关变换矩阵,直接破坏了本终端设备预置的图像合成策略;而且占用较多的GPU资源,影响GPU为其它应用或服务提供的性能;由于GPU的功耗较大,增加了终端设备的整体功耗,容易降低终端设备的续航时间。



技术实现要素:

鉴于上述问题,本发明提出了一种显示方法、装置及终端设备,以在不影响本设备采用的预置的图像合成策略的情况下,缩小应用窗口和显示区域,便于用户单手操作。

第一方面,本发明实施例中提供了一种显示方法,包括:

接收到单手操作模式的切换指令后,创建逻辑窗口,为逻辑窗口指定对应的屏幕显示区域;

确定每个应用窗口与逻辑窗口之间的映射关系;

根据预置的图像合成策略、以及每个应用窗口与逻辑窗口之间的映射关系,将各应用窗口的图像合成映射到逻辑窗口;

在屏幕显示区域中对逻辑窗口中的图像进行显示。

结合第一方面,本发明在第一方面的第一种实现方式中接收到单手操作模式的切换指令后,创建逻辑窗口,包括:

接收到进入单手操作模式界面的指令后,显示单手操作模式界面;

通过单手操作模式界面接收到针对单手操作模式的切换指令后,调用外观投掷器SurfaceFlinger创建逻辑窗口。

结合第一方面,本发明在第一方面的第二种实现方式中在创建逻辑窗口之后,还包括:

接收到针对逻辑窗口的缩放和/或移动指令后,对逻辑窗口进行缩放和/或移动,并为缩放和/或移动后的逻辑窗口重新指定对应的屏幕显示区域。

结合第一方面,本发明在第一方面的第三种实现方式中确定每个应用窗口与逻辑窗口之间的映射关系,包括:

根据每个应用窗口的分辨率、和该应用窗口与逻辑显示设备之间预设的窗口变换矩阵,确定出该应用窗口映射至逻辑显示设备的分辨率;

根据该应用窗口映射至逻辑显示设备的分辨率、和逻辑显示设备与主显示设备之间预设的显示设备变换矩阵,确定出该应用窗口映射至主显示设备的分辨率;

根据该应用窗口映射至主显示设备的分辨率、和逻辑窗口的分辨率,确定出该应用窗口映射至主显示设备后与逻辑窗口之间的变换矩阵,作为该应用窗口的窗口缩小变换矩阵。

结合第一方面的第三种实现方式,在第一方面的第四种实现方式中,根据本设备采用的图像合成策略、以及每个窗口与逻辑窗口之间的映射关系,将各应用窗口的图像合成映射到逻辑窗口,包括:

根据图像合成策略,以及每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

结合第一方面的第四种实现方式,在第一方面的第五种实现方式中,根据图像合成策略,以及每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵,包括:

当预置的图像合成策略为图形处理单元GPU合成的策略时,调用本设备的GPU,由GPU根据每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

结合第一方面的第四种实现方式,在第一方面的第六种实现方式中,根据图像合成策略,以及每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵,包括:

当预置的图像合成策略为移动显示处理MDP合成的策略时,调用本设备的MDP单元并将各应用窗口的窗口缩小变换矩阵的参数传递至MDP单元,由MDP单元根据每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

结合第一方面的第四种实现方式,在第一方面的第七种实现方式中,根据图像合成策略,以及每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵,包括:

对于每个应用窗口,将该应用窗口包含图像的像素点阵,依次根据该应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵进行变换后,映射到逻辑窗口的像素点阵中;

根据各应用窗口待显示的位置、大小和层叠顺序,确定出映射到逻辑窗口的像素点阵中的各应用窗口的像素点阵的可视区域;

对各应用窗口的可视区域进行合成,使得合成后的可视区域不超出逻辑窗口的像素点阵的范围。

结合第一方面或第一方面的第一至第七种实现方式中的任一种实现方式,在第一方面的第八种实现方式中,图像合成策略具体是下述任意一项:

芯片提供方制定的图像合成策略、服务方制定的图像合成策略、用户定制的图像合成策略。

结合第一方面或第一方面的第一至第七种实现方式中的任一种实现方式,在第一方面的第九种实现方式中,屏幕显示区域包括下述区域之一:

包含屏幕左下角的显示区域;

包含屏幕右下角的显示区域;

包含屏幕左上角的显示区域;

包含屏幕右上角的显示区域;

包含屏幕左侧边中段的显示区域;

包含屏幕右侧边中段的显示区域;

用户指定的显示区域。

结合第一方面或第一方面的第一至第七种实现方式中的任一种实现方式,在第一方面的第十种实现方式中,对逻辑窗口对应的屏幕显示区域之外的显示区域,停止显示。

第二方面,本发明实施例提供了一种显示装置,该显示装置具有实现上述第一方面中显示方法行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中,显示装置的结构中包括:

逻辑窗口创建模块,用于接收到单手操作模式的切换指令后,创建逻辑窗口,为逻辑窗口指定对应的屏幕显示区域;

窗口映射关系确定模块,用于确定每个应用窗口与逻辑窗口之间的映射关系;

图像合成映射模块,用于根据预置的图像合成策略、以及每个应用窗口与逻辑窗口之间的映射关系,将各应用窗口的图像合成映射到逻辑窗口;

显示模块,用于在屏幕显示区域中对逻辑窗口中的图像进行显示。

结合第二方面,在第二方面的第一种实现方式中,逻辑窗口创建模块具体用于接收到进入单手操作模式界面的指令后,显示单手操作模式界面;通过单手操作模式界面接收到针对单手操作模式的切换指令后,调用外观投掷器SurfaceFlinger创建逻辑窗口。

结合第二方面,在第二方面的第二种实现方式中,逻辑窗口创建模块还用于在创建逻辑窗口之后,接收到针对逻辑窗口的缩放和/或移动指令后,对逻辑窗口进行缩放和/或移动,并为缩放和/或移动后的逻辑窗口重新指定对应的屏幕显示区域。

结合第二方面,在第二方面的第三种实现方式中,窗口映射关系确定模块用于根据每个应用窗口的分辨率、和该应用窗口与逻辑显示设备之间预设的窗口变换矩阵,确定出该应用窗口映射至逻辑显示设备的分辨率;根据该应用窗口映射至逻辑显示设备的分辨率、和逻辑显示设备与主显示设备之间预设的显示设备变换矩阵,确定出该应用窗口映射至主显示设备的分辨率;根据该应用窗口映射至主显示设备的分辨率、和逻辑窗口的分辨率,确定出该应用窗口映射至主显示设备后与逻辑窗口之间的变换矩阵,作为该应用窗口的窗口缩小变换矩阵。

结合第二方面的第三种实现方式,在第二方面的第四种实现方式中,图像合成映射模块用于根据图像合成策略,以及每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

结合第二方面的第四种实现方式,在第二方面的第五种实现方式中,图像合成映射模块用于当预置的图像合成策略为图形处理单元GPU合成的策略时,调用本设备的GPU,由GPU根据每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

结合第二方面的第四种实现方式,在第二方面的第六种实现方式中,图像合成映射模块用于当预置的图像合成策略为移动显示处理MDP合成的策略时,调用本设备的MDP单元并将各应用窗口的窗口缩小变换矩阵的参数传递至MDP单元,由MDP单元根据每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

结合第二方面的第四种实现方式,在第二方面的第七种实现方式中,图像合成映射模块用于对于每个应用窗口,将该应用窗口包含图像的像素点阵,依次根据该应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵进行变换后,映射到逻辑窗口的像素点阵中;根据各应用窗口待显示的位置、大小和层叠顺序,确定出映射到逻辑窗口的像素点阵中的各应用窗口的像素点阵的可视区域;对各应用窗口的可视区域进行合成,使得合成后的可视区域不超出逻辑窗口的像素点阵的范围。

结合第二方面或第二方面的第一至第七种实现方式中的任一种实现方式,在第二方面的第八种实现方式中,图像合成策略具体是下述任意一项:

芯片提供方制定的图像合成策略、服务方制定的图像合成策略、用户定制的图像合成策略。

结合第二方面或第二方面的第一至第七种实现方式中的任一种实现方式,在第二方面的第九种实现方式中,显示模块还用于对逻辑窗口对应的屏幕显示区域之外的显示区域,停止显示。

第三方面,本发明实施例提供了一种终端设备,该终端设备具有实现上述第一方面中显示方法行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中,终端设备的结构中包括:触敏显示器、一个或多个处理器、存储器和一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个应用程序配置用于:

接收到单手操作模式的切换指令后,创建逻辑窗口,为逻辑窗口指定对应的屏幕显示区域;

确定每个应用窗口与逻辑窗口之间的映射关系;

根据预置的图像合成策略、以及每个应用窗口与逻辑窗口之间的映射关系,将各应用窗口的图像合成映射到逻辑窗口;

在屏幕显示区域中对逻辑窗口中的图像进行显示。

第四方面,本发明实施例提供了一种计算机存储介质,用于储存为上述显示装置所用的计算机软件指令,其包含用于执行上述方面为显示装置所设计的程序。

相对于现有技术,本发明提供的方案,终端设备在不影响本设备采用的预置的图像合成策略的情况下,接收到单手操作模式的切换指令后,将原屏幕的显示范围缩小到屏幕显示区域;根据本设备采用的预置的图像合成策略,将各窗口的图像合成映射,并在屏幕显示区域中进行显示。从而在不影响本设备采用的预置的图像合成策略的情况下,可以缩小应用窗口和显示区域,便于用户进行单手操作,从而提升用户的体验。

而且,本发明实施例中,不需要强制调用GPU执行为将应用窗口缩小而计算确定相关变换矩阵的步骤,无需额外占用GPU的资源,不影响GPU的性能,也节省了强制调用GPU带来的额外功耗,不影响终端设备的续航时间。

进一步,本发明实施例中,配置了多种屏幕显示区域供用户选择,同时支持用户自定义屏幕显示区域,支持用户调整屏幕显示区域的位置和/或大小;从而可以满足不同的用户的操作习惯或个人喜好,进一步提升用户的体验。

此外,本发明实施例中,确定出屏幕上除了逻辑窗口对应的屏幕显示区域之外的显示区域后,还可以忽略落于该显示区域的用户操作和/或停止显示该显示区域。既可以避免用户落于该显示区域的误操作,又可以节省显示该显示区域所耗费的电能,进一步节电,延长终端设备的续航时间。

本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1a示出了本发明实施例的显示方法的流程示意图;

图1b示出了本发明实施例的显示方法的一个实例的流程框架示意图;

图2a、图2b分别示出了本发明实施例的屏幕显示区域的两个实例的示意图;

图3示出了本发明实施例的显示装置的内部结构的框架示意图;

图4示出了本发明实施例的终端设备的内部结构的框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本技术领域技术人员可以理解,这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(Personal Communications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。

本发明实施例中,终端设备接收到单手操作模式的切换指令后,创建逻辑窗口,为逻辑窗口指定对应的屏幕显示区域;确定每个应用窗口与逻辑窗口之间的映射关系;根据预置的图像合成策略、以及每个应用窗口与逻辑窗口之间的映射关系,将各应用窗口的图像合成映射到逻辑窗口;在屏幕显示区域中对逻辑窗口中的图像进行显示。可见,采用本发明实施例的技术方案,在不影响本设备采用的预置的图像合成策略的情况下,将原屏幕的显示范围缩小到逻辑窗口对应的屏幕显示区域,便于用户通过屏幕显示区域进行单手操作,从而提升用户的体验。

下面结合附图具体介绍本发明实施例的技术方案。

本发明实施例提供了一种终端设备的显示方法,该方法的流程示意图如图1a所示,包括下述步骤:

S101:接收到单手操作模式的切换指令后,创建逻辑窗口,为逻辑窗口指定对应的屏幕显示区域。

较佳地,终端设备中的输入管理器InputManager接收到进入单手操作模式界面的指令后,显示单手操作模式界面;通过单手操作模式界面接收到针对单手操作模式的切换指令后,调用外观投掷器SurfaceFlinger创建逻辑窗口。

终端设备创建逻辑窗口时,为逻辑窗口指定对应的屏幕显示区域。其中,屏幕显示区域小于终端设备的屏幕。例如,根据逻辑窗口的位置为逻辑窗指定对应的屏幕显示区域。

较佳地,屏幕显示区域包括下述区域之一:包含屏幕左下角的显示区域;包含屏幕右下角的显示区域;包含屏幕左上角的显示区域;包含屏幕右上角的显示区域;包含屏幕左侧边中段的显示区域;包含屏幕右侧边中段的显示区域;用户指定的显示区域。

例如,如图2a所示的包含屏幕左下角的显示区域,该显示区域的左下角、左侧边和下侧边分别重合于屏幕的左下角、左侧边和下侧边;且该显示区域的左上角、右上角和右下角,分别与屏幕的左上角、右上角和右下角之间存在设定的距离。

再如,如图2b所示的包含屏幕左侧边中段的显示区域,该显示区域的左侧边重合于屏幕的左侧边的中间段;且该显示区域的各顶点,都不与屏幕的各顶点重合,该显示区域的每个顶点,与屏幕的对应顶点存在设定的距离。

较佳地,当单手操作模式的切换指令具体为左手操作模式的切换指令时,SurfaceFlinger创建逻辑窗口时,为逻辑窗口指定下述屏幕显示区域之一:包含屏幕左下角的显示区域;包含屏幕左上角的显示区域;包含屏幕左侧边中段的显示区域。

较佳地,当单手操作模式的切换指令具体为右手操作模式的切换指令时,SurfaceFlinger创建逻辑窗口时,为逻辑窗口指定下述屏幕显示区域之一:包含屏幕右下角的显示区域;包含屏幕右上角的显示区域;包含屏幕右侧边中段的显示区域。

较佳地,本发明实施例中,支持用户对屏幕显示区域进行位置、和/或区域大小的调整。

具体地,通过单手操作模式界面接收到针对逻辑窗口的缩放和/或移动指令后,调用SurfaceFlinger对逻辑窗口进行缩放和/或移动,并为缩放和/或移动后的逻辑窗口重新指定对应的屏幕显示区域。

本领域技术人员可以理解,传统方法由窗口管理器WindowManager对各种窗口进行缩放和移动,但是窗口的缩放和移动速度都较慢;而本发明实施例中,绕过WindowManager,直接由SurfaceFlinger对逻辑窗口进行缩放和/或移动,大大提升了逻辑窗口的缩放和/或移动速度,整体上提升了显示过程的速度,保持了屏幕中的屏幕显示区域缩放和/或移动过程中显示的流畅性,提升了用户的体验。

较佳地,终端设备确定出逻辑窗口对应的屏幕显示区域之外的显示区域。

进一步,终端设备确定出逻辑窗口对应的屏幕显示区域之外的显示区域后,可以忽略落于该显示区域的用户操作。

S102:确定每个应用窗口与逻辑窗口之间的映射关系。

对于每个运行应用的应用窗口,终端设备中该应用窗口与逻辑显示设备之间的窗口变换矩阵是预设的。较佳地,可以根据应用窗口统一默认的分辨率和逻辑显示设备默认的分辨率,预先确定出并设定应用窗口与逻辑显示设备之间的窗口变换矩阵,作为应用窗口的窗口变换矩阵。

终端设备中逻辑显示设备与主显示设备之间的显示设备变换矩阵是预设的。较佳地,逻辑显示设备的分辨率与主显示设备的分辨率是一致的,都等于屏幕实际支持的最大物理分辨率,例如1080P;根据一致的逻辑显示设备的分辨率与主显示设备的分辨率,预设确定出并设定显示设备变换矩阵。

终端设备根据每个应用窗口的分辨率、和该应用窗口与逻辑显示设备之间预设的窗口变换矩阵,确定出该应用窗口映射至逻辑显示设备的分辨率。

根据该应用窗口映射至逻辑显示设备的分辨率、和逻辑显示设备与主显示设备之间预设的显示设备变换矩阵,确定出该应用窗口映射至主显示设备的分辨率。

根据该应用窗口映射至主显示设备的分辨率、和逻辑窗口的分辨率,确定出该应用窗口映射至主显示设备后与逻辑窗口之间的变换矩阵,作为该应用窗口的窗口缩小变换矩阵。

其中,应用窗口的像素点阵经过该应用窗口的窗口变换矩阵、显示设备变换矩阵以及该应用窗口的窗口缩小变换矩阵的变换后得到的像素点阵,不超出逻辑窗口的像素点阵的范围。

较佳地,当逻辑显示设备的分辨率与主显示设备的分辨率一致时,终端设备可以确定出应用窗口映射至逻辑显示设备后与逻辑窗口之间的变换矩阵,作为该应用窗口的窗口缩小变换矩阵。

例如,图1b为本发明实施例的显示方法的一个实例的流程框架示意图。图1b中终端设备为每个应用窗口引入一个miniTRN矩阵,其中N为编号例如0、1、2等。SurfaceFlinger模块是Android系统中将各个应用窗口的内容混合并提交给屏幕显示的模块。将应用窗口的像素点阵,转换至逻辑设备的像素点阵的公式如下:

上述公式1和2中,(layerX,layerY)表示应用窗口在其图层(layer)中的位置,图层的分辨率与逻辑显示设备或主显示设备的分辨率(或屏幕的最大物理分辨率)一致;(layerW,layerH)表示应用窗口在其图层中的宽和高;layerTR表示应用窗口与逻辑显示设备之间的窗口变换矩阵;displayDeviceTR表示逻辑显示设备与主显示设备之间的显示设备变换矩阵;(screenX,screenY)表示应用窗口在逻辑窗口(对应的屏幕显示区域)中的显示位置,(screenW,screenH)表示应用窗口在逻辑窗口中的显示宽和高。

设M=displayDeviceTR×layerTR,N=miniTR×M,最终会将N矩阵设置给GPU(Graphics Processing Unit,图形处理单元)或者MDP(Mobile Display Process,移动显示处理)单元。SurfaceFlinger(外观投掷器)模块在后续进行多个应用窗口的合成时,对显示参数的计算使用得是M矩阵。

较佳地,可以通过设置每个应用窗口的miniTR,单独控制每个应用窗口的变换。当一个应用窗口的分辨率根据用户的指令切换时,终端设备根据切换后的分辨率,更新该应用窗口对应的miniTR后,依然可以适用于本发明实施例的技术方案。

S103:根据预置的图像合成策略、以及每个应用窗口与逻辑窗口之间的映射关系,将各应用窗口的图像合成映射到逻辑窗口。

终端设备根据本设备采用的预置的图像合成策略、以及每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

较佳地,图像合成策略具体是下述任意一项:芯片提供方制定的图像合成策略、服务方制定的图像合成策略、用户定制的图像合成策略。

例如,A公司为其研发的处理芯片制定了图像合成策略A;同理,B公司可以制定图像合成策略B。通常情况下,图像合成策略A与B存在不同之处;例如在某一应用场景下,根据图像合成策略A需要调用GPU(Graphics Processing Unit,图形处理单元)进行图像合成,而根据图像合成策略B需要调用MDP(Mobile Display Process,移动显示处理)单元进行图像合成。

较佳地,芯片提供方之外的第三方服务方也可以提供其制定的图像合成策略。例如,操作系统提供方或操作系统定制方制定的图像合成策略。

当预置的图像合成策略为图形处理单元GPU合成的策略时,调用本设备的GPU,由GPU根据每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

当预置的图像合成策略为移动显示处理MDP合成的策略时,调用本设备的MDP单元并将各应用窗口的窗口缩小变换矩阵的参数传递至MDP单元,由MDP单元根据每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

较佳地,终端设备对于当前应用场景,当确定本设备的系统采用的图像合成策略(例如某个应用中预置的图像合成策略)具体为GPU合成的策略时,调用本设备的GPU,由GPU根据每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

较佳地,终端设备对于当前应用场景,当确定本设备的系统采用的图像合成策略具体为MDP合成的策略时,调用本设备的MDP单元并将各应用窗口的窗口缩小变换矩阵的参数传递至MDP单元,由MDP单元根据每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

较佳地,终端设备对于运行应用的每个应用窗口,将该应用窗口包含图像的像素点阵,依次根据该应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵进行变换后,映射到逻辑窗口的像素点阵中;根据各应用窗口待显示的位置、大小和层叠顺序,确定出映射到逻辑窗口的像素点阵中的各应用窗口的像素点阵的可视区域;对各应用窗口的可视区域进行合成,使得合成后的可视区域不超出逻辑窗口的像素点阵的范围。

进一步,终端设备对各窗口的可视区域进行合成,使得合成后的可视区域重合于逻辑窗口的像素点阵的范围。

S104:在屏幕显示区域中对逻辑窗口中的图像进行显示。

终端设备在逻辑窗口对应的屏幕显示区域中,对逻辑窗口中的图像进行显示。

较佳地,终端设备在上述步骤中确定出逻辑窗口对应的屏幕显示区域之外的显示区域后,在本步骤中,对逻辑窗口对应的屏幕显示区域之外的显示区域,停止显示。

基于上述终端设备的显示方法,本发明实施例还提供了一种显示装置,该装置的内部结构的框架示意图如图3所示,包括:逻辑窗口创建模块301、窗口映射关系确定模块302、图像合成映射模块303和显示模块304。

其中,逻辑窗口创建模块301用于接收到单手操作模式的切换指令后,创建逻辑窗口,为逻辑窗口指定对应的屏幕显示区域。

窗口映射关系确定模块302用于确定每个应用窗口与逻辑窗口之间的映射关系。

图像合成映射模块303用于根据预置的图像合成策略、以及窗口映射关系确定模块302确定出的每个应用窗口与逻辑窗口之间的映射关系,将各应用窗口的图像合成映射到逻辑窗口。

显示模块304用于在屏幕显示区域中对图像合成映射模块303合成映射到逻辑窗口中的图像进行显示。

较佳地,逻辑窗口创建模块301具体用于接收到进入单手操作模式界面的指令后,显示单手操作模式界面;通过单手操作模式界面接收到针对单手操作模式的切换指令后,调用外观投掷器SurfaceFlinger创建逻辑窗口。

较佳地,逻辑窗口创建模块301还用于在创建逻辑窗口之后,接收到针对逻辑窗口的缩放和/或移动指令后,对逻辑窗口进行缩放和/或移动,并为缩放和/或移动后的逻辑窗口重新指定对应的屏幕显示区域。

较佳地,窗口映射关系确定模块302用于根据每个应用窗口的分辨率、和该应用窗口与逻辑显示设备之间预设的窗口变换矩阵,确定出该应用窗口映射至逻辑显示设备的分辨率;根据该应用窗口映射至逻辑显示设备的分辨率、和逻辑显示设备与主显示设备之间预设的显示设备变换矩阵,确定出该应用窗口映射至主显示设备的分辨率;根据该应用窗口映射至主显示设备的分辨率、和逻辑窗口的分辨率,确定出该应用窗口映射至主显示设备后与逻辑窗口之间的变换矩阵,作为该应用窗口的窗口缩小变换矩阵。

较佳地,图像合成映射模块303用于根据图像合成策略,以及每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

较佳地,图像合成映射模块303用于当预置的图像合成策略为图形处理单元GPU合成的策略时,调用本设备的GPU,由GPU根据每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

较佳地,图像合成映射模块303用于当预置的图像合成策略为移动显示处理MDP合成的策略时,调用本设备的MDP单元并将各应用窗口的窗口缩小变换矩阵的参数传递至MDP单元,由MDP单元根据每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

较佳地,图像合成映射模块303用于对于每个应用窗口,将该应用窗口包含图像的像素点阵,依次根据该应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵进行变换后,映射到逻辑窗口的像素点阵中;根据各应用窗口待显示的位置、大小和层叠顺序,确定出映射到逻辑窗口的像素点阵中的各应用窗口的像素点阵的可视区域;对各应用窗口的可视区域进行合成,使得合成后的可视区域不超出逻辑窗口的像素点阵的范围。

较佳地,图像合成策略具体是下述任意一项:芯片提供方制定的图像合成策略、服务方制定的图像合成策略、用户定制的图像合成策略。

较佳地,显示模块304还用于对逻辑窗口对应的屏幕显示区域之外的显示区域,停止显示。

本发明实施例中,终端设备在不影响本设备采用的预置的图像合成策略的情况下,接收到单手操作模式的切换指令后,将原屏幕的显示范围缩小到屏幕显示区域;根据本设备采用的预置的图像合成策略,将各窗口的图像合成映射,并在屏幕显示区域中进行显示。从而在不影响本设备采用的预置的图像合成策略的情况下,可以缩小应用窗口和显示区域,便于用户进行单手操作,从而提升用户的体验。

而且,本发明实施例中,不需要强制调用GPU执行为将应用窗口缩小而计算确定相关变换矩阵的步骤,无需额外占用GPU的资源,不影响GPU的性能,也节省了强制调用GPU带来的额外功耗,不影响终端设备的续航时间。

进一步,本发明实施例中,配置了多种屏幕显示区域供用户选择,同时支持用户自定义屏幕显示区域,支持用户调整屏幕显示区域的位置和/或大小;从而可以满足不同的用户的操作习惯或个人喜好,进一步提升用户的体验。

此外,本发明实施例中,确定出屏幕上除了逻辑窗口对应的屏幕显示区域之外的显示区域后,还可以忽略落于该显示区域的用户操作和/或停止显示该显示区域。既可以避免用户落于该显示区域的误操作,又可以节省显示该显示区域所耗费的电能,进一步节电,延长终端设备的续航时间。

本发明实施例还提供了终端设备,如图4所示,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑等任意终端设备,以终端为手机为例:

图4示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图4,手机包括:射频(Radio Frequency,RF)电路410、存储器420、输入单元430、显示单元440、传感器450、音频电路460、无线保真(wireless fidelity,WiFi)模块470、处理器480、以及电源490等部件。本领域技术人员可以理解,图4中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

下面结合图4对手机的各个构成部件进行具体的介绍:

RF电路410可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器480处理;另外,将设计上行的数据发送给基站。通常,RF电路410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier,LNA)、双工器等。此外,RF电路410还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System of Mobile communication,GSM)、通用分组无线服务(General Packet Radio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。

存储器420可用于存储软件程序以及模块,处理器480通过运行存储在存储器420的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元430可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元430可包括触控面板431以及其他输入设备432。触控面板431,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板431上或在触控面板431附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板431可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器480,并能接收处理器480发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板431。除了触控面板431,输入单元430还可以包括其他输入设备432。具体地,其他输入设备432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元440可包括显示面板441,可选的,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板441。进一步的,触控面板431可覆盖显示面板441,当触控面板431检测到在其上或附近的触摸操作后,传送给处理器480以确定触摸事件的类型,随后处理器480根据触摸事件的类型在显示面板441上提供相应的视觉输出。虽然在图4中,触控面板431与显示面板441是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板431与显示面板441集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器450,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板441的亮度,接近传感器可在手机移动到耳边时,关闭显示面板441和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。

音频电路460、扬声器461,传声器462可提供用户与手机之间的音频接口。音频电路460可将接收到的音频数据转换后的电信号,传输到扬声器461,由扬声器461转换为声音信号输出;另一方面,传声器462将收集的声音信号转换为电信号,由音频电路460接收后转换为音频数据,再将音频数据输出处理器480处理后,经RF电路410以发送给比如另一手机,或者将音频数据输出至存储器420以便进一步处理。

WiFi属于短距离无线传输技术,手机通过Wi-Fi模块470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图4示出了Wi-Fi模块470,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。

处理器480是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器420内的软件程序和/或模块,以及调用存储在存储器420内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器480可包括一个或多个处理单元;优选的,处理器480可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器480中。

手机还包括给各个部件供电的电源490(比如电池),优选的,电源可以通过电源管理系统与处理器480逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。

在本发明实施例中,该终端所包括的处理器480还具有以下功能:

运行一个或多个程序用于接收到单手操作模式的切换指令后,创建逻辑窗口,为逻辑窗口指定对应的屏幕显示区域;

确定每个应用窗口与逻辑窗口之间的映射关系;

根据预置的图像合成策略、以及每个应用窗口与逻辑窗口之间的映射关系,将各应用窗口的图像合成映射到逻辑窗口;

在屏幕显示区域中对逻辑窗口中的图像进行显示。

较佳地,运行一个或多个程序用于接收到单手操作模式的切换指令后,创建逻辑窗口,包括:接收到进入单手操作模式界面的指令后,显示单手操作模式界面;通过单手操作模式界面接收到针对单手操作模式的切换指令后,调用外观投掷器SurfaceFlinger创建逻辑窗口。

较佳地,运行一个或多个程序用于在创建逻辑窗口之后,还包括:接收到针对逻辑窗口的缩放和/或移动指令后,对逻辑窗口进行缩放和/或移动,并为缩放和/或移动后的逻辑窗口重新指定对应的屏幕显示区域。

较佳地,运行一个或多个程序用于确定每个应用窗口与逻辑窗口之间的映射关系,包括:

根据每个应用窗口的分辨率、和该应用窗口与逻辑显示设备之间预设的窗口变换矩阵,确定出该应用窗口映射至逻辑显示设备的分辨率;根据该应用窗口映射至逻辑显示设备的分辨率、和逻辑显示设备与主显示设备之间预设的显示设备变换矩阵,确定出该应用窗口映射至主显示设备的分辨率;根据该应用窗口映射至主显示设备的分辨率、和逻辑窗口的分辨率,确定出该应用窗口映射至主显示设备后与逻辑窗口之间的变换矩阵,作为该应用窗口的窗口缩小变换矩阵。

较佳地,运行一个或多个程序用于根据本设备采用的图像合成策略、以及每个窗口与逻辑窗口之间的映射关系,将各应用窗口的图像合成映射到逻辑窗口,包括:

根据图像合成策略,以及每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

较佳地,运行一个或多个程序用于根据图像合成策略,以及每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵,包括:

当预置的图像合成策略为图形处理单元GPU合成的策略时,调用本设备的GPU,由GPU根据每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵;

较佳地,运行一个或多个程序用于根据图像合成策略,以及每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵,包括:

当预置的图像合成策略为移动显示处理MDP合成的策略时,调用本设备的MDP单元并将各应用窗口的窗口缩小变换矩阵的参数传递至MDP单元,由MDP单元根据每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵。

较佳地,运行一个或多个程序用于根据图像合成策略,以及每个应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵,将各应用窗口各自包含图像的像素点阵合成映射到逻辑窗口的像素点阵,包括:

对于每个应用窗口,将该应用窗口包含图像的像素点阵,依次根据该应用窗口的窗口变换矩阵、显示设备变换矩阵和该应用窗口的窗口缩小变换矩阵进行变换后,映射到逻辑窗口的像素点阵中;

根据各应用窗口待显示的位置、大小和层叠顺序,确定出映射到逻辑窗口的像素点阵中的各应用窗口的像素点阵的可视区域;

对各应用窗口的可视区域进行合成,使得合成后的可视区域不超出逻辑窗口的像素点阵的范围。

较佳地,运行一个或多个程序用于对逻辑窗口对应的屏幕显示区域之外的显示区域,停止显示。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上对本发明所提供的一种终端设备进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1