智能终端、应用于该智能终端的游戏实时AI超分方法、系统及计算机可读存储介质与流程

本发明涉及游戏画面显示技术领域，尤其涉及一种智能终端、应用于该智能终端的游戏实时ai超分方法、系统及计算机可读存储介质。

背景技术：

通常，对于移动终端设备，功耗和性能往往是存在矛盾的；即为了功耗和热考虑，通常需要牺牲一下性能，手机厂商的优化也是在两者中间找到一个平衡点。在游戏中，gpu显然是耗电大4户，特别是在手游越来越往精细化、高画质上发展的今天，gpu的参与也越来越高，比如和平精英hdr、原神。

在这样的背景下，往往gpu还没有发挥全部能力的时候，功耗和热便已经触顶，此时gpu，甚至cpu也被迫降频，帧率变得不稳定。

降低图像的分辨率是最直接有效的方式，因此很多手机厂家会在游戏进入后便切换为低分辨率下渲染，却也引来用户的负面评价：这种传统的图像缩放技术简单粗暴，通常是双线性插值的单帧超分技术，锯齿感较强，效果很难让人满意。

随着移动终端ai算力不断提升，将gpu的工作由ai来做是可预期的。但是在移动终端针对游戏做实时ai超分面临3个问题：

1、游戏画面(通常是动态的画面)和游戏ui叠加(通常是文字与小图标)在一起进行超分，ui文字和图像模糊，锯齿感严重；

2、游戏画面和游戏ui叠加在一起进行超分，对算力要求非常高，造成功耗过大，设备发热严重；

3、传统视频ai超分算法通常用于camera场景，延迟较高，不适合游戏场景。

技术实现要素：

为了克服上述技术缺陷，本发明的目的在于提供一种同时实现高画质和高游戏帧率、低功耗的智能终端、应用于该智能终端的游戏实时ai超分方法、系统及计算机可读存储介质。

本发明公开了一种应用于智能终端的游戏实时ai超分方法，包括如下步骤：将游戏的初始动态显示画面分割为游戏画面层和游戏ui层；将所述游戏画面层的分辨率设置为小于第一预设分辨率；对所述游戏画面层进行ai超分处理使其分辨率大于第二预设分辨率、以获取超分游戏画面层；所述第二预设分辨率大于所述第一预设分辨率；将所述超分游戏画面层与所述游戏ui层进行合成获取ai超分显示画面。

优选地，所述将所述超分游戏画面层层与所述游戏ui层进行合成获取ai超分显示画面还包括：所述ai超分显示画面在所述智能终端上实时显示，所述ai超分显示画面相对于所述初始动态显示画面的延时小于画面显示一帧的时间且小于等于16ms。

优选地，所述将游戏的初始动态显示画面分割为游戏画面层和游戏ui层进一步包括：获取所述动态显示画面的帧率和所述智能终端的温度；当所述帧率低于预设帧率阈值、和/或所述温度大于预设温度阈值时，将游戏的初始动态显示画面分割为游戏画面层和游戏ui层。

优选地，所述将所述超分游戏画面层与所述游戏ui层进行合成获取ai超分显示画面还包括：获取所述智能终端的系统ui，将所述系统ui、所述超分游戏画面层与所述游戏ui层进行合成获取ai超分显示画面。

一种应用于智能终端的游戏实时ai超分系统，包括相连接的画面分层模块、分辨率调整模块、ai超分处理模块和图层合成模块；所述画面分层模块获取游戏的初始动态显示画面，将所述初始动态显示画面分割为游戏画面层和游戏ui层；所述分辨率调整模块获取所述游戏画面层、将其分辨率设置为小于第一预设分辨率并传输至所述ai超分处理模块；所述ai超分处理模块对所述游戏画面层进行ai超分处理使其分辨率大于第二预设分辨率、以获取超分游戏画面层；所述第二预设分辨率大于所述第一预设分辨率；所述图层合成模块获取所述超分游戏画面层和与所述游戏ui层进行合成获取ai超分显示画面。

优选地，还包括帧率检测模块和温度检测模块；所述帧率检测模块获取所述动态显示画面的帧率，所述温度检测模块获取所述智能终端的温度；当所述帧率低于预设帧率阈值、和/或所述温度大于预设温度阈值时，所述画面分层模块将游戏的初始动态显示画面分割为游戏画面层和游戏ui层。

优选地，所述图层合成模块还获取所述智能终端的系统ui，将所述系统ui、所述超分游戏画面层与所述游戏ui层进行合成获取ai超分显示画面；所述ai超分显示画面在所述智能终端上实时显示，且所述ai超分显示画面相对于所述初始动态显示画面的延时小于画面显示一帧的时间且小于等于16ms。

一种智能终端，包括上述任一所述的游戏实时ai超分系统；所述智能终端在游戏运行期间，游戏的初始动态显示画面经所述游戏实时ai超分系统处理后输出为ai超分显示画面。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的游戏实时ai超分方法的步骤。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.将游戏的初始动态显示画面分割为游戏画面层和游戏ui层，减小ai超分处理模块10％-20％的算力，在保证游戏ui(如文字)画质清晰的同时减小了智能终端的功耗、发热和画面延迟；

2.通过将所述游戏画面层的分辨率设置为低分辨率，减小了gpu的渲染工作，对于高画质要求的游戏，可以保证其运行时的画质并降低整机功耗和发热，对于低画质要求的游戏，可以实现智能终端的较长续航；

3.通过实时监控游戏的帧率和智能终端的温度，可以实现：只有在帧率和温度超过预设范围的时候才启动ai超分，否则正常使用gpu进行画面渲染保证高分辨率。

附图说明

图1为本发明提供的游戏实时ai超分方法的流程图；

图2为本发明提供的游戏实时ai超分系统的结构框图；

图3为本发明提供的用于增强智能终端的ai性能的系统的结构框图。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

参见附图1，本发明公开了一种应用于智能终端的游戏实时ai超分方法，包括如下步骤：

s1、将游戏的初始动态显示画面分割为游戏画面层和游戏ui层；

s2、将游戏画面层的分辨率设置为小于第一预设分辨率；

s3、对游戏画面层进行ai超分处理使其分辨率大于第二预设分辨率、以获取超分游戏画面层；第二预设分辨率大于第一预设分辨率；

s4、将超分游戏画面层与游戏ui层进行合成获取ai超分显示画面。

本发明首先将游戏画面层和游戏ui层分割开，然后游戏画面层设置为低分辨率，减小了智能终端内的gpu的负载工作，将这部分的工作交由ai超分处理模块进行，由此大大降低了整机的功耗和发热，且不会出现在游戏进行中被强制降帧的情况，保证了使用者的良好体验感。由于ai超分处理模块仅处理游戏画面层，而不用处理游戏ui层，大大降低了ai超分处理模块的算力，避免了最后输出画面的延时。

较佳地，步骤s4中，ai超分显示画面生成后实时在智能终端上实时显示，且ai超分显示画面相对于初始动态显示画面的延时小于画面显示一帧的时间且小于等于16ms，即设现有技术的初始动态显示画面直接显示的时间为t1，而本发明经ai超分处理后生成的ai超分显示画面的实时显示时间为t2，则t2与t1之间的时间间隔小于画面显示一帧的时间且小于等于16ms，即经本发明ai超分处理后生成的ai超分显示画面不会造成过长时间的延时，可以为使用者带来良好的体验。

较佳地，作为本发明的一种优选实施例，只要检测到游戏开启，随机采用游戏实时ai超分方法开启ai超分处理模式。

而作为ai超分处理模式另一种优选的，本发明还提供了ai超分处理模式的第二实施例，即检测到游戏开启后，开始实时检测获取动态显示画面的帧率和智能终端的温度。当帧率低于预设帧率阈值、或温度大于预设温度阈值、或帧率低于预设帧率阈值且温度大于预设温度阈值时，才开始采用游戏实时ai超分方法开启ai超分处理模式，而若即使在游戏期间，未检测到上述帧率和温度的异常情况，还将继续采用系统gpu进行画面渲染工作，由此保证分辨率的稳定和零延时情况。

作为ai超分处理模式另一种优选的，本发明还提供了ai超分处理模式的第三实施例，在检测到智能终端接入电源的时候，默认智能终端的续航可以保证，则即使检测到智能终端的温度大于预设温度阈值，也保持普通gup处理模式，而不开启ai超分处理模式。当然，此种情况作为特殊情况，可能会存在gup处理负荷达至上限，使得画面出现掉帧的情况，故本实施例仅为用户设计的一种特殊场景，可配套设置选择窗口，由用户选择是否进行调整。

需要说明的是，本发明提供的是一种ai超分处理模式的开启与否、和与普通gup处理模式的协同工作比率为可调的控制结构，并不限于所有情况默认直接进入ai超分处理模式。

较佳地，由于游戏界面除了动态游戏画面和游戏ui界面以外，某些游戏界面还可能允许智能终端的系统ui的介入，即最后游戏的呈现形式包含游戏内容和系统ui内容，故此时还需获取智能终端的系统ui，将系统ui、超分游戏画面层与游戏ui层进行合成最后获取ai超分显示画面。

本发明还提供了一种应用于智能终端的游戏实时ai超分系统，包括：

-画面分层模块，用于将游戏的初始动态显示画面分割开，生成多种画面内容；

-分辨率调整模块，用于对画面的分辨率进行调整；

-ai超分处理模块，用于对画面进行ai超分处理，通过ai技术提高画面的分辨率；

-图层合成模块，用于将各个画面内容层进行融合输出为完整的显示画面。

在本发明中，画面分层模块获取游戏的初始动态显示画面，将初始动态显示画面分割为游戏画面层和游戏ui层。分辨率调整模块获取游戏画面层、将其分辨率设置为小于第一预设分辨率并传输至ai超分处理模块。ai超分处理模块对游戏画面层进行ai超分处理使其分辨率大于第二预设分辨率、以获取超分游戏画面层，第二预设分辨率大于第一预设分辨率。图层合成模块获取超分游戏画面层和与游戏ui层进行合成获取ai超分显示画面。

最后输出的ai超分显示画面为高分辨率显示画面，而处理工作并不完全来源于系统gpu，而是由ai超分处理模块进行，大大减小了系统gpu的工作负荷，保障了智能终端的低能耗和高帧率；且由于将游戏ui层单独分隔开，ai超分处理模块仅处理游戏画面层，故大大降低了超分画面生成的延时，避免了现有技术的ai超分处理不能实时输出的问题。而本发明的ai超分显示画面在智能终端上实时显示，且ai超分显示画面相对于初始动态显示画面的延时小于画面显示一帧的时间且小于等于16ms。为使用者带来良好的游戏体验。

较佳地，还包括帧率检测模块和温度检测模块。帧率检测模块获取动态显示画面的帧率，温度检测模块获取智能终端的温度。当帧率低于预设帧率阈值、或温度大于预设温度阈值、或帧率低于预设帧率阈值且温度大于预设温度阈值时，画面分层模块才将游戏的初始动态显示画面分割为游戏画面层和游戏ui层。

较佳地，某些允许智能终端的系统ui的介入的游戏界面，图层合成模块还获取智能终端的系统ui，将系统ui、超分游戏画面层与游戏ui层进行合成获取ai超分显示画面。

本发明还提供了一种智能终端，包括上述的游戏实时ai超分系统，智能终端在游戏运行期间，游戏的初始动态显示画面经游戏实时ai超分系统处理后输出为ai超分显示画面。

具体参见附图2，将游戏的初始动态显示画面分割为分辨率为r1的游戏画面层l1和分辨率为r2的游戏ui层l2，其中分辨率r1为低分辨率，r2为最终输出到屏幕的高分辨率，并把游戏分层信息告知设备系统；设备系统收到游戏分层信息后，把l1层地址传递给ai超分处理模块；ai超分处理模块对l1层设备进行ai超分辨率处理，生成l3层分辨率为r2的超分游戏画面层；设备系统把l3层、l2层和、系统ui层ln进行合成；合成后的ai超分显示画面输出到设备屏幕进行实时显示。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的游戏实时ai超分方法的步骤。

智能终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、导航装置等等的智能终端以及诸如数字tv、台式计算机等等的固定终端。下面，假设终端是智能终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。