界面信息处理方法及装置与流程

本发明涉及终端技术领域，特别涉及一种界面信息处理方法及装置。

背景技术：

目前，用户使用的游戏界面等各种界面通常是通过市面上的游戏开发引擎研发出来的，但这种界面在被读屏软件识别时，通常会将界面的所有界面信息进行光栅化处理，然后将整个界面作为一个整体仅通过一个图片显示控件(即一个能够显示图片的元素)进行显示，如此，整个界面就会作为一个可被读屏软件识别的图片，但界面内部的各部分界面信息却无法被读屏软件识别，这就使得需要借助读屏软件的视力有障碍的用户并无法使用具有这种界面的游戏等应用，从而给视力有障碍的用户带来了不便，使其无法进行游戏等各种操作。

技术实现要素：

本发明提供一种界面信息处理方法及装置，用以使得即便视力有障碍的用户依然能够通过触控获取当前页面中每部分的局部界面信息，从而确保视力有障碍的用户能够借助读屏软件有效识别各界面，这样，视力有障碍的用户也可进行游戏等各种操作。

本发明提供一种界面信息处理方法，包括：

在展示当前界面的过程中，获取用户在所述当前界面上的当前触控位置的绝对坐标；

获取所述当前界面中所述绝对坐标所对应的目标dom元素的目标局部界面信息；

将所述目标局部界面信息进行播报。

在一个实施例中，所述获取所述当前界面中所述绝对坐标所对应的目标dom元素的目标局部界面信息，包括：

根据预先存储的各界面中的各dom元素的绝对坐标，确定所述当前界面中与所述绝对坐标对应的目标dom元素；其中，每个dom元素均对应一个ui显示对象，ui显示对象因其对应的dom元素的局部界面信息所属的信息类别而异；

确定所述目标dom元素对应的目标ui显示对象；

将所述目标ui显示对象的属性信息的值确定为所述目标局部界面信息，其中，所述目标ui显示对象的属性信息的值表征了所述目标ui显示对象所展示的局部界面信息和所述目标ui显示对象所在的界面标识。

在一个实施例中，所述方法还包括：

确定待开发界面中需显示的界面信息的信息类别；

为各类别的信息创建独立的ui显示对象；

为各独立的ui显示对象创建一个对应的dom元素；

为各dom元素配置绝对坐标，其中，所述各dom元素的局部界面信息为所述各dom元素对应的ui显示对象的各项属性信息的值。

在一个实施例中，所述方法还包括：

将所述绝对坐标所对应的目标dom元素确定为当前焦点；

将所述当前焦点进行突出显示。

在一个实施例中，所述方法还包括：

基于标准显示屏，为各dom元素配置标准的绝对坐标；

确定展示所述当前界面的显示屏的实际尺寸与所述标准显示屏的尺寸之间的尺寸关系；

根据所述尺寸关系和所述绝对尺寸，调整所述各dom元素的绝对坐标；其中：

所述dom元素为单层元素；所述dom元素包括div元素或者canvas元素。

本发明还提供一种界面信息处理装置，包括：

第一获取模块，用于在展示当前界面的过程中，获取用户在所述当前界面上的当前触控位置的绝对坐标；

第二获取模块，用于获取所述当前界面中所述绝对坐标所对应的目标dom元素的目标局部界面信息；

播报模块，用于将所述目标局部界面信息进行播报。

在一个实施例中，所述第二获取模块包括：

第一确定子模块，用于根据预先存储的各界面中的各dom元素的绝对坐标，确定所述当前界面中与所述绝对坐标对应的目标dom元素；其中，每个dom元素均对应一个ui显示对象，ui显示对象因其对应的dom元素的局部界面信息所属的信息类别而异；

第二确定子模块，用于确定所述目标dom元素对应的目标ui显示对象；

第三确定子模块，用于将所述目标ui显示对象的属性信息的值确定为所述目标局部界面信息，其中，所述目标ui显示对象的属性信息的值表征了所述目标ui显示对象所展示的局部界面信息和所述目标ui显示对象所在的界面标识。

在一个实施例中，所述装置还包括：

第一确定模块，用于确定待开发界面中需显示的界面信息的信息类别；

第一创建模块，用于为各类别的信息创建独立的ui显示对象；

第二创建模块，用于为各独立的ui显示对象创建一个对应的dom元素；

第一配置模块，用于为各dom元素配置绝对坐标，其中，所述各dom元素的局部界面信息为所述各dom元素对应的ui显示对象的各项属性信息的值。

在一个实施例中，所述装置还包括：

第二确定模块，用于将所述绝对坐标所对应的目标dom元素确定为当前焦点；

显示模块，用于将所述当前焦点进行突出显示。

在一个实施例中，所述装置还包括：

第二配置模块，用于基于标准显示屏，为各dom元素配置标准的绝对坐标；

第三确定模块，用于确定展示所述当前界面的显示屏的实际尺寸与所述标准显示屏的尺寸之间的尺寸关系；

调整模块，用于根据所述尺寸关系和所述绝对尺寸，调整所述各dom元素的绝对坐标；其中：

所述dom元素为单层元素；所述dom元素包括div元素或者canvas元素。

本公开的实施例提供的技术方案可以包括以下有益效果：

在展示任一个当前界面的过程中，读屏软件可根据当前触控位置的绝对坐标，获取其对应的目标dom元素的目标局部界面信息，从而将用户当前触控位置处显示的目标局部界面信息语音播报给用户，使得即便视力有障碍的用户依然能够通过触控获取当前页面中每部分的局部界面信息，从而确保视力有障碍的用户能够借助读屏软件有效识别各界面，这样，视力有障碍的用户也可进行游戏等各种操作。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据一示例性实施例示出的一种界面信息处理方法的流程图。

图2是根据一示例性实施例示出的另一种界面信息处理方法的流程图。

图3是根据一示例性实施例示出的又一种界面信息处理方法的流程图。

图4是根据一示例性实施例示出的一种显示有当前焦点的界面的截图。

图5是根据一示例性实施例示出的另一种显示有当前焦点的界面的截图。

图6是根据一示例性实施例示出的一种界面信息处理装置的框图。

图7是根据一示例性实施例示出的另一种界面信息处理装置的框图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

目前，用户使用的游戏界面等各种界面通常是通过市面上的游戏开发引擎研发出来的，但这种界面在被读屏软件识别时，通常会将界面的所有界面信息进行光栅化处理，然后将整个界面作为一个整体仅通过一个图片显示控件(又称为一个能够显示图片的元素)进行显示，如此，整个界面就会作为一个可被读屏软件识别的图片，但界面内部的各部分界面信息却无法被读屏软件识别，这就使得需要借助读屏软件的视力有障碍的用户并无法使用具有这种界面的游戏等应用，从而给视力有障碍的用户带来了不便，使其无法进行游戏等各种操作。

为了解决该问题，使得读屏软件能够与各界面相适配，识别各界面中不同部分的界面信息，可使用网页ui元素进行开发界面，这样就需要使用嵌套式元素(或控件)或者使用大量的样式、渲染等具有显示效果的元素(如布局元素)使得读屏软件能够识别界面中不同位置的界面信息，但嵌套式元素或大量具有显示效果的元素会导致代码难以维护，工作量很大，也给视力有障碍的用户带来了很多困惑或障碍，同时使用嵌套式元素或者使用大量的样式、渲染等具有显示效果的元素还可能会给读屏软件造成干扰，或者导致读屏软件无法识别。

为了解决上述技术问题，本公开实施例提供了一种界面信息处理方法，该方法适用于界面信息处理程序、系统或装置中，其执行主体为安装有读屏软件的当前设备，该当前设备可以是手机、平板、计算机等终端或者是服务器，如图1所示，该方法包括步骤s101至步骤s103，其中：

在步骤s101中，在展示当前界面的过程中，(读屏软件)获取用户在当前界面上的当前触控位置的绝对坐标；

该绝对坐标是该当前触控位置相对于显示该当前界面的显示屏上的某个参考点的坐标。

在步骤s102中，(读屏软件)获取当前界面中绝对坐标所对应的目标dom元素的目标局部界面信息；

在步骤s103中，(读屏软件)将目标局部界面信息进行播报。

在展示任一个当前界面的过程中，读屏软件可根据当前触控位置的绝对坐标，获取其对应的目标dom元素的目标局部界面信息，从而将用户当前触控位置处显示的目标局部界面信息语音播报给用户，使得即便视力有障碍的用户依然能够通过触控获取当前页面中每部分的局部界面信息，从而确保视力有障碍的用户能够借助读屏软件有效识别各界面，这样，视力有障碍的用户也可进行游戏等各种操作。

如图2所示，在一个实施例中，上述图1所示的步骤s102，即获取当前界面中绝对坐标所对应的目标dom元素的目标局部界面信息，可以包括步骤s201至步骤s203：

在步骤s201中，根据预先存储的各界面中的各dom元素的绝对坐标，确定当前界面中与绝对坐标对应的目标dom元素；其中，每个dom元素均对应一个ui显示对象，ui显示对象因其对应的dom元素的局部界面信息所属的信息类别而异；

信息类别可以是图片、文字、按钮、视频、图文混合等各种类别，ui显示对象即javascriptobject，其中信息类别为图片的其对象为图片对象，信息类别为文字的其对象为文字对象，信息类别为按钮的其对象为按钮对象，信息类别为视频的其对象为视频对象，信息类别为图文混合的其对象为图文混合对象。

在步骤s202中，确定目标dom元素对应的目标ui显示对象；

dom(documentobjectmodel，文档对象模型)元素本质上就是控件，包括div(层叠样式表中的定位技术，全称division，即为划分，有时可以称其为图层)和/或canvas(在新的html标准html5中canvas元素用于在网页上绘制图形)。

在步骤s203中，将目标ui显示对象的属性信息的值确定为目标局部界面信息，其中，目标ui显示对象的属性信息的值表征了目标ui显示对象所展示的局部界面信息和目标ui显示对象所在的界面标识，界面标识用于唯一标识各界面，可以是界面编号等。

通过预先存储的各界面中的各dom元素的绝对坐标，可准确确定该当前界面中与该当前触控位置的绝对坐标对应的目标dom元素，进而，确定该目标dom元素对应的目标ui显示对象，而由于目标ui显示对象所展示的界面信息也是目标dom元素要展示的信息，通常会将目标ui显示对象的各种属性信息的值传递给目标dom元素以通过目标dom元素的各种属性信息表达出该部分界面信息，因而，可将目标ui显示对象的属性信息的值自动确定为目标局部界面信息，从而使得视力有障碍的用户在借助读屏软件的基础上，可通过手指触控获取界面上任一部分的局部界面信息，使得视力有障碍的用户能够尽可能地无障碍使用游戏等各种应用。

本实施例中的步骤s201至步骤s203可通过执行主体的操作系统实现，即读屏软件将当前触控位置的绝对坐标发送至操作系统，由操作系统确定目标dom元素，并将目标ui显示对象的各项属性信息的值传递给目标dom元素，从而使得读屏软件可通过目标dom元素获取到目标局部界面信息。

如图3所示，在一个实施例中，上述方法还可包括步骤s301至步骤s304：

在步骤s301中，确定待开发界面中需显示的界面信息的信息类别；

待开发界面可以是任意界面，如各种游戏界面。

而在确定信息类别时，可根据用户对界面信息的划分指令来确定，如用户可能希望将某些图片和文字作为一个信息类别，则可根据其指令将这部分图片和文字作为图文混合类别，而如果用户希望将某个区域的图片和文字分别作为不同的信息类别即分别作为图片类别和文字类别，则可根据其指令将这部分图片和文字分别划分为图片类别和文字类别。

在步骤s302中，为各类别的信息创建独立的ui显示对象；ui显示对象即jsobject。

具体地，可在游戏等开发引擎中，为需显示的界面信息中各类别的信息分别建立独立的对象，如图片对象、文字对象、按钮对象和图文混合对象等。

在步骤s303中，为各独立的ui显示对象创建一个对应的dom元素；

在步骤s304中，为各dom元素配置绝对坐标，其中，各dom元素的局部界面信息为各dom元素对应的ui显示对象的各项属性信息的值。

通过为各ui显示对象均创建一个对应的dom元素，且该dom元素为单层元素，可避免界面中存在嵌套式元素而导致界面代码过多难以维护，工作量大；同时通过使用单层元素可避免由于界面中界面信息、结构过于丰富而需要使用大量的样式、渲染等具有显示效果的元素而给读屏软件造成干扰，或者导致读屏软件无法识别。

另外，本实施例中的所有步骤(步骤s301至步骤s304)可通过开发引擎实现，且步骤s303至步骤s304即是对现有技术中各种开发引擎(如游戏开发引擎)的改进，通过为各ui显示对象均创建一个对应的dom元素，可使得读屏软件能够一一识别界面中的不同dom元素的描述信息，避免读屏软件在识别显示界面时由于一个界面中所有ui显示对象只能在光栅化处理后通过一个控件(或一个能够显示图片的元素)显示而导致读屏软件只能将整个界面作为一个图片识别而无法识别界面内部的界面信息。

在一个实施例中，方法还包括：

将绝对坐标所对应的目标dom元素确定为当前焦点；

将当前焦点进行突出显示。

通过将该绝对坐标所对应的目标dom元素确定为当前焦点，使得视力有障碍的用户借助读屏软件可通过滑动来改变焦点的位置，进而获取界面中不同部分的界面信息；当然，在确定当前焦点后，可将该当前焦点进行突出显示。

另外，当焦点落在某个app图标上时，可语音提示用户双击即可打开这个app，从而使得视力有障碍的用户也可玩游戏等各应用。

在一个实施例中，方法还包括：

基于标准显示屏，为各dom元素配置标准的绝对坐标；

绝对坐标指的是dom元素相对于显示屏上某个参考点的坐标；相对坐标指的是某个dom元素相对于另一个dom元素的坐标。

确定展示当前界面的显示屏的实际尺寸与标准显示屏的尺寸之间的尺寸关系；

根据尺寸关系和绝对尺寸，调整各dom元素的绝对坐标；其中：

dom元素为单层元素；dom元素包括div元素或者canvas元素。

由于本发明是单层元素，关于界面中的样式和布局的元素则不需要使用，为了实现界面布局，本发明在每个元素中增加了坐标信息。该坐标是屏幕的绝对坐标，开发引擎中定义了标准屏幕，以及读取用户实际屏幕大小，两者计算出屏幕比例(即上述尺寸关系)，用该比例更新各元素中的绝对坐标，从而使得开发的界面可适应各种尺寸的显示屏。

其中，在开发引擎中使用单层的dom元素相比于现有技术中使用嵌套式dom元素而言，可避免界面内容、结构过于复杂而使得代码难以维护，同时也可避免使用界面样式、布局等具有显示效果的元素，这进一步避免了给读屏软件造成干扰，使得读屏软件能够识别界面中的各部分内容。

下面将进一步说明本发明的技术方案：

本发明针对盲人应用的软件，需要识别出界面中的独立界面信息的元素，方便读屏软件读取各个元素来给盲人输出相应的提示。

本发明将界面信息划分为独立元素，方便读屏软件读取，以及可以用光标圈定。本发明对开发引擎进行改进。在开发引擎中，为各种界面信息建立独立的对象，如图片对象、文字对象、按钮对象和图文混合对象等。每个对象都是一个独立的元素，且是单层元素。元素包括div和canvas。这两种元素是读屏软件兼容最好的元素，其它元素可能导致读屏软件不识别。单层元素的意思是只有一层div或canvas，div中不会嵌套div(现有技术中的网页允许嵌套)。元素中的界面信息和样式等均通过元素中的属性和值来实现。

由于本发明是单层元素，关于界面中的样式和布局的元素则不需要使用。为了实现界面布局，本发明在每个元素中增加了坐标信息。该坐标是屏幕的绝对坐标，开发引擎中定义了标准屏幕，以及读取用户实际屏幕大小，两者计算出屏幕比例，用该比例更新元素中的坐标。

本发明利用绝对坐标可减少相对坐标适配屏幕时所用到的界面元素。

利用本发明的开发引擎，可以开发各种网页，以及基于网页的app和游戏等。开发人员确定各个界面信息对应的对象即可，针对对象调整各种参数(对象的大小和位置等)。开发过程简便，且可支持读屏软件。

下面将结合图4和图5进一步说明本发明的技术方案：

图4中养花的小游戏是用本发明的改进后的游戏引擎开发的，里面的所有元素都可以被读屏识别出来。盲人可以很轻松方便的像明眼人一样玩游戏，操作游戏里的按钮等。

读屏焦点到哪里都有会有相应的提示。如图4所示，若手指触控位置为花仙子，则将花仙子处的控件作为焦点(该焦点可通过图4中的第一个框突出显示)，并语音提示“花仙子，好感度：3星，点击可以查看详情”；

若手指触控位置为所种植的花，则将显示有花盆的花所在的控件作为焦点(该焦点可通过图4中的第二个框突出显示)，并语音提示“三叶草，5分钟后可以收获”；

若手指触控位置为没有花的空花盆，则将没有花的空花盆所在的控件作为焦点(该焦点可通过图4中的第三个框突出显示)，并语音提示“空花盆，点击可以购买种子种植”；

若手指触控位置为未解锁的花盆，则将未解锁的花盆所在的控件作为焦点(该焦点可通过图4中的四个框突出显示)，并语音提示“未解锁的花盆，可以花1000花粉购买。”

另外，本发明通过对游戏引擎进行改进，不仅可以用来开发游戏，也能用来制作普通的网页，均能很好的适配读屏软件。

如图5所示，图5中的界面中的大段文字可被分割成小段，方便盲人阅读。如图5所示的每个方框内均有一个控件，用户可从上向下滑动以依次切换读屏焦点，这样，盲人可通过滑动显示屏切换焦点，使用的读屏软件可以毫无障碍的识别网页里的元素。

如图6所示，本发明还提供一种界面信息处理装置，包括：

第一获取模块601，被配置为在展示当前界面的过程中，获取用户在当前界面上的当前触控位置的绝对坐标；

第二获取模块602，被配置为获取当前界面中绝对坐标所对应的目标dom元素的目标局部界面信息；

播报模块603，被配置为将目标局部界面信息进行播报。

在一个实施例中，第二获取模块602可以包括：

第一确定子模块，被配置为根据预先存储的各界面中的各dom元素的绝对坐标，确定当前界面中与绝对坐标对应的目标dom元素；其中，每个dom元素均对应一个ui显示对象，ui显示对象因其对应的dom元素的局部界面信息所属的信息类别而异；

第二确定子模块，被配置为确定目标dom元素对应的目标ui显示对象；

第三确定子模块，被配置为将目标ui显示对象的属性信息的值确定为目标局部界面信息，其中，目标ui显示对象的属性信息的值表征了目标ui显示对象所展示的局部界面信息和目标ui显示对象所在的界面标识。

如图7所示，在一个实施例中，装置还包括：

第一确定模块701，被配置为确定待开发界面中需显示的界面信息的信息类别；

第一创建模块702，被配置为为各类别的信息创建独立的ui显示对象；

第二创建模块703，被配置为为各独立的ui显示对象创建一个对应的dom元素；

第一配置模块704，被配置为为各dom元素配置绝对坐标，其中，各dom元素的局部界面信息为各dom元素对应的ui显示对象的各项属性信息的值。

在一个实施例中，装置还包括：

第二确定模块，被配置为将绝对坐标所对应的目标dom元素确定为当前焦点；

显示模块，被配置为将当前焦点进行突出显示。

在一个实施例中，装置还包括：

第二配置模块，被配置为基于标准显示屏，为各dom元素配置标准的绝对坐标；

第三确定模块，被配置为确定展示当前界面的显示屏的实际尺寸与标准显示屏的尺寸之间的尺寸关系；

调整模块，被配置为根据尺寸关系和绝对尺寸，调整各dom元素的绝对坐标；其中：

dom元素为单层元素；dom元素包括div元素或者canvas元素。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

最后，本发明中的界面信息处理装置适用于终端设备。例如，可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。