终端业务处理的方法及装置与流程

本说明书一个或多个实施例涉及计算机，尤其涉及终端业务处理的方法及装置。

背景技术：

1、随着终端技术的发展，人类的生活越来越离不开各种终端应用。用户和终端的交互方式也逐步改进。以手机终端为例，从非智能手机的外设操作键盘交互，到智能手机的触屏图文交互，以及近年出现的语音交互，逐步提高了手机终端的使用效率和用户体验。为了更好地提高用户体验，很多应用还提供千人千面的个性化页面展示，以及多种信息输入方式，如字符、语音、肢体动作等。

2、然而，在通过智能终端进行业务处理(比如交水电煤生活费用或排队挂号等)时，千人千面的个性化页面展示、冗长的用户操作动线，对于老人、视障等人群而言，过多的人机交互，在提高用户体验的技术问题上依然具有改进的空间。

技术实现思路

1、本说明书一个或多个实施例描述了一种终端业务处理的方法及装置，用以解决背景技术提到的一个或多个问题。

2、根据第一方面，提供一种终端业务处理的方法，包括：获取用户通过预定方式输入的业务描述信息；基于预先训练的语言大模型对所述业务描述信息的识别结果，依次在相关应用的各个页面上进行相应操作，直至得到业务处理结果，其中，针对单个页面，通过语言大模型处理所述单个页面中的页面信息，得到相应的操作指令，从而根据相应的操作指令在所述单个页面上进行完成相应操作；向用户反馈业务处理结果。

3、在一个实施例中，所述语言大模型处理的页面信息为页面截图，所述单个页面包括图片、文字、视频、音频中的至少一种信息。

4、在一个实施例中，所述语言大模型经由页面信息作为输入数据、用户操作指令作为标签数据的多个样本进行训练，所述用户操作指令由预先定义的终端自定义领域语言中的操作指令语法确定。

5、在一个实施例中，所述操作指令包括以下中的至少一种：操作类型、操作位置坐标、操作控件指示信息。

6、在一个实施例中，所述预定方式为语音方式。

7、在一个实施例中，所述通过语言大模型处理所述单个页面中的页面信息，得到相应的操作指令包括：将所述业务描述信息、当前业务中的历史页面信息、历史操作指令中的至少一种，与所述单个页面的页面信息一起输入所述语言大模型；根据语言大模型的输出数据确定相应的操作指令。

8、在一个实施例中，所述业务处理结果通过以下方式确定：通过语言大模型处理所述单个页面中的页面信息，在当前页面为页面处理结果页面的情况下，得到输出所述业务处理结果的操作指令；所述向用户反馈所述业务处理结果包括：根据所述输出所述业务处理结果的操作指令，通过执行引擎驱动终端输出所述业务处理结果。

9、在一个实施例中，在通过语言大模型处理所述单个页面中的页面信息，得到多个操作指令的情况下，所述根据相应的操作指令在所述单个页面上进行相应操作包括：基于用户对所述多个操作指令的选择，确定目标指令；在所述单个页面上进行与所述目标指令相应的操作。

10、在一个实施例中，所述根据相应的操作指令在所述单个页面上进行相应操作包括：根据相应的操作指令调用终端执行函数，完成相应操作。

11、根据第二方面，提供一种终端业务处理的装置，包括：

12、获取单元，配置为获取用户通过预定方式输入的业务描述信息；

13、处理单元，配置为基于预先训练的语言大模型对所述业务描述信息的识别结果，依次在相关应用的各个页面上进行相应操作，直至得到业务处理结果，其中，针对单个页面，通过语言大模型处理所述单个页面中的页面信息，得到相应的操作指令，从而根据相应的操作指令在所述单个页面上进行完成相应操作；

14、反馈单元，配置为向用户反馈所述业务处理结果。

15、根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。

16、根据第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。

17、通过本说明书实施例提供的方法及装置，在终端业务处理的过程中，可以尽可能减少人工干预，自动进行页面操作，实现自动化的操作流程，完成业务处理。其中，针对单个页面，通过语言大模型识别其中的多模态页面信息，从而得到其中最可能的操作指令。然后，根据操作指令自动在页面上完成相应操作，直至完成当前业务的处理。该页面操作过程由大模型对页面信息进行模仿人脑的思考以及操作决策，提高用户体验，并针对各种终端应用具有较强的泛化和扩展性。

技术特征：

1.一种终端业务处理的方法，包括：

2.如权利要求1所述的方法，其中，所述语言大模型处理的页面信息为页面截图，所述单个页面包括图片、文字、视频、音频中的至少一种信息。

3.如权利要求1所述的方法，其中，所述语言大模型经由页面信息作为输入数据、用户操作指令作为标签数据的多个样本进行训练，所述用户操作指令由预先定义的终端自定义领域语言中的操作指令语法确定。

4.如权利要求1所述的方法，其中，所述操作指令包括以下中的至少一种：操作类型、操作位置坐标、操作控件指示信息。

5.如权利要求1所述的方法，其中，所述预定方式为语音方式。

6.如权利要求1所述的方法，其中，所述通过语言大模型处理所述单个页面中的页面信息，得到相应的操作指令包括：

7.如权利要求1所述的方法，其中，所述业务处理结果通过以下方式确定：

8.如权利要求1所述的方法，其中，在通过语言大模型处理所述单个页面中的页面信息得到多个操作指令的情况下，所述根据相应的操作指令在所述单个页面上进行相应操作包括：

9.如权利要求1所述的方法，其中，所述根据相应的操作指令在所述单个页面上进行相应操作包括：

10.一种终端业务处理的装置，包括：

11.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9中任一项所述的方法。

12.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述的方法。

技术总结
本说明书实施例提供一种终端业务处理的方法及装置，在终端业务处理的过程中，可以尽可能减少人工干预，自动进行页面操作，完成业务处理。其中，针对单个页面，通过语言大模型针对页面截图识别其中的页面信息，从而得到其中最可能的操作信息。然后，根据操作指令自动在页面上完成相应操作，直至得到当前业务的处理结果。该方案可以提高用户体验。

技术研发人员：常兴
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：
技术公布日：2024/3/27