图形用户界面的生成方法、装置及设备与流程

本申请涉及人工智能，特别涉及一种图形用户界面的生成方法、装置及设备。

背景技术：

1、前端开发过程中，一般需要前端界面绘制人员绘制用户界面(user interface，ui)原型图，然后前端开发人员将ui原型图转换成图形用户界面(graphical userinterface，gui)代码，完成对前端项目的开发。

2、但是目前前端开发中页面、模型、流程通常花费60％以上的工作量，且前端项目版本迭代快，对敏捷开发要求越来越高，需要耗费大量前端开发人员在简单的ui开发上无法适应当前的前端开发需求。

3、针对上述前端开发工作效率低、耗时耗力的问题，目前尚未提出有效解决方案。

技术实现思路

1、本申请实施方式的目的是提供一种图形用户界面的生成方法、装置及设备，以解决现有前端开发工作效率低、耗时耗力的问题。

2、为解决上述技术问题，本说明书第一方面提供了一种图形用户界面的生成方法，包括：

3、获取目标对象的用户界面绘制图；

4、对所述用户界面绘制图进行特征提取，得到所述用户界面绘制图的图像特征，并基于所述图像特征确定所述用户界面绘制图中包含的组件以及组件对应的文本；

5、基于所述图像特征以及所述组件，对所述用户界面绘制图进行语义识别，确定所述用户界面绘制图中包含的组件之间的语义特征；

6、基于所述语义特征以及所述组件，生成所述用户界面绘制图对应的领域专用语言文本；

7、基于所述领域专用语言文本以及所述组件对应的文本，生成所述目标对象的图形用户界面。

8、在一些实施例中，对所述用户界面绘制图进行特征提取，得到所述用户界面绘制图的图像特征，包括：

9、基于预先训练的图像特征提取模型中的多个图像特征提取模块，分别对所述用户界面绘制图进行多层次的图像特征提取，得到所述用户界面绘制图的多个层次对应的图像层次特征；

10、基于所述多个图像层次特征，生成所述图像特征。

11、在一些实施例中，基于所述图像特征确定所述用户界面绘制图中包含的组件以及组件对应的文本，包括：

12、在所述图像特征中筛选出与预设的组件图像特征匹配的特征数据；

13、确定任一与预设的组件图像特征匹配的特征数据对应一个组件；

14、基于各组件对应的特征数据确定各组件对应的图像区域以及各组件对应的组件类型；

15、对各组件对应的图像区域进行文本识别，确定各组件对应的文本。

16、在一些实施例中，对各组件对应的图像区域进行文本识别，确定各组件对应的文本之后，还包括：

17、基于各组件对应的文本，对所述图像特征进行去文本处理；

18、相应的，基于所述图像特征以及所述组件，对所述用户界面绘制图进行语义识别，确定所述用户界面绘制图中包含的组件之间的语义特征，包括：

19、基于去文本处理后的图像特征以及所述组件，对所述用户界面绘制图进行语义识别，确定所述用户界面绘制图中包含的组件之间的语义特征。

20、在一些实施例中，基于所述图像特征以及所述组件，对所述用户界面绘制图进行语义识别，确定所述用户界面绘制图中包含的组件之间的语义特征，包括：

21、基于预先训练的语义特征提取模型，对所述图像特征中的各组件的语义特征进行提取，得到所述用户界面绘制图中的组件文本特征；

22、所述语义特征提取模型对所述图像特征中各组件之间的位置关系进行提取，得到所述用户界面绘制图中的组件位置特征；

23、所述语义特征提取模型基于所述组件文本特征以及组件位置特征，得到所述语义特征。

24、在一些实施例中，基于所述语义特征以及所述组件，生成所述用户界面绘制图对应的领域专用语言文本，包括：

25、对各组件的组件类型以及语义特征进行融合处理，并基于融合处理结果以及所述目标对象对应的领域专用语言，生成所述领域专用语言文本。

26、在一些实施例中，基于所述领域专用语言文本以及所述组件对应的文本，生成所述目标对象的图形用户界面，包括：

27、基于各组件对应的文本，对所述领域专用语言文本中的各组件对应的部分文本进行调整，并基于调整后的领域专用语言文本生成所述图形用户界面。

28、本说明书第三方面提供一种图形用户界面的生成装置，包括：

29、图像获取模块，用于获取目标对象的用户界面绘制图；

30、图像识别模块，用于对所述用户界面绘制图进行特征提取，得到所述用户界面绘制图的图像特征，并基于所述图像特征确定所述用户界面绘制图中包含的组件以及组件对应的文本；

31、语义提取模块，用于基于所述图像特征以及所述组件，对所述用户界面绘制图进行语义识别，确定所述用户界面绘制图中包含的组件之间的语义特征；

32、文本生成模块，用于基于所述语义特征以及所述组件，生成所述用户界面绘制图对应的领域专用语言文本；

33、界面生成模块，用于基于所述领域专用语言文本以及所述组件对应的文本，生成所述目标对象的图形用户界面。

34、本说明书第三方面提供一种电子设备，包括：存储器和处理器，所述处理器和所述存储器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而实现第一方面任一项所述方法的步骤。

35、本说明书第四方面提供一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，所述计算机程序指令被处理器执行时实现第一方面任一项所述方法的步骤。

36、本说明书实施例提供的图形用户界面的生成方法，通过获取目标对象的用户界面绘制图；对用户界面绘制图进行特征提取，得到用户界面绘制图的图像特征，并基于图像特征确定用户界面绘制图中包含的组件以及组件对应的文本；基于图像特征以及组件，对述用户界面绘制图进行语义识别，确定用户界面绘制图中包含的组件之间的语义特征；基于述语义特征以及所述组件，生成用户界面绘制图对应的领域专用语言文本；基于领域专用语言文本以及组件对应的文本，生成目标对象的图形用户界面。本申请在获取到用户界面绘制图时，可以对用户界面绘制图进行图像特征以及语义特征的提取，并且可以基于提取的图像特征和语义特征生成目标对象的领域专用语言文本，并可以基于领域专用语言文本自动生成目标对象的图形用户界面，无需前端开发人员对用户界面绘制图进行分析、制作图形用户界面，提高前端开发工作效率，省时省力。

技术特征：

1.一种图形用户界面的生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对所述用户界面绘制图进行特征提取，得到所述用户界面绘制图的图像特征，包括：

3.根据权利要求1所述的方法，其特征在于，基于所述图像特征确定所述用户界面绘制图中包含的组件以及组件对应的文本，包括：

4.根据权利要求3所述的方法，其特征在于，对各组件对应的图像区域进行文本识别，确定各组件对应的文本之后，还包括：

5.根据权利要求1所述的方法，其特征在于，基于所述图像特征以及所述组件，对所述用户界面绘制图进行语义识别，确定所述用户界面绘制图中包含的组件之间的语义特征，包括：

6.根据权利要求1所述的方法，其特征在于，基于所述语义特征以及所述组件，生成所述用户界面绘制图对应的领域专用语言文本，包括：

7.根据权利要求1所述的方法，其特征在于，基于所述领域专用语言文本以及所述组件对应的文本，生成所述目标对象的图形用户界面，包括：

8.一种图形用户界面的生成装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序指令，所述计算机程序指令被处理器执行时实现权利要求1至7任一项所述方法的步骤。

技术总结
本申请公开了一种图形用户界面的生成方法、装置及设备，涉及人工智能技术领域，其中的方法包括：获取目标对象的用户界面绘制图；对用户界面绘制图进行特征提取，得到用户界面绘制图的图像特征，并基于图像特征确定用户界面绘制图中包含的组件以及组件对应的文本；基于图像特征以及组件，对述用户界面绘制图进行语义识别，确定用户界面绘制图中包含的组件之间的语义特征；基于述语义特征以及所述组件，生成用户界面绘制图对应的领域专用语言文本；基于领域专用语言文本以及组件对应的文本，生成目标对象的图形用户界面。本申请可以自动完成对用户界面绘制图的分析、图形用户界面的绘制，可以提高前端开发工作效率，省时省力。

技术研发人员：刘家奇
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/3/17