交互方法、装置、电子设备和存储介质与流程

本申请涉及计算机，具体涉及计算机视觉领域，尤其涉及一种交互方法、装置、电子设备和存储介质。

背景技术：

1、近年来，基于计算机视觉的手势识别技术发展迅速。这种技术不需要借助可穿戴设备和外部传感器，只需要通过摄像头等视频捕捉设备，再利用机器学习和深度学习等技术，即可实现对人体手势的识别。手势识别技术又可以分为静态手势识别和动态手势识别(包括二维动态手势识别和三维动态手势识别)，其中静态手势识别和二维动态手势识别因为只需要二维摄像系统即可实现，获得了广泛的应用。

2、目前，视频会议成为了人们工作和生活中不可或缺少的一种交互方式。人们在视频会议时可能有画符号、图形等特殊文本的演示需求，现有的视频会议交互方式难以高效直接地传递这种信息。

技术实现思路

1、本公开的实施例提供了一种交互方法、装置、电子设备和存储介质。

2、第一方面，本公开的实施例提供了一种交互方法，包括：响应于接收到的触发指令，生成画布；实时获取第一对象的手部图像，确定交互手势；获取第一对象的手部的关键点在画布中的位置；根据交互手势以及位置，对画布进行修改；向第二对象展示修改的画布。

3、第二方面，本公开的实施例提供了一种交互装置，包括：画布生成单元，被配置成响应于接收到的触发指令，生成画布；手势确定单元，被配置成实时获取第一对象的手部图像，确定交互手势；位置获取单元，被配置成获取第一对象的手部的目标关键点在画布中的位置；画布修改单元，被配置成根据交互手势以及位置，对画布进行修改；画布展示单元，被配置成向第二对象展示修改的画布。

4、第三方面，本公开的实施例提供了一种电子设备，包括存储器、处理器、总线及存储在存储器上并可在处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如第一方面所描述的交互方法。

5、第四方面，本公开的实施例提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所描述的交互方法。

6、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种交互方法，包括：

2.根据权利要求1所述的方法，其中，所述实时获取第一对象的手部图像，所述确定交互手势，包括：

3.根据权利要求1所述的方法，其中，所述画布包括：可视区、缓存区、功能区，其中，所述可视区位于初始画布的中心，所述缓存区位于所述可视区的外部，所述功能区位于所述可视区的一侧。

4.根据权利要求1所述的方法，其中，所述获取所述第一对象的手部的关键点在所述画布中的位置，包括：

5.根据权利要求1所述的方法，其中，所述根据所述交互手势以及所述位置，对所述画布进行修改，包括：

6.根据权利要求5所述的方法，其中，所述根据所述交互模式以及所述位置，确定展示素材，包括：

7.根据权利要求6所述的方法，其中，所述对所述初始轨迹进行调整，包括以下至少一项：

8.根据权利要求5所述的方法，其中，当所述交互模式为识别模式时，对所述目标轨迹进行文本识别，将得到的文本识别结果作为展示素材；以及

9.一种交互装置，包括：

10.一种电子设备，包括存储器、处理器、总线及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的交互方法。

11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一项所述的交互方法。

技术总结
本公开涉及一种交互方法、装置、电子设备和存储介质，涉及计算机视觉、深度学习技术领域。其中的方法包括：响应于接收到的触发指令，生成画布；实时获取第一对象的手部图像，确定交互手势；获取第一对象的手部的关键点在画布中的位置；根据交互手势以及位置，对画布进行修改；向第二对象展示修改的画布。应用本公开可以允许用户在视频会话过程中通过画布展示特殊文本，提高了交互效率。

技术研发人员：林澜波,洪德祥,曹立,杨佳霖,邵杰
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/1/12