一种显示设备、终端设备以及图像处理方法与流程

本申请实施例涉及智能电视技术。更具体地讲，涉及一种显示设备、终端设备以及图像处理方法。

背景技术：

1、随着智能显示设备的普及，出现了可视化人机交互的需求，如健身跟练、手势控制等。但可视化人机交互的过程中，需要智能显示设备采集用户图像，并基于肢体检测算法识别用户图像中的各个人体关键点，这要求智能显示设备具备较强的算力，需要消耗较多的资源。

2、目前，主流的智能显示设备以播放视频为主，硬件配置普遍偏低，在人机交互过程中，会由于智能显示设备的算力不足导致画面延迟、卡顿，甚至死机的问题。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种显示设备，能够解决在可视化人机交互过程中，由于显示设备算力不足，在识别用户图像中各个人关键点时导致画面延迟、卡顿，甚至死机的问题。

2、第一方面，本申请实施例提供了一种显示设备，包括：通信器，被配置为：接收终端设备发送的目标数据包，目标数据包为终端设备基于目标坐标和预设分辨率生成的，目标坐标包括终端设备通过肢体检测算法确定的当前帧用户图像中各个人体关键点在预设分辨率下的坐标，当前帧用户图像为终端设备采集的；控制器，被配置为：解析目标数据包，得到目标坐标和预设分辨率；基于预设分辨率和显示设备的显示分辨率，确定目标比例；将目标坐标按照目标比例进行缩放处理，得到各个人体关键点的缩放坐标，各个人体关键点的缩放坐标均位于预设显示区域内；基于各个人体关键点的缩放坐标，绘制与当前帧用户图像对应的虚拟形象。

3、第二方面，本申请提供了一种终端设备，包括：图像采集器，被配置为：采集当前帧用户图像；控制器，被配置为：通过肢体检测算法确定当前帧用户图像中各个人体关键点在预设分辨率下的坐标，得到目标坐标；基于目标坐标和预设分辨率，生成目标数据包；通信器，被配置为：向显示设备发送目标数据包，以使显示设备基于解析目标数据包得到的目标坐标和预设分辨率，确定用于绘制与当前帧用户图像对应的虚拟形象的各个人体关键点的缩放坐标，各个人体关键点的缩放坐标为将目标坐标按照目标比例进行缩放处理得到的，各个人体关键点的缩放坐标均位于显示设备的预设显示区域内，目标比例为基于预设分辨率和显示设备的显示分辨率得到的。

4、第三方面，提供了一种图像处理方法，应用于显示设备，该方法包括：接收终端设备发送的目标数据包，目标数据包为终端设备基于目标坐标和预设分辨率生成的，目标坐标包括终端设备通过肢体检测算法确定的当前帧用户图像中各个人体关键点在预设分辨率下的坐标，当前帧用户图像为终端设备采集的；解析目标数据包，得到目标坐标和预设分辨率；基于预设分辨率和显示设备的显示分辨率，确定目标比例；将目标坐标按照目标比例进行缩放处理，得到各个人体关键点的缩放坐标，各个人体关键点的缩放坐标均位于预设显示区域内；基于各个人体关键点的缩放坐标，绘制与当前帧用户图像对应的虚拟形象。

5、第四方面，提供了一种图像处理方法，应用于终端设备，该方法包括：采集当前帧用户图像；通过肢体检测算法确定当前帧用户图像中各个人体关键点在预设分辨率下的坐标，得到目标坐标；基于目标坐标和预设分辨率，生成目标数据包；向显示设备发送目标数据包，以使显示设备基于解析目标数据包得到的目标坐标和预设分辨率，确定用于绘制与当前帧用户图像对应的虚拟形象的各个人体关键点的缩放坐标，各个人体关键点的缩放坐标为将目标坐标按照目标比例进行缩放处理得到的，各个人体关键点的缩放坐标均位于显示设备的预设显示区域内，目标比例为基于预设分辨率和显示设备的显示分辨率得到的。

6、第五方面，本申请提供了一种计算机可读存储介质，包括：计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如第三方面或者第四方面所示的图像处理方法。

7、第六方面，本申请提供了一种计算机程序产品，包括：当计算机程序产品在计算机上运行时，使得计算机实现如第三方面或者第四方面所示的图像处理方法。

8、本申请实施例提供的技术方案与现有技术相比具有如下优点：本申请实施例中，终端设备采集当前帧用户图像，通过肢体检测算法确定当前帧用户图像中各个人体关键点在预设分辨率下的坐标，得到目标坐标，基于目标坐标和预设分辨率，生成目标数据包，向显示设备发送目标数据包；显示设备接收终端设备发送的目标数据包，解析目标数据包，得到目标坐标和预设分辨率，基于预设分辨率和显示设备的显示分辨率，确定目标比例，将目标坐标按照目标比例进行缩放处理，得到各个人体关键点的缩放坐标，各个人体关键点的缩放坐标均位于预设显示区域内，基于各个人体关键点的缩放坐标，绘制与当前帧用户图像对应的虚拟形象。本方案中将对算力要求较高的各个人体关键点的识别过程交由终端设备执行，显示设备仅需解析数据包，对坐标进行缩放后绘制即可，对显示设备的算力要求较低。如此，结合了显示设备的大屏显示的优势以及终端设备算力较强的优势，使得用户可以通过显示设备的大屏与显示设备进行流畅的交互，提升了用户的人机交互体。

技术特征：

1.一种显示设备，其特征在于，所述显示设备包括：

2.根据权利要求1所述的显示设备，其特征在于，所述目标数据包还包括：显示角度：所述控制器，具体被配置为：

3.根据权利要求2所述的显示设备，其特征在于，所述控制器，具体被配置为：

4.一种终端设备，其特征在于，包括：

5.根据权利要求4所述的终端设备，其特征在于，所述控制器，还被配置为在所述通过肢体检测算法确定所述当前帧用户图像中各个人体关键点在预设分辨率下的坐标，得到目标坐标之前，基于所述终端设备的放置角度，确定所述当前帧用户图像的显示角度；

6.根据权利要求4所述的终端设备，其特征在于，所述控制器，还被配置为在所述通过肢体检测算法确定所述当前帧用户图像中各个人体关键点在预设分辨率下的坐标，得到目标坐标之前，基于所述终端设备的放置角度，确定所述当前帧用户图像的显示角度；

7.根据权利要求6所述的终端设备，其特征在于，所述控制器，具体被配置为：

8.根据权利要求5或6所述的终端设备，其特征在于，所述控制器，具体被配置为：

9.一种图像处理方法，其特征在于，应用于显示设备，所述方法包括：

10.一种图像处理方法，其特征在于，应用于终端设备，包括：

技术总结
本公开涉及一种显示设备、终端设备以及图像处理方法，应用于智能电视技术领域，该显示设备包括：通信器被配置为：接收终端设备发送的目标数据包，目标数据包为终端设备基于目标坐标和预设分辨率生成的；控制器被配置为：解析目标数据包，得到目标坐标和预设分辨率；基于预设分辨率和显示设备的显示分辨率，确定目标比例；将目标坐标按照目标比例进行缩放处理，得到各个人体关键点的缩放坐标，各个人体关键点的缩放坐标均位于预设显示区域内；基于各个人体关键点的缩放坐标，绘制与当前帧用户图像对应的虚拟形象。能够解决在可视化人机交互过程中，由于显示设备算力不足，在识别用户图像中各个人关键点时导致画面延迟、卡顿，甚至死机的问题。

技术研发人员：刘兆磊,周小萌,冯聪,杨鲁明
受保护的技术使用者：海信视像科技股份有限公司
技术研发日：
技术公布日：2024/3/5