一种跟练模式控制方法及显示设备与流程

[0001]
本发明涉及显示设备技术领域，尤其涉及一种跟练模式控制方法及显示设备。


背景技术：

[0002]
在ai健身/练舞功等跟练场景中，用户可以参照显示设备播放的训练项目视频，调整自身肢体姿态，去摆出与视频中每个标准动作匹配或相似的跟练动作，同时摄像头采集用户图像，以使显示设备将标准动作与对应的跟练动作进行比对，从而为用户提供动作标准化的提示信息以及给出最终的训练得分等内容，实现了用户足不出户训练。
[0003]
发明人在应用和研究过程中发现，受用户反映速度和摄像头延时等因素影响，会导致显示设备给出的训练得分比用户实际动作得分低，用户使用体验差，不利于提升用户跟练和训练的积极性。


技术实现要素：

[0004]
为解决上述背景技术中存在的问题，本发明提供一种跟练模式控制方法及显示设备。
[0005]
第一方面提供的显示设备，包括：
[0006]
显示器，用于在跟练界面的第一窗口中显示训练项目视频，以及在第二窗口中显示由图像采集器采集并发送的视频码流中的本地图像；
[0007]
控制器，被配置为执行：
[0008]
响应于接收到启动训练项目视频的操作，控制显示器在跟练界面的第一窗口中显示训练项目视频，以及在第二窗口中显示所述本地图像；
[0009]
响应于所述训练项目视频播放至关键帧，从所述视频码流中周期性地获取对应于关键帧的跟练图像，并将所述跟练图像中的跟练动作与所述关键帧中的标准动作进行比对，分别得到各跟练图像中所述跟练动作的训练得分；
[0010]
根据各跟练图像中跟练动作的训练得分的最大值，计算所述标准动作与所述跟练动作的动作匹配度；
[0011]
根据所述动作匹配度，控制显示器在所述第二窗口中显示动作匹配提示信息。
[0012]
第二方面提供的跟练模式控制方法，包括：
[0013]
响应于接收到启动训练项目视频的操作，在跟练界面的第一窗口中显示训练项目视频，以及在第二窗口中显示由图像采集器采集并发送的视频码流中的本地图像；
[0014]
响应于所述训练项目视频播放至关键帧，从所述视频码流中周期性地获取对应于关键帧的跟练图像，并将所述跟练图像中的跟练动作与所述关键帧中的标准动作进行比对，分别得到各跟练图像中所述跟练动作的训练得分；
[0015]
根据各跟练图像中跟练动作的训练得分的最大值，计算所述标准动作与所述跟练动作的动作匹配度；
[0016]
根据所述动作匹配度，控制显示器在所述第二窗口中显示动作匹配提示信息。
[0017]
用户在健身/练舞功等训练应用中，选择想要跟练的训练项目视频，然后选取跟练模式后，即可边观看训练项目视频，边调整自身肢体姿态进行ai训练，训练项目视频进行关键帧打点，每个关键帧中都包含一个标准动作的肢体信息，当播放到关键帧时，用户随之摆出与关键帧中的标准动作对应的跟练动作，但由于用户反映速度和图像采集涉及到延时问题，可能导致采集到的图像与关键帧中的动作匹配度低，从而导致训练得分低。
[0018]
对此，本发明提供的跟练模式控制方案中，当播放到关键帧时，可以每间隔预设周期，周期性地从图像采集器采集的视频码流中获取跟练图像，并将跟练图像与关键帧进行比对，给出每个跟练图像中跟练动作的训练得分，然后从获取到的多帧跟练图像中，筛选出训练得分最高的分数并根据最高得分计算标准动作与跟练动作之间的动作匹配度。本申请能够提高用户训练得分的匹配度，提升用户体验，并且依据本申请方案计算出的动作匹配度，使得跟练界面第二窗口上显示的动作匹配提示信息更加准确可靠，动作匹配提示信息比如包括准确率、与动作匹配度对应的鼓励语和动作标准化提示信息等，从而为用户提供更好的跟练体验。
附图说明
[0019]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要访问的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]
图1中示例性示出了显示设备200与控制装置100之间操作场景的示意图；
[0021]
图2中示例性示出了图1中显示设备200的硬件配置框图；
[0022]
图3中示例性示出了图1中控制装置100的硬件配置框图；
[0023]
图4中示例性示出了图1中显示设备200中软件配置示意图；
[0024]
图5中示例性示出了显示设备200中应用程序的图标控件界面显示示意图；
[0025]
图6中示例性示出了健身应用的主页界面示意图；
[0026]
图7中示例性示出了训练项目列表界面的示意图；
[0027]
图8中示例性示出了训练模式选择界面的示意图；
[0028]
图9中示例性示出了人像识别界面的示意图；
[0029]
图10中示例性示出了跟练界面的示意图；
[0030]
图11中示例性示出了训练报告界面的示意图；
[0031]
图12中示例性示出了图像采集器前无人时的跟练界面示意图；
[0032]
图13中示例性示出了图像采集器不可用时的跟练界面示意图；
[0033]
图14中示例性示出了另一种跟练界面的示意图；
[0034]
图15中示例性示出了点击“摄像头设置”进入人像识别界面后，用户点击“返回”时的显示界面；
[0035]
图16中示例性示出了一种跟练模式控制方法的流程图。
具体实施方式
[0036]
为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例
中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
[0037]
基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
[0038]
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
[0039]
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(unless otherwise indicated)。应该理解这样访问的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
[0040]
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
[0041]
本申请中访问的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
[0042]
本申请中访问的术语“遥控器”，是指电子设备(如本申请中公开的显示设备)的一个组件，通常可在较短的距离范围内无线控制电子设备。一般访问红外线和/或射频(rf)信号和/或蓝牙与电子设备连接，也可以包括wifi、无线usb、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
[0043]
本申请中访问的术语“手势”，是指用户通过一种手型的变化或手部运动等动作，用于表达预期想法、动作、目的/或结果的用户行为。
[0044]
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1中示出，用户可通过移动终端300和控制装置100操作显示设备200。
[0045]
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线方式或其他有线方式来控制显示设备200。其中，无线方式可以是直连或非直连，可以经过路由，或者也可不经过路由。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。
[0046]
在一些实施例中，也可以访问移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。例如，访问在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上，在直观的用户界面(ui)中为用户提供各种控制。
[0047]
在一些实施例中，移动终端300可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。如：可以实现用移动终端300
与显示设备200建立控制指令协议，将遥控控制键盘同步到移动终端300上，通过控制移动终端300上用户界面，实现控制显示设备200的功能。也可以将移动终端300上显示音视频内容传输到显示设备200上，实现同步显示功能。
[0048]
如图1中还示出，显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的，显示设备200通过发送和接收信息，以及电子节目指南(epg)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。
[0049]
显示设备200，可以液晶显示器、oled显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上一些改变。
[0050]
显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视(iptv)等。
[0051]
图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。
[0052]
在一些实施例中，显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、输入/输出接口255、显示器275，音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。
[0053]
在一些实施例中，显示器275，用于接收源自第一处理器输出的图像信号，进行显示视频内容和图像以及菜单操控界面的组件。
[0054]
在一些实施例中，显示器275，包括用于呈现画面的显示器组件，以及驱动图像显示的驱动组件。
[0055]
在一些实施例中，显示视频内容，可以来自广播电视内容，也可以是说，可通过有线或无线通信协议接收的各种广播信号。或者，可显示来自网络通信协议接收来自网络服务器端发送的各种图像内容。
[0056]
在一些实施例中，显示器275用于呈现显示设备200中产生且用于控制显示设备200的用户操控ui界面。
[0057]
在一些实施例中，根据显示器275类型不同，还包括用于驱动显示的驱动组件。
[0058]
在一些实施例中，显示器275为一种投影显示器，还可以包括一种投影装置和投影屏幕。
[0059]
在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器可以包括wifi模块221，蓝牙模块222，有线以太网模块223等其他网络通信协议模块或近场通信协议模块，以及红外接收器中的至少一种，从而通信器220可根据控制器250的控制，接收控制装置100的控制信号，并将控制信号实现为wifi信号、蓝牙信号、射频信号等信号类型。
[0060]
在一些实施例中，显示设备200可以通过通信器220与外部控制装置100或内容提供设备之间建立控制信号和数据信号发送和接收。
[0061]
在一些实施例中，用户接口265，可用于接收控制装置100(如：红外遥控器等)红外控制信号。
[0062]
在一些实施例中，检测器230是显示设备200用于采集外部环境或与外部交互的信号。
[0063]
在一些实施例中，检测器230包括光接收器，用于采集环境光线强度的传感器，可以通过采集环境光可以自适应性显示参数变化等。
[0064]
在一些实施例中，检测器230还可以包括图像采集器，如相机、摄像头等，可以用于采集外部环境场景，以及用于采集用户的属性或与用户交互手势，可以自适应变化显示参数，也可以识别用户手势，以实现与用户之间互动的功能。
[0065]
在一些实施例中，检测器230还可以包括温度传感器等，如通过感测环境温度。
[0066]
在一些实施例中，显示设备200可自适应调整图像的显示色温。如当温度偏高的环境时，可调整显示设备200显示图像色温偏冷色调，或当温度偏低的环境时，可以调整显示设备200显示图像偏暖色调。
[0067]
在一些实施例中，检测器230还可声音采集器等，如麦克风，可以用于接收用户的声音。示例性的，包括用户控制显示设备200的控制指令的语音信号，或采集环境声音，用于识别环境场景类型，使得显示设备200可以自适应适应环境噪声。
[0068]
在一些实施例中，如图2所示，输入/输出接口255被配置为，可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。
[0069]
在一些实施例中，外部装置接口240可以包括，但不限于如下：可以高清多媒体接口hdmi接口、模拟或数据高清分量输入接口、复合视频输入接口、usb输入接口、rgb端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。
[0070]
在一些实施例中，如图2所示，调谐解调器210被配置为，通过有线或无线接收方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，从多多个无线或有线广播电视信号中解调出音视频信号，该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号，以及epg数据信号。
[0071]
在一些实施例中，调谐解调器210解调的频点受到控制器250的控制，控制器250可根据用户选择发出控制信号，以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。
[0072]
在一些实施例中，广播电视信号可根据电视信号广播制式不同区分为地面广播信号、有线广播信号、卫星广播信号或互联网广播信号等。或者根据调制类型不同可以区分为数字调制信号，模拟调制信号等。或者根据信号种类不同区分为数字信号、模拟信号等。
[0073]
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。这样，机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备，主体设备经过第一输入/输出接口接收音视频信号。
[0074]
在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器275上显示ui对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
[0075]
在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接或图标。与
所选择的对象有关操作，例如：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。用于选择ui对象用户命令，可以是通过连接到显示设备200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
[0076]
如图2所示，控制器250包括随机存取存储器251(random access memory，ram)、只读存储器252(read-only memory，rom)、视频处理器270、音频处理器280、其他处理器253(例如：图形处理器(graphics processing unit，gpu)、中央处理器254(central processing unit，cpu)、通信接口(communication interface)，以及通信总线256(bus)中的至少一种。其中，通信总线连接各个部件。
[0077]
在一些实施例中，ram 251用于存储操作系统或其他正在运行中的程序的临时数据。
[0078]
在一些实施例中，rom 252用于存储各种系统启动的指令。
[0079]
在一些实施例中，rom 252用于存储一个基本输入输出系统，称为基本输入输出系统(basic input output system，bios)。用于完成对系统的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统。
[0080]
在一些实施例中，在收到开机信号时，显示设备200电源开始启动，cpu运行rom 252中系统启动指令，将存储在存储器的操作系统的临时数据拷贝至ram 251中，以便于启动或运行操作系统。当操作系统启动完成后，cpu再将存储器中各种应用程序的临时数据拷贝至ram 251中,然后，以便于启动或运行各种应用程序。
[0081]
在一些实施例中，处理器254，用于执行存储在存储器中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。
[0082]
在一些示例性实施例中，处理器254，可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。一个或多个子处理器，用于在待机模式等状态下一种操作。
[0083]
在一些实施例中，图形处理器253，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
[0084]
在一些实施例中，视频处理器270被配置为将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理，可得到直接可显示设备200上显示或播放的信号。
[0085]
在一些实施例中，视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
[0086]
其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入mpeg-2,则解复用模块进行解复用成视频信号和音频信号等。
[0087]
视频解码模块，则用于对解复用后的视频信号进行处理，包括解码和缩放处理等。
[0088]
图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的
gui信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。
[0089]
帧率转换模块，用于对转换输入视频帧率，如将60hz帧率转换为120hz帧率或240hz帧率，通常的格式采用如插帧方式实现。
[0090]
显示格式化模块，则用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出rgb数据信号。
[0091]
在一些实施例中，图形处理器253可以和视频处理器可以集成设置，也可以分开设置，集成设置的时候可以执行输出给显示器的图形信号的处理，分离设置的时候可以分别执行不同的功能，例如gpu+frc(frame rate conversion))架构。
[0092]
在一些实施例中，音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。
[0093]
在一些实施例中，视频处理器270可以包括一颗或多颗芯片组成。音频处理器，也可以包括一颗或多颗芯片组成。
[0094]
在一些实施例中，视频处理器270和音频处理器280，可以单独的芯片，也可以于控制器一起集成在一颗或多颗芯片中。
[0095]
在一些实施例中，音频输出，在控制器250的控制下接收音频处理器280输出的声音信号，如：扬声器286，以及除了显示设备200自身携带的扬声器之外，可以输出至外接设备的发生装置的外接音响输出端子，如：外接音响接口或耳机接口等，还可以包括通信接口中的近距离通信模块，例如：用于进行蓝牙扬声器声音输出的蓝牙模块。
[0096]
供电电源290，在控制器250控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部电源，在显示设备200中提供外接电源的电源接口。
[0097]
用户接口265，用于接收用户的输入信号，然后，将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号，可以通过网络通信模块接收各种用户控制信号。
[0098]
在一些实施例中，用户通过控制装置100或移动终端300输入用户命令，用户输入接口则根据用户的输入，显示设备200则通过控制器250响应用户的输入。
[0099]
在一些实施例中，用户可在显示器275上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
[0100]
在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示器中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素。
[0101]
存储器260，包括存储用于驱动显示设备200的各种软件模块。如：第一存储器中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各
种服务模块等中的至少一种。
[0102]
基础模块用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。
[0103]
例如，语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块用于控制显示器进行显示图像内容的模块，可以用于播放多媒体图像内容和ui界面等信息。通信模块，用于与外部设备之间进行控制和数据通信的模块。浏览器模块，用于执行浏览服务器之间数据通信的模块。服务模块，用于提供各种服务以及各类应用程序在内的模块。同时，存储器260还用存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
[0104]
图3示例性示出了根据示例性实施例中控制装置100的配置框图。如图3所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口、存储器、供电电源。
[0105]
控制装置100被配置为控制显示设备200，以及可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起到用户与显示设备200之间交互中介作用。如：用户通过操作控制装置100上频道加减键，显示设备200响应频道加减的操作。
[0106]
在一些实施例中，控制装置100可是一种智能设备。如：控制装置100可根据用户需求安装控制显示设备200的各种应用。
[0107]
在一些实施例中，如图1所示，移动终端300或其他智能电子设备，可在安装操控显示设备200的应用之后，可以起到控制装置100类似功能。如：用户可以通过安装应用，在移动终端300或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮，以实现控制装置100实体按键的功能。
[0108]
控制器110包括处理器112和ram 113和rom 114、通信接口130以及通信总线。控制器用于控制控制装置100的运行和操作，以及内部各部件之间通信协作以及外部和内部的数据处理功能。
[0109]
通信接口130在控制器110的控制下，实现与显示设备200之间控制信号和数据信号的通信。如：将接收到的用户输入信号发送至显示设备200上。通信接口130可包括wifi芯片131、蓝牙模块132、nfc模块133等其他近场通信模块中至少之一种。
[0110]
用户输入/输出接口140，其中，输入接口包括麦克风141、触摸板142、传感器143、按键144等其他输入接口中至少一者。如：用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能，输入接口通过将接收的模拟信号转换为数字信号，以及数字信号转换为相应指令信号，发送至显示设备200。
[0111]
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中，可以红外接口，也可以是射频接口。如：红外信号接口时，需要将用户输入指令按照红外控制协议转化为红外控制信号，经红外发送模块进行发送至显示设备200。再如：射频信号接口时，需将用户输入指令转化为数字信号，然后按照射频控制信号调制协议进行调制后，由射频发送端子发送至显示设备200。
[0112]
在一些实施例中，控制装置100包括通信接口130和输入输出接口140中至少一者。控制装置100中配置通信接口130，如：wifi、蓝牙、nfc等模块，可将用户输入指令通过wifi协议、或蓝牙协议、或nfc协议编码，发送至显示设备200。
[0113]
存储器190，用于在控制器的控制下存储驱动和控制控制装置100的各种运行程序、数据和应用。存储器190，可以存储用户输入的各类控制信号指令。
[0114]
供电电源180，用于在控制器的控制下为控制装置100各元件提供运行电力支持。可以电池及相关控制电路。
[0115]
在一些实施例中，系统可以包括内核(kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并访问系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(ipc)。内核启动后，再加载shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
[0116]
参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(applications)层(简称“应用层”)，应用程序框架(application framework)层(简称“框架层”)，安卓运行时(android runtime)和系统库层(简称“系统运行库层”)，以及内核层。
[0117]
在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(window)程序、系统设置程序、时钟程序、相机应用等；也可以是第三方开发者所开发的应用程序，比如嗨见程序、k歌程序、魔镜程序等。在具体实施时，应用程序层中的应用程序包不限于以上举例，实际还可以包括其它应用程序包，本申请实施例对此不做限制。
[0118]
框架层为应用程序层的应用程序提供应用编程接口(aplication pogramming iterface，api)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过api接口，可在执行中访问系统中的资源和取得系统的服务。
[0119]
如图4所示，本申请实施例中应用程序框架层包括管理器(managers)、内容提供者(content provider)和视图系统(view system)等，其中管理器包括以下模块中的至少一个：活动管理器(activity manager)用与和系统中正在运行的所有活动进行交互；位置管理器(location manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(package manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(notification manager)用于控制通知消息的显示和清除；窗口管理器(window manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
[0120]
在一些实施例中，活动管理器用于：管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出(包括将显示窗口中当前显示的用户界面切换到系统桌面)、打开、后退(包括将显示窗口中当前显示的用户界面切换到当前显示的用户界面的上一级用户界面)等。
[0121]
在一些实施例中，窗口管理器用于管理所有的窗口程序，比如获取显示器大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
[0122]
在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被访问时，安卓操作系统会运行系统运行库层中包含的c/c++库以实现框架层要实现的功能。
[0123]
在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、wifi驱动、usb驱动、
hdmi驱动、传感器驱动(如指纹传感器，温度传感器，触摸传感器、压力传感器等)等。
[0124]
在一些实施例中，内核层还包括用于进行电源管理的电源驱动模块。
[0125]
在一些实施例中，图4中的软件架构对应的软件程序和/或模块存储在图2或图3所示的第一存储器或第二存储器中。
[0126]
在一些实施例中，以魔镜应用(拍照应用)为例，当遥控接收装置接收到遥控器输入操作，相应的硬件中断被发给内核层。内核层将输入操作加工成原始输入事件(包括输入操作的值，输入操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，根据焦点当前的位置识别该输入事件所对应的控件以及以该输入操作是确认操作，该确认操作所对应的控件为魔镜应用图标的控件，魔镜应用调用应用框架层的接口，启动魔镜应用，进而通过调用内核层启动摄像头驱动，实现通过摄像头捕获静态图像或视频。
[0127]
在一些实施例中，对于具备触控功能的显示设备，以分屏操作为例，显示设备接收用户作用于显示器上的输入操作(如分屏操作)，内核层可以根据输入操作产生相应的输入事件，并向应用程序框架层上报该事件。由应用程序框架层的活动管理器设置与该输入操作对应的窗口模式(如多窗口模式)以及窗口位置和大小等。应用程序框架层的窗口管理根据活动管理器的设置绘制窗口，然后将绘制的窗口数据发送给内核层的显示驱动，由显示驱动在显示器的不同显示区域显示与之对应的应用界面。
[0128]
在一些实施例中，如图5中所示，应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件，如：直播电视应用程序图标控件、视频点播(video on demand，vod)应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。
[0129]
在一些实施例中，直播电视应用程序，可以通过不同的信号源提供直播电视。例如，直播电视应用程可以访问来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及，直播电视应用程序可在显示设备200上显示直播电视信号的视频。
[0130]
在一些实施例中，视频点播应用程序，可以提供来自不同存储源的视频。不同于直播电视应用程序，视频点播提供来自某些存储源的视频显示。例如，视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
[0131]
在一些实施例中，媒体中心应用程序，可以提供各种多媒体内容播放的应用程序。例如，媒体中心，可以为不同于直播电视或视频点播，用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
[0132]
在一些实施例中，应用程序中心，可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序，或某些和计算机系统或其他设备相关但可以在智能电视中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序，将它们储存在本地储存器中，然后在显示设备200上可运行。
[0133]
以上实施例介绍了显示设备的硬件/软件架构以及功能实现等内容。在一些实施例中，图像采集器232可以是显示设备出厂配置好的硬件；显示设备也可以出厂不配置有图像采集器232，而是由用户额外购取图像采集器232，并将图像采集器232与显示设备进行安装和连接。
[0134]
在一些应用场景中，显示设备中可以安装有健身应用，在图6健身应用的主页界面示例中，为用户提供丰富的训练项目，包括但不限于健身操、瑜伽、亲子运动、儿童舞蹈、广场舞、太极拳等，用户可以根据个人训练喜好选取相应的训练项目，实现了多样化训练。用户可以在健身应用中注册并登录账号，健身应用会记录该账号下用户最近的训练数据，比如图6中界面的左侧区域显示账号对应的用户名为luckin，并显示luckin的用户头像，下面展示的训练数据可以包括能量消耗、训练时长、训练天数等，方便用户了解自身最近的训练动态。
[0135]
在一些实施例中，用户选择其中一项训练项目后，即可进一步选取想要跟练的训练项目视频，比如用户点选“健身操”，并从“健身操”的下级项目中选取了hiit(high-intensity interval training，高强度间歇性训练)，则可以进入如图7所示的训练项目列表界面。图7的示例中，各个训练项目视频以缩略图的形式按行展示，用户可以点击遥控器的左键或右键，切换焦点，以定位到感兴趣的视频，每个训练项目下可以包括很多集的视频片段，比如图7中hiit训练项目中包括1～48集视频片段，每行最多展示12集，则可以划分为1-12集、13-24集、25-36集和37-48集，根据所要跟练的集数选取所属的片段区间即可。
[0136]
在一些实施例中，当某个训练项目视频获取焦点时，可以在训练项目列表界面的上方显示该视频的相关信息。比如图7中，第1集的肱二头肌初级训练获取焦点，则上方左半部显示缩略图的放大图，上方右半部显示相关信息：包括训练项目信息，比如主题(零基础新手进阶计划)，理论热量消耗(947千卡)、训练部位(全身)、难度级别(入门)、训练强度等级(初级)；还可包括获取焦点的视频片段的信息，比如视频片段总时长(20分钟)、章节数量(共10节)、已跟练人数(1845人已练习)，还可包括vip信息、限免信息(限免至2020年09月26日)等；还可包括训练项目的简介，比如图7中向用户展示了hiit的常识性信息。
[0137]
在一些实施例中，图7界面中还包括供用户选择操作的相关操作控件，比如“开始训练”、“开通健身vip”、“点赞”、“收藏”和“分享”等。其中，“开始训练”是用于启动播放被用户选中/获取焦点的训练项目视频的操作控件；对于健身类的应用程序，通常设置有vip权限，例如图7中第1集为限免，在限免日期内可以免费观看，但是第2～48集则需要具有vip权限的用户才能观看和跟练，用户可点击“开通健身vip”，来成为vip从而获取权限；用户还可以对训练项目视频进行点赞、收藏和分享等常规操作。
[0138]
在一些实施例中，当用户选择好想要观看的训练项目视频后，点击“开始训练”，即可跳转到如图8所示的训练模式选择界面。健身类应用中的模式包括跟练模式、普通模式和观影模式。跟练模式中一般具有关键帧打点，并且需要采集本地用户的跟练图像，播放到关键帧时，用户需要参照关键帧中的标准动作，调整自身肢体姿态，从而摆出对应的跟练动作，应用会根据标准动作与跟练动作的匹配度进行评分，以及记录训练时长、热量消耗等训练数据，达到跟随标准动作来训练的目的。普通模式就是仅播放训练项目视频给用户观看，不支持关键帧打点、动作匹配得分，训练数据记录等跟练功能，也无需采集跟练图像。观影模式是在显示界面中显示两个独立的窗口，一个窗口播放训练项目视频(不支持跟练功能，也无需采集跟练图像)，另一个窗口播放其他视频资源/应用程序，使得用户能够在观看其他视频资源/应用程序的同时，根据训练项目视频自由训练。在实际应用中，训练模式不限于本实施例所述，并且各个训练模式之间可以根据用户意愿自由切换。
[0139]
在一些实施例中，健身类应用也可不显示如图8示例的训练模式选择界面，即应用
默认或优先进入跟练模式，并支持在跟练界面中切换到其他训练模式；或者训练模式可以只具有跟练模式，而不支持其他训练模式。训练模式的设置不限于本实施例所述。
[0140]
用户打开健身类应用程序后，如果账号已登录，并且具有观看vip训练项目视频的权限时，则确定图像采集器232是否可用。图像采集器232不可用包括三种情形：第一种是图像采集器232的物理开关处于关闭状态，则需要提示用户开启图像采集器232，提示方式可以是语音提示，或者在显示器上以文字提示；第二种是图像采集器232当前被占用，比如图像采集器232正在被视频通话应用占用，导致健身应用无法调用，则可以提示用户图像采集器232被占用的信息，则用户可以选择解除占用，比如退出视频通话应用，或者后续选择训练模式时，选择普通模式或观影模式；第三种是显示设备未配置图像采集器232，则提示用户无图像采集器232的信息，则用户可以选择普通模式或观影模式进行自由训练，或者重新配置并验证摄像头，以解决无法在跟练模式下训练的问题。
[0141]
如果图像采集器232可用，并且用户选择跟练模式，则默认加载到人像识别界面。如果人像识别界面中没有人，如图9所示，人像识别界面中会显示一个虚拟人体图像，虚拟人体脚下具有一个光圈区域，该光圈区域是图像采集器232的有效识别区域，图像采集器232可以设置如云台等调节装置，用于调节镜头的拍摄位置和角度，镜头移动时光圈随之移动，最终使光圈区域调至对应于屏幕中央的位置，并在界面中显示如“请保持单人站在圈内”的提示信息，用户只需移动身体到光圈区域内，即可使图像采集器232识别到人像，从而人像识别成功。
[0142]
如果人像识别界面中有人，即光圈落在当前用户的脚下，则可以调节图像采集器232，保证用户站在屏幕中央。随着用户走动，图像采集器232和光圈也随之移动，即图像采集器232会追踪人体，当图像采集器232处于移动边界时，说明用户走到的位置偏离屏幕中央较远，则需要提示用户如“请站在屏幕中央”的提示信息。
[0143]
当人像识别界面从无人变为有人，则取消“请保持单人站在圈内”的提示信息，并按照界面中有人的逻辑进行处理；如果人像识别界面从有人变为无人，则按照界面中无人的逻辑进行处理。需要说明的是，当图像采集器232前站有多个用户时，只识别其中一人，通过提示用户“请保持单人站在圈内”，则多人中可以选择一人留在光圈内，其他人都退出光圈。
[0144]
在人像识别成功后，训练项目视频倒计时几秒后，即可正式进入跟练模式的训练流程，并且在连续切换其他集数的视频片段时，可以无需再次进行人像识别和验证。
[0145]
在一些实施例中，图10示出一种跟练界面的ui示意图，跟练界面中左侧为用于播放训练项目视频的第一窗口，右侧为用于显示图像采集器232采集的本地图像的第二窗口，两个窗口并列展示于跟练界面中，便于用户跟练和进行动作模拟对比。
[0146]
在一些实施例中，由于训练项目视频可能具有vip权限，而用户登录的账户未开通vip会员，这种情况下可以第一窗口的指定位置，比如右上角展示试用规则，试用规则比如是图10中的“试用5分钟，购买会员可体验全集”。
[0147]
在一些实施例中，训练项目视频每播放到一个关键帧时，都可以在第一窗口中的指定位置显示关键帧包含的标准动作的信息，比如图10中是在左下角显示标准动作的名称为“1/4箭步蹲”，“1/4箭步蹲”这一动作需要保持的时长为20秒，从而方便用户了解标准动作的相关信息，并积极有效地进行跟练。
[0148]
在一些实施例中，需要利用人像识别算法，从第二窗口的跟练图像中实时跟踪和定位人体的位置，并在第二窗口中对人体位置进行标识，比如图10中是利用定位符标注人体。当用户移动时，图像采集器232也要随之移动，方便捕捉人体的跟练动作，同样地定位符也会随人体而移动。
[0149]
在一些实施例中，用户模拟标准动作，调整自身肢体来摆出对应的跟练动作后，控制器可以对标准动作和跟练动作进行匹配分析，根据动作匹配度来给出相适应的鼓励语，并在第二窗口中展示鼓励语，比如“good”、“great”、“perfect”等等，从而提升用户训练的自信心和积极性。此外，还可以根据标准动作与跟练动作之间的偏差，在第二窗口中显示动作标准化提示信息，比如用户的跟练动作相较于标准动作来说，左臂偏低，则可以在第二窗口中的指定位置，比如右上角显示“左臂抬高”，用户看到动作标准化提示信息后，即可自主抬高左臂，使自身的跟练动作更趋近于标准动作。通过显示动作标准化提示信息，方便用户知晓自身跟练动作的不足之处，并加以改正和调整，提升跟练动作的训练得分。
[0150]
在一些实施例中，跟练模式还可以记录用户的训练时长、准确率和能量消耗等信息，并将这些信息展示于跟练界面中的指定位置，比如图10中是展示在第一窗口和第二窗口上方顶部。训练时长的计时单位可以是分钟、秒或小时等，图10中显示24:07/42:00，表示该训练项目视频的总时长为42分钟，用户当前跟练到24分7秒。准确率用于评估用户当前完成的跟练动作的准确性水平，表征标准动作与跟练动作之间的动作匹配度，比如图10中截止到24分7秒，用户跟练的准确率为65％。能耗消耗信息是指当前训练时长下用户训练所消耗的能量，单位一般为千卡，比如图10中能量消耗显示300/480，表明截止到24分7秒，用户训练共消耗了300千卡，当完成全集42分钟的训练，预计消耗480千卡。跟练模式下的训练数据不限于本实施例所示。
[0151]
在一些实施例中，为了使用户具有适度的训练强度，可以在跟练界面中的指定位置显示提醒信息，比如图10中跟练界面的底部显示“训练请适度，训练过程中若感到身体不适，建议停下休息”的信息。
[0152]
在一些实施例中，如果当前的训练项目视频播放至终点，或者用户在跟练时间超过预设时长后退出跟练，比如跟练时间超过2分钟后用户关闭当前的训练项目视频，则需要在结束当前训练项目之后输出训练报告。图11给出一种训练报告界面的示例，界面中会展示能量消耗信息、准确率和训练时长，这些信息即为图10中界面顶部实时记录并在退出跟练时截止的统计数据，并且界面中还会展示本次训练的最终得分，以便用户了解本次的训练情况。需要说明的是，设置预设时长的目的是因为如果用户训练时间过短，比如用户仅观看视频2秒钟，还没有播放到关键帧就退出跟练，那么输出训练报告也没有意义，因此设置了预设时长约束，当训练超过预设时长时，才会在用户退出跟练时输出训练报告。
[0153]
在一些实施例中，还可以在训练报告界面中设置重练控件(如“再练一次”)和切换控件(如“继续下一节”)。假如用户对本次训练得分不满意，则可以点击“再练一次”，则重新跟练本次训练项目，刷新和提高训练得分。用户也可以点击切换控件，即可切换到图7中训练项目列表中下一个训练项目视频，下一节视频片段为“深蹲高抬腿”，并按照如上述方式继续处理下一个训练项目视频的跟练模式。
[0154]
在一些实施例中，在跟练过程中，比如用户身体移动幅度过大，或者用户有事临时走出光圈的图像采集范围之外，都会导致采集到的跟练图像中无法检测到人像。这种情况
下如图12所示，控制第一窗口中的训练项目视频暂停播放，以及暂停训练时长、能量消耗信息、准确率、分数等信息的统计，即跟练模式处于暂停状态，以等待用户重新进入光圈，同时，第二窗口中显示用于提示用户移动至人像采集区域(即光圈区域)内重新进行人像识别的信息，比如“摄像头前无人，暂停播放”、“请重新进入光圈内进行人像识别”。
[0155]
用户按照前述人像识别方式验证成功后，图像采集器识别到有人，即可在暂停帧处继续播放训练项目视频，比如图12中暂停时播放到第24分7秒分钟对应的帧，则以该帧作为播放起点，倒计时几秒钟后，继续播放后续视频内容，并继续统计训练时长、能量消耗信息、准确率和得分等数据。其中，当第一窗口暂停播放训练项目视频时，不支持用户通过遥控器点击起播，只有用户再次进入光圈，人像识别成功后，才会自动从暂停帧处起播，从而防止无人跟练时视频继续播放和训练数据继续统计，避免用户错过跟练，也避免训练数据统计的无效性。
[0156]
在一些实施例中，用户跟练过程中，比如图像采集器出现断电、物理开关误关闭、故障或者被其他应用程序占用等情况时，都可能导致图像采集器不可用，这时如图13所示，第一窗口中的训练项目视频暂停播放，以及暂停训练时长、能量消耗信息、准确率、分数等信息的统计，即跟练模式处于暂停状态，第二窗口中则显示用于提示图像采集器不可用的信息，比如“未检测到摄像头”，用户可以退出此界面，即退出本次训练项目的跟练流程。当图像采集器重新启用验证，调整至可用状态后，即可重新进行人像识别，启动跟练流程。
[0157]
在一些实施例中，如图14所示，在跟练界面的第一窗口上也可设置一些操作控件，比如“播放列表”、“模式切换”、“摄像头设置”和“收藏”等。用户点击“播放列表”控件，即可调出训练项目列表，用户可从训练项目列表中选择切换到其他视频去跟练，从而支持在跟练过程中随时切换到其他章节的视频片段。用户点击“模式切换”控件，则可以退出跟练模式，转为切换到普通模式或观影模式，切换模式后图像采集器不再采集用户的跟练图像。用户点击“收藏”控件，即可收藏当前的训练项目视频，方便从收藏列表中快速调出该训练项目。
[0158]
用户移动焦点至“摄像头设置”控件上并悬停时，显示控件信息说明，比如“点击该控件可调节摄像头的角度和重新匹配识别的人物，按确认键进行设置”，用户点击确认键后，即可返回如图9所示的人像识别界面，同时第一窗口中的训练项目视频暂停播放，以及暂停训练时长、能量消耗信息、准确率、分数等信息的统计，即跟练模式处于暂停状态，以等待用户完成摄像头设置。
[0159]
当用户在图9界面中设置摄像头成功后，即可返回到跟练界面，并在倒计时几秒钟后，在暂停帧处起播后续的视频内容，继续跟练过程。用户点击“摄像头设置”控件进入人像识别界面后，如果在人像识别界面点击“返回”按钮，则如图15所示，在界面中显示提醒弹窗，提醒弹窗中会显示提醒信息，提醒信息比如是“放弃设置会导致无法继续跟练，将为您退出跟练”，并显示“继续返回”控件和“取消”控件。如果用户点击“取消”控件，则不再返回，用户继续完成摄像头设置，并在设置完成后继续跟练；如果用户点击“继续返回”控件，则关闭跟练界面，退出跟练流程，返回至如图7所示的训练项目列表界面。
[0160]
以上介绍了ai健身的ui操作流程，需要说明的是本申请示出的界面图仅仅是示例性的，具体应以实际应用为准。申请人在应用和研究过程中发现，受用户跟练时的反映延时和摄像头延时(大约为150ms左右)等因素影响，会导致显示设备给出的训练得分比用户实
际动作得分低，用户使用体验差，不利于提升用户跟练和训练的积极性，本申请下述实施例将给出详细的解决方案。
[0161]
在一些实施例中，图16示出了一种跟练模式控制方法，该方法是由显示设备中控制器250被配置执行，即控制器250为方法的执行主体，所述方法包括如下程序步骤：
[0162]
步骤s10，响应于接收到启动训练项目视频的操作，在跟练界面的第一窗口中显示训练项目视频，以及在第二窗口中显示由图像采集器采集并发送的视频码流中的本地图像。这一步骤是用户跟练的基础和前提，方便用户根据跟练界面的引导进行训练。
[0163]
步骤s20，响应于所述训练项目视频播放至关键帧，从所述视频码流中周期性地获取对应于关键帧的跟练图像。
[0164]
步骤s30，将所述跟练图像中的跟练动作与所述关键帧中的标准动作进行比对，分别得到各跟练图像中所述跟练动作的训练得分。
[0165]
如果训练项目视频未播放到打点位置的关键帧处，则继续播放直至遇到打点。本申请在训练项目视频每播放到一个关键帧时，需要从视频码流中周期性获取对应于关键帧的跟练图像，比如可以设置预设周期，并每间隔预设周期获取一帧跟练图像，这里所述对应于关键帧的跟练图像，是指用户观看关键帧中的标准动作后，模拟摆出跟练动作时对应采集到的图像，预设周期比如可选为100ms，即每隔100ms获取一帧跟练图像，并将跟练图像中识别到的人体的跟练动作与标准动作进行比对，得到每帧跟练图像中跟练动作的训练得分。
[0166]
在一些实施例中，为图像采集器232采集的视频码流中的每帧图像设置时间戳，所述视频码流中各帧图像的时间戳是图像采集器232在采集时间的基础上进行延时补偿后设定的，所述延时补偿用于消除图像从图像采集器232传输至控制器250所产生的延时。控制器250在从视频码流中周期性地获取跟练图像之前，根据播放到关键帧的物理时间，对比视频码流中各帧图像的时间戳，来定位对应于关键帧的跟练图像，从而精准获取跟练图像。本申请利用物理时间，即打点位置时间来定位并获取跟练图像，而非进度条时间，从而以更精准的时间匹配方式来提高获取跟练图像的准确性。本申请在设置时间戳时考虑对图像传输延时的补偿，比如图像传输延时大约为150ms，即延迟150ms后传输到控制器250，则可以将视频码流中每帧图像的时间戳设置为超前本帧采集时间150ms。
[0167]
步骤s40，根据各跟练图像中跟练动作的训练得分的最大值，计算所述标准动作与所述跟练动作的动作匹配度。
[0168]
在一些实施例中，在执行步骤s40之前，所述方法还包括：响应于达到终止条件，停止从所述视频码流中获取所述跟练图像。
[0169]
在一些实施例中，控制器250响应于训练项目视频播放至下一个关键帧，则确定达到所述终止条件。即从当前打点位置的标准动作切换至下一个标准动作前，则需要停止获取跟练图像，确保采集的跟练图像是与当前标准动作有关。这种情况下是用打点位置约束跟练图像的获取进程，获取的是两个打点位置之间包含的全部帧。
[0170]
相邻两个打点位置的关键帧之间具有一个的时间间隔，比如“1/4箭步蹲”这一动作需要保持20秒，20秒后切换到下一个标准动作，即两个打点位置之间间隔20秒，如果每间隔100ms就要获取一帧跟练图像，则获取的跟练图像帧数会非常多，需要计算大量跟练图像帧中跟练动作的训练得分，从而导致控制器250计算和处理资源的浪费，还会导致动作评分
和动作匹配度的计算效率低。
[0171]
此外，申请人研究发现，用户进行跟练时，每个动作的训练得分近似为一个开口向下的抛物线，即用户根据动作标准化提示信息，逐渐调整肢体趋近于标准动作时，这一过程训练得分呈上升趋势，当用户出现疲惫或想要切换动作时，跟练动作与标准动作匹配度逐渐降低，训练得分则呈现下降趋势。对于训练得分呈显著下降趋势，或训练得分数值较低时，则没有必要从视频码流中获取这部分跟练图像。每个跟练动作评分时都需要叠加上用户反映时间的因素。
[0172]
因此在一些实施例中，控制器250每获取一帧跟练图像，将获取帧数累积加1，即在获取跟练图像的过程中准确记录和更新获取帧数，当检测到获取帧数等于第二数量阈值时，则确定达到所述终止条件。其中第二数量阈值是预设值，比如10帧，它用于限制控制器250在每个打点位置能对应获取跟练图像的最大帧数，第二数量阈值的取值不限定。这种情况下是利用数量阈值来约束跟练图像的获取进程，跟练图像的获取数量等于第二数量阈值，从而过滤掉后续其他帧，及时终止相对无效的跟练图像获取和得分判定，提高用户得分的匹配度，并提高评分和动作匹配度的计算效率，提升用户体验。
[0173]
或者，在一些实施例中，控制器250每获取一帧跟练图像，都会匹配出对应的跟练动作的训练得分，从而获取训练得分的变化趋势。比如第i帧为85分，第i+1帧为83分，第i+2帧为80分，则显然训练得分是呈现递减(下降)趋势的。由于训练得分越低，说明跟练动作与标准动作匹配度越低，因此期望保留较高的训练得分，过滤掉较低的训练得分，对此如果连续m帧跟练图像对应的训练得分呈递减趋势，则确定达到所述终止条件，其中m为第一数量阈值，比如m可取值为3，第一数量阈值m的取值不限定。这种情况下是利用用户跟练时的得分趋势/轨迹，来及时终止相对无效的跟练图像获取和得分判定，提高用户得分的匹配度，并提高评分和动作匹配度的计算效率，提升用户体验。
[0174]
在上述终止条件的各实施例的基础上，在获取跟练图像的过程中，需要判断是否达到终止条件。如果未达到终止条件，则继续每间隔预设周期获取跟练图像帧，并匹配训练得分；如果达到终止条件，则停止从视频码流中获取所述跟练图像，并执行步骤s40。
[0175]
无论采取何种终止条件，当达到终止条件时，假设共获取到n帧跟练图像，每帧跟练图像中跟练动作的训练得分为score
j
，1≤j≤n，则本申请中用户模拟关键帧中的标准动作而做出的跟练动作的得分，即命名为目标得分，目标得分＝max{score
j
，1≤j≤n}，即目标得分为获取到的n帧跟练图像中跟练动作的训练得分的最大值。
[0176]
在一些实施例中，当匹配出用户在跟练打点位置的标准动作所得的目标得分后，可以记录下该目标得分，便于后续统计最终得分。
[0177]
步骤s50，根据所述动作匹配度，控制显示器在所述第二窗口中显示动作匹配提示信息。
[0178]
在一些实施例中，所述动作匹配提示信息包括动作的准确率，通过目标得分可以计算标准动作与跟练动作间的动作匹配度，并于跟练界面的第二窗口上的指定位置显示动作匹配度，动作匹配度比如以准确率的比率值形式展示给用户。
[0179]
在一些实施例中，所述动作匹配提示信息还包括鼓励语，通过动作匹配度，可以在跟练界面的第二窗口中显示相匹配的鼓励语，比如“good”、“great”、“perfect”等等，每种鼓励语对应于一个动作匹配度的范围。比如，动作匹配度在90％以上时，鼓励语显示为
“
perfect”。
[0180]
在一些实施例中，所述动作匹配提示信息还包括动作标准化提示信息，通过动作匹配度，即可衡量跟练动作与标准动作之间的偏差程度，比如当动作匹配度低于预设阈值时，说明用户的跟练动作不标准，则有必要提示用户改正动作。在第二窗口显示跟练图像的过程中，根据标准动作与每帧跟练图像中跟练动作之间在位置、肢体姿态等方面上的偏差，在跟练界面的第二窗口中显示动作标准化提示信息，方便用户知晓自身跟练动作的不足之处，并加以改正和调整，提升跟练动作的训练得分，直至达到动作的最高得分(即目标得分)。
[0181]
需要说明的是，动作匹配提示信息不限于上述各实施例所述，只要是基于动作匹配度分析确定的信息内容都属于动作匹配提示信息的范畴，并可根据实际需要在跟练界面中进行显示。
[0182]
在一些实施例中，由于目标得分是获取到的n帧跟练图像中训练得分的最大值，因此可以仅保留下目标得分对应的目标跟练图像，并删除其他n-1帧跟练图像，这样在终止获取跟练图像之后，跟练界面的第二窗口中就会仅展示出与标准动作匹配度最高的最佳跟练动作，并且在查看标准动作的跟练图像时显示保留的目标跟练图像。
[0183]
在终止获取跟练图像之前，跟练界面的第二窗口中会按照采集时序，依次显示各帧跟练图像，并根据跟练动作与标准动作之间的偏差，显示动作标准化提示信息，使得用户的跟练动作逐渐被纠正，直至达到所述最佳跟练动作。然后达到终止条件之后，第二窗口仅保持显示最佳跟练动作/目标得分对应的目标跟练图像，直至下一个打点的关键帧到来，再启动跟练图像获取、第二窗口的ui变换和上述评分、选分等流程。
[0184]
在一些实施例中，当训练项目视频播放至终点，即在播放条进度移动至结尾时，当前的训练项目跟练结束，需要统计用户本次跟练的最终得分；或者，用户在跟练时间超过预设时长后，比如用户跟练2分钟后，退出训练项目视频，这种情况下也要结束本次跟练，并统计用户本次跟练的最终得分。
[0185]
在一些实施例中，控制器250响应于训练项目视频播放至终点，由于用户的跟练过程遍历了视频中所有打点的标准动作，因此需要统计训练项目视频中所有关键帧对应的目标跟练图像的训练得分(即目标得分)，并累积加权得到最终得分，即将用户参照每个标准动作训练得到的目标得分累积相加，即为本次跟练的最终得分。
[0186]
在一些实施例中，控制器250响应于在跟练时间超过预设时长后退出训练项目视频的操作，即用户仅跟练了超过预设时长的部分视频片段，而没有遍历到视频中的全部标准动作，因此需要统计当前已遍历过的关键帧的目标跟练图像的训练得分，并累积加权得到最终得分。比如，用户在观看3分钟后退出本次跟练，而这3分钟时段内，已遍历过的打点的关键帧为6个，即用户退出跟练时已完成6个标准动作的模拟训练，则将这6次练习的目标得分累积相加即为本次跟练的最终得分。
[0187]
在一些实施例中，当统计出每次跟练的最终得分后，还可以同步输出训练报告，方便跟练用户了解本次训练的详情。控制器250控制显示器275显示如图11示出的训练报告界面，训练报告界面中向用户展示最终得分，以及跟练所消耗的能量、动作的准确率和训练时长等信息。训练报告界面中还可包括重练控件和切换控件，重练控件用于被触发时再一次重复当前结束的训练项目的跟练流程；切换控件用于被触发时，切换到训练项目列表中下
一个训练项目视频，并启动对下一个训练项目视频的跟练模式的控制流程。
[0188]
在一些实施例中，当显示训练报告界面时，用户可以点击遥控器上的“返回”按键，从而退出训练报告界面，并返回至如图7所示的训练项目列表界面，这时用户既可以继续从训练项目列表中选取想要跟练的视频，也可以选择不再继续训练，退出健身类应用程序。
[0189]
当图像采集器不涉及断电、物理开关关闭、故障和被其他应用占用等外部因素时，由于跟练用户处于活动状态，可能存在跟练时退出人像采集区域/光圈之外的情况，导致图像采集器232采集的跟练图像中无法识别和检测到实际的人像，属于无效的跟练。
[0190]
在一些实施例中，为了避免无效的跟练，控制器250控制显示器275暂停第一窗口中播放的训练项目视频，同时暂停训练时长、能量消耗、准确率、打点位置关键帧对应的目标得分、跟练过程中累积的最终得分等数据的统计，使得跟练模式处于暂停状态，以等待用户重新进行人像识别，同时，控制第二窗口显示提示信息，用于提示用户移动至人像采集区域/光圈内重新进行人像识别，此时ui如图12的显示。当用户人像识别成功后，以当前所处的暂停帧为起点，起播第一窗口中训练项目视频，并在原训练数据的基础上，继续统计训练时长、能量消耗、准确率、目标得分和最终得分等信息。
[0191]
由以上各实施例的技术方案可知，本申请当训练项目视频每播放到一个关键帧时，每间隔预设周期获取一帧跟练图像，并将跟练图像与关键帧进行比对，给出每个跟练图像中跟练动作的训练得分，在满足终止条件时，停止从视频码流中获取跟练图像，然后从获取到的多帧跟练图像中，筛选出训练得分最高的分数作为这一关键帧对应的目标得分，并基于目标得分计算动作匹配度。终止条件中，通过第二数量阈值或者训练得分的变化趋势/轨迹来约束跟练图像的获取，可以及时终止无效的跟练图像的获取和评分，从而降低控制器250消耗的处理资源，并提高跟练模式的评分效率和准确性。本申请通过采集一定数量/某一个时间段内的跟练图像，并获取其中最高得分作为对应于标准动作的目标得分，使得每次动作评分保持在最佳的匹配度，避免因用户反映延时和图像采集延时等因素导致的跟练动作评分低、匹配度差的问题，从而提升用户体验，有利于提升用户训练的自信心和积极性。
[0192]
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，当计算机存储介质位于显示设备中时，该程序执行时可包括前述控制器250被配置的跟练模式控制方法涉及的全部程序步骤。其中，计算机存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称rom)或随机存储记忆体(英文：random access memory，简称ram)等。
[0193]
本说明书中显示设备实施例和方法实施例之间相同相似的部分互相参照即可，相关内容不再赘述。
[0194]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，并不构成对本发明保护范围的限定。本发明的真正范围和精神由所附的权利要求指出。