一种界面显示方法及显示设备与流程

一种界面显示方法及显示设备
[0001]
本申请于2019年08月18日，提交国家知识产权局申请号为201910761455.8专利的优先权，其全部内容通过结合应用得到本申请。
技术领域
[0002]
本申请实施例涉及显示技术。更具体地讲，涉及一种界面显示方法及显示设备。


背景技术：

[0003]
当前，由于显示设备可以为用户提供诸如音频、视频、图片等的播放画面，受到用户的广泛关注。用户可以借助显示设备，完成一些事情。例如，一些用户通过显示设备播放教练的教学视频，并跟随教学视频完成相应的动作。随着大数据与人工智能的发展，用户对显示设备的功能需求与日俱增。用户想要观看教练教学视频帧的同时，看到用户自身的动作的视频帧，通过自身的动作的视频帧，教练教学视频帧的比对，发现自身动作的不足，并及时对自身的动作进行更正。
[0004]
但是，当前的显示设备，无法满足用户的上述要求。
[0005]
因此，迫切需要一种能在呈现教练教学视频帧的同时，还能呈现用户自身动作视频的显示设备，给用户以良好的用户体验。


技术实现要素：

[0006]
基于上述技术问题，本申请提供一种界面显示方法及显示设备。
[0007]
本申请实施例示出一种显示设备，包括：
[0008]
显示屏，用于显示第一显示界面和所述第二显示界面，所述第一显示界面包括用于控制播放示范视频的播放控件，所述第二显示界面中包含用于播放所述示范视频的第一播放窗口和用于播放摄像头采集到的本地图像的第二播放窗口；
[0009]
摄像头，用于采集本地图像；
[0010]
控制器，所述控制器被配置为：
[0011]
接收输入的对所述播放控件的确认操作，启动摄像头，并加载所述示范视频的视频数据；
[0012]
响应于所述确认操作，展示所述第二界面，并在所述第一播放窗口播放所述示范视频，在所述第二视频窗口播放所述本地图像。
[0013]
本申请实施例示出一种显示设备，包括：
[0014]
显示屏，用于显示第一显示界面和所述第二显示界面，所述第一显示界面包括用于控制播放示范视频的播放控件，所述第二显示界面中包含用于播放所述示范视频的第一播放窗口和用于播放摄像头采集到的本地图像的第二播放窗口；
[0015]
摄像头，用于采集本地视频；
[0016]
控制器，所述控制器被配置为：
[0017]
接收输入的对所述播放控件的确认操作，启动摄像头，并加载所述示范视频的视
频数据；
[0018]
响应于所述确认操作，展示所述第二界面；
[0019]
在示范视频播放过程中，检测到表征所述示范视频的播放时间达到预设时间点的标签时，截取采集到的本地视频的当前视频帧及时间上邻近所述当前视频帧的邻近视频帧；
[0020]
识别所述当前视频帧的关节点与所述邻近视频帧的关节点；
[0021]
比对所述当前视频帧的关节点和所述示范视频中和所述预设时间点对应的示范视频帧的关节点；比对所述邻近视频帧的关节点和所述示范视频中和所述预设时间点对应的示范视频帧的关节点；
[0022]
根据比对结果标注所述前视频帧或邻近视频帧的人体动作差异程度；
[0023]
缓存标注后的人体动作差异程度低于差异阈值的所述当前视频帧或所述邻近视频帧，以及所述示范视频帧，以用于练习评价界面的展示。
[0024]
本申请实施例示出一种显示设备，包括：
[0025]
显示屏，用于显示第一显示界面和所述第二显示界面，所述第一显示界面包括用于控制播放示范视频的播放控件，所述第二显示界面中包含用于播放所述示范视频的第一播放窗口和用于播放摄像头采集到的本地图像的第二播放窗口；
[0026]
摄像头，用于采集本地图像；
[0027]
控制器，所述控制器被配置为：
[0028]
接收输入的对所述播放控件的确认操作，启动摄像头，并加载所述示范视频的视频数据；
[0029]
响应于所述确认操作，展示所述第二界面，并在所述第一播放窗口播放所述示范视频，在所述第二视频窗口播放进行关节点标注后的所述本地图像，其中在所述关节点标注后的所述本地图像中，第一关节点被标注为第一颜色，第二关节点被标注为第二颜色，第一关节点所在的身体部位和示范视频中对应的身体部分的动作差异程度大于第二关节点所在的身体部位和示范视频中对应的身体部分的动作差异程度。
[0030]
本申请实施例示出一种界面显示方法，包括：
[0031]
在显示第一界面时，接收输入的对所述第一界面中的播放控件的确认操作，启动摄像头，并加载所述示范视频的视频数据；
[0032]
响应于所述确认操作，显示所述第二界面，并在所述第二界面中的第一播放窗口播放所述示范视频，在所述第二界面中的第二视频窗口播放所述本地图像。
[0033]
本申请实施例示出一种界面显示方法，所述方法包括：
[0034]
在显示第一界面时，接收输入的对所述播放控件的确认操作，启动摄像头以使得所述摄像头采集本地视频，并加载所述示范视频的视频数据；
[0035]
响应于所述确认操作，展示所述第二界面；
[0036]
在示范视频播放过程中，检测到表征所述示范视频的播放时间达到预设时间点的标签时，截取采集到的本地视频的当前视频帧及时间上邻近所述当前视频帧的邻近视频帧；
[0037]
识别所述当前视频帧的关节点与所述邻近视频帧的关节点；
[0038]
比对所述当前视频帧的关节点和所述示范视频中和所述预设时间点对应的示范
视频帧的关节点；比对所述邻近视频帧的关节点和所述示范视频中和所述预设时间点对应的示范视频帧的关节点；
[0039]
根据比对结果标注所述前视频帧或邻近视频帧的人体动作差异程度；
[0040]
缓存标注后的人体动作差异程度低于差异阈值的所述当前视频帧或所述邻近视频帧，以及所述示范视频帧；
[0041]
响应于所述示范视频播放结束，显示练习评价界面，其中所述练习评价界面显示所述标注后的人体动作差异程度较低的所述当前视频帧或所述邻近视频帧，以及所述示范视频帧。
[0042]
本申请实施例示出一种界面显示方法，所述方法包括：
[0043]
在显示第一界面时，接收输入的对所述第一界面中的播放控件的确认操作，启动摄像头，并加载所述示范视频的视频数据；
[0044]
响应于所述确认操作，展示所述第二界面，并在所述第二界面中的第一播放窗口播放所述示范视频，在所述第二界面中的第二视频窗口播放进行关节点标注后的所述本地图像，其中在所述关节点标注后的所述本地图像中，第一关节点被标注为第一颜色，第二关节点被标注为第二颜色，第一关节点所在的身体部位和示范视频中对应的身体部分的动作差异程度大于第二关节点所在的身体部位和示范视频中对应的身体部分的动作差异程度
[0045]
由以上技术方案可知，本申请实施例示出一种界面显示方法及显示设备，所述显示设备包括显示器、摄像头及控制器。控制器被配置为响应于用户对显示界面中开始训练控件的选中，获取示范视频，并开启摄像头，所述摄像头用于采集本地图形；控制显示器的第一播放窗口播放所述示范视频，显示器的第二播放窗口展示所述本地图像。可见，本申请实施例示出的技术方案，通过第一播放窗口展示示范视频，第二播放窗口展示本地图片，用户在练习的过程中可以通过两个窗口内展示内容的比对及时的调整自身的动作，提高用户的体验感。
附图说明
[0046]
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0047]
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图；
[0048]
图2中示例性示出了根据实施例中控制装置100的硬件配置框图；
[0049]
图3中示例性示出了根据实施例中显示设备200的硬件配置框图；
[0050]
图4中示例性示出了根据图3显示设备200的硬件架构框图；
[0051]
图5中示例性示出了根据实施例中显示设备200的功能配置示意图；
[0052]
图6a中示例性示出了根据实施例中显示设备200中软件配置示意图；
[0053]
图6b中示例性示出了根据实施例中显示设备200中应用程序的配置示意图；
[0054]
图7中示例性示出了根据实施例中显示设备200中用户界面的示意图；
[0055]
图8-1为根据一些实施例示出的第一界面的示意图；
[0056]
图8-2为根据一些实施例示出的第一界面的示意图；
[0057]
图9-1为根据一些实施例示出的提示界面的示意图；
[0058]
图9-2为根据一些实施例示出的提示界面的示意图；
[0059]
图10为根据一些实施例示出的第二显示界面的示意图；
[0060]
图11为根据一些实施例示出的标注了13个关节位的本地图像；
[0061]
图12为根据一些实施例示出的打了关节批注的本地图像；
[0062]
图13为根据一些实施例示出的颜色标注后的本地图像；
[0063]
图14-1为根据一些实施例示出的练习评价界面；
[0064]
图14-2为根据一些实施例示出的第二显示界面的示意图。
具体实施方式
[0065]
为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
[0066]
为便于用户使用，显示设备上通常会设置各种外部装置接口，以便于连接不同的外设设备或线缆以实现相应的功能。而在显示设备的接口上连接有高清晰度的摄像头时，如果显示设备的硬件系统没有接收源码的高像素摄像头的硬件接口，那么就会导致无法将摄像头接收到的数据呈现到显示设备的显示屏上。
[0067]
并且，受制于硬件结构，传统显示设备的硬件系统仅支持一路硬解码资源，且通常最大仅能支持4k分辨率的视频解码，因此当要实现边观看网络电视边进行视频聊天时，为了不降低网络视频画面清晰度，就需要使用硬解码资源(通常是硬件系统中的gpu)对网络视频进行解码，而在此情况下，只能采取由硬件系统中的通用处理器(例如cpu)对视频进行软解码的方式处理视频聊天画面。
[0068]
采用软解码处理视频聊天画面，会大大增加cpu的数据处理负担，当cpu的数据处理负担过重时，可能会出现画面卡顿或者不流畅的问题。进一步的，受制于cpu的数据处理能力，当采用cpu软解码处理视频聊天画面时，通常无法实现多路视频通话，当用户想要再同一聊天场景同时与多个其他用户进行视频聊天时，会出现接入受阻的情况。
[0069]
基于上述各方面的考虑，为克服上述缺陷，本申请公开了一种双硬件系统架构，以实现多路视频聊天数据(至少一路本地视频)。
[0070]
下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是，以下对各个概念的说明，仅为了使本申请的内容更加容易理解，并不表示对本申请保护范围的限定。
[0071]
本申请一些实施例中使用的术语
″
模块
″
，可以是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
[0072]
本申请一些实施例中使用的术语
″
遥控器
″
，是指电子设备(如本申请中公开的显示设备)的一个组件，该组件通常可在较短的距离范围内无线控制电子设备。该组件一般可以使用红外线和/或射频(rf)信号和/或蓝牙与电子设备连接，也可以包括wifi、无线usb、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
[0073]
本申请一些实施例中使用的术语
″
手势
″
，是指用户通过一种手型的变化或手部运动等动作，用于表达预期想法、动作、目的/或结果的用户行为。
[0074]
本申请一些实施例中使用的术语
″
硬件系统
″
，可以是指由集成电路(integrated circuit，ic)、印刷电路板(printed circuit board，pcb)等机械、光、电、磁器件构成的具有计算、控制、存储、输入和输出功能的实体部件。在本申请各个实施例中，硬件系统通常也会被称为主板(motherboard)或芯片。
[0075]
本申请一些实施例中使用的术语
″
操作系统
″
，可以是指处理器读取存储器中的代码后呈现给用户的计算机系统，例如
″
android os
″
，
″
mac os
″″
windows os
″
等。
[0076]
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过控制装置100来操作显示设备200。
[0077]
其中，控制装置100可以是遥控器100a，其可与显示设备200之间通过红外协议通信、蓝牙协议通信、紫蜂(zigbee)协议通信或其他短距离通信方式进行通信，用于通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。
[0078]
控制装置100也可以是智能设备，如移动终端100b、平板电脑、计算机、笔记本电脑等，其可以通过本地网(lan，local area network)、广域网(wan，wide area network)、无线局域网((wlan，wireless local area network)或其他网络与显示设备200之间通信，并通过与显示设备200相应的应用程序实现对显示设备200的控制。例如，使用在智能设备上运行的应用程序控制显示设备200。该应用程序可以在与智能设备关联的屏幕上通过直观的用户界面(ui，user interface)为用户提供各种控制。
[0079]
示例的，移动终端100b与显示设备200均可安装软件应用，从而可通过网络通信协议实现二者之间的连接通信，进而实现一对一控制操作的和数据通信的目的。如：可以使移动终端100b与显示设备200建立控制指令协议，将遥控控制键盘同步到移动终端100b上，通过控制移动终端100b上用户界面，实现控制显示设备200的功能；也可以将移动终端100b上显示的音视频内容传输到显示设备200上，实现同步显示功能。
[0080]
如图1所示，显示设备200还可与服务器300通过多种通信方式进行数据通信。在本申请各个实施例中，可允许显示设备200通过局域网、无线局域网或其他网络与服务器300进行通信连接。服务器300可以向显示设备200提供各种内容和互动。
[0081]
示例的，显示设备200通过发送和接收信息，以及电子节目指南(epg，electronic program guide)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器300可以是一组，也可以是多组，可以是一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。
[0082]
显示设备200，一方面讲，可以是液晶显示器、oled(organic light emitting diode)显示器、投影显示设备；另一方面讲，显示设备被可以是智能电视或显示器和机顶盒组成的显示系统。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上的一些改变。
[0083]
显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能
的智能网络电视功能。示例的包括，网络电视、智能电视、互联网协议电视(iptv)等。在一些实施例中，显示设备可以不具备广播接收电视功能。
[0084]
如图1所述，显示设备上可以连接或设置有摄像头，用于将摄像头拍摄到的画面呈现在本显示设备或其他显示设备的显示界面上，以实现用户之间的交互聊天。具体的，摄像头拍摄到的画面可在显示设备上全屏显示、半屏显示、或者显示任意可选区域。
[0085]
作为一种可选的连接方式，摄像头通过连接板与显示器后壳连接，固定安装在显示器后壳的上侧中部，作为可安装的方式，可以固定安装在显示器后壳的任意位置，能保证其图像采集区域不被后壳遮挡即可，例如，图像采集区域与显示设备的显示朝向相同。
[0086]
作为另一种可选的连接方式，摄像头通过连接板或者其他可想到的连接器可升降的与显示后壳连接，连接器上安装有升降马达，当用户要使用摄像头或者有应用程序要使用摄像头时，再升出显示器之上，当不需要使用摄像头时，其可内嵌到后壳之后，以达到保护摄像头免受损坏。
[0087]
作为一种实施例，本申请所采用的摄像头可以为1600万像素，以达到超高清显示目的。在实际使用中，也可采用比1600万像素更高或更低的摄像头。
[0088]
当显示设备上安装有摄像头以后，显示设备不同应用场景所显示的内容可得到多种不同方式的融合，从而达到传统显示设备无法实现的功能。
[0089]
在一些实施例中，用户可以在边观看视频节目的同时，与至少一位其他用户进行视频聊天。视频节目的呈现可作为背景画面，视频聊天的窗口显示在背景画面之上。形象的，可以称该功能为
″
边看边聊
″
。
[0090]
在一些实施例中，在
″
边看边聊
″
的场景中，在观看直播视频或网络视频的同时，跨终端的进行至少一路的视频聊天。
[0091]
在一些实施例中，用户可以在边进入教育应用学习的同时，与至少一位其他用户进行视频聊天。例如，学生在学习教育应用程序中内容的同时，可实现与老师的远程互动。形象的，可以称该功能为
″
边学边聊
″
。
[0092]
在一些实施例中，用户在玩纸牌游戏时，与进入游戏的玩家进行视频聊天。例如，玩家在进入游戏应用参与游戏时，可实现与其他玩家的远程互动。形象的，可以称该功能为
″
边看边玩
″
。
[0093]
在一些实施例中，游戏场景与视频画面进行融合，将视频画面中人像进行抠图，显示在游戏画面中，提升用户体验。
[0094]
在一些实施例中，在体感类游戏中(如打球类、拳击类、跑步类、跳舞类等)，通过摄像头获取人体姿势和动作，肢体检测和追踪、人体骨骼关键点数据的检测，再与游戏中动画进行融合，实现如体育、舞蹈等场景的游戏。
[0095]
在一些实施例中，用户可以在k歌应用中，与至少一位其他用户进行视频和语音的交互。形象的，可以称该功能为
″
边看边唱
″
。优选的，当至少一位用户在聊天场景进入该应用时，可多个用户共同完成一首歌的录制。
[0096]
在一些实施例中，用户可在本地打开摄像头获取图片和视频，形象的，可以称该功能为
″
照镜子
″
。
[0097]
在一些实施例中，还可以再增加更多功能或减少上述功能。本申请对该显示设备的功能不作具体限定。
[0098]
图2中示例性示出了根据示例性实施例中控制装置100的配置框图。如图3所示，控制装置100包括控制器110、通信器130、用户输入/输出接口140、存储器190、供电电源180。
[0099]
控制装置100被配置为可控制所述显示设备200，以及可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起到用户与显示设备200之间交互中介作用。如：用户通过操作控制装置100上频道加减键，显示设备200响应频道加减的操作。
[0100]
在一些实施例中，控制装置100可是一种智能设备。如：控制装置100可根据用户需求安装控制显示设备200的各种应用。
[0101]
在一些实施例中，如图1所示，移动终端100b或其他智能电子设备，可在安装操控显示设备200的应用之后，起到控制装置100类似功能。如：用户可以通过安装应用，在移动终端100b或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮，以实现控制装置100实体按键的功能。
[0102]
控制器110包括处理器112、ram113和rom114、通信接口以及通信总线。控制器110用于控制控制装置100的运行和操作，以及内部各部件之间通信协作以及外部和内部的数据处理功能。
[0103]
通信器130在控制器110的控制下，实现与显示设备200之间控制信号和数据信号的通信。如：将接收到的用户输入信号发送至显示设备200上。通信器130可包括wifi模块131、蓝牙模块132、nfc模块133等通信模块中至少一种。
[0104]
用户输入/输出接口140，其中，输入接口包括麦克风141、触摸板142、传感器143、按键144等输入接口中至少一者。如：用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能，输入接口通过将接收的模拟信号转换为数字信号，以及数字信号转换为相应指令信号，发送至显示设备200。
[0105]
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中，可以是红外接口，也可以是射频接口。如：红外信号接口时，需要将用户输入指令按照红外控制协议转化为红外控制信号，经红外发送模块进行发送至显示设备200。再如：射频信号接口时，需将用户输入指令转化为数字信号，然后按照射频控制信号调制协议进行调制后，由射频发送端子发送至显示设备200。
[0106]
在一些实施例中，控制装置100包括通信器130和输出接口中至少一者。控制装置100中配置通信器130，如：wifi、蓝牙、nfc等模块，可将用户输入指令通过wifi协议、或蓝牙协议、或nfc协议编码，发送至显示设备200.
[0107]
存储器190，用于在控制器110的控制下存储驱动和控制控制装置100的各种运行程序、数据和应用。存储器190，可以存储用户输入的各类控制信号指令。
[0108]
供电电源180，用于在控制器110的控制下为控制装置100各元件提供运行电力支持。可以电池及相关控制电路。
[0109]
图3中示例性示出了根据示例性实施例中显示设备200中硬件系统的硬件配置框图。
[0110]
在采用双硬件系统架构时，硬件系统的机构关系可以图3所示。为便于表述以下将双硬件系统架构中的一个硬件系统称为第一硬件系统或a系统、a芯片，并将另一个硬件系统称为第二硬件系统或n系统、n芯片。a芯片包含a芯片的控制器及各类接口，n芯片则包含n
芯片的控制器及各类接口。a芯片及n芯片中可以各自安装有相对独立的操作系统，a芯片的操作系统和n芯片的操作系统可以通过通信协议相互通信，示例性的：a芯片的操作系统的framework层和n芯片的操作系统的framework层可以进行通信进行命令和数据的传输，从而使显示设备200中存在两个在独立但又存在相互关联的子系统。
[0111]
如图3所示，a芯片与n芯片之间可以通过多个不同类型的接口实现连接、通信及供电。a芯片与n芯片之间接口的接口类型可以包括通用输入输出接口(general-purpose input/output，gpio)、usb接口、hdmi接口、uart接口等中的至少一个。a芯片与n芯片之间可以使用这些接口中的一个或多个进行通信或电力传输。例如图3所示，在双硬件系统架构下，可以由外接的电源(power)为n芯片供电，而a芯片则可以不由外接电源，而由n芯片供电。
[0112]
除用于与n芯片进行连接的接口之外，a芯片还可以包含用于连接其他设备或组件的接口，例如图3中所示的用于连接摄像头(camera)的mipi接口，蓝牙接口等。
[0113]
类似的，除用于与n芯片进行连接的接口之外，n芯片还可以包含用于连接显示屏tcon(timer control register)的vby接口，用于连接功率放大器(amplifier，amp)及扬声器(speaker)的i2s接口；以及ir/key接口，usb接口，wifi接口，蓝牙接口，hdmi接口，tuner接口等中的至少一个。
[0114]
下面结合图4对本申请双硬件系统架构进行进一步的说明。需要说明的是图4仅仅是对本申请双硬件系统架构的一个示例性说明，并不表示对本申请的限定。在实际应用中，两个硬件系统均可根据需要包含更多或更少的硬件或接口。
[0115]
图4中示例性示出了根据图3显示设备200的硬件架构框图。如图4所示，显示设备200的硬件系统可以包括a芯片和n芯片，以及通过各类接口与a芯片或n芯片相连接的模块。
[0116]
n芯片可以包括调谐解调器220、通信器230、外部装置接口250、控制器210、存储器290、用户输入接口、视频处理器260-1、音频处理器260-2、显示器280、音频输出接口272、供电电源中的至少一个。在其他实施例中n芯片也可以包括更多或更少的模块。
[0117]
其中，调谐解调器220，用于对通过有线或无线方式接收广播电视信号，进行放大、混频和谐振等调制解调处理，从而从多个无线或有线广播电视信号中解调出用户所选择电视频道的频率中所携带的音视频信号，以及附加信息(例如epg数据信号)。根据电视信号广播制式不同，调谐解调器220的信号途径可以有很多种，诸如：地面广播、有线广播、卫星广播或互联网广播等；以及根据调制类型不同，所述信号的调整方式可以数字调制方式，也可以模拟调制方式；以及根据接收电视信号种类不同，调谐解调器220可以解调模拟信号和/或数字信号。
[0118]
调谐解调器220，还用于根据用户选择，以及由控制器210控制，响应用户选择的电视频道频率以及该频率所携带的电视信号。
[0119]
在其他一些示例性实施例中，调谐解调器220也可在外置设备中，如外置机顶盒等。这样，机顶盒通过调制解调后输出电视音视频信号，经过外置装置接口250输入至显示设备200中。
[0120]
通信器230是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器230可以包括wifi模块231，蓝牙通信协议模块232，有线以太网通信协议模块233，及红外通信协议模块等其他网络通信协议模块或近场通信协议模块。
[0121]
显示设备200可以通过通信器230与外部控制设备或内容提供设备之间建立控制信号和数据信号的连接。例如，通信器可根据控制器的控制接收遥控器100的控制信号。
[0122]
外部装置接口250，是提供n芯片控制器210和a芯片及外部其他设备间数据传输的组件。外部装置接口可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等的外部设备连接，可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加信息(例如epg)等数据。
[0123]
其中，外部装置接口250可以包括：高清多媒体接口(hdmi)端子251、复合视频消隐同步(cvbs)端子252、模拟或数字分量端子253、通用串行总线(usb)端子254、红绿蓝(rgb)端子(图中未示出)等任一个或多个。本申请不对外部装置接口的数量和类型进行限制。
[0124]
控制器210，通过运行存储在存储器290上的各种软件控制程序(如操作系统和/或各种应用程序)，来控制显示设备200的工作和响应用户的操作。
[0125]
如图4所示，控制器210包括只读存储器ram213、随机存取存储器rom214、图形处理器216、cpu处理器212、通信接口218、以及通信总线。其中，ram213和rom214以及图形处理器216、cpu处理器212、通信接口218通过总线相连接。
[0126]
rom213，用于存储各种系统启动的指令。如在收到开机信号时，显示设备200电源开始启动，cpu处理器212运行rom中系统启动指令，将存储在存储器290的操作系统产生的临时数据拷贝至ram214中，以运行或启动操作系统。当操作系统启动完成后，cpu处理器212将存储器290中各种应用程序产生的临时数据拷贝至ram214中,然后，以运行或启动各种应用程序。
[0127]
图形处理器216，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，产生基于运算器得到的各种对象，进行渲染的结果显示在显示器280上。
[0128]
cpu处理器212，用于执行存储在存储器290中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。
[0129]
在一些示例性实施例中，cpu处理器212，可以包括多个处理器。所述多个处理器中可包括一个主处理器以及多个或一个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。多个或一个子处理器，用于执行在待机模式等状态下的一种操作。
[0130]
通信接口，可包括第一接口218-1到第n接口218-n。这些接口可以是经由网络被连接到外部设备的网络接口。
[0131]
控制器210可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器280上显示ui对象的用户命令，控制器210便可以执行与由用户命令选择的对象有关的操作。
[0132]
其中，所述对象可以是可选对象中的任何一个，例如超链接或图标。与所选择的对象有关操作，例如：显示连接到超链接页面、文档、图像等操作，或者执行与图标相对应程序的操作。用于选择ui对象用户命令，可以是通过连接到显示设备200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
[0133]
存储器290，包括存储用于驱动和控制显示设备200的各种软件模块。如：存储器290中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等。
[0134]
其中，基础模块是用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块是用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。
[0135]
例如：语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块是用于控制显示器280进行显示图像内容的模块，可以用于播放多媒体图像内容和ui界面等信息。通信模块，是用于与外部设备之间进行控制和数据通信的模块。浏览器模块，是用于执行浏览服务器之间数据通信的模块。服务模块，是用于提供各种服务以及各类应用程序在内的模块。
[0136]
同时，存储器290还用于存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
[0137]
用户输入接口，用于将用户的输入信号发送给控制器210，或者，将从控制器输出的信号传送给用户。示例性的，控制装置(例如移动终端或遥控器)可将用户输入的诸如电源开关信号、频道选择信号、音量调节信号等输入信号发送至用户输入接口，再由用户输入接口转送至控制器；或者，控制装置可接收经控制器处理从用户输入接口输出的音频、视频或数据等输出信号，并且显示接收的输出信号或将接收的输出信号输出为音频或振动形式。
[0138]
在一些实施例中，用户可在显示器280上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
[0139]
视频处理器260-1，用于接收视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频数据处理，可得到直接在显示器280上显示或播放的视频信号。
[0140]
示例的，视频处理器260-1，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
[0141]
其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入mpeg-2,则解复用模块进行解复用成视频信号和音频信号等。
[0142]
视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。
[0143]
图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的gui信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。
[0144]
帧率转换模块，用于对输入视频的帧率进行转换，如将输入的24hz、25hz、30hz、60hz视频的帧率转换为60hz、120hz或240hz的帧率，其中，输入帧率可以与源视频流有关，输出帧率可以与显示器的更新率有关。输入有通常的格式采用如插帧方式实现。
[0145]
显示格式化模块，用于将帧率转换模块输出的信号，改变为符合诸如显示器显示格式的信号，如将帧率转换模块输出的信号进行格式转换以输出rgb数据信号。
[0146]
在一些实施例中视频处理器和图形处理器可以统一的集成在芯片内，在一些实施
例中，图形处理器和视频处理器的功能模块可以按照需求设置。
[0147]
显示器280，用于接收源自视频处理器260-1输入的图像信号，进行显示视频内容和图像以及菜单操控界面。显示器280包括用于呈现画面的显示器组件以及驱动图像显示的驱动组件。显示视频内容，可以来自调谐解调器220接收的广播信号中的视频，也可以来自通信器或外部设备接口输入的视频内容。显示器220，同时显示显示设备200中产生且用于控制显示设备200的用户操控界面ui。
[0148]
以及，根据显示器280类型不同，还包括用于驱动显示的驱动组件。或者，倘若显示器280为一种投影显示器，还可以包括一种投影装置和投影屏幕。
[0149]
音频处理器260-2，用于接收音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等音频数据处理，得到可以在扬声器272中播放的音频信号。
[0150]
音频输出接口270，用于在控制器210的控制下接收音频处理器260-2输出的音频信号，音频输出接口可包括扬声器272，或输出至外接设备的发生装置的外接音响输出端子274，如：外接音响端子或耳机输出端子等。
[0151]
在其他一些示例性实施例中，视频处理器260-1可以包括一个或多个芯片组成。音频处理器260-2，也可以包括一个或多个芯片组成。
[0152]
以及，在其他一些示例性实施例中，视频处理器260-1和音频处理器260-2，可以为单独的芯片，也可以与控制器210一起集成在一个或多个芯片中。
[0153]
供电电源，用于在控制器210控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部的电源，如在显示设备200中提供外接电源的电源接口。
[0154]
与n芯片相类似，如图4所示，a芯片可以包括控制器310、通信器330、检测器340、存储器390。在某些实施例中还可以包括用户输入接口、视频处理器、音频处理器、显示器、音频输出接口。在某些实施例中，也可以存在独立为a芯片供电的供电电源。
[0155]
通信器330是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器330可以包括wifi模块331，蓝牙通信协议模块332，有线以太网通信协议模块333，及红外通信协议模块等其他网络通信协议模块或近场通信协议模块。
[0156]
a芯片的通信器330和n芯片的通信器230也有相互交互。例如，n芯片硬件系统内的wifi模块231用于连接外部网络，与外部服务器等产生网络通信。a芯片内的wifi模块331用于连接至n芯片硬件系统内的wifi模块231，而不与外界网络等产生直接连接，a芯片通过n芯片连接外部网络。因此，对于用户而言，一个如上述实施例中的显示设备至对外显示一个wifi账号。
[0157]
检测器340，是显示设备a芯片用于采集外部环境或与外部交互的信号的组件。检测器340可以包括光接收器342，用于采集环境光线强度的传感器，可以通过采集环境光来自适应显示参数变化等；还可以包括图像采集器341，如相机、摄像头等，可以用于采集外部环境场景，以及用于采集用户的属性或与用户交互手势，可以自适应变化显示参数，也可以识别用户手势，以实现与用户之间互动的功能。
[0158]
外部装置接口350，提供控制器310与n芯片或外部其他设备间数据传输的组件。外部装置接口可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等的外部设备连
接。
[0159]
控制器310，通过运行存储在存储器390上的各种软件控制程序(如用安装的第三方应用等)，以及与n芯片的交互，来控制显示设备200的工作和响应用户的操作。
[0160]
如图4所示，控制器310包括只读存储器rom313、随机存取存储器ram314、图形处理器316、cpu处理器312、通信接口318、以及通信总线。其中，rom313和ram314以及图形处理器316、cpu处理器312、通信接口318通过总线相连接。
[0161]
rom313，用于存储各种系统启动的指令。cpu处理器312运行rom中系统启动指令，将存储在存储器390的操作系统的临时数据拷贝至ram314中，以运行或启动操作系统。当操作系统启动完成后，cpu处理器312将存储器390中各种应用程序的临时数据拷贝至ram314中,然后，以运行或启动各种应用程序。
[0162]
cpu处理器312，用于执行存储在存储器390中操作系统和应用程序指令,和与n芯片进行通信、信号、数据、指令等传输与交互，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。
[0163]
通信接口，可包括第一接口318-1到第n接口318-n。这些接口可以是经由网络被连接到外部设备的网络接口，也可以是经由网络被连接到n芯片的网络接口。
[0164]
控制器310可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器280上显示ui对象的用户命令，控制器210便可以执行与由用户命令选择的对象有关的操作。
[0165]
图形处理器316，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，产生基于运算器得到的各种对象，进行渲染的结果显示在显示器280上。
[0166]
a芯片的图形处理器316与n芯片的图形处理器216均能产生各种图形对象。区别性的，若应用1安装于a芯片，应用2安装在n芯片，当用户在应用1的界面，且在应用1内进行用户输入的指令时，由a芯片图形处理器316产生图形对象。当用户在应用2的界面，且在应用2内进行用户输入的指令时，由n芯片的图形处理器216产生图形对象。
[0167]
图5中示例性示出了根据示例性实施例中显示设备的功能配置示意图。
[0168]
如图5所示，a芯片的存储器390和n芯片的存储器290分别用于存储操作系统、应用程序、内容和用户数据等，在a芯片的控制器310和n芯片的控制器210的控制下执行驱动显示设备200的系统运行以及响应用户的各种操作。a芯片的存储器390和n芯片的存储器290可以包括易失性和/或非易失性存储器。
[0169]
对于n芯片，存储器290，具体用于存储驱动显示设备200中控制器210的运行程序，以及存储显示设备200内置各种应用程序，以及用户从外部设备下载的各种应用程序、以及与应用程序相关的各种图形用户界面，以及与图形用户界面相关的各种对象，用户数据信息，以及各种支持应用程序的内部数据。存储器290用于存储操作系统(os)内核、中间件和应用等系统软件，以及存储输入的视频数据和音频数据、及其他用户数据。
[0170]
存储器290，具体用于存储视频处理器260-1和音频处理器260-2、显示器280、通信接口230、调谐解调器220、输入/输出接口等驱动程序和相关数据。
[0171]
在一些实施例中，存储器290可以存储软件和/或程序，用于表示操作系统(os)的
软件程序包括，例如：内核、中间件、应用编程接口(api)和/或应用程序。示例性的，内核可控制或管理系统资源，或其它程序所实施的功能(如所述中间件、api或应用程序)，以及内核可以提供接口，以允许中间件和api，或应用访问控制器，以实现控制或管理系统资源。
[0172]
示例的，存储器290，包括广播接收模块2901、频道控制模块2902、音量控制模块2903、图像控制模块2904、显示控制模块2905、音频控制模块2906、外部指令识别模块2907、通信控制模块2908、光接收模块2909、电力控制模块2910、操作系统2911、以及其他应用程序2912、浏览器模块等等。控制器210通过运行存储器290中各种软件程序，来执行诸如：广播电视信号接收解调功能、电视频道选择控制功能、音量选择控制功能、图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等各类功能。
[0173]
存储器390，包括存储用于驱动和控制显示设备200的各种软件模块。如：存储器390中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等。由于存储器390与存储器290的功能比较相似，相关之处参见存储器290即可，在此就不再赘述。
[0174]
示例的，存储器390，包括图像控制模块3904、音频控制模块2906、外部指令识别模块3907、通信控制模块3908、光接收模块3909、操作系统3911、以及其他应用程序3912、浏览器模块等等。控制器210通过运行存储器290中各种软件程序，来执行诸如：图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等各类功能。
[0175]
区别性的，n芯片的外部指令识别模块2907和a芯片的外部指令识别模块3907可识别不同的指令。
[0176]
示例性的，由于摄像头等图像接收设备与a芯片连接，因此，a芯片的外部指令识别模块3907可包括图形识别模块2907-1，图形识别模块3907-1内存储有图形数据库，摄像头接收到外界的图形指令时，与图形数据库中的指令进行对应关系，以对显示设备作出指令控制。而由于语音接收设备以及遥控器与n芯片连接，因此，n芯片的外部指令识别模块2907可包括语音识别模块2907-2，图形识别模块2907-2内存储有语音数据库，语音接收设备等接收到外界的语音指令或时，与语音数据库中的指令进行对应关系，以对显示设备作出指令控制。同样的，遥控器等控制装置100与n芯片连接，由按键指令识别模块与控制装置100进行指令交互。
[0177]
图6a中示例性示出了根据示例性实施例中显示设备200中软件系统的配置框图。
[0178]
对n芯片，如图6a中所示，操作系统2911，包括用于处理各种基础系统服务和用于实施硬件相关任务的执行操作软件。
[0179]
一些实施例中，部分操作系统内核可以包含一系列软件，用以管理显示设备硬件资源，并为其他程序或软件代码提供服务。
[0180]
其他一些实施例中，部分操作系统内核可包含一个或多个设备驱动器，设备驱动器可以是操作系统中的一组软件代码，帮助操作或控制显示设备关联的设备或硬件。驱动器可以包含操作视频、音频和/或其他多媒体组件的代码。示例的，包括显示器、摄像头、flash、wifi和音频驱动器。
[0181]
其中，可访问性模块2911-1，用于修改或访问应用程序，以实现应用程序的可访问
性和对其显示内容的可操作性。
[0182]
通信模块2911-2，用于经由相关通信接口和通信网络与其他外设的连接。
[0183]
用户界面模块2911-3，用于提供显示用户界面的对象，以供各应用程序访问，可实现用户可操作性。
[0184]
控制应用程序2911-4，用于控制进程管理，包括运行时间应用程序等。
[0185]
事件传输系统2914，可在操作系统2911内或应用程序2912中实现。一些实施例中，一方面在在操作系统2911内实现，同时在应用程序2912中实现，用于监听各种用户输入事件，将根据各种事件指代响应各类事件或子事件的识别结果，而实施一组或多组预定义的操作的处理程序。
[0186]
其中，事件监听模块2914-1，用于监听用户输入接口输入事件或子事件。
[0187]
事件识别模块2914-1，用于对各种用户输入接口输入各类事件的定义，识别出各种事件或子事件，且将其传输给处理用以执行其相应一组或多组的处理程序。
[0188]
其中，事件或子事件，是指显示设备200中一个或多个传感器检测的输入，以及外界控制设备(如控制装置100等)的输入。如：语音输入各种子事件，手势识别的手势输入子事件，以及控制装置的遥控按键指令输入的子事件等。示例的，遥控器中一个或多个子事件包括多种形式，包括但不限于按键按上/下/左右/、确定键、按键按住等中一个或组合。以及非实体按键的操作，如移动、按住、释放等操作。
[0189]
界面布局管理模块2913，直接或间接接收来自于事件传输系统2914监听到各用户输入事件或子事件，用于更新用户界面的布局，包括但不限于界面中各控件或子控件的位置，以及容器的大小或位置、层级等与界面布局相关各种执行操作。
[0190]
由于a芯片的操作系统3911与n芯片的操作系统2911的功能比较相似，相关之处参见操作系统2911即可，在此就不再赘述。
[0191]
如图6b中所示，显示设备的应用程序层包含可在显示设备200执行的各种应用程序。
[0192]
n芯片的应用程序层2912可包含但不限于一个或多个应用程序，如：视频点播应用程序、应用程序中心、游戏应用等。a芯片的应用程序层3912可包含但不限于一个或多个应用程序，如：直播电视应用程序、媒体中心应用程序等。需要说明的是，a芯片和n芯片上分别包含什么应用程序是根据操作系统和其他设计确定的，本发明无需对a芯片和n芯片上所包含的应用程序做具体的限定和划分。
[0193]
直播电视应用程序，可以通过不同的信号源提供直播电视。例如，直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及，直播电视应用程序可在显示设备200上显示直播电视信号的视频。
[0194]
视频点播应用程序，可以提供来自不同存储源的视频。不同于直播电视应用程序，视频点播提供来自某些存储源的视频显示。例如，视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
[0195]
媒体中心应用程序，可以提供各种多媒体内容播放的应用程序。例如，媒体中心，可以为不同于直播电视或视频点播，用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
[0196]
应用程序中心，可以提供储存各种应用程序。应用程序可以是一种游戏、应用程
序，或某些和计算机系统或其他设备相关但可以在显示设备中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序，将它们储存在本地储存器中，然后在显示设备200上可运行。
[0197]
在一些实施例中，操作系统包括内核，数据库，框架层和应用层，上述应用均为应用层中的应用。
[0198]
图7中示例性示出了根据示例性实施例中显示设备200中用户界面的示意图。如图7所示，用户界面包括多个视图显示区，示例的，第一视图显示区201和播放画面202，其中，播放画面包括布局一个或多个不同项目。以及用户界面中还包括指示项目被选择的选择器，可通过用户输入而移动选择器的位置，以改变选择不同的项目。
[0199]
需要说明的是，多个视图显示区可以呈现不同层级的显示画面。如，第一视图显示区可呈现视频聊天项目内容，第二视图显示区可呈现应用层项目内容(如，网页视频、vod展示、应用程序画面等)。
[0200]
可选的，不同视图显示区的呈现存在优先级区别，优先级不同的视图显示区之间，视图显示区的显示优先级不同。如，系统层的优先级高于应用层的优先级，当用户在应用层使用获取选择器和画面切换时，不遮挡系统层的视图显示区的画面展示；以及，根据用户的选择使应用层的视图显示区的大小和位置发生变化时，系统层的视图显示区的大小和位置不受影响。
[0201]
也可以呈现相同层级的显示画面，此时，选择器可以在第一视图显示区和第二视图显示区之间做切换，以及当第一视图显示区的大小和位置发生变化时，第二视图显示区的大小和位置可随及发生改变。
[0202]
由于a芯片及n芯片中可能分别安装有独立的操作系统，从而使显示设备200中存在两个在独立但又存在相互关联的子系统。例如，a芯片和n均可以独立安装有安卓(android)及各类app，使得每个芯片均可以实现一定的功能，并且使a芯片和n芯片协同实现某项功能。
[0203]
在一些实施例中，显示设备的控制器可以仅位于一个实体芯片内，以可以如上述实施例一样包含两个芯片，a芯片和n芯片中的控制器共同作为控制模块。
[0204]
本申请一些实施例第一方面示出一种显示设备，包括：
[0205]
显示屏，用于显示第一显示界面和所述第二显示界面，所述第一显示界面包括用于控制播放示范视频的播放控件，所述第二显示界面中包含用于播放所述示范视频的第一播放窗口和用于播放摄像头采集到的本地图像的第二播放窗口；
[0206]
健身环境下的显示设备的第一界面如图8-1所示。其中，图8-1为第一界面200a的示意图，其中，第一界面200a可以滚动的方式显示多个示范视频，以便用户在多个示范视频找中选中一个目标示范视频。
[0207]
请参阅图8-1，其中显示窗口用于显示用户选中的示范视频。接收用户输入的确认指令，根据选择器(焦点)在第一界面中的
″
开始训练
″
控件位置时，当用户在第一界面200a中选中开始训练的控件。响应于用户对开始训练控件的选中，控制器可基于api(application programming interface，应用程序接口)从服务器获取并加载相应是示范视频片源。
[0208]
请参阅图8-2，图8-2为根据一些实施例示出的健身视频第一界面的示意图，健身
视频第一界面页可以被称作详情界面，其中，第一界面可以滚动的方式显示多个教练视频，以便用户在多个示范视频找中选中一个目标示范视频。例如：深蹲高抬腿、后退式弓箭步、四点式后踢腿
……
。用户在多个教练视频找中选中一个目标示范视频。
[0209]
在第一界面中，设置有播放窗口，播放窗口用于播放默认训练视频或播放历史中上一次播放的训练视频，播放窗口的右侧设置有介绍展示控件，
″
开始训练
″
控件(即播放控件)，
″
收藏
″
控件中的至少一个，界面还包括训练列表控件，在训练列表控件中，显示有多个训练视频的展示控件。
[0210]
在一些实施例中，在开始训练控件或播放窗口被选中后，示范视频也可以再校验后获取。具体的，显示预先下载示范视频并存储；然后建立示范视频与校验码之间的映射关系。响应于用户对开始训练控件的选中时，基于用户选择的示范视频，生成一个校验码。控制器可以基于检验码在存储的示范视频中，获取所述校验码对应的示范视频。由于示范视频预先存储，控制器在获取校验码后，可直接调取校验码对应的示范视频。通过上述方式调取示范视频，可避免由于网络等因素造成的卡顿问题，前获取能预先下载，提升示范视频流畅度。
[0211]
摄像头，用于采集本地图像或本地视频；在未开启的时候，摄像头位于隐藏位置，以使的显示装置边缘保持平滑，在开启后，摄像头升起，探出在显示装置边缘的上方，以避免显示屏的遮挡来获取图像数据。
[0212]
在一些实施例中，响应于用户对开始训练控件的选中，升起启动摄像头以获取图像数据，练习过程中摄像头始终处于开启的状态，并实时的采集本地视频，发送采集的本地视频至控制器，以在跟练界面显示用户的动作。这样用户可以实时观看自己的动作和示范视频的动作。
[0213]
在一些实施例中，响应于用户对开始训练控件的选中，摄像头升起，但处于待机状态，每当示范视频播放至预设时间点时，采集一个本地图像，发送采集的本地图像至控制器。这样可以减轻处理器的压力，并且维持本地图像在显示屏上显示到下一个时间点。
[0214]
控制器，所述控制器被配置为：接收输入的对所述播放控件的确认操作，启动摄像头，并加载所述示范视频的视频数据；
[0215]
在一种实现方式中，响应于确认操作，所述确认操作可以是对开始训练控件的选中。所述控制器还被进一步配置为控制显示器显示用于指示用户进入预定区域的提示界面200c(及引导界面)。具体的提示界面可以参阅图9-1和图9-2。具体的，图9-1为根据一些实施例示出的提示界面的示意图，用户根据提示界面调整自身的位置。当用户完成进入预定区域，控制器控制显示器展示第二界面。这是因为摄像头的采集区域是存在边缘的，为了能更好的采集本地数据，摄像头获取当前的图像，并在显示上显示的过程中在显示当前图像的图层上方新建一个浮层，浮层中根据摄像头的位置和角度确定最佳采集区域，并根据最佳采集区域在浮层中显示最佳位置边框。以引导用户进行位置的移动，使采集到的当前图像中的位置和浮层中最佳位置边框重合，在重叠程度达到预设阈值时，显示设备显示成功的提示消息，并取消浮层，并跳转到图10所示的跟练界面。
[0216]
举例说明，在一些实施例中，提示界面200c中人物位于方框区域200c1的左边，相应的提示用户向右边移动。如果显示画面中人物位于方框区域的右边，相应的提示用户向左边移动，以使用户进入预定区域，其中预定区域摄像头可采集到的区域。本申请实施例示
出的通过上述方式指示用户进入预定区域。在一些实施例中，提示界面还用于显示用提示信息，具体的可以参阅图9-2，图9-2为根据一些实施例示出的提示界面的示意图，所述提示信息为
″
请面对屏幕。保持身体自立
″
等提示信息。提示用户移动的消息可以是显示在浮层上的文字，也可以是语音提醒，还可以是指向最佳位置边框的指示标记。
[0217]
在一种实现方式中，控制器也可以是响应于所述确认操作，直接展示所述第二界面，并在所述第一播放窗口播放所述示范视频，在所述第二视频窗口播放所述本地图像。用户可以根据第二界面中第二视频窗口显示的图像来调整自身的位置。
[0218]
在一种实现方式中，控制器也可以是响应于所述确认操作，判断位置引导界面的出现次数，在引导界面展示次数不满足预设值时展示引导界面，在满足预设值时直接展示所述第二界面，并在所述第一播放窗口播放所述示范视频，在所述第二视频窗口播放所述本地图像。用户可以根据第二界面中第二视频窗口显示的图像来调整自身的位置。
[0219]
具体的可以参阅图10，图10为根据一些实施例示出的第二显示界面200b的示意图，其中所述第二显示界面200b中包含用于播放所述示范视频的第一播放窗口200b1和用于播放摄像头采集到的本地图像的第二播放窗口200b2。
[0220]
在一些实施例中，第一播放窗口中播放所述示范视频，所述示范视频中不展示关节点，第二播放串口播放本地图像数据包括控制器根据本地图像数据获取随影本地图像数据的关节点的位置，根据所述关节点的位置叠加所述本地图像数据和关节点标记后在第二播放窗口显示。
[0221]
在一些实施例中叠加所述本地图像数据和关节点标记可以在在本地图像数据中根据关节点的位置在本地图像上增加关节点标记，然后在一个图层输出以显示叠加关节点后的本地图像。还可以在一个图层中显示摄像头获取的本地图像，在图层的上方增加浮层，并根据关节点的位置在浮层中增加关节面标记，将两个图层叠加后显示。
[0222]
在一些实施例中第二播放窗口直接播放摄像头采集到的本地视频。
[0223]
本申请实施例示出一种显示设备，所述显示设备包括显示器、摄像头及控制器。控制器被配置为响应于用户对显示界面中开始训练控件的选中，获取示范视频，升起并开启摄像头，所述摄像头用于采集本地图形；控制显示器的第一播放窗口播放所述示范视频，显示器的第二播放窗口展示所述本地图像。可见，本申请实施例示出的技术方案，通过第一播放窗口展示示范视频，第二播放窗口展示本地图片，用户在练习的过程中可以通过两个窗口内展示内容的比对及时的调整自身的动作，提高用户的体验感。
[0224]
摄像头用于采集本地视频，本地视频为连续的本地图像的集合。在比对的过程中，如果针对每一帧图像都进行比对的话，控制器的数据处理量较大。
[0225]
基于上述问题在一些可行性实施例中，控制器可将本地图像与示范视频帧进行比对，生成比对结果，用户健身结束后可以通过显示界面观看比对结果，进而帮助用户更好的了解自身的动作缺陷，以便用户在后续健身的过程中克服动作缺陷。其中，所述示范视频帧为示范视频中与所述本地图像相对应的图形。
[0226]
在一些实施例中，采集本地图像的实现方式有多种。
[0227]
例如，控制器可以控制摄像头在示范视频播放至预设时间点时采集本地图像；然后将摄像头采集的本地图像与预先存储的示范视频帧进行对比，进而得到对比结果。在一些实施例中可以是：当示范视频播放至预设时间点，控制器均会控制摄像头采集一个本地
图像。其中，预设时间点可以是在示范视频出现第一图像为起点，每间隔t时间，均为一个预设时间点直到示范视频出现最后一帧图像。所述预设时间点也可以基于示范视频的内容生成，示范视频的内容中每个动作节点作为一个预设时间点。举例说明，对于一个示范视频，第一图像出现的起点为3s，t时间为10s，该示范视频的长度为53s。相应的预设时间点为：3s，13s，23s，33s，43s和53s，控制器会在释放视频播放至3s，13s，23s，33s，43s和53s时分别控制摄像头采集一个本地图像。示范视频中会按照预设时间节点增加标签，在播放时间出发标签时，采集本地图像。
[0228]
再例如，摄像头一直处于开启的状态，并实时的录制本地视频，并本地视频发送至控制器。控制器可以在预设时间点处，抽取采集到的本地视频中对应的本地图像；然后将抽取的本地图像与预先存储的示范视频帧进行对比，进而得到对比结果。具体的实现过程：当示范视频播放至预设时间点，控制器在摄像头采集的本地视频中抽取一个或多个本地图像。其中，预设时间点可以是在示范视频出现第一图像为起点，每间隔t时间(即出现示范动作的时间)，均为一个预设时间点直到示范视频出现最后一帧图像。所述预设时间点也可以基于示范视频的内容生成或预先标记的，示范视频的内容中每个动作节点作为一个预设时间点。举例说明，对于一个示范视频，第一图像出现的起点为3s，预设时间点为：3s、16s、23s、45s和53s，控制器会在释放视频播放至3s、16s、23s、45s和53s时在本地视频中采集一个本地图像。可知的，示范动作的出现时间是任意的，待比对图像的获取是根据标识示范动作的标签或时间点触发的。
[0229]
通常用户是在观看示范视频播放的教练动作后，模仿着教练动作出相应的动作。用户从接收到示范动作到作出相应的动作这段时间内天然的存在一定的延迟。为了抵消延迟，本申请实施例示出的技术方案示出了一种
″
延迟图像的采集方法
″
。本实施例中引入延迟采集时间点的概念，其中，延迟采集时间点＝预设时间点+预置反应时长。当示范视频播放至延迟采集时间点时，控制器控制摄像头采集本地视频。
[0230]
本申请实施例示出的技术方案用过大量的实验数据统计。用户从接收到示范动作到作出相应的动作这段时间内用户的反应时间为1s，相应的本申请实施例示出的技术方案将预置反应时长配置为1s。举例说明，预设时间点为：3s、13s、23s、33s、43s和53s，相应的延迟采集时间点为：4s、14s、24s、24s、44s和54s。在示范视频第一次出现图像帧为起点，在起点之后14s、14s、24s、24s、44s和54s控制器控制摄像头分别采集本地图像。
[0231]
控制器，将本地图像与示范视频帧进行比对，生成比对结果；其中，示范视频帧为示范视频的中与本地图像相对应的图像，或示范视频中对应该预设时间点的标准图像帧。在本申请实施例示出的技术方案中，所述示范视频的中的图像可以为带有标志图像。所述标志可以为时间标志，但并不是限于时间标志。后续可以基于所述标志确定本地图像与示范视频帧的对应关系。举例说明，当示范视频播放至4s时，控制器控制摄像头采集本地视，所述本地视频对应的时间标志为3s，并将该本地视频与时间标志为3s的目标视频进行比对。
[0232]
在一些实施例中，示范视频中存储有示范视频帧的关节点数据，该关节点数据是提前预置的，示范视频帧之外的其他图像帧由于不存在需求，因此可以不预置关节点数据。
[0233]
在上述实施例示出的技术方案中，预置反应时长被配置为1s。但是1s为一个统计的数据，通常情况下用户的反应时长为1s，但是1s并不适用于所有的用户，在实际应用的过
程中可以根据需求设置预置反应时长。
[0234]
动作比对通过图像比对会造成较大的处理负担，为了进一步降低控制器的数据处理量本申请实施例示出的技术方案可以仅针对本地图像与示范视频中的中一些
″
关键部位
″
进行比对具体的实现过程：即，动作的比对是通过关节点的比对完成的。
[0235]
在所述第二视频窗口播放所述本地图像之前，所述控制器还用于：识别所述本地图像中的关节点；比对所述本地图像中的关节点和示范视频中的关节点。
[0236]
在一些可行性实施例中，所述控制器被配置为响应于用户对第一显示界面中开始训练控件的选中，控制器控制摄像头启动，以使得摄像头采集本地图像。摄像头将采集的本地图像传输至控制器。控制器识别所述本地图像中的关节点；在一些实施例中，控制器根据预设的模型识别本地图像中的关节点，所述关节点为人体关节对应的点以及人体的头部对应点，通常人体包括13个关节位。控制器通过对全身13个重要骨骼关节点位的标注。其中，标注了13个关节位的本地图像可以参阅图11。13个关节位分别为：左腕部、左肘部、左肩部、胸腔部、腰部、左膝盖部、左踝部、头部、右腕部、右肘部、右肩部、右膝盖部、右踝部。但在一些采集到的本地图像中人体有时出出现部分缺失的状况，此时可以仅识别图像中的人体部分。
[0237]
所述控制器还用于，比对所述本地图像中的关节点和示范视频/示范视频帧中的关节点，确定本地图像中人体动作和示范视频中人体动作差异程度；在采集到的本地图像中标注识别出的关节点，其中，不同的颜色标注不同动作差异程度的关节点。
[0238]
其中，确定本地图像中人体动作和示范视频中人体动作差异程度的实现方式有多种：
[0239]
例如，比对方式可以是比对本地图像中人体的关节点所处的位置与示范视频中人体的关节点所处的相对位置。基于相对位置的差异得到比对结果。不同的比对结果采用不同的颜色进行标注。
[0240]
举例说明：本地图像中人体的左腕部与示范视频中人体的左腕部位置相差10标准值，可以采用红色标注左腕部关节点。本地图像中人体的右腕部与示范视频中人体的右腕部位置相差1标准值，可以采用绿色标注右腕部关节点。
[0241]
再例如，比对方式可以计算两个关节位的匹配度，根据匹配度生成相应的结果。或者根据自身关节点之间的相对位置关系，确定动作的匹配程度。
[0242]
在一些实施例中关节点的识别和匹配还可以采用相关技术中的其他可实现手段来代替。
[0243]
在一些实施例中，预先在示范视频中标注出示范关节位，并将示范关节位与示范视频一同存储在本地的数据列表中。示范关节位的标注过程与前述一些实施例示出的标注过程类似，在此便不详细说明。
[0244]
在一些实施例中，控制器将本地图像中的第一角度与对应的标准角度进行比对，生成比对结果。其中，第一角度为本地图像中每一个关节位与邻近关节位连线与躯干连线之间的夹角；标准角度为示范视频中每一个关节位与邻近关节位连线与躯干连线之间的夹角。
[0245]
其中第一角度与标准角度之间的对应关系，可以基于时间标识生成。举例说明，本地图像的采集时间为10s，那么左踝部的第一角度对应的标准角度为示范视频中第10s出现
的图像中的左踝部与邻近关节位连线与躯干连线之间的夹角。
[0246]
举例说明，请参阅图12，图12为根据一些实施例示出的打了关节批注的本地图像。对于左腕部1a而言，左腕部1a临近的关节位为左肘部1b，相应的左腕部1a与左肘部1b连接线与躯干连线之间的夹角称之为的第一角度1a。通过上述方法可以分别计算左肘部，左肩部，左膝盖部，左踝部，头部，右腕部，右肘部，右肩部，右膝盖部，右踝部对应的第一角度。
[0247]
其中，标准角度的生成方式可以参考第一角度的生成方式，在此便不赘述。
[0248]
控制器计算第一角度与对应的标准角度的匹配度；根据所述匹配度可以用于评价用户动作完成的好坏程度。
[0249]
可见本申请实施例示出的技术方可以计算出每个关节位所处的位置与标准位置之间的差异，进而帮助用户每个部位的完成情况提高用户的体验感。
[0250]
为了帮助用户进一步了解各个部位动作完成的情况，本申请实施例示出的技术方案，控制器计算第一角度与对应的标准角度的匹配度，根据所述匹配度符合的区域，将关节点标注相应的颜色。
[0251]
举例说明：在一些实施例示出的技术方案中，所述匹配度可以用角度偏差表示，匹配结果根据预设标准差值。对于角度偏差大于15度，可以将相应的关节位标记为红色；对于10度～15度偏差，可以将相应的关节位标记为黄色。对于10度以下的度偏差，可以将相应的关节位标记为绿色。
[0252]
举例说明，10s采集的本地图像中应左腕关节的第一角度与示范示范视频中10s对应的标准角度的相差20度，可以将相应的左腕关节标记为红色；10s采集的本地图像中应左踝关节的第一角度与示范示范视频中10s对应的标准角度的相差12度，可以将相应的左腕关节标记为黄色；10s采集的本地图像中应头部的第一角度与示范示范视频中10s对应的标准角度的相差6度，可以将相应的左腕关节标记为绿色，相应的，标注后的本地图像可以参阅图13。
[0253]
由于人体世界动作的不匹配新，本申请实施例示出的技术方案示出一个
″
范围
″
比对方式。即在示范视频的播放到示范视频帧的时候，显示设备从本地视频中获取该时间点邻近的多个图像帧，在一些实施例中当示范视频播放至预置时间点时，控制器在本地视频中选取该时间点邻近的多个图像帧作为第一图像集，所述第一图像集至少包括第一本地图像和第二本地图像，其中第一本地图像为预置时间点对应的本地图像，第二本地图像为临近预设时间点对应的本地图像。
[0254]
在一些实施例中，控制器计算所述第一图像集中的本地图像与示范视频帧匹配度，将匹配度最高的本地图像的比对结果作为该时间点的比对结果，将和示范视频帧匹配度最好的本地图像作为与该时间点对应的本地图像。
[0255]
在一些实施例中还可以是：控制器计算第一本地图像与示范视频帧的匹配度(也可称之为人体动作差异程度)，在人体动作差异程度大于预设阈值的时候，控制器在所述第一图像集中筛选出与示范视频帧匹配度最高的图像作为替换图像，并根据替换图像与示范视频帧的比对结果，标注替换图像。
[0256]
举例说明，对于一个10s采集的本地图像中应腕关节的第一角度与示范示范视频中10s对应的标准角度的匹配度为20％，预置匹配度(预设阈值)为25％。在此情况下，控制器确定所述目标数据集的第一图像集；第一图像集为目标数据集中1s-13s这一时间段内包
含的本地图像。分别计算每个本地图像中腕关节的第一角度与10s示范视频帧中腕关节的标准角度的匹配度，计算结果为8s对应的数据与10s示范视频帧中腕关节的标准角度的匹配度为80％，80％最高匹配度。将10s对应腕关节的比对结果调整为80％，并用80％对用的颜色标注腕关节，控制器缓存标注后的本地视频。
[0257]
在一些实施例中，当完成示范视频的播放，控制器可以控制显示器显示练习评价界面，所述练习评价界面用于展示标注后的本地图片。练习评价界面可以参阅图14-1，练习评价界面上可以同时展示用户的评分等级，用户的动作以及规范动作。其中评分等级可以基于本地图像与示范视频帧的匹配度生成。
[0258]
在一些实施例中，练习评价界面可以以滚动的方式展示多个对应的用户的动作以及规范动作。其中，展示的先后顺序可以为：按照评分由低到高依次展示。其中，和示范视频帧匹配程度越高，评分越高。
[0259]
在另一些实施例中，练习评价界面的展示形式可以参阅图14-1，练习评价界面置有两个显示窗口，一个显示用户动作中该时间点对应的本地图像，一个显示规范动作对应的示范视频帧。
[0260]
在一些实施例中，为了进一步降低控制器的数据处理量，可以将
‘
关节点比对过程’放置在服务器端执行，具体的实现过程：
[0261]
在一些实施例中，在所述第二视频窗口播放所述本地图像之前，所述控制器还用于：识别所述本地图像中的关节点；将所述本地图像中的关节点发送给服务器，所述服务器以使得服务器可以比对所述本地图像中的关节点和示范视频中的示范视频帧的关节点，确定本地图像中人体动作和示范视频中的示范视频帧的人体动作差异程度并生成反馈信息给所述显示设备。
[0262]
在一些实施例中，显示设备中的关节点识别单元对摄像头采集的所有图像进行关节点的识别和标记，并在第二播放窗口进行显示。在示范视频播放至示范视频帧时，显示设备将此刻采集的本地图像的关节点数据和/或邻近时刻采集的本地图像的关节点数据上传给服务器已进行匹配程度的判断。
[0263]
其中，本地图像中人体动作和示范视频中人体动作差异程度的比对方式，可以参阅上述实施例，在此便不赘述。
[0264]
控制器被进一步配置为接收服务器发送的反馈消息，根据所述反馈消息在本地图像中标注识别出的关节点，其中，不同的颜色标注不同动作差异程度的关节点。
[0265]
进一步的，本申请实施例示出的技术方案，采用不同的颜色来标记各关节位动作完成的情况。采用不同的颜色来区分用户各关节的完成情况，不同的颜色起到醒目的作用。可见采用本申请实施例示出的方案进一步帮助用户了解各个部位动作完成的情况。
[0266]
在一些实施例中，如图14-2所述，在第二显示界面中，如果该时间点用户的动作和示范视频帧的匹配动作较高，增在第二播放窗口中增加浮层以显示提示语句，来对用户进行鼓励。
[0267]
在一些实施例中，如图14-2所述，在第二显示界面中，第二播放窗口的上方还设置有训练进度控件，以展示用户动作的完成程度，控制器在检测到在用户动作和示范动作帧的匹配程度高于预设值时，控制训练进度控件中显示的完成程度值提高。在检测到在用户动作和示范动作帧的匹配程度低于预设值时，控制训练进度控件中显示的完成程度值维持
不变。
[0268]
为了减少服务器的数据处理量，在一些实施例中，服务器可以针对预设时间点对应的本地图像进行处理，具体的实现过程可以是：所述控制器将所述本地图像中的关节点发送给服务器，具体为：所述控制器，在所述示范视频的播放时间达到预设时间点时，缓存所述预设时间点前后预定时间段内采集到的本地图像。识别缓存的本地图像的关节点数据并将识别出的关节点数据发送给服务器。
[0269]
其中，本地图像的缓存过程可以参阅上述实施在此便不赘述。
[0270]
值得注意的是，由于图片在传输过程中占用的带宽较大，为了降低数据传输过程中占用的带宽本实施例示出的方案将本地视频的的关节点发送给服务器。
[0271]
在一些实施例中，所述控制器还可以进一步被配置为，发送所述识别出的关节点数据发送给服务器的同时，将预设时间点发送个服务器，以使的所述服务器根据所述预设时间点确定用于比对的示范视频的图像帧(即目标图像)。
[0272]
在一些可行性实施例中所述控制器，在人体动作差异程度大于预设阈值的时候，标注所述本地图像并缓存标注后的本地图像的图片和预设时间点对应的示范视频帧。以便在示范视频播放结束时，调取动作差异较大的本地视频。
[0273]
在一些可行性实施例中所述控制器，在播放结束后，控制显示器显示练习评价界面，并在所述练习评价界面展示缓存的标注后的本地图像的图片和预设时间点对应的示范视频帧。
[0274]
在一些实施例中，对预设时间点的示范视频帧和对应的本地图像按照匹配程度(或评分)进行排序，在示范视频播放结束后，选取匹配程度(或评分)低的预设个数的时间点的示范视频帧和对应的本地图像进行展示。示例性的，例如缓存了5个时间点的示范视频帧和对应的本地图像按照匹配程度，在示范视频播放结束后，选取匹配程度(或评分)低的3个的时间点的示范视频帧和对应的本地图像进行展示。
[0275]
其中，练习评价界面的展示方式可以参阅上述实施例。
[0276]
本行申请实施例还示出一种显示设备，包括：
[0277]
显示屏，用于显示第一显示界面和所述第二显示界面，所述第一显示界面包括用于控制播放示范视频的播放控件，所述第二显示界面中包含用于播放所述示范视频的第一播放窗口和用于播放摄像头采集到的本地图像的第二播放窗口；
[0278]
摄像头，用于采集本地图像；
[0279]
控制器，所述控制器被配置为：
[0280]
接收输入的对所述播放控件的确认操作，启动摄像头，并加载所述示范视频的视频数据；
[0281]
响应于所述确认操作，展示所述第二界面；
[0282]
在示范视频播放过程中，检测到表征所述示范视频的播放时间达到预设时间点的标签时，截取采集到的本地视频的当前视频帧及时间上邻近所述当前视频帧的邻近视频帧；
[0283]
识别所述当前视频帧的关节点与所述邻近视频帧的关节点；
[0284]
比对所述当前视频帧的关节点和所述示范视频中和所述预设时间点对应的示范视频帧的关节点；比对所述邻近视频帧的关节点和所述示范视频中和所述预设时间点对应
的示范视频帧的关节点；
[0285]
根据比对结果标注所述前视频帧或邻近视频帧的人体动作差异程度；
[0286]
缓存标注后的人体动作差异程度低于差异阈值的所述当前视频帧或所述邻近视频帧，以及所述示范视频帧，以用于练习评价界面的展示。
[0287]
本申请实施例还示出一种显示设备，包括：
[0288]
显示屏，用于显示第一显示界面和所述第二显示界面，所述第一显示界面包括用于控制播放示范视频的播放控件，所述第二显示界面中包含用于播放所述示范视频的第一播放窗口和用于播放摄像头采集到的本地图像的第二播放窗口；
[0289]
摄像头，用于采集本地图像；
[0290]
控制器，所述控制器被配置为：
[0291]
接收输入的对所述播放控件的确认操作，启动摄像头，并加载所述示范视频的视频数据；
[0292]
响应于所述确认操作，展示所述第二界面，并在所述第一播放窗口播放所述示范视频，在所述第二视频窗口播放进行关节点标注后的所述本地图像，其中在所述关节点标注后的所述本地图像中，第一关节点被标注为第一颜色，第二关节点被标注为第二颜色，第一关节点所在的身体部位和示范视频中对应的身体部分的动作差异程度大于第二关节点所在的身体部位和示范视频中对应的身体部分的动作差异程度。
[0293]
本申请实施例还示出一种界面显示方法，包括：
[0294]
在显示第一界面时，接收输入的对所述第一界面中的播放控件的确认操作，启动摄像头，并加载所述示范视频的视频数据；
[0295]
响应于所述确认操作，显示所述第二界面，并在所述第二界面中的第一播放窗口播放所述示范视频，在所述第二界面中的第二视频窗口播放所述本地图像。
[0296]
本申请实施例还示出一种界面显示方法，包括：
[0297]
在显示第一界面时，接收输入的对所述播放控件的确认操作，启动摄像头，并加载所述示范视频的视频数据；
[0298]
响应于所述确认操作，展示所述第二界面；
[0299]
在示范视频播放过程中，检测到表征所述示范视频的播放时间达到预设时间点的标签时，截取采集到的本地视频的当前视频帧及时间上邻近所述当前视频帧的邻近视频帧(视频帧在本申请实施例示出的方案中也可称之为图像)；
[0300]
识别所述当前视频帧的关节点与所述邻近视频帧的关节点；
[0301]
比对所述当前视频帧的关节点和所述示范视频中和所述预设时间点对应的示范视频帧的关节点；比对所述邻近视频帧的关节点和所述示范视频中和所述预设时间点对应的示范视频帧的关节点；
[0302]
根据比对结果标注所述前视频帧或邻近视频帧的人体动作差异程度；
[0303]
缓存标注后的人体动作差异程度低于差异阈值的所述当前视频帧或所述邻近视频帧，以及所述示范视频帧；
[0304]
响应于所述示范视频播放结束，显示练习评价界面，其中所述练习评价界面显示所述标注后的人体动作差异程度较低的所述当前视频帧或所述邻近视频帧，以及所述示范视频帧。
[0305]
本申请实施例还示出一种界面显示方法，包括：
[0306]
在显示第一界面时，接收输入的对所述第一界面中的播放控件的确认操作，启动摄像头，并加载所述示范视频的视频数据；
[0307]
响应于所述确认操作，展示所述第二界面，并在所述第二界面中的第一播放窗口播放所述示范视频，在所述第二界面中的第二视频窗口播放进行关节点标注后的所述本地图像，其中在所述关节点标注后的所述本地图像中，第一关节点被标注为第一颜色，第二关节点被标注为第二颜色，第一关节点所在的身体部位和示范视频中对应的身体部分的动作差异程度大于第二关节点所在的身体部位和示范视频中对应的身体部分的动作差异程度。
[0308]
本实施例提供的方法可以适用于前述实施例提供的双芯片的显示装置，也可以适用于非双芯片的显示装置
[0309]
基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。
[0310]
应当理解，本申请中说明书和权利要求书及上述附图中的术语
″
第一
″
、
″
第二
″
、
″
第三
″
等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
[0311]
此外，术语
″
包括
″
和
″
具有
″
以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
[0312]
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。