人体姿态的动作纠错方法、装置、存储介质及终端与流程

文档序号:16888602发布日期:2019-02-15 22:51阅读:347来源:国知局
人体姿态的动作纠错方法、装置、存储介质及终端与流程

本申请实施例涉及移动终端技术领域,尤其涉及人体姿态的动作纠错方法、装置、存储介质及终端。



背景技术:

随着社会的进步,人们的健身意识逐渐增强,但是由于健身场地的限制使得很多人在没有健身指导的情况下进行健身,由于健身动作不标准导致健身效果不佳。如何对用户的健身动作进行纠正成为亟待解决的问题。



技术实现要素:

本申请实施例的目的是提供一种人体姿态的动作纠错方法、装置、存储介质及终端,可以更加准确的对人体姿态进行纠正。

第一方面,本申请实施例提供了一种人体姿态的动作纠错方法,包括:

根据教学视频确定第一视频数据;

根据所述第一视频数据确定第一人体坐标数据;

获取用户的第二视频数据,所述第二视频数据包括用户根据所述第一视频数据的模仿图像;

根据所述第二视频数据确定第二人体坐标数据;

根据所述第一人体坐标数据和所述第二人体坐标数据确定第一纠错数据;

输出所述第一纠错数据。

第二方面,本申请实施例提供了一种人体姿态的动作纠错装置,包括:

第一视频确定模块,用于根据教学视频确定第一视频数据;

第一坐标确定模块,用于根据所述第一视频确定模块确定的所述第一视频数据确定第一人体坐标数据;

第二视频获取模块,用于获取用户的第二视频数据,所述第二视频数据包括用户根据所述第一视频数据的模仿图像;

第二坐标确定模块,用于根据所述第二视频获取模块获取的所述第二视频数据确定第二人体坐标数据;

纠错数据确定模块,用于根据所述第一坐标确定模块确定的所述第一人体坐标数据和所述第二坐标确定模块确定的所述第二人体坐标数据确定第一纠错数据;

输出模块,用于输出所述纠错数据确定模块确定的所述第一纠错数据。

第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所示的人体姿态的动作纠错方法。

第四方面,本申请实施例提供了一种终端,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,处理器执行计算机程序时实现如第一方面所示的人体姿态的动作纠错方法。

本申请实施例中提供的人体姿态的动作纠错方案,首先根据教学视频确定第一视频数据;根据所述第一视频数据确定第一人体坐标数据;然后,获取用户的第二视频数据,所述第二视频数据包括用户根据所述第一视频数据的模仿图像;根据所述第二视频数据确定第二人体坐标数据;最后,根据所述第一人体坐标数据和所述第二人体坐标数据确定第一纠错数据,输出所述第一纠错数据。能够基于教学视频和用户的模仿图像确定纠错数据,为用户提供纠错提示,准确的对人体姿态进行纠正,改善健身效果。

附图说明

图1为本申请实施例提供的一种人体姿态的动作纠错方法的流程示意图;

图2为本申请实施例提供的另一种人体姿态的动作纠错方法的流程示意图;

图3为本申请实施例提供的另一种人体姿态的动作纠错方法的流程示意图;

图4为本申请实施例提供的另一种人体姿态的动作纠错方法的流程示意图;

图5为本申请实施例提供的另一种人体姿态的动作纠错方法的流程示意图;

图6为本申请实施例提供的另一种人体姿态的动作纠错方法的流程示意图;

图7为本申请实施例提供的一种人体姿态的动作纠错装置的结构示意图;

图8为本申请实施例提供的另一种人体姿态的动作纠错装置的结构示意图;

图9为本申请实施例提供的一种移动终端的结构示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本申请的技术方案。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止,但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

随着社会的进步,人们的健身意识逐渐增强,但是由于健身场地的限制使得很多人在没有健身指导的情况下进行健身,由于健身动作不标准导致健身效果不佳。如何对用户的健身动作进行纠正成为亟待解决的问题。

基于此,本申请实施例提供了一种人体姿态的动作纠错方法,基于教学视频和用户的模仿图像确定纠错数据,为用户提供纠错提示,准确的对人体姿态进行纠正,改善健身效果。具体方案如下所示:

图1为本申请实施例提供的人体姿态的动作纠错方法的流程示意图,该方法用于用户参照终端播放教学视频进行健身模仿时为用户提供动作纠错的情况。该方法可以由具有前置摄像头的终端来执行,该移动终端可以为智能手机、平板电脑、可穿戴设备、笔记本电脑等,该方法具体包括如下步骤:

步骤110、根据教学视频确定第一视频数据。

教学视频可以通过互联网络获取,也可以通过健身应用(app)获取,还可以为终端本地存储的健身视频。第一视频数据为教学视频中的正文视频,教学视频中除了正文视频还包括广告等旋转视频。可以通过图像识别或者特定的正文视频标识从教学视频中确定第一视频数据。

步骤120、根据第一视频数据确定第一人体坐标数据。

第一视频数据为标准的健身动作的视频数据。通过预设算法可从第一视频数据中的帧图像中获取第一人体坐标数据。其中,可以根据第一视频数据中的每个帧图像获取第一人体坐标数据,也可以每隔n个帧确定一次第一人体坐标数据。其中,n大于1小于10,可选为3或5。预设算法可以参照openpose算法进行人体姿态的获取,得到帧图像中第一人体坐标数据。openpose算法可以用于识别二维图像中的人体姿态。

步骤130、获取用户的第二视频数据,第二视频数据包括用户根据第一视频数据的模仿图像。

输出教学视频,用户根据教学视频进行模仿。在播放到第一视频数据时获取用户的第二视频数据。可以通过终端的前置摄像头获取用户的第二视频数据。

步骤140、根据第二视频数据确定第二人体坐标数据。

可参照步骤120提供的算法,根据第二视频数据确定第二人体坐标数据。第一人体坐标数据和第二人体坐标数据由人体上的关键点组成。

可选的,将视频数据(第一视频数据或第二视频数据)的帧图像输入至预设人体关键点识别模型中,该模型可以根据输入的视频数据的帧图像确定人体关键点的坐标数据。该人体关键点识别模型可以为循环卷积神经网络模型。关键点包括:锁骨中点、左手肘、左手腕、左胯、左膝盖、左脚踝、以及右手肘、右手腕、右胯、右膝盖、右脚踝等。关键点可以用于标识人体的关节移动。进一步的,还可以包括各手指的关键点。

步骤150、根据第一人体坐标数据和第二人体坐标数据确定第一纠错数据。

可选的,在相同的时间轴比较第一人体坐标数据和第二人体坐标数据,根据坐标差异确定第一纠错数据。第一纠错数据可以包括文字形式或语音形式。第一记错数据可以为提示用户出现动作差异的关键点,以及该关键点的正确位置,并根据该正确位置确定关键点的移动方向指示。

进一步的,用户的模仿可能会比第一视频数据延迟一些,此时可根据延迟情况寻找与第二人体坐标数据较为接近的第一人体坐标数据。

步骤160、输出第一纠错数据。

本申请实施例中提供的人体姿态的动作纠错方法,首先根据教学视频确定第一视频数据。根据第一视频数据确定第一人体坐标数据。然后,获取用户的第二视频数据,第二视频数据包括用户根据第一视频数据的模仿图像。根据第二视频数据确定第二人体坐标数据。最后,根据第一人体坐标数据和第二人体坐标数据确定第一纠错数据,输出第一纠错数据。相关技术中存在人工输入标准动作的三维数据后,使用标准的三维数据与用户动作的三维数据进行比纠错的方案,但是该方案中标准动作的三维数据需要由程序员人工输入,每组三维数据对应一个肢体状态,由于健身动作是由多个肢体状态组成的,因此,一个健身动作需要输入大量的标准动作三维数据,进而大幅提高纠错时间和成本。本申请实施例提供的人体姿态的动作纠错方法能够基于教学视频和用户的模仿图像确定纠错数据,根据教学视频可确定第一视频数据,根据第一视频数据确定第一人体坐标数据,第一人体坐标数据无需程序员手动输入,因此能够快速的确定第一人体坐标数据,使得纠错功能更加轻便易于实现,通过前置摄像头可获取用户的第二视频数据,并根据第二视频数据确定第二人体坐标数据,第二人体坐标数据能够准确的体现用户肢体动作,通过比较第一人体坐标数据和第二人体坐标数据确定并输出第一纠错数据后,能够为用户提供纠错提示,准确的对人体姿态进行纠正,改善健身效果。

图2为本申请实施例提供的一种人体姿态的动作纠错方法的流程示意图,作为对上述实施例的进一步说明,包括:

步骤210、根据目标地址获取教学视频。

步骤220、获取教学视频的正片标识,正片标识包括至少一组起始标识和截止标识。

教学视频中可能在首部和尾部设置广告,也可能在运动的休息或缓冲阶段设置广告,此时教学视频的正片被拦截为多段。每段正片的起始位置设置有起始标识,每段正片的结束位置设置有截止标识。当播放带相应帧图像时,根据帧图像携带的标识(起始标识、截止标识或无标识)可识别出正片标识。

步骤230、根据起始标识和截止标识获取第一视频数据。

根据起始标识和截止标识可以识别出多个正片片段,将正片子片段进行合成后,得到第一视频数据。

进一步的,如果存在多组正片标识,则分别获取多个第一子视频数据,每个第一子视频数据对应一组正片标识。拼接多个第一子视频数据,得到第一视频数据。

步骤240、根据第一视频数据确定第一人体坐标数据。

步骤250、获取用户的第二视频数据,第二视频数据包括用户根据第一视频数据的模仿图像。

步骤260、根据第二视频数据确定第二人体坐标数据。

步骤270、根据第一人体坐标数据和第二人体坐标数据确定第一纠错数据。

步骤280、输出第一纠错数据。

本申请实施例提供的人体姿态的动作纠错方法,相对于目前教学视频中广告中掺杂广告信息导致额外人体识别造成功耗浪费,能够从教学视频中准确的识别出第一视频数据,并得到准确有效的第一人体坐标数据,提高识别效率。

图3为本申请实施例提供的一种人体姿态的动作纠错方法的流程示意图,作为对上述实施例的进一步说明,包括:

步骤301、根据教学视频确定第一视频数据。

步骤302、根据第一视频数据确定第一人体坐标数据。

步骤303、根据第一视频数据中的人脸图像确定第一表情特征。

通过对第一视频数据中的帧图像进行人脸识别后可确定人脸区域;根据人脸区域可确定第一表情特征。对于某些舞蹈教学,不仅身体姿态需要纠正,同时面部表情也需要纠错。可以根据面部特征点的坐标确定第一表情特征,第一表情特征可以为微笑、皱眉、大笑等。由于教学视频中的示范人脸与用户人脸不同,因此按照坐标进行记错容易出现误差,因此可以识别出第一视频数据中的表情特征,在识别出用户的第二表情特征后,基于表情特征进行纠错。

步骤304、根据用户的人脸特征确定第二表情特征。

步骤305、根据第一表情特征和第二表情特征确定第二纠错数据。

步骤306、输出第二纠错数据。

步骤307、获取用户的第二视频数据,第二视频数据包括用户根据第一视频数据的模仿图像。

步骤308、根据第二视频数据确定第二人体坐标数据。

步骤309、根据第一人体坐标数据和第二人体坐标数据确定第一纠错数据。

步骤310、输出第一纠错数据。

本申请实施例提供的人体姿态的动作纠错方法,能够除了人体姿态之外,对人脸表情特征进行识别,并基于人体表情特征进行纠错,进而更加全面的实现人体姿态以及表情的纠错,提高纠错效率。

图4为本申请实施例提供的一种人体姿态的动作纠错方法的流程示意图,作为对上述实施例的进一步说明,包括:

步骤410、根据教学视频确定第一视频数据。

步骤420、根据第一视频数据确定第一人体坐标数据。

步骤430、获取用户的极限动作坐标数据。

由于每个用户的自身韧带长度不同,对于相同的动作用户可能已经达到自身极限,但是与教学视频仍有差距,这类动作误差应当与用户的错误动作进行区分。可以在播放第一视频数据之前,播放引导视频,以便用户根据引导视频输入人体极限位置。例如,下叉两腿夹角以及腿部弯曲程度,手臂竖直居高是手臂的程度等。

步骤440、如果第一人体坐标数据与极限动作坐标数据不匹配,则根据极限动作坐标数据调整第一人体坐标数据,以便使第一人体坐标数据匹配用户的动作极限。

当第一视频数据中存在人体极限位置动作时,如果用户以达到自身的极限作为,而未达到第一视频的极限位置,则可生成与动作错误不同的警告提示,以便用户避免过于用力导致拉伤。

步骤450、获取用户的第二视频数据,第二视频数据包括用户根据第一视频数据的模仿图像。

步骤460、根据第二视频数据确定第二人体坐标数据。

步骤470、根据第一人体坐标数据和第二人体坐标数据确定第一纠错数据。

步骤480、输出第一纠错数据。

本申请实施例提供的人体姿态的动作纠错方法,能够根据用户自身的极限位置进行纠错,对用户达到自身极限的动作与用户做错的动作的错误提示进行区分,提高易用性。

图5为本申请实施例提供的一种人体姿态的动作纠错方法的流程示意图,作为对上述实施例的进一步说明,包括:

步骤501、根据教学视频确定第一视频数据。

步骤502、根据第一视频数据确定第一人体坐标数据。

步骤503、根据第一视频数据确定器械特征以及第一器械坐标数据。

步骤504、根据器械特征识别用户使用的器械,并获取用户所使用器械的第二器械坐标数据。

在一些健身或舞蹈动作中,需要借助外部器械。如果器械的位置或使用方式错误或者使用了错误型号的器械,则也无法达到预期效果。例如,健身球与身体接触的位置,或健身器械与手臂的贴合方式等。可以通过深度学习识别出不同类型、不同型号的器械。并识别出器械与用户的接触方式以及接触位置作为第二器械坐标数据。

步骤505、根据第一器械坐标数据和第二器械坐标数据确定第三纠错数据。

第三纠错数据可以包括器械纠错信息,例如请更换器械,或器械的位置应当上移等。

步骤506、输出第三纠错数据。

步骤507、获取用户的第二视频数据,第二视频数据包括用户根据第一视频数据的模仿图像。

步骤508、根据第二视频数据确定第二人体坐标数据。

步骤509、根据第一人体坐标数据和第二人体坐标数据确定第一纠错数据。

步骤510、输出第一纠错数据。

本申请实施例提供的人体姿态的动作纠错方法,能够在识别人体姿态信息外,识别出使用的器械的坐标数据,生成器械的纠错信息,提高纠错的易用性。

图6为本申请实施例提供的一种人体姿态的动作纠错方法的流程示意图,作为对上述实施例的进一步说明,包括:

步骤610、根据教学视频确定第一视频数据。

步骤620、根据第一视频数据确定第一人体坐标数据。

步骤630、获取用户的第二视频数据以及第二视频数据对应的深度信息,第二视频数据包括用户根据第一视频数据的模仿图像。

可以通过深度摄像头获取用户的第二视频数据以及用户图像的深度信息,进而得到用户的三维数据。深度信息包括用户每个关键点的深度信息,结合第二视频数据提供的二维数据以及深度信息,可以合成关键点的三维数据。

步骤640、根据第二视频数据以及深度信息确定用户三维人体坐标数据。

步骤650、根据第二视频数据确定第二人体坐标数据。

步骤660、获取第一人体坐标数据对应的目标三维人体坐标数据。

步骤670、根据目标三维人体坐标数据和用户三维人体坐标数据确定第四纠错数据。

目标三维人体坐标数据可以在确定教学视频后,从互联网络中下载得到。可选的,第一视频数据对应的目标三维人体坐标数据可以存储在相应的帧图像中。

在三维空间中比较目标三维人体坐标数据和用户三维人体坐标数据可确定第四纠错数据。第四纠错数据包括提示用户在三维空间中的运动方向。

步骤680、输出第一纠错数据。

本申请实施例提供的人体姿态的动作纠错方法,能够提供三维空间中的三维纠错提示,进而更加准确的为用户提供纠错。

图7为本申请实施例提供的一种人体姿态的动作纠错装置的结构示意图。如图7所示,该装置包括:第一视频确定模块710、第一坐标确定模块720、第二视频获取模块730、第二坐标确定模块740、纠错数据确定模块750和输出模块760。

第一视频确定模块710,用于根据教学视频确定第一视频数据;

第一坐标确定模块720,用于根据所述第一视频确定模块710确定的所述第一视频数据确定第一人体坐标数据;

第二视频获取模块730,用于获取用户的第二视频数据,所述第二视频数据包括用户根据所述第一视频数据的模仿图像;

第二坐标确定模块740,用于根据所述第二视频获取模块730获取的所述第二视频数据确定第二人体坐标数据;

纠错数据确定模块750,用于根据所述第一坐标确定模块720确定的所述第一人体坐标数据和所述第二坐标确定模块740确定的所述第二人体坐标数据确定第一纠错数据;

输出模块760,用于输出所述纠错数据确定模块750确定的所述第一纠错数据。

进一步的,第一视频确定模块710用于:

根据目标地址获取教学视频;

获取所述教学视频的正片标识,所述正片标识包括至少一组起始标识和截止标识;

根据所述起始标识和截止标识获取第一视频数据。

进一步的,第一视频确定模块710用于根据所述起始标识和截止标识获取第一视频数据,包括:

如果存在多组正片标识,则分别获取多个第一子视频数据,每个第一子视频数据对应一组正片标识;

拼接所述多个第一子视频数据,得到第一视频数据。

进一步的,如图8所示,还包括:人脸特征处理模块770、极限动作处理模块780和器械处理模块790。

人脸特征处理模块770,用于在根据教学视频确定第一视频数据之后,根据所述第一视频数据中的人脸图像确定第一表情特征;

根据用户的人脸特征确定第二表情特征;

根据所述第一表情特征和所述第二表情特征确定第二纠错数据;

输出所述第二纠错数据。

进一步的,还包括极限动作处理模块780,用于在根据所述第一视频数据确定第一人体坐标数据之后:

获取用户的极限动作坐标数据;

如果所述第一人体坐标数据与所述极限动作坐标数据不匹配,则根据所述极限动作坐标数据调整所述第一人体坐标数据,以便使第一人体坐标数据匹配用户的动作极限。

进一步的,还包括器械处理模块790,用于在根据教学视频确定第一视频数据之后,包括:

根据第一视频数据确定器械特征以及第一器械坐标数据;

根据所述器械特征识别用户使用的器械,并获取用户所使用器械的第二器械坐标数据;

根据所述第一器械坐标数据和所述第二器械坐标数据确定第三纠错数据;

输出所述第三纠错数据。

进一步的,第二视频获取模块730用于:获取所述用户的第二视频数据以及所述第二视频数据对应的深度信息;

根据所述第二视频数据以及所述深度信息确定用户三维人体坐标数据;

相应的,纠错数据确定模块750用于:

获取所述第一人体坐标数据对应的目标三维人体坐标数据;

根据所述目标三维人体坐标数据和所述用户三维人体坐标数据确定第四纠错数据。

本申请实施例中提供的人体姿态的动作纠错装置,首先第一视频确定模块710,用于根据教学视频确定第一视频数据;第一坐标确定模块720,用于根据所述第一视频确定模块710确定的所述第一视频数据确定第一人体坐标数据;然后,第二视频获取模块730,用于获取用户的第二视频数据,所述第二视频数据包括用户根据所述第一视频数据的模仿图像;第二坐标确定模块740,用于根据所述第二视频获取模块730获取的所述第二视频数据确定第二人体坐标数据;最后,纠错数据确定模块750,用于根据所述第一坐标确定模块720确定的所述第一人体坐标数据和所述第二坐标确定模块740确定的所述第二人体坐标数据确定第一纠错数据;输出模块760,用于输出所述纠错数据确定模块750确定的所述第一纠错数据。相关技术中存在人工输入标准动作的三维数据后,使用标准的三维数据与用户动作的三维数据进行比纠错的方案,但是该方案中标准动作的三维数据需要由程序员人工输入,每组三维数据对应一个肢体状态,由于健身动作是由多个肢体状态组成的,因此,一个健身动作需要输入大量的标准动作三维数据,进而大幅提高纠错时间和成本。本申请实施例提供的人体姿态的动作纠错方法能够基于教学视频和用户的模仿图像确定纠错数据,根据教学视频可确定第一视频数据,根据第一视频数据确定第一人体坐标数据,第一人体坐标数据无需程序员手动输入,因此能够快速的确定第一人体坐标数据,使得纠错功能更加轻便易于实现,通过前置摄像头可获取用户的第二视频数据,并根据第二视频数据确定第二人体坐标数据,第二人体坐标数据能够准确的体现用户肢体动作,通过比较第一人体坐标数据和第二人体坐标数据确定并输出第一纠错数据后,能够为用户提供纠错提示,准确的对人体姿态进行纠正,改善健身效果。

上述装置可执行本申请前述所有实施例所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请前述所有实施例所提供的方法。

图9是本申请实施例提供的另一种终端设备的结构示意图。如图9所示,该终端可以包括:壳体(图中未示出)、存储器801、中央处理器(centralprocessingunit,cpu)802(又称处理器,以下简称cpu)、存储在存储器801上并可在处理器802上运行的计算机程序、电路板(图中未示出)和电源电路(图中未示出)。电路板安置在壳体围成的空间内部;cpu802和存储器801设置在电路板上;电源电路,用于为终端的各个电路或器件供电;存储器801,用于存储可执行程序代码;cpu802通过读取存储器801中存储的可执行程序代码来运行与可执行程序代码对应的程序。

终端还包括:外设接口803、rf(radiofrequency,射频)电路805、音频电路806、扬声器811、电源管理芯片808、输入/输出(i/o)子系统809、触摸屏812、其他输入/控制设备810以及外部端口804,这些部件通过一个或多个通信总线或信号线807来通信。

应该理解的是,图示终端设备800仅仅是终端的一个范例,并且终端设备800可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

下面就本实施例提供的用于一种终端设备进行详细的描述,该终端设备以智能手机为例。

存储器801,存储器801可以被cpu802、外设接口803等访问,存储器801可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

外设接口803,外设接口803可以将设备的输入和输出外设连接到cpu802和存储器801。

i/o子系统809,i/o子系统809可以将设备上的输入输出外设,例如触摸屏812和其他输入/控制设备810,连接到外设接口803。i/o子系统809可以包括显示控制器8091和用于控制其他输入/控制设备810的一个或多个输入控制器8092。其中,一个或多个输入控制器8092从其他输入/控制设备810接收电信号或者向其他输入/控制设备810发送电信号,其他输入/控制设备810可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是,输入控制器8092可以与以下任一个连接:前置摄像头、后置摄像头、键盘、红外端口、usb接口以及诸如鼠标的指示设备,特别的前置摄像头包括深度摄像头。

其中,按照触摸屏的工作原理和传输信息的介质分类,触摸屏812可以为电阻式、电容感应式、红外线式或表面声波式。按照安装方式分类,触摸屏812可以为:外挂式、内置式或整体式。按照技术原理分类,触摸屏812可以为:矢量压力传感技术触摸屏、电阻技术触摸屏、电容技术触摸屏、红外线技术触摸屏或表面声波技术触摸屏。

触摸屏812,触摸屏812是用户终端与用户之间的输入接口和输出接口,将可视输出显示给用户,可视输出可以包括图形、文本、图标、视频等。可选的,触摸屏812将用户在触屏幕上触发的电信号(如接触面的电信号),发送给处理器802。

i/o子系统809中的显示控制器8091从触摸屏812接收电信号或者向触摸屏812发送电信号。触摸屏812检测触摸屏上的接触,显示控制器8091将检测到的接触转换为与显示在触摸屏812上的用户界面对象的交互,即实现人机交互,显示在触摸屏812上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是,设备还可以包括光鼠,光鼠是不显示可视输出的触摸敏感表面,或者是由触摸屏形成的触摸敏感表面的延伸。

rf电路805,主要用于建立智能音箱与无线网络(即网络侧)的通信,实现智能音箱与无线网络的数据接收和发送。例如收发短信息、电子邮件等。

音频电路806,主要用于从外设接口803接收音频数据,将该音频数据转换为电信号,并且将该电信号发送给扬声器811。

扬声器811,用于将智能音箱通过rf电路805从无线网络接收的语音信号,还原为声音并向用户播放该声音。

电源管理芯片808,用于为cpu802、i/o子系统及外设接口所连接的硬件进行供电及电源管理。

在本实施例中,中央处理器802用于:

根据教学视频确定第一视频数据;

根据所述第一视频数据确定第一人体坐标数据;

获取用户的第二视频数据,所述第二视频数据包括用户根据所述第一视频数据的模仿图像;

根据所述第二视频数据确定第二人体坐标数据;

根据所述第一人体坐标数据和所述第二人体坐标数据确定第一纠错数据;

输出所述第一纠错数据。

进一步的,所述根据教学视频确定第一视频数据,包括:

根据目标地址获取教学视频;

获取所述教学视频的正片标识,所述正片标识包括至少一组起始标识和截止标识;

根据所述起始标识和截止标识获取第一视频数据。

进一步的,所述根据所述起始标识和截止标识获取第一视频数据,包括:

如果存在多组正片标识,则分别获取多个第一子视频数据,每个第一子视频数据对应一组正片标识;

拼接所述多个第一子视频数据,得到第一视频数据。

进一步的,在根据教学视频确定第一视频数据之后,包括:

根据所述第一视频数据中的人脸图像确定第一表情特征;

根据用户的人脸特征确定第二表情特征;

根据所述第一表情特征和所述第二表情特征确定第二纠错数据;

输出所述第二纠错数据。

进一步的,在根据所述第一视频数据确定第一人体坐标数据之后,包括:

获取用户的极限动作坐标数据;

如果所述第一人体坐标数据与所述极限动作坐标数据不匹配,则根据所述极限动作坐标数据调整所述第一人体坐标数据,以便使第一人体坐标数据匹配用户的动作极限。

进一步的,在根据教学视频确定第一视频数据之后,包括:

根据第一视频数据确定器械特征以及第一器械坐标数据;

根据所述器械特征识别用户使用的器械,并获取用户所使用器械的第二器械坐标数据;

根据所述第一器械坐标数据和所述第二器械坐标数据确定第三纠错数据;

输出所述第三纠错数据。

进一步的,所述获取用户的第二视频数据,包括;

获取所述用户的第二视频数据以及所述第二视频数据对应的深度信息;

根据所述第二视频数据以及所述深度信息确定用户三维人体坐标数据;

相应的,所述根据所述第一人体坐标数据和所述第二人体坐标数据确定第一纠错数据,包括:

获取所述第一人体坐标数据对应的目标三维人体坐标数据;

根据所述目标三维人体坐标数据和所述用户三维人体坐标数据确定第四纠错数据。

本申请实施例还提供一种包含终端设备可执行指令的存储介质,终端设备可执行指令在由终端设备处理器执行时用于执行一种人体姿态的动作纠错方法,该方法包括:

根据教学视频确定第一视频数据;

根据所述第一视频数据确定第一人体坐标数据;

获取用户的第二视频数据,所述第二视频数据包括用户根据所述第一视频数据的模仿图像;

根据所述第二视频数据确定第二人体坐标数据;

根据所述第一人体坐标数据和所述第二人体坐标数据确定第一纠错数据;

输出所述第一纠错数据。

进一步的,所述根据教学视频确定第一视频数据,包括:

根据目标地址获取教学视频;

获取所述教学视频的正片标识,所述正片标识包括至少一组起始标识和截止标识;

根据所述起始标识和截止标识获取第一视频数据。

进一步的,所述根据所述起始标识和截止标识获取第一视频数据,包括:

如果存在多组正片标识,则分别获取多个第一子视频数据,每个第一子视频数据对应一组正片标识;

拼接所述多个第一子视频数据,得到第一视频数据。

进一步的,在根据教学视频确定第一视频数据之后,包括:

根据所述第一视频数据中的人脸图像确定第一表情特征;

根据用户的人脸特征确定第二表情特征;

根据所述第一表情特征和所述第二表情特征确定第二纠错数据;

输出所述第二纠错数据。

进一步的,在根据所述第一视频数据确定第一人体坐标数据之后,包括:

获取用户的极限动作坐标数据;

如果所述第一人体坐标数据与所述极限动作坐标数据不匹配,则根据所述极限动作坐标数据调整所述第一人体坐标数据,以便使第一人体坐标数据匹配用户的动作极限。

进一步的,在根据教学视频确定第一视频数据之后,包括:

根据第一视频数据确定器械特征以及第一器械坐标数据;

根据所述器械特征识别用户使用的器械,并获取用户所使用器械的第二器械坐标数据;

根据所述第一器械坐标数据和所述第二器械坐标数据确定第三纠错数据;

输出所述第三纠错数据。

进一步的,所述获取用户的第二视频数据,包括;

获取所述用户的第二视频数据以及所述第二视频数据对应的深度信息;

根据所述第二视频数据以及所述深度信息确定用户三维人体坐标数据;

相应的,所述根据所述第一人体坐标数据和所述第二人体坐标数据确定第一纠错数据,包括:

获取所述第一人体坐标数据对应的目标三维人体坐标数据;

根据所述目标三维人体坐标数据和所述用户三维人体坐标数据确定第四纠错数据。

本申请实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、rf等等,或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的人体姿态的动作纠错操作,还可以执行本申请任意实施例所提供的应用推荐方法中的相关操作。

注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1