影像显示装置、方法和系统与流程

文档序号:18703473发布日期:2019-09-17 23:17阅读:167来源:国知局
影像显示装置、方法和系统与流程
本申请涉及计算机
技术领域
,特别是涉及一种影像显示装置、方法和系统。
背景技术
:随着社会经济的进步,人们的生活越来越丰富。舞蹈和瑜伽等个人修习项目也越来越广泛地融入人们的日常生活。通常人们会通过播放视频,并对视频中的教学动作进行模仿的方式进行练习。例如采用手机进行播放瑜伽教学视频,然后通过镜子观察自己的动作以确保练习过程中的动作标准。然而,由于人眼的单一聚焦性,一次只能聚焦于一个目标对象,在进行练习时,练习者需要不停的摆动头部,目光需要在手机和镜子之间来回切换,以确保练习的动作的准确性。采用上述传统的方式进行练习,容易分散练习者的注意力,且由于目光切换的时差,往往导致看到的教学视频上的动作和镜子中自己的动作不是同一时刻的同一动作,因此其使用不便。技术实现要素:基于此,有必要针对上述技术问题,提供一种能够便于使用的影像显示装置、方法和系统。第一方面,本申请实施例提供一种影像显示装置,所述装置包括:单面镜和显示组件,所述单面镜重叠设置在所述显示组件的正面;所述显示组件,用于获取模板视频文件中的模板视频影像,并将所述模板视频影像进行显示;所述单面镜,用于将待显示对象的实时影像进行显示。在其中一个实施例中,所述显示组件还用于接收用户输入的尺寸调整信息,所述尺寸调整信息用于调整所述模板视频影像的尺寸。在其中一个实施例中,所述装置还包括:数据采集单元和处理单元,所述数据采集单元和所述处理单元连接;所述数据采集单元,用于获取所述待显示对象的实际视频影像;所述处理单元,用于对所述实际视频影像进行关键帧提取,得到实际帧图像,并将所述实际帧图像和所述模板视频影像中的模板帧图像进行对比,得到所述实际帧图像的分析结果;所述分析结果用于表征所述实际帧图像和所述模板帧图像中的对象姿态的相似程度;所述模板帧图像为对所述模板视频影像进行关键帧提取所得到的图像。在其中一个实施例中,所述装置还包括存储单元;所述存储单元,用于将所述分析结果和/或所述实际视频影像进行存储。在其中一个实施例中,所述装置还包括通讯单元;所述通讯单元,用于将所述分析结果和/或所述实际视频影像发送至云服务器。在其中一个实施例中,所述通讯单元,还用于从云服务器下载所述模板视频文件,或者从用户终端接收所述模板视频文件。在其中一个实施例中,所述数据采集单元和/或所述处理单元为设置在用户终端上的数据采集单元和/或处理单元。在其中一个实施例中,若所述数据采集单元设置在所述用户终端上,所述通讯单元,还用于接收所述数据采集单元采集到的所述实际视频影像。第二方面,本申请实施例提供一种影像显示系统,所述系统包括如上述实施例中任一项所述的影像显示装置。第三方面,本申请实施例提供一种影像显示方法,应用于上述任一实施例中的影像显示装置,所述方法包括:获取模板视频文件中的模板视频影像;将所述模板视频影像和待显示对象的实时影像在相同区域进行显示。在其中一个实施例中,所述方法还包括:接收用户输入的尺寸调整信息;根据所述尺寸调整信息调整所述模板视频影像的尺寸。在其中一个实施例中,所述方法还包括:获取所述待显示对象的实际视频影像;对所述实际视频影像进行关键帧提取,得到实际帧图像;将所述实际帧图像和所述模板视频影像中的模板帧图像进行对比,得到所述实际帧图像的分析结果;所述分析结果用于表征所述实际帧图像和所述模板帧图像中的对象姿态的相似程度;所述模板帧图像为对所述模板视频影像进行关键帧提取所得到的图像。在其中一个实施例中,所述分析结果包括所述实际帧图像与所述模板帧图像的相似程度的总量化值;所述将所述实际帧图像和所述模板视频影像中的模板帧图像进行对比,得到所述实际帧图像的分析结果,包括:获取所述实际帧图像与所述模板帧图像的矩特征向量量化值;获取所述实际帧图像与所述模板帧图像的余弦相似度量化值;根据预设的量化值权重系数、所述矩特征向量量化值和所述余弦相似度量化值,确定所述总量化值。在其中一个实施例中,所述根据预设的量化值权重系数、所述矩特征向量量化值和所述余弦相似度量化值,确定所述总量化值,包括:将所述矩特征向量量化值和所述余弦相似度量化值进行归一化,并分别与对应的量化值权重系数相乘,得到所述总量化值。在其中一个实施例中,所述获取所述实际帧图像与所述模板帧图像的矩特征向量量化值,包括:对所述实际帧图像进行人像分割,得到目标人像;对所述目标人像进行轮廓提取,得到目标形状;对所述目标形状进行形状特征提取,得到目标几何不变矩;将所述目标几何不变矩与所述模板帧图像中的对象的几何不变矩进行匹配,得到所述实际帧图像与所述模板帧图像的矩特征向量距离;根据所述矩特征向量距离和预设的矩特征向量范围,确定所述实际帧图像的所述矩特征向量量化值。在其中一个实施例中,所述根据所述矩特征向量距离和预设的矩特征向量范围,确定所述实际帧图像的所述矩特征向量量化值,包括:若所述矩特征向量距离小于或等于预设的矩特征向量范围的最小值,则将所述矩特征向量量化值确定为第一值;若所述矩特征向量距离大于所述矩特征向量范围的最小值且小于所述矩特征向量范围的最大值,则根据所述矩特征向量距离、所述矩特征向量范围的最小值和所述矩特征向量范围的最大值,计算所述矩特征向量量化值;若所述矩特征向量距离大于或等于所述矩特征向量范围的最大值,则将所述矩特征向量量化值确定为第二值。在其中一个实施例中,所述根据所述矩特征向量距离、所述矩特征向量范围的最小值和所述矩特征向量范围的最大值,计算所述矩特征向量量化值,包括:根据公式确定矩特征向量量化值p,其中,l为矩特征向量距离,emin为矩特征向量范围的最小值,emax为矩特征向量范围的最大值。在其中一个实施例中,所述获取所述实际帧图像与所述模板帧图像的余弦相似度量化值,包括:对所述实际帧图像进行关键点检测,得到多个目标关键点;对多个所述目标关键点进行分组,得到目标关键部位;对所述目标关键部位和所述模板帧图像中对应的关键部位进行匹配,得到所述余弦相似度;根据所述余弦相似度,确定所述余弦相似度量化值。在其中一个实施例中,所述根据所述余弦相似度,确定所述余弦相似度量化值,包括:若所述余弦相似度小于0,则确定所述余弦相似度量化值为0;若所述余弦相似度大于或等于0,则将所述余弦相似度确定为所述余弦相似度量化值。在其中一个实施例中,所述方法还包括:将所述分析结果进行本地存储或上传至云服务器;和/或将所述实际视频影像进行本地存储或上传至云服务器。在其中一个实施例中,所述获取模板视频文件中的模板视频影像之前,包括:从云服务器下载所述模板视频文件;或者,接收终端发送的所述模板视频文件。上述影像显示装置、方法和系统,由于影像显示装置包括单面镜和显示组件,由于显示组件能够获取模板视频文件中的模板视频影像并进行显示,以及单面镜能够将待显示对象的实时影像进行显示,因此通过将单面镜重叠设置在显示组件的正面,从而使得待显示对象的实时影像和模板视频影像能够在同一个区域进行显示,因此,避免了传统的影像显示装置分别在不同的区域将待显示对象的实时影像和模板视频影像进行显示所带来的使用不便的情况,在使用过程中,使用者能够同时看到模板视频影像和其自身的实时影像,无需来回摆动头部或者不断地切换目光,因此使用的便携性大大提高,进而能够更好的集中注意力,使得其动作的协调性和准确性提高,练习效果大大提升。附图说明图1为一个实施例提供的影像显示装置的结构示意图;图2为另一个实施例提供的影像显示装置的结构示意图;图2a为一个实施例提供的影像显示装置和使用者的距离确定方法示意图;图3为又一个实施例提供的影像显示装置的结构示意图;图4为又一个实施例提供的影像显示装置的结构示意图;图5为又一个实施例提供的影像显示系统的架构示意图;图6为一个实施例提供的影像显示方法的流程示意图;图7为另一个实施例提供的影像显示方法的流程示意图;图8为又一个实施例提供的影像显示方法的流程示意图;图9为又一个实施例提供的影像显示方法的流程示意图;图10为又一个实施例提供的影像显示方法的流程示意图;图11为又一个实施例提供的影像显示方法的流程示意图;图11a为一个实施例提供的人体关键点的示意图;图12为又一个实施例提供的影像显示方法的流程示意图;图13为一个实施例中计算机设备的内部结构图。附图标记说明:单面镜:100;显示组件:200;数据采集单元:300;处理单元:400;存储单元:500;通讯单元:600。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。图1为一个实施例提供的影像显示装置的结构示意图。如图1所示,所述装置包括:单面镜100和显示组件200,单面镜100重叠设置在显示组件200的正面;显示组件200,用于获取模板视频文件中的模板视频影像,并将所述模板视频影像进行显示;单面镜100,用于将待显示对象的实时影像进行显示。具体的,影像显示装置可以包括单面镜100和显示组件200。其中,单面镜100可以为单面透视玻璃,即在普通玻璃上用真空涂抹法附着一层金属铬、铝、铱或银的薄膜制成。通过这层薄膜的厚度和密度可以控制玻璃的透光率,从而得到半透半反的效果。通过单面镜100就可以实现将显示对象,例如正在训练的人的实时影像进行显示,即“照镜子”。另外,上述显示组件200可以获取需要参考的末班视频文件中的模板视频影像,例如教学视频影像,并通过显示组件200中的显示屏将该模板视频影像进行显示。由于单面镜100重叠设置在显示组件200的正面,因此单面镜100和显示组件200就可以在同一个区域内分别将待显示对象和模板视频影像进行显示。本实施例中,由于影像显示装置包括单面镜和显示组件,且显示组件能够获取模板视频文件中的模板视频影像并进行显示,以及单面镜能够将待显示对象的实时影像进行显示,因此通过将单面镜重叠设置在显示组件的正面,从而使得待显示对象的实时影像和模板视频影像能够在同一个区域进行显示,其避免了传统的影像显示装置分别在不同的区域将待显示对象的实时影像和模板视频影像进行显示所带来的使用不便的情况。在使用过程中,使用者能够同时看到模板视频影像和其自身的实时影像,无需来回摆动头部或者不断地切换目光,因此使用的便携性大大提高,进而能够更好的集中注意力,使得其动作的协调性和准确性提高,练习效果大大提升。可选地,在上述实施例的基础上,上述显示组件200还可以为触摸屏,或者感应屏,该显示组件200可以接收用户输入的尺寸调整信息,进而使得模板视频影像的尺寸能够根据该尺寸调整信息进行调整。例如,该显示组件200可以通过其屏幕上方设置的触摸板,接收用户的拇指和食指的滑动,从而对模板视频影像的尺寸进行放缩,使得模板视频影像中作为参考标准的人像的尺寸大小符合使用者的使用需要。本实施例中,通过显示组件接收用户输入的尺寸调整信息,上述装置就能够基于该尺寸调整信息调整模板视频影像的尺寸,从而使得模板视频影像中作为参考标准的人像的尺寸大小和待显示对象的实时影像的尺寸大小相当,进而便于使用者更为方便地和直观地对比自己和教学老师的动作的一致性,进而提高了动作的协调性和准确性,进一步提升了练习效果。图2为另一个实施例提供的影像显示装置的结构示意图。在上述各个实施例的基础上,如图2所示,包括所述装置还可以包括数据采集单元300和处理单元400,数据采集单元300和处理单元400连接;图2中的处理单元400通常设置在显示组件200的内部,图2中的位置仅以示例的形式示出,并不作为对本实施例的限定。数据采集单元300,用于获取所述待显示对象的实际视频影像;处理单元400,用于对所述实际视频影像进行关键帧提取,得到实际帧图像,并将所述实际帧图像和所述模板视频影像中的模板帧图像进行对比,得到所述实际帧图像的分析结果;所述分析结果用于表征所述实际帧图像和所述模板帧图像中的对象姿态的相似程度;所述模板帧图像为对所述模板视频影像进行关键帧提取所得到的图像。具体的,上述装置还可以包括数据采集单元300和处理单元400,且数据采集单元300和处理单元400连接,本实施例对二者的连接方式不做限定,例如其可以是电连接,也可以是通信连接。其中,二者为电连接时,可以是通过数据线连接,或者是设置在同一印制板上,通过印制板的走线进行连接,还可以是通过集成的工艺封装为同一个芯片;二者为通信连接时,其通信方式可以为3g,4g,5g或者短距离无线通信方式,对此本实施例不做限定。可选地,数据采集单元300可以为摄像装置,其通过对待显示对象进行拍摄,获取待显示对象的实际视频影像;可选地,数据采集单元300还可以为三维人体感应模组,其通过采集待显示对象的三维点云数据获取待显示对象的实际视频影像,其中,三维人体感应模组包括但不限于基于飞行时间测距法(timeofflight,简称tof)、结构光(structured-light)等原理的三维人体感应传感器和相关的传感信号处理模块。上述处理单元400,用于对实际视频影像进行关键帧提取,得到实际帧图像,并将实际帧图像和模板视频影像中的模板帧图像进行对比,得到实际帧图像的分析结果。需要说明的是,上述模板视频影像中的模板帧图像也可以采用关键帧提取的方式从模板视频影像中获取。例如,可以为将实际视频影像和模板视频影像中相同时刻的图像分别进行提取,得到实际帧图像和模板帧图像。其中,该分析结果能够表征实际帧图像和模板帧图像中的对象姿态的相似程度,例如实际帧图像中练习者的动作和模板帧图像中教学动作的相似程度。另外,关于实际视频影像进行关键帧提取,得到实际帧图像,并将实际帧图像和模板视频影像中的模板帧图像进行对比,得到实际帧图像的分析结果的具体过程还可以参见下述图9至图12所示的实施例,此处暂不赘述。可选地,上述数据采集单元和处理单元中的任何一个或两个还可以为用户终端的数据采集单元和/或处理单元。例如用户终端通过其上的数据采集单元,如摄像头,拍摄待显示对象的实际视频影像,然后将实际视频影像发送给处理单元进行处理,从而得到分析结果。可选地,处理单元也可以为用户终端上的处理单元。可选地,当上述数据采集单元为用户终端上的数据采集单元时,在使用过程中,用户终端可以设置在显示组件的上方或底端的支架上,便于对使用者进行拍摄。本实施例中,通过采用用户终端上的数据采集单元和/或处理单元得到分析结果,其可以无需单独设置数据采集单元和/或处理单元,从而大大降低了影像显示装置的成本。可选地,上述用户终端还可以通过其显示屏接收用户输入的尺寸调整信息,来调整模板视频影像的尺寸,从而使得上述显示组件按照调整后的模板视频影像的尺寸进行显示。本实施例中,影像显示装置还可以包括数据采集单元和处理单元,且通过数据采集单元和处理单元连接,实现处理单元对数据采集单元获取的实际视频影像进行关键帧提取,从而得到实际帧图像,然后通过处理单元将实际帧图像和模板视频影像中的模板帧图像进行对比,得到实际帧图像的分析结果。其中,模板帧图像为对模板视频影像进行关键帧提取所得到的图像,且由于上述分析结果能够表征实际帧图像和模板帧图像中的对象姿态的相似程度,因此用户可以基于上述分析结果得知其自身动作准确度,使得用户根据该分析结果更为方便和直观地得知其练习效果,丰富了该装置的功能,其使用更为便利。可选地,上述摄像装置的视野范围应该覆盖用户的全身,其设置和使用者的身高以及摄像装置与使用者的距离有关。例如可以参见图2a所示,其中h为使用者的身高,l为人与摄像头的距离,θ为摄像头的极限视角,图2a中的c代表摄像装置的位置。则有如下关系:θ=2*atan(0.5h/l),通过计算,可以得到不同的h、l组合对摄像头的摄像角度的对应关系,见表1。表1h(米)1.51.71.91.51.71.91.51.71.9l(米)1111.51.51.5222θ(度)748187535965414651通常,摄像装置的实际视野范围大于65度,因此可以建议用户与摄像装置的距离为1.5米到2米。图3为又一个实施例提供的影像显示装置的结构示意图。可选地,在上述各个实施例的基础上,所述装置还可以包括存储单元500,存储单元500用于将所述分析结果和/或所述实际视频影像进行存储。图3中的存储单元500通常设置在显示组件200的内部,图3中仅以示例的形式示出,并不作为对本实施例的限定。具体的,上述影像显示装置还可以包括存储单元500,该存储单元500其可以与数据采集单元300和/或处理单元400连接,其可以将通过数据采集单元300所获取的实际视频影像进行存储,还可以将上述处理单元400所确定的分析结果进行存储。本实施例中,通过存储单元将分析结果和/或实际视频影像进行存储,能够便于用户查看和用户数据统计,使得该装置的功能更加丰富,满足了人们多种使用需求。可选地,在上述图3所示的实施例基础上,还可以如图4所示,所述装置还可以包括通讯单元600,其通常设置在显示组件200的内部,图4中仅以示例的形式示出,并不作为对本实施例的限定。通讯单元600可以用于将分析结果和/或实际视频影像发送至云服务器,进而使得云服务器将上述分析结果和/或实际视频影像进行存储以便用户随时随地通过访问云服务器进行查看,使得该装置的功能更加丰富,满足了人们多种使用需求,另外还可以便于云服务器对该分析结果和/或实际视频影像进行数据统计,从而便于对不同的用户提供更多定制化的服务。可选地,通讯单元600,还可以用于从云服务器下载模板视频文件,或者从用户终端接收模板视频文件。具体的,上述模板视频文件可以通过网络由云服务器端进行下载,也可以接收用户终端发送的模板视频文件,进而使得模板视频文件的来源方式多样化,无需限制为一种固定的获取方式,其大大提高了用户使用的便携性。在一个实施例中,还提供了一种影像显示系统,具体参见图5所示,包括云服务器、用户终端和上述任一实施例所述的影像显示装置。该影像显示装置可以单独使用,还可以配合用户终端,或者连接云服务器进行使用。以上是对影像显示装置及其应用的系统进行的说明,下面则对本申请涉及的影像显示方法进行详细说明。本申请提供的影像显示方法,可以适用于图1所示的装置。本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的影像显示装置的限定,具体的影像显示装置可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。需要说明的是,下述方法实施例的执行主体可以是影像显示装置,该装置可以通过软件、硬件或者软硬件结合的方式实现成为上述影像显示系统的部分或者全部。下述方法实施例中,均以执行主体是影像显示装置或者影像显示装置中的部件为例进行说明。图6为一个实施例提供的影像显示方法的流程示意图。本实施例涉及的是影像显示装置将模板视频影像和实时影像在相同区域进行显示的具体过程。如图6所示,所述方法包括:s101、获取模板视频文件中的模板视频影像。具体的,影像显示装置可以获取模板视频文件中的模板视频影像,可选地,其可以是读取存储在其存储单元上的模板视频文件,并对模板视频影像进行解码,也可以是接收其他设备发送的模板视频文件,并进行解码得到,本实施例对影像显示装置获取模板视频文件中的模板视频影像的具体方式不做限定。s102、将所述模板视频影像和待显示对象的实时影像在相同区域进行显示。具体的,影像显示装置通过其包括的单面镜将待显示对象的实时影像进行显示,并且通过其显示组件将模板视频文件中的模板视频影像在相同区域进行显示。其中,关于单面镜和显示组件的详细描述可以参考前文所述,此处不再赘述。本实施例中,由于影像显示装置能够获取模板视频文件中的模板视频影像,并将模板视频影像和待显示对象的实时影像在相同区域进行显示,从而避免了传统的影像显示装置分别在不同的区域将待显示对象的实时影像和模板视频影像进行显示所带来的使用不便的情况,在使用过程中,使用者能够同时看到模板视频影像和其自身的实时影像,无需来回摆动头部或者不断地切换目光,因此使用的便携性大大提高,进而能够更好的集中注意力,使得其动作的协调性和准确性提高,练习效果大大提升。图7为另一个实施例提供的影像显示方法的流程示意图。可选地,在上述图6所示的实施例基础上,所述方法还可以包括:s201、接收用户输入的尺寸调整信息。s202、根据所述尺寸调整信息调整所述模板视频影像的尺寸。图8又一个实施例提供的影像显示方法的流程示意图。可选地,在上述图6或图7所示的实施例基础上,所述方法还可以包括:s301、获取所述待显示对象的实际视频影像。s302、对所述实际视频影像进行关键帧提取,得到实际帧图像。s303、将所述实际帧图像和所述模板视频影像中的模板帧图像进行对比,得到所述实际帧图像的分析结果;所述分析结果用于表征所述实际帧图像和所述模板帧图像中的对象姿态的相似程度;所述模板帧图像为对所述模板视频影像进行关键帧提取所得到的图像。图9又一个实施例提供的影像显示方法的流程示意图。可选地,在上述图8所示的实施例基础上,所述分析结果包括所述实际帧图像与所述模板帧图像的相似程度的总量化值;上述步骤s303的一种可能的形式可以包括:s401、获取所述实际帧图像与所述模板帧图像的矩特征向量量化值。具体的,影像显示装置能够通过对实际帧图像与模板帧图像中的对象进行分析,从而计算得到二者的矩特征向量量化值,该矩特征向量量化值能够表征实际帧图像与模板帧图像中的对象的动作的相似程度。可选地,该步骤s401的一种可能的实现方式可以参见下述图10所示,此处不再赘述。s402、获取所述实际帧图像与所述模板帧图像的余弦相似度量化值。具体的,影像显示装置能够通过对实际帧图像与模板帧图像中的对象进行分析,从而计算得到二者的余弦相似度量化值,该余弦相似度量化值能够从向量角度的维度表征实际帧图像与模板帧图像中对象动作的相似程度。可选地,该步骤s402的一种可能的实现方式可以参见下述图11所示,此处不再赘述。s403、根据预设的量化值权重系数、所述矩特征向量量化值和所述余弦相似度量化值,确定所述总量化值。具体的,影像显示装置能够根据预设的量化值权重系数,以及矩特征向量量化值和余弦相似度量化值,确定能够表征实际帧图像与模板帧图像中的对象的总的相似程度的总量化值。需要说明的是,该量化值权重系数分别矩特征向量量化值和余弦相似度量化值的权重系数。可选地,本步骤s403的一种可能的实现方式可以包括:将所述矩特征向量量化值和所述余弦相似度量化值进行归一化,并分别与对应的量化值权重系数相乘,得到所述总量化值。具体的,影像显示装置能够将矩特征向量量化值和余弦相似度量化值分别进行归一化,之后将其与各自对应的量化值权重系数相乘并求和,从而得到表征实际帧图像与模板帧图像中的对象的相似程度的总量化值。例如,该步骤中的总量化值s可以通过公式s=[b1,b2]*[p,k]t或者该公式的变形得到,其中,b1和b2分别为矩特征向量量化值和余弦相似度量化值对应的量化值权重系数,p为实际帧图像的矩特征向量量化值,k为实际帧图像的为余弦相似度量化值,且b1+b2=1。可选地,该量化值权重系数可以根据匹配的程度进行调整。例如,如果忽略动作的角度对评分的影响,则可以将余弦相似度量化值对应的量化值权重系数设置为0。本实现方式中,影像显示装置能够将矩特征向量量化值和余弦相似度量化值进行归一化,并分别与对应的量化值权重系数相乘,得到总量化值,从而实现依据量化值权重系统控制矩特征向量量化值和余弦相似度量化值这两个维度在评分过程中被所占的比重,进而使得所得到的总量化值更为合理、准确以及符合用户要求。本实施例中,影像显示装置能够获取实际帧图像与模板帧图像的矩特征向量量化值,并获取实际帧图像与模板帧图像的余弦相似度量化值,然后根据预设的量化值权重系数、矩特征向量量化值和余弦相似度量化值,确定总量化值,从而能够从矩特征向量和余弦相似度两个方面,全面客观的对实际帧图像与模板帧图像中的对象的姿态进行量化评分,进而使得所得到的总量化值更为合理、准确以及符合用户要求。图10为又一个实施例提供的影像显示方法的流程示意图。本实施例涉及的是影像显示装置获取实际帧图像与模板帧图像的矩特征向量量化值的具体过程。可选地,如图10所示,上述s401具体可以包括:s501、对所述实际帧图像进行人像分割,得到目标人像。具体的,影像显示装置可以将实际帧图像中的人物与背景进行分割。对于较为简单的背景,可以利用帧间差分算法进行分割;对于较为复杂的背景,可以使用训练好的带有语义分割功能的深度神经网络模型进行分割。其中,基于图像的带有语义分割功能的深度神经网络模型,可以包括但不限于全卷积网络(fullyconvolutionalnetwork,简称fcn),模板区域卷积神经网络(maskr-cnn)等。s502、对所述目标人像进行轮廓提取,得到目标形状。具体的,为了避免颜色和纹理对处理结果的干扰,影像显示装置对分割出来的目标人像进行轮廓检测,并对轮廓组成的封闭区域进行填充,从而得到目标形状。s503、对所述目标形状进行形状特征提取,得到目标几何不变矩。具体的,影像显示装置对上述目标形状进行形状特征提取,从而得到实际帧图像的目标几何不变矩。其中,形状特征指图像的几何不变矩,需要说明的是,由于几何不变矩具有旋转、平移、尺度等特性的不变特征,所以又称几何不变矩为一个特征向量(常用的有hu矩、zernike矩等)。s504、将所述目标几何不变矩与所述模板帧图像中的对象的几何不变矩进行匹配,得到所述实际帧图像与所述模板帧图像的矩特征向量距离。通常,可以采用如上述步骤s501至s503的方法对模板帧图像进行处理,从而得到模板帧图像中的对象的几何不变矩。之后,影像显示装置将实际帧图像的目标几何不变矩与模板帧图像中的对象的几何不变矩进行匹配,得到实际帧图像与模板帧图像的矩特征向量距离。需要说明的是,向量间的距离越小,以及对应的同阶的矩特征值差值越小,则代表这两幅图像描述的物体的形状越接近。s505、根据所述矩特征向量距离和预设的矩特征向量范围,确定所述实际帧图像的所述矩特征向量量化值。具体的,影像显示装置可以定义一个预设的矩特征向量范围,并根据矩特征向量距离是否在该矩特征向量范围内,以及大于或小于该矩特征向量范围,从而确定实际帧图像的矩特征向量量化值。可选地,该步骤s505的一种可能的实现方式可以如图12所示,包括:s601a、若所述矩特征向量距离小于或等于预设的矩特征向量范围的最小值,则将所述矩特征向量量化值确定为第一值,可选地,该第一值可以为1,其可以代表相似度很高。s601b、若所述矩特征向量距离大于所述矩特征向量范围的最小值且小于所述矩特征向量范围的最大值,则根据所述矩特征向量距离、所述矩特征向量范围的最小值和所述矩特征向量范围的最大值,计算所述矩特征向量量化值。可选地,本步骤可以通过根据公式或者该公式的变形确定矩特征向量量化值p,其中,l为矩特征向量距离,emin为矩特征向量范围的最小值,emax为矩特征向量范围的最大值。通过该公式表征矩特征向量量化值,其便于计算且准确。s601c、若所述矩特征向量距离大于或等于所述矩特征向量范围的最大值,则将所述矩特征向量量化值确定为第二值,可选地,该第二值可以为0,其可以代表相似度很低。可选地,本步骤可以用公式或者该公式的变形进行表达,其中0<p<1。本实施例中,影像显示装置能够对实际帧图像进行人像分割,得到目标人像,并对目标人像进行轮廓提取,得到目标形状,然后对目标形状进行形状特征提取,得到目标几何不变矩,进而将目标几何不变矩与模板帧图像中的对象的几何不变矩进行匹配,得到实际帧图像与模板帧图像的矩特征向量距离,最后再根据矩特征向量距离和预设的矩特征向量范围,确定实际帧图像的矩特征向量量化值,从而实现了将实际帧图像的矩特征向量进行量化,使得用户能够更为直观地得知矩特征向量,其使用更为方便。图11为又一个实施例提供的影像显示方法的流程示意图。本实施例涉及的是影像显示装置获取实际帧图像与模板帧图像的余弦相似度量化值的具体过程。可选地,如图11所示,上述s402具体可以包括:s701、对所述实际帧图像进行关键点检测,得到多个目标关键点。具体的,影像显示装置可以对实际帧图像进行关键点检测,得到多个目标关键点,检测到的关键点通常是事先定义好的基于人体骨骼关节的对应点在图像中的位置的序列集合,因此这多个目标关键点可以表征对象的某个部位的某个动作。s702、对多个所述目标关键点进行分组,得到目标关键部位。对于很多动作而言,只需要关注部分身体的动作的准确性。所以,影像显示装置可以对关键点分组,提取需要关注的部位的关键点进行分析即可。例如图11a所示,某个动作只需要关注右手的动作,则只需要使用12,13,14,2和11号关键点进行分析即可得到目标关键部位,即右手。s703、对所述目标关键部位和所述模板帧图像中对应的关键部位进行匹配,得到所述余弦相似度。首先将上述获取到的目标关键部位的目标关键点按照一定的顺序合并组合成an*1的向量,其中,n为参与分析的关键点的数量,a为坐标维数(二维=2,三维=3),然后对目标关键部位和模板帧图像中对应的关键部位进行匹配,计算模板帧图像的关键点组成的向量和用户图像关键点组成的向量之间的余弦相似度(即余弦距离)。需要说明的是,向量之间的余弦相似度能够反映出两个向量的方向是否一致,其与向量的大小无关。在练习过程中,不同的人因为身体尺寸不一样,导致关键点的距离不一样,但是在评估动作准确性时,主要是看相关身体部位之间的角度是否与标准动作一致。s704、根据所述余弦相似度,确定所述余弦相似度量化值。具体的,影像显示装置可以根据余弦相似度,确定余弦相似度量化值。由于余弦相似度的取值范围为[-1,1],因此可以在所述余弦相似度小于0时,确定余弦相似度量化值为0;在余弦相似度大于或等于0时,则将余弦相似度直接确定为余弦相似度量化值。例如余弦相似度量化值可以通过公式,或者该公式的变形进行表达。例如,计算一个动作的余弦相似度d={di,i=1,2,...,n},其中,n为需要计算的项目个数,di为一个项目的余弦相似度。例如对于某个动作,需要同时计算不同部位的准确度,每个部位的一组关键点的坐标组成的向量为一个项目。由于余弦相似度范围在[-1,1],余弦相似度越接近1,则表明夹角越接近0度,即两个向量越相似;余弦相似度越接近-1,则代表两个向量的夹角接近180度,-1则代表方向完全相反。我们可以对d进行如下处理,得到每一个项目的余弦相似度量化值k={ki},其中,其中,0<ki<1。最后,综合所有项目的余弦相似度量化值,得到关键部位匹配度的余弦相似度量化值k=a*k,其中a=[a1,a2,...,an],且系数a为每个部位的余弦相似度量化值的权重,其可以根据需要进行调整。本实施例中,对实际帧图像进行关键点检测,得到多个目标关键点,再对多个目标关键点进行分组,得到目标关键部位,之后对目标关键部位和模板帧图像中对应的关键部位进行匹配,得到余弦相似度,进而根据余弦相似度,确定余弦相似度量化值,进而能够使得用户根据量化的余弦相似度量化值,直观的得知其动作的准确性,其使用更为方便。可选地,在上述实施例的基础上,所述方法还包括:将所述分析结果进行本地存储或上传至云服务器;和/或,将所述实际视频影像进行本地存储或上传至云服务器。可选地,在上述实施例的基础上,所述获取模板视频文件中的模板视频影像之前,包括:从云服务器下载所述模板视频文件;或者,接收终端发送的所述模板视频文件。上述影像显示方法中,关于其原理和技术效果可以参见上述影像显示装置的具体描述,此处暂不赘述。应该理解的是,虽然图6-12的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图6-12中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种影像显示方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。在一个实施例中,还提供一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,该处理器执行计算机程序时实现上述任一实施例的方法中的步骤。具体地,处理器执行上述计算机程序时实现如下步骤:获取模板视频文件中的模板视频影像;将所述模板视频影像和待显示对象的实时影像在相同区域进行显示。应当清楚的是,本申请实施例中处理器执行计算机程序的过程,与上述方法中各个步骤的执行过程一致,具体可参见上文中的描述。在一个实施例中,还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施例的方法中的步骤。具体地,计算机程序被处理器执行时实现如下步骤:获取模板视频文件中的模板视频影像;将所述模板视频影像和待显示对象的实时影像在相同区域进行显示。应当清楚的是,本申请实施例中计算机程序被处理器执行的过程,与上述方法中各个步骤的执行过程一致,具体可参见上文中的描述。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1