基于表情的视频生成方法、装置、设备及存储介质与流程

本发明涉及图像处理技术领域，尤其涉及一种基于表情的视频生成方法、装置、设备及存储介质。

背景技术：

生活中经常会有一些精彩的瞬间或者值得回忆的美好时刻需要保留。例如婴幼儿在成长的过程会不断进步，也会给父母带来很多欢乐的时刻。父母都喜欢用摄像机或数码相机抓怕婴幼儿的趣味相片，以记录婴幼儿美好的瞬间，但由于工作繁忙和其他原因的影响，父母并不能时刻陪伴儿童，也不能抓拍到婴幼儿的每一个趣味表情。因此急需一种能够自动识别趣味表情，并自动抓拍精彩或者美好瞬间的方法。

技术实现要素：

本发明的主要目的在于提出一种基于表情的视频生成方法、装置、设备及存储介质，旨在解决现有技术中无法自动抓拍精彩瞬间视频的技术问题。

为实现上述目的，本发明一方面提供一种基于表情的视频生成方法，所述方法包括：

在预设时间段内存储待合成视频并实时检测所述待合成视频是否包含趣味表情图像；

当检测到所述待合成视频包含趣味表情图像时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。

进一步的，所述检测到所述待合成视频包含趣味表情图像之后，所述方法还包括：

根据预设评分规则对所述趣味表情图像评分得到评分值；

当所述评分值大于预设值时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。

进一步的，所述预设评分规则是所述趣味表情图像笑的程度和图像质量形成的评分规则；所述根据预设评分规则对所述趣味表情图像评分得到评分值包括：

根据所述趣味表情图像笑的程度的组成因子得到第一评分项；

根据所述趣味表情图像图像质量的组成因子得到第二评分项；

根据所述第一评分项和所述第二评分项得到所述趣味表情图像评分值。

进一步的，所述笑的程度组成因子包括微笑、轻笑和大笑，所述图像质量组成因子包括笑脸的方向、笑脸是否被遮挡、环境光线强度和图像清晰度。

进一步的，所述方法还包括：

当未检测到所述待合成视频包含趣味表情图像，或者根据预设评分规则对所述趣味表情图像评分得到的评分值小于预设值时，存储新的待合成视频覆盖所述待合成视频。

进一步的，所述在预设时间段内存储待合成视频并实时检测所述待合成视频之前，所述方法还包括：

分配存储待合成视频的临时存储空间。

进一步的，所述方法还包括：

将所述目标视频发送给指定终端；

根据所述指定终端的反馈信息删除或者保存所述目标视频。

本发明另一方面还提供一种基于表情的视频生成装置，所述装置包括：

检测模块，用于在预设时间段内存储待合成视频并实时检测所述待合成视频；

合成模块，用于当检测到所述待合成视频包含趣味表情图像时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。

本发明另一方面还提供一种基于表情的视频生成设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述任一项所述的方法。

本发明另一方面还提供一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现上述任一项所述的方法。

本发明提供的基于表情的视频生成方法、装置、设备及存储介质，在预设时间段内存储待合成视频并实时检测所述待合成视频；当检测到所述待合成视频包含趣味表情图像时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。通过本发明能够自动检测视频中的趣味表情图像，并将趣味表情图像前后视频内容合并生成精彩的小视频，实现自动抓拍精彩瞬间视频，记录生活趣味瞬间，提升用户体验的效果。

附图说明

图1为本发明实施例一提供的一种基于表情的视频生成方法流程图；

图2为本发明实施例二提供的一种基于表情的视频生成方法流程图；

图3为本发明实施例三提供的一种基于表情的视频生成方法流程图；

图4为本发明实施例四提供的一种基于表情的视频生成装置的结构示意图；

图5为本发明实施例四提供的一种基于表情的视频生成设备的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

实施例一

本发明实施例一提供一种基于表情的视频生成方法，如图1所示，所述方法包括：

s1、在预设时间段内存储待合成视频并实时检测所述待合成视频是否包含趣味表情图像；

其中，预设时间段可以是系统默认时间段，如20分钟，也可以是用户根据需要预先设置的时间段。以20分钟为例，在拍摄视频过程中，本步骤可以临时存储已拍摄的20分钟以内的待合成视频，并通过人脸检测器自动检测待合成视频中的各个帧图像是否包含趣味表情图像。

其中，趣味表情图像可以根据生成目标视频的图像要求或者用户喜好设置。优选的，所述趣味表情图像包括：指定人群的笑脸表情图像。例如，在一种实施方式中，用户想生成包含婴儿笑脸图像的目标视频，以记录婴儿微笑的美好瞬间，则所述趣味表情图像为婴儿笑脸图像；在另一种实施方式中，用户想生成包含老人笑脸的目标视频，以记录老人高兴的瞬间，则所述趣味表情图像为老人笑脸图像。此外，趣味表情图像还可以是指定人群的指定表情图像，例如，在另一种实施方式中，用户想生成包含学生学习图像的目标视频，以记录学生学习的过程，则所述趣味表情图像为学生学习图像；在另一种实施方式中，趣味表情图像可以是根据用户喜好设置的图像，例如在预设趣味表情图像库中，将用户点击选取的图像设为趣味表情图像。

s2、当检测到所述待合成视频包含趣味表情图像时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。

其中，预设值可以根据系统设置，如预设值可以是60，或者70。

本实施例中，第一时间段可以根据用户设置，例如用户设置第一时间段为7分钟，则将待合成视频与检测到趣味表情图像之后7分钟以内的视频合并生成目标视频。

本发明提供的基于表情的视频生成方法，在预设时间段内存储待合成视频并实时检测所述待合成视频；当检测到所述待合成视频包含趣味表情图像时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。通过本发明能够自动检测视频中的趣味表情图像，并将趣味表情图像前后视频内容合并生成精彩的小视频，实现自动抓拍精彩瞬间视频，记录生活趣味瞬间，提升用户体验的效果。

实施例二

本发明实施例二提供一种基于表情的视频生成方法，如图2所示，该方法包括：

s201、在预设时间段内存储待合成视频并实时检测所述待合成视频是否包含趣味表情图像；

s202、当检测到所述待合成视频包含趣味表情图像时，根据预设评分规则对所述趣味表情图像评分得到评分值，判断所述评分值是否大于预设值；

在一种具体实施方式中，所述趣味表情图像是指定人群的笑脸图像，所述预设评分规则是所述笑脸图像笑的程度和图像质量形成的评分规则。趣味表情图像评分值是根据笑的程度的组成因子得到第一评分项与根据图像质量的组成因子得到第二评分项的权重之和。所述笑的程度组成因子包括微笑、轻笑和大笑，所述图像质量组成因子包括笑脸的方向(即正面笑脸或者侧面笑脸)、笑脸是否被遮挡、环境光线强度和图像清晰度。

具体的，所述根据预设评分规则对所述趣味表情图像评分得到评分值包括：

s21、根据所述笑脸图像笑的程度的组成因子得到第一评分项；

示例性的，一副婴儿笑脸图像笑的程度为微笑，在预设评分规则中，微笑为80分，则第一评分项为80。

s22、根据所述笑脸图像图像质量的组成因子得到第二评分项；

示例性的，一副婴儿笑脸图像笑脸方向为正面笑脸，笑脸未被遮挡，环境光线强度适中，图像清晰；在预设评分规则中，正面笑脸为25分，笑脸未被遮挡为25分，环境光线强度适中为20分，图像清晰为20分，则第二评分项为90。

s23、根据所述第一评分项和所述第二评分项得到所述趣味表情图像评分值。

其中，趣味表情图像评分值是根据笑的程度的组成因子得到第一评分项与根据图像质量的组成因子得到第二评分项的权重之和。例如，第一评分项为80，其对应权重为40％，第二评分项为90，其对应权重为60％，则趣味表情图像评分值为86。

在另一具体实施方式中，所述预设评分规则包括评分项和所述评分项对应的权重，所述趣味表情图像评分值是各个评分项对应权重之和。例如，趣味表情图像为婴儿笑脸图像，则评分项包括笑的程度评分项a1、笑脸的方向评分项a2、笑脸是否被遮挡评分项a3、环境光线强度评分项a4和图像清晰度评分项a5。趣味表情图像评分值a为：a1×r1+a2×r2+a3×r3+a4×r4+a5×r5。

s203、当所述评分值大于预设值时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。

其中，预设值可以根据系统设置，如预设值可以是60，或者70。

本实施例中，第一时间段可以根据用户设置，例如用户设置第一时间段为7分钟，则将待合成视频与检测到趣味表情图像之后7分钟以内的视频合并生成目标视频。

本发明提供的基于表情的视频生成方法，在预设时间段内存储待合成视频并实时检测所述待合成视频；当检测到所述待合成视频包含趣味表情图像且根据预设评分规则对所述趣味表情图像评分得到的评分值大于预设值时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。通过本发明能够自动检测视频中的趣味表情图像，并将趣味表情图像前后视频内容合并生成精彩的小视频，实现自动抓拍精彩瞬间视频，记录生活趣味瞬间，提升用户体验的效果。

实施例三

本发明实施例三提供一种基于表情的视频生成方法，如图3所示，所述方法包括：

s301、分配存储待合成视频的临时存储空间。

所述临时存储空间大小可以根据预设时间段内拍摄待合成视频的存储空间大于设置。

s302、在预设时间段内存储待合成视频并实时检测所述待合成视频是否包含趣味表情图像；

示例性的，所述趣味表情图像为婴儿笑脸图像，所述检测所述待合成视频是否包含趣味表情图像包括：

s11、检测婴儿人脸图像；

具体的，本步骤可以通过人脸检测器自动检测视频流中的图像；判断当前帧图像是否存在婴儿人脸。

s12、当检测到婴儿人脸图像时，判断所述婴儿人脸图像是否为笑脸图像。

对于笑脸图像的检测，现有技术有着较为成熟的笑脸检测算法；除此之外，可以用最基本的嘴巴周长检测法，即通过人脸识别技术确定出嘴巴轮廓，然后计算上下嘴唇最外周长度，最外周长度大于经验值的即认为笑脸图像。

s303、当检测到所述待合成视频包含趣味表情图像时，根据预设评分规则对所述趣味表情图像评分得到评分值，判断所述评分值是否大于预设值；

s304、当所述评分值大于预设值时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。

s305、当未检测到所述待合成视频包含趣味表情图像，或者根据预设评分规则对所述趣味表情图像评分得到的评分值小于预设值时，存储新的待合成视频覆盖所述待合成视频。

本步骤中，新存储的待合成视频数据自动覆盖之前存储的待合成视频内容；重复步骤s302～s305，直至生成目标视频为止。

s306、将所述目标视频发送给指定终端；根据所述指定终端的反馈信息删除或者保存所述目标视频。

其中，指定终端可以是对目标视频感兴趣的用户终端设备，例如，对于婴儿笑脸视频，指定终端可以是婴儿父母的手机。

所述反馈信息包括删除或者保存所述目标视频。

本发明实施例提供的基于表情的视频生成方法，对视频进行一定时长的预存储和特征实时检测，当为检测到趣味表情图像，或者趣味表情图像评分值小于预设值时，新产生的视频数据自动覆盖预存储的视频内容；当检测到趣味表情图像且趣味表情图像评分值大于预设值时，将待合成视频和趣味表情图像后第一时间段内的视频进行合并，作为独立的小视频进行存储并发送给指定终端。这样，既能及时保存包含趣味图像的视频数据，又可以节省存储空间，提升了用户体验。

基于上述各方法实施例，提出以下装置实施例。

实施例四

本发明实施例四提供一种基于表情的视频生成装置3，如图4所示，该基于表情的视频生成装置3包括：

临时存储模块30，用于存储待合成视频。

检测模块31，用于在预设时间段内存储待合成视频并实时检测所述待合成视频是否包含趣味表情图像；

合成模块32，用于当检测到所述待合成视频包含趣味表情图像时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。

更新存储模块33，用于当未检测到所述待合成视频包含趣味表情图像，或者根据预设评分规则对所述趣味表情图像评分得到的评分值小于预设值时，存储新的待合成视频覆盖所述待合成视频。

反馈模块34，用于将所述目标视频发送给指定终端；根据所述指定终端的反馈信息删除或者保存所述目标视频。

在一种具体实施方式中，所述合成模块32包括：

评分模块，用于根据预设评分规则对所述趣味表情图像评分得到评分值；

子合成模块，用于当所述评分值大于预设值时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。

进一步的，所述预设评分规则是所述趣味表情图像笑的程度和图像质量形成的评分规则；所述评分模块包括：

第一评分模块，用于根据所述趣味表情图像笑的程度的组成因子得到第一评分项；

第二评分模块，用于根据所述趣味表情图像图像质量的组成因子得到第二评分项；

总评分模块，用于根据所述第一评分项和所述第二评分项得到所述趣味表情图像评分值。

其中，所述笑的程度组成因子包括微笑、轻笑和大笑，所述图像质量组成因子包括笑脸的方向、笑脸是否被遮挡、环境光线强度和图像清晰度。

优选地，本发明还公开了一种基于表情的视频生成设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现本实施例所述的方法。

具体地，上述处理器401可以包括中央处理器(cpu)，或者特定集成电路(applicationspecificintegratedcircuit，asic)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(harddiskdrive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universalserialbus，usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在数据处理装置的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(rom)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可改写rom(earom)或闪存或者两个或更多个以上这些的组合。

处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的基于表情的视频生成方法。

在一个示例中，基于表情的视频生成设备还可包括通信接口403和总线410。其中，如图5所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。

通信接口403，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线410包括硬件、软件或两者，将基于表情的视频生成设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

另外，结合上述实施例中的基于表情的视频生成方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于表情的视频生成方法。

本发明提供的基于表情的视频生成方法、装置、设备及存储介质，在预设时间段内存储待合成视频并实时检测所述待合成视频；当检测到所述待合成视频包含趣味表情图像时，将所述待合成视频和所述趣味表情图像之后第一时间段内的视频合并存储生成目标视频。通过本发明能够自动检测视频中的趣味表情图像，并将趣味表情图像前后视频内容合并生成精彩的小视频，实现自动抓拍精彩瞬间视频，记录生活趣味瞬间，提升用户体验的效果。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。