生成包括修改的面部图像的视频的制作方法

1.本发明涉及一种用于提供具有人的期望脸部的计算机修改的视觉材料的视频的方法和设备。


背景技术：

2.人们普遍希望在私人或商业环境中的个人交互中改善自己的外貌。脸部是与该外貌相关的身体的主要区域之一。然后，在以复杂的方式形成第一印象的过程中，由其他人对外貌进行分类。给人留下第一印象时的特征是，例如，吸引力、健康、年轻、疲劳、痛苦、友好、支配、能力、可爱或值得信赖，仅举一些例子。一个人可能想要将他/她的第一印象改善为在与客户的视频会议中被认为是具有支配性或能力，但是当出差时，可能想要改善他/她的第一印象为在晚上与他/她的家人进行视频通话时被认为是可爱的和值得信赖的。使用伙伴关系网络平台的另一个人可能想要将潜在伙伴感受到的他/她的第一印象改善为有吸引力的或性感的。
3.wo2015/017687a2公开了一种具有确定所选解剖区域中缺陷的“严重程度”级别的服务器的方法和系统。例如，服务器分析一个人的照片，以根据标准化的皱纹评分对眼睛的皱纹进行评分。服务器使用具有针对所选解剖区域的所选医学或美容治疗的可能结果的数据库来支持人在她/他的医学或美容治疗中的决定。
4.us2019/0005359a1公开了一种执行计算机程序以训练人工智能的方法和系统，该人工智能提供对人的脸部视觉材料特征的自动评分。为了实现这一点，生成脸部的视觉材料及其提取的脸部属性数据的数据集，并将其存储在数据库中，所述数据集与一组代表性的人提供的脸部特征数据相关联，该组代表性的人关于这些脸部特征对这些脸部的视觉材料进行评分。提取另外的脸部的视觉材料的脸部属性数据，并将其与数据库中所生成的数据集一起用于人工智能的训练，以使人工智能能够提供脸部视觉材料的特征的自动评分。us2019/0005359a1还公开了使用人工智能对不同人的照片关于他们的“支配”特征的第一印象进行评分，以支持人力资源经理决定选择哪个候选者进行新的工作。在另一个实施例中，基于在视频会议中显示一人或多人的视频来执行基于脸部的个性分析。


技术实现要素：

5.这些现有技术的方法和系统都没有提供技术手段来支持一个人在他/她的总体愿望中改进其他人所看到和分类的自己的第一印象用，这些问题通过包括以下步骤的方法来解决：
[0006]-提供该人的脸部的至少一份视觉材料；
[0007]-输入要改善的该人的脸部的至少一个特征；
[0008]-使用人工智能来分析该人的脸部的视觉材料，并产生至少两个修改数据集，从而以至少两种不同的方式朝向所选择的特征改善该人的视觉外貌；
[0009]-基于两个修改数据集修改该人的脸部的视觉材料，并生成该人的脸部的两份计
算机修改的视觉材料；
[0010]-显示该人的脸部的两份计算机修改的视觉材料；
[0011]-选择这两份计算机修改的视觉材料中的一份作为该人的期望脸部；
[0012]-提供显示该人的脸部的视频，并使用所选择的该人的期望脸部的所选择的修改数据集来修改该视频，以提供具有该人的期望脸部的计算机修改的视觉材料的视频。
[0013]
本发明基于这样的发现，即当目的在于理解人的外貌时，例如查看一个人具有多少皱纹仅仅是次要的目标，因为人们在以更复杂的方式和整体形成第一印象的过程中对他人的外貌进行分类。给人留下第一印象时的特征是，例如，吸引力、健康、年轻、疲劳、痛苦、友好、支配、能力、可爱或值得信赖，仅举一些例子。
[0014]
本发明的方法、装置和/或计算机程序使用一种全新的概念和技术，以使人能够在由他/她选择的现场视频会议或存储的视频消息中改善他/她的第一印象。在形成第一印象过程中由他人所赋予的特征的改善可以通过两种方式实现，即增加被认为是积极的特征或减少被认为是消极的特征。该人为即将到来的视频会议选择要改进的特征，并发送他/她的脸部的视觉材料(照片或视频)，以查看该特征可能有哪些不同的改进。基于人工智能对他/她的照片或视频中的该人的特征的分类，人工智能提出至少两组修改，基于存储在数据库中的信息，如何修改视觉材料以改进所选择的特征。例如，为了改善特征“能力”，眉毛位置要提升，下颌轮廓体积要增大。人脸的第一组修改原则上在现实生活中通过人的美容和/或医学治疗是可能的。基于本发明的概念，不限于仅提供几组修改和仅显示美容和/或医学治疗的边界内的改进。因此，第二组修改例如可以包括减少或增加眼睛的距离或眼睛与嘴之间的距离、或显著改变眼睛、嘴或耳朵的形状或尺寸的修改。进一步的修改组可以包括人可以佩戴的物品，例如眼镜或耳环，以改变他/她给其他人的第一印象。由该人提供的脸部视觉材料的所有这些不同类型的修改组由人工智能产生和提供，在下一步骤中，人工智能修改该视觉材料并显示该人脸的所有可能的计算机修改的视觉材料。该人选择具有所改进的选择特征的一份视觉材料，并为即将到来的视频会议选择他或她想要的脸部。在本发明方法的最后一步中，人工智能识别实时视频中的人脸，并将其连续地替换为期望的人脸。这提供了主要的优点，即该人可以为每份视频会议或者甚至在视频会议期间选择他/她想要以适当的视觉外貌支持他/她的消息的方式。当然，选择一个或多个特征以改善他/她的视觉外貌是自由的。
[0015]
在一个优选实施例中，人工智能分析视频会议中的对话的内容和音调，并且在人从沉默和真实的行为改变为大声喊叫和攻击性行为的情况下，人工智能同时改变脸部的视觉外貌以支持他/她的实际消息。视觉外貌的这些变化可以是小步骤和细微的，仅被会议的其它参与者在潜意识中认识到，或者是由人选择的剧变。
附图说明
[0016]
本发明的这些和更有利的实施例将基于下面的描述和附图进行解释。
[0017]
图1示出了一个系统，该系统用于提供具有计算机修改的人期望脸部视觉材料的视频。
[0018]
图2示出了具有正在进行的视频会议和计算机修改的人脸的系统的设备。
[0019]
图3示出了基于人脸的视觉材料数据的特征描述和评分。
[0020]
图4示出了用户如何在应用程序中选择特征。
[0021]
图5示出了具有有创和/或微创美容和医学治疗的例子的表格，以实现人脸期望特征的改变。
[0022]
图6示出了一个人的面部线条图，其中包含如何改进“能力”特征的数据集。
[0023]
图7示出了一张人脸的照片，该人脸的某些区域被标记待处理，以增加给人留下第一印象时的特征“支配”。
具体实施方式
[0024]
图1示出了利用设备3显示视频的系统1，该视频具有人2的期望脸部的计算机修改的视觉材料。设备3可以是移动设备或计算机，以执行软件，特别是用于人2的应用程序，人2想要修改其他人看到她的视觉材料第一印象。作为示例，如图2所示，人2想要使用设备3加入实时视频会议4，但她希望提高自己的特征“能力”，使她看起来比在现实生活中更有能力，以增加她在这份视频会议4中成功的机会。为了达到这个目的，她只需要选择一张照片5或显示她正常脸部的视频，并且在这个例子中，将这张照片5从她的手机6发送到设备3以便进一步处理。
[0025]
设备3执行基于深度学习的应用程序7或人工智能，该应用程序7或人工智能分析表示人2的脸部的照片5或视频的视觉材料数据，以在产生第一印象时对人2的一个或多个特征进行评分。这样的脸部特征例如可以是吸引力、健康、年轻、疲劳、痛苦、友好、支配、能力、可爱或值得信赖。基于深度学习的应用程序7是包括指令的计算机程序，当该程序由设备3执行时，该指令使设备3执行以下步骤以显示具有人2的期望脸部的计算机修改视觉材料的视频。
[0026]
在该方法的第一步中，生成与脸部特征数据相关联的脸部视觉材料的视觉材料数据及其提取的脸部属性数据的数据集。为了提取脸部属性，传统的计算机视觉材料算法(如界标检测)将人脸划分为下巴和下颌轮廓的区域，并自动提取特征及其在脸部中的位置。这种脸部属性数据可以例如包括眼睛之间的距离或眼睛与嘴之间的距离以及其它要测量以描述脸部的距离。基于深度学习的应用程序7将这些脸部属性数据与这些脸部的视觉材料数据(照片或视频)一起存储在设备3的数据库8中。将作为视觉材料数据存储在数据库8中的代表性数量的这种面部视觉材料显示在显示器上，让代表性数量的人关于他们的特征手动评分这些面部视觉材料。这些人可以针对不同特征对它们进行评分(例如从0到7)。这些人的评分与脸部的视觉材料数据相关联地存储在数据库8中，并为基于深度学习的应用程序7提供基础信息，以在产生第一印象时对归因于人2的特征进行评分。
[0027]
在第二步中，通过传统的计算机视觉材料算法，例如界标检测、皱纹检测、皮肤纹理分析、脸部比例分析，提取这些脸部视觉材料的脸部属性数据。这些脸部视觉材料的脸部属性数据与在第一步中生成并存储在数据库8中的数据集一起用于训练基于深度学习的应用程序7，以使人工智能能够提供脸部视觉材料特征的自动评分。因此，可以将脸部的任何视觉材料提供给基于深度学习的应用程序7，应用程序7将基于存储在数据库8中的数据集，提供脸部视觉材料的特征的自动评分。图3示出了基于显示在手机6上的人脸的视觉材料，对人的特征进行自动评分的描述和结果。本领域技术人员从us2019/0005359a1已知用于基于人的视觉材料自动评定人的特征的这种人工智能，因此在此不再详细讨论。
[0028]
在用上述步骤建立了数据库8之后，系统1准备好用于使用设备3显示具有人2的期望脸部的计算机修改的视觉材料的视频，如在该方法的以下步骤中所描述。
[0029]
在第三步骤中，必须向设备3提供人2的至少一份视觉材料(照片或视频)。在本例中，人2选择显示她的正常脸部的一张照片5，并将这个照片5从她的手机6发送到设备3，以便进一步处理。原则上，照片可以以标准化或非标准化的方式拍摄。用于人和/或摄影者拍摄标准化照片的指令可以包括以下步骤中的一个或多个：要求人2摘下例如耳环或鼻环；要求人2不要笑，要求人2做出一个中性的脸部表情；要求人2使头发离开他/她的脸部；让人2直视镜头；通用照明条件良好；中性背景。作为示例的图1所示的照片5已被拍摄为标准化照片。如果照片5是以非标准化方式拍摄的，则基于深度学习的应用程序7的自动评分将更困难，但也是可能的。因此，设备3包括视觉材料数据修改装置9，用于预处理所提供的人的2脸部的照片5或视频，以试图在基于深度学习的应用程序7的分析之前尽可能地标准化它们的内容。照片5的预处理可以包括以下步骤中的一个或多个：从视觉材料数据中剪切脸部后面的背景；剪切人脸的耳朵以减少例如耳环的视觉材料影响；剪切可能影响脸部的衣服和其它衣物；剪切人2的头发。当然，如果照片5上的人2确实注视一侧，那么就不可能将该照片5预处理成如图1所示的标准化照片5。照片5的视觉材料数据从手机6发送到设备3。
[0030]
在第四步中，人2使用输入装置10来输入她想要改善的脸部的至少一个特征，所选择的特征作为脸部特征数据被传送到设备3的基于深度学习的应用程序7。在另一个实施例中，如图4所示，人2使用手机6的应用程序的输入装置，其中按钮被实现为人可以选择的每个特征。根据上述解释的例子，人2选择“能力”作为特征，该特征通过宽带网络传送到设备3的基于深度学习的应用程序7。在本发明的另一个实施例中，人2可以使用另一种方式用手机6输入所述至少一个特征。这可以通过选择人2使用的应用程序来完成，因为可能有一个应用程序来选择特征“吸引力”；另一个应用程序选择特征“能力”。
[0031]
在该方法的第五步中，设备3的基于深度学习的应用程序7分析人2的照片5的视觉材料数据。结果，基于学习的应用程序7基于照片5对人2的特征进行评分，特别是对人2的特征“能力”进行评估和评分。
[0032]
为了实现该技术步骤，基于深度学习的应用程序7，基于数据库8，通过将照片5中的人2的脸部划分为诸如下巴和下颌轮廓的区域来提取照片5的脸部属性。如果手机6发送的照片5是非标准化照片5，则使用基于深度学习的应用程序7来填充缺失的视觉信息，或者评估照片5上的脸部如果以标准化的方式拍摄则看上去怎么样，以使得能够对特征进行或多或少标准化的评分。作为该分析的结果，设备3将特征“能力”评为5分，评分范围为0到7分，如图3所示。
[0033]
图5示出了具有有创和/或微创美容和医学治疗的例子的表格，以实现人脸的期望特征的改变，该表格基于临床研究。这样的数据被存储在设备3的修改数据库11中。使用这些治疗中的一些或组合，当处理真人的真实治疗时，期望的特征可以在评级中提高1个或更多个点。但是本发明的构思不受实际治疗的成果的限制，并且进一步将数据存储在提供特征改进的修改数据库11中，但是以一种不对真人进行治疗的方式。因此，在一个例子中，眼睛之间的距离将需要显著增加以改善一个特征，这在现实生活中将不是一个选择。基于深度学习的应用程序7被构造为，基于存储在修改数据库11中的数据，不仅提供一个修改数据集，而且提供几个修改数据集12，其指示人2的视觉材料面部中需要由视觉材料数据修改装
置9修改的区域，从而以不同的方式和不同的改进分数来改进期望的所选特征。图6示出了具有第一修改数据集12的人2脸部的线条图，如何基于图5所列的有创和/或微创美容和医学治疗改进特征“能力”。基于深度学习的应用程序7，基于修改数据库11中的进一步数据，提供了第二修改数据集12，如何基于对真人不可能进行的修改来改进特征“能力”，但提供了对所选择的期望特性的很好改进，并且仍然以人2仍被认为是人2的方式看起来逼真。以这种方式，基于深度学习的应用程序7可以提供多个修改集12，其中一些具有细微的改进，这些改进仅在潜意识中被认识到，而其它具有可识别的改进，并且一些具有所选特征的得分的显著改进。
[0034]
在该方法的第六步中，视觉材料数据修改装置9用两个或多个修改数据集12中的每一个修改人2的照片5，并生成人2的脸部的两个或更多份计算机修改的照片13。修改数据集12在技术上是修改照片所需的代码指令，如同在软件程序中一样。作为另一个例子，图7示出了具有另一个修改数据集12的人2的脸部，如何基于有创和/或微创美容和医学治疗改进特征“支配”。
[0035]
在该方法的第七步中，使用设备3的显示器14来显示人2的所有计算机修改的照片13，以使她能够在即将到来的视频会议4中选择期望的修改的脸部外貌。因此，她可以在所选特征“能力”的较强改进及不太强改进之间进行选择，并且在该方法的第八步中，确定所显示的计算机修改照片13中的哪一张是期望脸部以及要使用的期望的选定修改集12。
[0036]
在该方法的第九步中，如图2所示，处理实时视频会议，并且人2使用相机15来生成视频17，该视频17在视频会议4期间示出了她的脸部。视觉材料数据修改装置9接收实时视频17并识别视频17中示出人2的脸部的区域16。基于期望的选择的修改数据集12，基于深度学习的应用程序7使用视觉材料数据修改装置9来连续地生成人2的期望的选择的脸部的计算机修改的视觉材料。这意味着，甚至在视频会议4期间，人2的脸部的所有运动和人2所做的所有脸部表情期间，她的视觉材料也都连续地被计算机修改，以使她看起来更有能力。这意味着如图6所示，连续改变她的下巴，使之看起来不那么宽，脸颊不那么饱满，眉毛被下垂。然后，视觉材料数据修改装置9将来自相机15的视频17中的识别区域16替换为人2的计算机修改的视觉材料，并将该修改的视频与人2的计算机修改的视觉材料一起作为视频会议4的视频流发送。结果，视频会议4中的人2看起来具有一种视觉材料效果，人2向视频会议4的其他参与者提供了非常有能力的第一印象。这使人2在视频会议4期间的谈判中具有很强的优势。
[0037]
在一个优选实施例中，修改数据库11可以存储关于人可以佩戴的物品的数据，例如像眼镜或耳环，以改变他/她的第一印象。在一个更优选的实施例中，人2预先上传他/她的个人物品的视觉材料，例如她的五个不同眼镜和她的十个不同耳环的照片。基于深度学习的应用程序7可以基于存储在修改数据库11中的这些数据产生进一步的修改集12，其中例如眼镜覆盖在人2的视觉材料上，如图2所示。这进一步扩展了在人2的计算机修改的视觉材料中改善期望特征的可能性。
[0038]
在另一个实施例中，人2可以选择在方法步骤7中仅示出基于图5中的表格的她的脸部的计算机修改的视觉材料。因此，这些计算机修改原则上都可能对真人进行有创和/或微创美容和医学治疗，因此在显示器14上显示的计算机视觉材料看起来比其他人更加逼真。
[0039]
在另一个实施例中，约会应用程序可以使用本发明的方法。在约会应用程序的个人资料中，男性/女性可以选择与他/她想要相遇的人进行实时聊天。为了改善他/她在该实时聊天中的机会，该人可以选择改善他的特征“值得信赖”或“支配”，并通过选择他/她的计算机修改的视觉材料来选择改善程度。这使得能够以一种全新的和创造性的方式来连接潜在的未来合作伙伴。
[0040]
在本发明的另一个优选实施例中，对两个或多个特征或特征的组合，执行权利要求1所要求保护的方法的步骤2)-8)，并且将人针对这些不同特征选择的修改集被存储在视觉材料数据修改装置9中。人工智能被构造为分析视频中人脸的实际脸部表情并识别人的内容和/或音调。例如，人工智能在视频会议期间可以识别人2何时生气或高兴。该识别基于视频中提供的视觉材料和听觉信息。语音到文本识别器还可用于实现口语单词的内容分析。因此，如果人2提到她的母亲在医院，则所有这些指示都可以用于选择适合该消息的存储的修改集之一，而在几秒钟后，当人们开始在视频会议中协商产品的价格时，选择另一个修改集。这意味着支持人的内容和/或音调的适当存储的修改集由人工智能动态地选择，并且由视觉材料数据修改装置使用以动态地修改视频中人脸的视觉材料。
[0041]
术语“视频”必须在其最广义上被解释，并覆盖任何可显示像真人或动画角色的对象的视觉材料数据帧序列。作为动画角色，例如可以显示人物的化身，该化身可以是动物、幻象生物或动画人物。术语“视频”还覆盖实时或存储的数据内容的任何二维和三维可视表示。视频会议也包括在内，如网络电视、实时演示或远程教学。