一种视频通信方法及装置制造方法
【专利摘要】本申请实施例公开了一种视频通信方法及装置，包括：获取包含用户面部信息的原始视频数据；分析原始视频数据，获得用户特定部位的状态特征，所述状态特征至少包括面部表情特征；在预设的状态图片库中，查找表示所述状态特征的状态图片；利用所查找到的状态图片，同步替换所述原始视频数据中的状态特征，得到处理后的视频数据；将处理后的视频数据发送至视频数据的接收端。通过以上方法，使用户在视频交流中不仅有效的保护了个人隐私，还可以将用户在话语间面部流露的表情向对方展现出来，从而一定程度上克服了为保护隐私使用遮挡物，却完全失去用户表情信息的问题。
【专利说明】一种视频通信方法及装置
【技术领域】
[0001]本申请涉及视频通信领域，特别涉及一种视频通信方法及装置。
【背景技术】
[0002]视频通信属于网络社交的一种交流方式。该交流方式因其快捷、信息量丰富的特点被用户广泛使用。在视频通信过程中，有些用户为了保护隐私，不愿意向对方展示自己的真实相貌，为此，视频通信应用也开始开发保护用户隐私的功能。
[0003]现有技术中，在视频通信领域，为保护用户隐私处理视频的方法有很多，大部分视频通信应用使用通过增加遮挡功能来隐藏用户的真实相貌的处理方法，具体方式为:当用户需要隐藏真实相貌时，启动该功能，与该用户视频交流的另一方所看到的该用户面部被遮挡物覆盖，以此实现保护用户隐私的功能。遮挡物一般为静态动物头像、动漫人物头像或马赛克等。这种通过遮挡物遮挡真实相貌的方式基本可以满足用户在视频通信中保护隐私的需求。
[0004]但人的表情也是信息交流的重要组成部分，用户通过遮挡相貌虽然一定程度上保护了自己的隐私，却因遮挡物的存在不能将交流中表情所表现的更多情感传达给对方。目前的视频通信技术，还无法在保护隐私的前提下，更好地实现视频通信用户之间的情感交流。
【发明内容】
[0005]本申请实施例的目的在于提供一种视频通信方法，应用于视频数据的发送端，技术方案如下:
[0006]获取包含用户面部信息的原始视频数据；
[0007]分析原始视频数据，获得用户特定部位的状态特征，所述状态特征至少包括面部表情特征；
[0008]在预设的状态图片库中，查找表示所述状态特征的状态图片；
[0009]利用所查找到的状态图片，同步替换所述原始视频数据中的状态特征，得到处理后的视频数据；
[0010]将处理后的视频数据发送至视频数据的接收端。
[0011]优选的，所述分析原始视频数据，获得用户特定部位的状态特征，包括:
[0012]从原始视频数据中，提取用户特定部位图像；
[0013]获得该特定部位的状态特征。
[0014]优选的，所述特定部位的状态特征，包括:
[0015]面部表情特征，或，面部表情特征与肢体动作特征的组合。
[0016]优选的，所述查找预设状态图片库中表示所述状态特征的状态图片，包括:
[0017]将所述用户特定部位的状态特征分别与预设的中间数据库中的状态特征进行比对，如果比对成功:
[0018]则获得与中间数据库中的状态特征匹配的多个状态特征，将其组合，作为状态组合特征；
[0019]在预设的状态图片库中，查找与所述状态组合特征匹配的图片。
[0020]优选的，所述预设的中间数据库中的状态特征，包括:
[0021]预设面部表情特征，或，预设面部表情特征与预设肢体动作特征的组合。
[0022]本申请实施例还对应于上述方法提供了一种视频通信装置，应用于视频数据的发送端，包括:
[0023]数据获取单元，用于获取包含用户面部信息的原始视频数据；
[0024]数据分析单元，用于分析数据获取单元的原始视频数据，获得用户特定部位的状态特征，所述状态特征至少包括面部表情特征；
[0025]图片查找单元，用于在预设的状态图片库中，查找表示所述状态特征的状态图片;
[0026]特征替换单元，用于，利用图片查找单元查到的状态图片，同步替换所述原始视频数据中的状态特征，得到处理后的视频数据；
[0027]数据发送单元，用于将处理后的视频数据发送至视频数据的接收端。
[0028]优选的，所述数据分析单元，包括:
[0029]特定部位图像提取子单元，用于从原始视频数据中，提取用户特定部位图像；
[0030]状态特征获得子单元，用于获得该特定部位的状态特征。
[0031]优选的，所述特定部位的状态特征，包括:
[0032]面部表情特征，或，面部表情特征与肢体动作特征的组合。
[0033]优选的，所述图片查找单元，包括:
[0034]特征比对子单元，用于将所述用户特定部位的状态特征分别与预设的中间数据库中的状态特征进行比对；
[0035]特征组合子单元，用于将特征比对子单元中比对成功的状态特征进行组合，得到状态组合特征；
[0036]查找子单元，用于查找预设的状态图片库中，与所述状态组合特征匹配的图片。
[0037]优选的，所述预设的中间数据库中的状态特征，包括:
[0038]预设面部表情特征，或，预设面部表情特征与预设肢体动作特征的组合。
[0039]本申请实施例使用与用户即时变化的表情相关的表情图片，取代与用户表情不相关仅用于遮挡面部的单一图片。在视频交流中不仅有效的保护了用户个人隐私，还可以将用户在话语间面部流露的表情向对方展现出来，从而一定程度上克服了为保护隐私使用遮挡物，却完全失去用户表情信息的问题。
【专利附图】
【附图说明】
[0040]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]图1为本申请实施例提供的一种视频通信方法的流程图；
[0042]图2为本申请实施例提供的表情图片意；
[0043]图3为本申请实施例提供的第二种视频通信方法的流程图；
[0044]图4a为本申请实施例提供的组合特征示意图；
[0045]图4b为本申请实施例提供的表情特征与肢体特征示意图；
[0046]图5为本申请实施例提供的一种视频通信装置的结构示意图；
[0047]图6为本申请实施例提供的图片查找单元的结构示意图；
[0048]图7为本申请实施例提供的数据分析单元的结构示意图。
【具体实施方式】
[0049]本申请提供的一种视频通信方法，应用于视频数据的发送端，包括:
[0050]获取包含用户面部信息的原始视频数据；
[0051]分析原始视频数据，获得用户特定部位的状态特征，所述状态特征至少包括面部表情特征；
[0052]在预设的状态图片库中，查找表示所述状态特征的状态图片；
[0053]利用所查找到的状态图片，同步替换所述原始视频数据中的状态特征，得到处理后的视频数据；
[0054]将处理后的视频数据发送至视频数据的接收端。
[0055]上述方法的执行主体可以为具有获取图像功能的通讯设备，如台式机、笔记本电脑、平板电脑、智能手机等。这些通讯设备可以实现至少双方互相视频的功能。
[0056]可以理解的是，该方法之所以被应用于视频数据的发送端是因为，将用户未发送的视频数据在发送端本地完成处理过程，视频数据的接收端不会接收到未经处理的原始视频数据，可以保证用户信息处于安全性比较高的级别，当然，这里的“视频数据发送端”并不应该狭义地理解为视频通信用户本地的设备，而是应该理解为:在整个视频通信过程中，相对于视频数据接收端的发送端设备，例如通信中继服务器等等。
[0057]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0058]图1所示，为本申请实施例提供的一种基本的视频通信方法的流程图，该方法应用于视频数据的发送端，包括如下步骤:
[0059]S101，获取包含用户面部信息的原始视频数据。
[0060]其中，原始视频数据是指，视频通信用户使用本地视频获取设备拍摄到的、未发送至接收端的视频数据。针对本申请所提供的技术方案而言，该原始视频数据中至少应该包含用户自己的面部信息，才有必要保护个人隐私，进行后续的用户面部数据处理操作。
[0061]当然，出现在视频中的其他信息并不影响本申请方案的实现，如用户周围的陈列物或用户所在的房间背景等。
[0062]S102，分析原始视频数据，获得用户特定部位的状态特征，所述状态特征至少包括面部表情特征。
[0063]通过现有的生物特征识别技术，如人脸识别等技术，分析和提取面部表情特征。面部特征分为面部表情特征和面部五官特征，在本申请实施例中，面部五官特征提取的轮廓精细程度不做限定，只需重点分析和提取面部表情特征，例如，判断用户是高兴还是发怒的表情，不需要分析到五官的具体形状。
[0064]优选的，上述步骤S102具体可以包括以下步骤:
[0065]S102a，从原始视频数据中，提取用户特定部位图像。
[0066]在原始视频数据中，通过面部轮廓提取技术确定面部图像。
[0067]S102b，获得该特定部位的状态特征。
[0068]根据所提取的特定部位图像，确定相应部位的的状态特征。例如，根据所确定的面部图像，利用面部特征分析技术，确定该面部图像对应的面部表情特征，例如“高兴”、“发奴”坐坐心、 -rj- -Tj- O
[0069]S103，在预设的状态图片库中，查找表示所述状态特征的状态图片。
[0070]所述状态图片库可以位于用户设备本地，也可以位于服务器。状态图片库中至少存储了演绎各种面部表情特征的状态图片，可以是同一个角色演绎多个表情，也可以多个角色演绎一个表情，根据用户喜好选择相应系列的表情动画系列。可以采用用户自己添加或应用供应商预制的方式预设状态图片库中的图片。例如，当下非常流行的QQ应用程序中，该应用程序供应商提供了一个皮肤为黄色的，只有圆形的头部的动画角色，该角色演绎了用户可能做出的多种表情，被广泛使用在文字聊天中。
[0071]根据在S102中提取得到的面部表情特征，在表情图片库中选择与该表情特征相对应的图片,例如,所确定的表情特征为“大笑”,则对应的表情图片如图2左侧所示；所确定的表情特征为“微笑”，则对应的表情图片如图2中部所示；所确定的表情特征为“大哭”，则对应的表情图片如图2右侧所不。
[0072]当然，实际应用中，对于大笑、微笑和大哭、悲伤等各个表情的程度可以不做具体区分，只用几种标志性图片来表征，如笑，哭。
[0073]本申请实施例中之所以不要求匹配与五官相似图片是因为，使用过于接近用户本人的图片代替用户的面部，与用户要保护自己隐私的初衷是相违背的。因此，这样只传递表情状态信息，不要求五官的精确度的需求，使得对识别技术的要求也会较低，更易于本方案的实现。
[0074]S104，利用所查找到的状态图片，同步替换所述原始视频数据中的状态特征，得到处理后的视频数据。
[0075]其中，替换是将查找到的状态图片显示于原始视频数据中用户面部所在位置，同时删除表示用户面部的原始数据，进一步保护了用户的个人隐私。
[0076]S105，将处理后的视频数据发送至视频数据的接收端。
[0077]本步骤是将被状态图片替换的视频数据发送到与用户通信的其他用户的接收端。该接收端用户接收到的是带有动画表情的视频数据。
[0078]应用上述方案，视频接收端的用户可以通过图片体会到发送端用户的实时表情，而发送端的用户真实相貌却没有暴露，实现了在保护隐私的前提下传达表情的目的。
[0079]图3所示，为本申请实施例提供的另一种视频通信方法的流程图，该方法应用于视频数据的发送端，包括如下步骤:
[0080]S301，获取包含用户面部信息的原始视频数据。
[0081]该步骤与上述实施例中SlOl方法相同，区别在于本实施例中，针对本实施例所提供的技术方案而言，该原始视频数据中至少应该包含用户自己的面部信息和肢体信息，方法类似不做赘述。
[0082]S302，分析原始视频数据，获得用户特定部位的状态特征，所述状态特征至少包括面部表情特征。
[0083]该步骤与上述实施例中S102方法相同，区别在于本实施例中，与S301相对应的，除了获取用户的面部表情特征之外，还可以进一步获取用户的肢体动作特征。例如，用户当前高兴地举起双手，获取该原始视频数据后，获得用户肢体图像。
[0084]还可以进一步根据所确定的肢体图像，利用肢体特征分析技术，确定该肢体图像对应的肢体动作特征，例如，“举双手”等等。
[0085]S303，在预设的状态图片库中，查找表示所述状态特征的状态图片。
[0086]将所述用户特定部位的状态特征分别与预设的中间数据库中的状态特征进行比对，获得与中间数据库中的状态特征匹配的多个状态特征，将其组合，作为状态组合特征；
[0087]其中，中间数据库用于存储该特定部位的状态特征及其状态组合特征。
[0088]针对本申请所提供的技术方案而言，中间数据库中至少应该包括:预设面部表情特征或，预设面部表情特征与预设肢体动作特征的组合特征。该中间数据库可以位于用户设备本地，也可以位于服务器端。
[0089]S304，在预设的状态图片库中，查找与所述状态组合特征匹配的图片。
[0090]预设的状态图片库中，可以存储仅包含表情特征和仅包含动作特征的图片；如图4a所示；也可以存储同时包含表情特征和动作特征的图片，如图4b左侧和中间所示，图4b右侧的图是组合后的效果；
[0091]其他类似特定部位组合方式的图片均可实现本实施例所要实现的技术效果，在此基础上任意的组合方式均属本方案保护范围，不详细列举。
[0092]S305，利用所查找到的状态图片，同步替换所述原始视频数据中的状态特征，得到处理后的视频数据；
[0093]S306，将处理后的视频数据发送至视频数据的接收端。
[0094]该步骤与上述实施例中的S106相同，在此不做赘述。
[0095]优选的，在S303a中，将所述用户特定部位的状态特征分别与预设的中间数据库中的状态特征进行比对，若比对失败，该方法可以还包括:
[0096]在互联网范围内自动搜索所述用户特定部位的状态特征所表征的图片，将该图片添加到预设状态图片库中，将该状态特征自动添加到中间数据库中。
[0097]应用该方案，中间数据库及状态图片库中的数据可以不断地自动得到扩充，不仅省去大量手动添加的操作，同时，丰富了用户可选择表情、动作的图片库，进而可以更充分的表达用户的情感。
[0098]根据用户的需要，上述实施例在执行的过程中是可以相互结合的，达到最佳效果。各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0099]本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如:ROM/RAM、磁碟、光盘等。
[0100]相应于上面的方法实施例，本申请还提供了一种视频通信装置，该方法应用于视频数据的发送端，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可，参见图5，该装置包括:
[0101]数据获取单元510，用于获取包含用户面部信息的原始视频数据；
[0102]数据分析单元520，用于分析数据获取单元的原始视频数据，获得用户特定部位的状态特征，所述状态特征至少包括面部表情特征；
[0103]图片查找单元530，用于在预设的状态图片库中，查找表示所述状态特征的状态图片;
[0104]特征替换单元540，用于，利用图片查找单元查到的状态图片，同步替换所述原始视频数据中的状态特征，得到处理后的视频数据；
[0105]数据发送单元550，用于将处理后的视频数据发送至视频数据的接收端。
[0106]作为本申请实施例的一种优选方案，参见图6所示，所述图片查找单元530，可以包括:
[0107]特征比对子单元531，用于将所述用户特定部位的状态特征分别与预设的中间数据库中的状态特征进行比对；
[0108]特征组合子单元532，用于将特征比对子单元中比对成功的状态特征进行组合，得到状态组合特征；
[0109]查找子单元533，用于查找预设的状态图片库中，与所述状态组合特征匹配的图片。
[0110]作为本申请实施例的一种优选方案，参见图7所示，所述数据分析单元520，可以包括:
[0111]特定部位图像提取子单元521，用于从原始视频数据中，提取用户特定部位图像；
[0112]状态特征获得子单元522，用于获得该特定部位的状态特征。
[0113]作为本申请实施例的一种优选方案，所述特定部位的状态特征，包括:
[0114]面部表情特征，或，面部表情特征与肢体动作特征的组合。
[0115]作为本申请实施例的一种优选方案，所述预设的中间数据库中的状态特征，包括:
[0116]预设面部表情特征，或，预设面部表情特征与预设肢体动作特征的组合。
[0117]需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0118]以上所述仅为本申请的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
【权利要求】
1.一种视频通信方法，应用于视频数据的发送端，其特征在于，该方法包括: 获取包含用户面部信息的原始视频数据； 分析原始视频数据，获得用户特定部位的状态特征，所述状态特征至少包括面部表情特征； 在预设的状态图片库中，查找表示所述状态特征的状态图片； 利用所查找到的状态图片，同步替换所述原始视频数据中的状态特征，得到处理后的视频数据； 将处理后的视频数据发送至视频数据的接收端。
2.根据权利要求1所述的方法，其特征在于，所述分析原始视频数据，获得用户特定部位的状态特征，包括: 从原始视频数据中，提取用户特定部位图像； 获得该特定部位的状态特征。
3.根据权利要求1或2所述的方法，其特征在于，所述特定部位的状态特征，包括: 面部表情特征，或，面部表情特征与肢体动作特征的组合。
4.根据权利要求3所述的方法，其特征在于，所述查找预设状态图片库中表示所述状态特征的状态图片，包括: 将所述用户特定部位的状态特征分别与预设的中间数据库中的状态特征进行比对，如果比对成功: 则获得与中间数据库中的状态特征匹配的多个状态特征，将其组合，作为状态组合特征； 在预设的状态图片库中，查找与所述状态组合特征匹配的图片。
5.根据权利要求4所述的方法，其特征在于，所述预设的中间数据库中的状态特征，包括: 预设面部表情特征，或，预设面部表情特征与预设肢体动作特征的组合。
6.一种视频通信装置，应用于视频数据的发送端，其特征在于，该装置包括: 数据获取单元，用于获取包含用户面部信息的原始视频数据； 数据分析单元，用于分析数据获取单元的原始视频数据，获得用户特定部位的状态特征，所述状态特征至少包括面部表情特征； 图片查找单元，用于在预设的状态图片库中，查找表示所述状态特征的状态图片；特征替换单元，用于，利用图片查找单元查到的状态图片，同步替换所述原始视频数据中的状态特征，得到处理后的视频数据； 数据发送单元，用于将处理后的视频数据发送至视频数据的接收端。
7.根据权利要求6所述的装置，其特征在于，所述数据分析单元，包括: 特定部位图像提取子单元，用于从原始视频数据中，提取用户特定部位图像； 状态特征获得子单元，用于获得该特定部位的状态特征。
8.根据权利要求6或7所述的装置，其特征在于，所述特定部位的状态特征，包括: 面部表情特征，或，面部表情特征与肢体动作特征的组合。
9.根据权利要求8所述的装置，其特征在于，所述图片查找单元，包括: 特征比对子单元，用于将所述用户特定部位的状态特征分别与预设的中间数据库中的状态特征进行比对； 特征组合子单元，用于将特征比对子单元中比对成功的状态特征进行组合，得到状态组合特征； 查找子单元，用于查找预设的状态图片库中，与所述状态组合特征匹配的图片。
10.根据权利要求9所述的装置，其特征在于，所述预设的中间数据库中的状态特征，包括: 预设面部表情特征，或，预设面部表情特征与预设肢体动作特征的组合。
【文档编号】H04N21/4788GK104333730SQ201410697439
【公开日】2015年2月4日 申请日期:2014年11月26日 优先权日:2014年11月26日
【发明者】许晓炜, 刘俊晖 申请人:北京奇艺世纪科技有限公司