传输视频图像及其装置，显示图像的方法及其装置与流程

本发明涉及应用于电子设备的传输视频图像的方法以及相应的传输视频图像的装置，显示图像的方法以及相应的显示图像的装置。

背景技术：

网络视频通信目前已经得到广泛应用，例如，视频聊天，视频会议等。网络视频通信的速度和质量也越来越得到用户的重视，用户往往希望在保证传输速率的同时，能够看到视频通信对端的清晰画面。

然而，在视频传输过程中，通常需要传输包括人像、背景、声音等的视频内容。当视频中出现人像增多、背景变复杂等情形时，则需要传输更多的内容，这将给带宽带来很大压力。此外，由于对视频清晰度的追求，传输的内容也随之增加，这同样加重了带宽的压力。由此导致传输延迟、图像丢失、马赛克等现象，甚至影响语音的清晰度。因此，需要考虑如何在有限的带宽条件下更有效地传输视频信息。

技术实现要素：

本发明实施例的目的在于提供一种应用于电子设备的传输视频图像、显示图像的方法以及传输视频图像以及显示图像的装置，以解决上述技术问题。

本发明一个实施例提供了一种传输视频图像的方法，应用于电子设备。所述方法包括：采集视频图像；识别所采集的视频图像中当前帧中的关键特征，其中预先设置视频图像中需要被识别的关键特征；将所识别的关键特征转换为指示该关键特征的标识；将标识发送至另一电子设备，使得另一电子设备显示与标识对应的关键特征。

本发明另一个实施例提供了一种显示图像的方法，应用于电子设备。所述方法包括：接收从另一电子设备发送的标识；将所接收的标识转换为包括该标识指示的关键特征的输出图像；以及显示输出图像。

本发明再一个实施例提供了一种传输视频图像的装置，应用于电子设备， 装置包括：采集单元，用于采集视频图像；关键特征识别单元，用于识别所采集的视频图像中当前帧中的关键特征，其中预先设置视频图像中需要被识别的关键特征；关键特征转换单元，用于将所识别的关键特征转换为指示该关键特征的标识；标识发送单元，用于将标识发送至另一电子设备，使得另一电子设备显示与标识对应的关键特征。

本发明又一个实施例提供了一种显示图像的装置，应用于电子设备，装置包括：标识接收单元，用于接收从另一电子设备发送的标识；标识转换单元，用于将所接收的标识转换为包括该标识指示的关键特征的输出图像；以及输出图像显示单元，用于显示输出图像。

通过上述本发明实施例提供的方案，对用户所关注的特定目标的特征进行识别、选择性传输，在有限的带宽条件下减少了传输内容，从而更有效地进行了视频信息的传输，节省了带宽，提升了速度并改善了用户感受。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅是本发明的示例性实施例。

图1描述了根据本发明的第一个实施例的传输视频图像的方法流程图。

图2是描述了本发明的第二个实施例的显示图像的方法流程图。

图3是根据本发明第三个实施例的传输视频图像的装置的示范性框架图。

图4根据本发明第四个实施例的显示图像的装置的示范性框架图。

具体实施方式

在下文中，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。

在本发明的以下实施例中，电子设备指的是能够与其他设备通信的设备。电子设备的具体形式包括但不限于移动电话、个人计算机、数码相机、个人数字助手、便携式计算机、游戏机等。该电子设备具有图像采集单元，例如，摄像头，照相机等。

图1描述了根据本发明的第一个实施例的传输视频图像的方法100的流程图。下面将参照图1来描述本发明的第一个实施例的传输视频图像的方法100。传输视频图像的方法100可以应用于上述电子设备，该电子设备可以被配置来对视频图像进行采集、处理和传输。

如图1所示，在步骤S101中，采集视频图像。在步骤S102中，识别所采集的视频图像中当前帧中的关键特征，其中预先设置视频图像中需要被识别的关键特征。根据本发明的一个示例，可以根据系统默认或用户定义来预先设置视频图像中需要被识别的关键特征。关键特征例如包括表情特征、身体特征和环境特征、物体表面特征等等。当关键特征是表情特征时，例如可以是：大笑，微笑，抿嘴笑，或者更具体的嘴角的上扬角度，眼珠转动次数，眼睛的睁开的尺寸，脸部肌肉的凸起或凹陷的弧度等。当关键特征是人体特征时，例如可以是：摇头、点头、人的脉搏频率、呼吸频率和心跳频率等。当关键特征是环境特征时，例如可以是：雾霾指数，空气湿度、温度等特征。当关键特征是物体表面属性特征时，例如可以是：物体表面纹理、材质、表面形状等特征。

根据本发明的一个示例，在识别关键特征时，可以先识别出视频图像中包括关键特征的目标区域，然后在目标区域中识别关键特征。例如，当需要识别人脸特征时，可以先将包括人脸的人像区域划分出来，然后进一步在该区域中识别人脸特征。

根据本发明的一个示例，在图1所示的方法100中，还可以包括，确定使用方法100的电子设备的用户与另一电子设备的用户是否进行互动。当确定电子设备的用户与另一电子设备的用户进行互动时，表示当前帧图像细节信息可能是用户较为关注的信息，例如，人的表情特征。可以着重识别所采集的视频图像中当前帧中的表情特征或表情变化特征作为关键特征。例如，当A用户向B用户提出问题，等候B用户回答时，A用户迫切需要看到B用户的表情以及变化，此时，B用户的表情以及表情变化属于视频图像中的关键特征。可以对所采集的视频图像中包含B用户表情的当前帧进行识别，从而获取描述B用户的表情变化的关键特征。还可以结合当前帧和之前的一帧或多帧，比较而获得B用户的表情变化，从而获取描述B用户的表情变化的关键特征。例如，为了更好的识别B用户的表情特征，B方设备可以使用多种不同传感器，比如红外线，特殊波段的光线照射，高分辨率高速摄像机 分别从不同角度进行拍摄，并在本地对拍摄图像进行处理和识别。并且还可以采用复杂的识别算法尽可能地识别出B用户的所有表情，将该表情特征作为当前帧中的关键特征。

根据本发明的一个示例，在识别人脸或人体的关键特征时，可以预先设置人脸中的68个特征点，然后识别这些特征点，利用这些特征点相互之间的比例关系，检测出人脸的一些表情特征。比如微笑，大笑，眯眼等。可替换的，根据本发明的另一个示例，还可以采用三维的摄像头，深度传感器等检测人脸的三维坐标，把这些坐标的相互变化组合构成一组特征，从而可以检测出比如撇嘴，摇头，点头等特征。

根据本发明的另一个示例，在对视频图像中的关键特征进行识别时还可以通过识别人脸特征而获取人的生理特征。例如心脏的血液涌向身体和大脑时，脸上皮肤颜色会产生细小变化，通过摄像头监测这轻微的晃动和人皮肤颜色的变化，可以计算出人的脉搏、呼吸频率和心跳频率，同样可以作为视频图像中的关键特征。

根据本发明的另一个示例，除了可以将人脸信息、人体信息作为关键特征进行识别之外，还可以通过检测雾霾，抖动等方式检测到当时环境的变化情况。或者通过检测物体表面纹理变化情况获取物体表面属性的关键特征，然后将这些环境变化信息或物体表面属性信息作为采集的视频图像的辅助信息。

在步骤S103中，将所识别的关键特征转换为指示该关键特征的标识。根据本发明的一个示例，在步骤S103中，首先获取图像历史数据，图像历史数据可以是根据之前的视频通信和/或用户之间预先设定的协议而生成的数据。该数据例如可以存放在一个历史数据库的表格文件中。历史数据库中可以存储多条记录，每个记录可以包括：视频图像帧、视频图像帧中提取的图像特征，以及该图像特征对应的标识。例如，其中一个记录可以是，包括A方用户人脸的视频图像帧、该帧中提取出的人脸特征，以及上述人脸特征对应的标识。例如，如果人脸特征包括“嘴角上扬角度”、眼珠转动次数，“眉毛上扬角度”以及“眼睛睁开尺寸”，那么“嘴角上扬角度”可以使用“MC”来进行标识，眼珠转动次数可以用ER标识，“眉毛上扬角度”可以用“EC”来标识，“眼睛睁开尺寸”可以用“ES”来标识。又例如，人脸特征中的“微笑”可以用“SM”来标识；“大笑”可以用“LA”来标识。在历史数据中，对每 个标识所代表的特征的具体数据可以是预先设定的。例如，“微笑”是“MC”＝15度；“EC”＝5度；“ES”＝5mm等；“大笑”是“MC”＝25度；“EC”＝6度；“ES”＝2mm。

然后，将从视频图像中提取的关键特征与历史数据中的图像特征进行匹配，并根据匹配结果确定与关键特征匹配的图像特征，之后将关键特征转换为与关键特征匹配的图像特征所对应的标识。例如，历史数据中关于“笑”的特征包括“大笑”、“微笑”、“抿嘴笑”等。“大笑”的嘴角上扬角度是40-60度，“微笑”的嘴角上扬角度是20-30度，“抿嘴笑”的嘴角上扬角度是5-10度。如果在视频图像中提取的关键特征是，嘴角上扬尺寸为42度，则与历史数据中的图像特征比较后，确定该关键特征与“大笑”的图像特征匹配，则将该关键特征转换为对应该大笑的标识“LA”。

在步骤S104中，将标识发送至另一电子设备，使得另一电子设备显示与标识对应的关键特征。根据本发明的一个示例，将在步骤S103中得到的标识通过有线或无线网络发送给视频通信的对应端的电子设备，使得该对应端的电子设备根据该标识，将该标识还原成其所代表的关键特征，在本地端进行显示。例如，将标识“LA”发送给视频通信的对应端后，视频对端可以将该标识“LA”还原成“大笑”的特征在本地的视频通信设备中显示。

根据本发明的一个示例，在传输表示关键特征的标识之前，还可以预先传输所采集的视频图像的部分图像给视频接收端。例如，当所述电子设备的用户与所述另一电子设备的用户进行互动时，发送视频图像的部分图像给视频接收端。例如，可以预先传输所采集的视频图像的基本场景图像给视频接收端。然后，再发送关键特征的标识从而使接收端在基本场景图像的基础上根据标识重建关键特征。由于视频通信中，背景图像往往是变化较小的，也是相对而言不重要的特征，因此，可以预先将视频通话的背景图像传输给接收端，从而有效地避免了非重要信息对带宽的占用，保证了传输速率和传输质量。

本发明实施例在本地端对视频图像帧的关键特征进行提取，并将提取的关键特征转换为对应该特征的标识，然后将该标识发送给视频通信对应端。由于标识信息相对于视频图像本身的数据量非常小，因此，在保证高质量的传输信息的同时，大大降低了带宽，提高了传输效率。

上述本发明第一个实施例是对视频通信发送端的传输视频图像的方法 100的介绍，下面将进一步描述与第一个实施例相对应的视频通信接收端对接收的图像进行显示的方法。图2示出了根据本发明第二个实施例的显示图像的方法200，该方法同样应用于上述电子设备。

具体地，参见图2，在步骤S201中，接收从另一电子设备发送的标识。在步骤S202中，将所接收的标识转换为包括该标识指示的关键特征的输出图像。在步骤S203中，显示输出图像。根据本发明的一个示例，在步骤S201中视频图像接收端在从视频图像发送端接收到标识后，在步骤S202中，首先获取图像历史数据，图像历史数据中包含图像特征以及与该图像特征对应的标识。例如，图像历史数据可以是与发送端的图像历史数据相同的或对应的历史数据，在此不再赘述。

然后，在步骤S202中，根据接收到的标识与图像历史数据中的标识进行匹配，确定接收到的标识在图像历史数据中匹配的标识以及该标识对应的图像特征，并将该图像特征作为关键特征生成输出图像。例如，历史数据中关于“笑”的特征包括“大笑”、“微笑”、“抿嘴笑”等。“大笑”的嘴角上扬角度是40-50度，“微笑”的嘴角上扬角度是20-30度，“抿嘴笑”的嘴角上扬角度是5-10度。如果接收到的标识是LA，那么，与历史数据中的标识进行比较后，确定该标识对应的图像特征是“大笑”，则视频图像接收端根据“大笑”的特征，将用户的嘴角修改为上扬40-50度，来重建输出图像。

根据本发明的一个示例，视频图像接收端可以接收从发送端发送的视频图像的部分图像，根据视频图像的部分图像以及标识指示的关键特征生成输出图像。例如，部分图像可以是该视频图像的基本场景图像或基本人脸轮廓图。然后，再接收关键特征的标识，从而在基本图像的基础上根据标识重建关键特征，构成输出图像。由此，可以有效地避免不重要的信息在传输时占用带宽，保证了重要信息的传输速率和传输质量。

可替换地，根据本发明的另一个示例，在接收到预先传送的部分图像以及表示关键特征的标识之后，还可以利用标识对视频图像的部分图像进行处理以使之具有标识指示的关键特征，再根据处理后的图像生成输出图像。例如，预先传送的基本场景包括视频聊天背景以及无任何表情的人脸图像，而接收到的标识信息是“大笑”。这样，可以根据该标识信息所表示的“大笑”的具体数据，修改基本的人脸图像，例如，修改人脸图像中嘴角的上扬角度，眉毛的上扬角度等，从而输出具有大笑特征的人脸图像。

本发明实施例在视频图像接收端接收代表关键特征的标识信息，来重建视频图像，由于标识信息相对于视频图像本身的数据量非常小，因此，在保证高质量的传输了信息的同时，大大降低了带宽，提高了传输效率。

图3描述了根据本发明的第三个实施例的传输视频图像的装置300的示范性框架图。下面将参照图3来描述本发明的第三个实施例的传输视频图像的装置300。传输视频图像的装置300可以应用于上述电子设备，该电子设备可以被配置来对视频图像进行采集、处理和传输。显示图像的装置300与前面所述的显示图像的方法100对应，在此仅作简要描述。

如图3所示，传输视频图像的装置300包括：采集单元301，关键特征识别单元302，关键特征转换单303，标识发送单元304。

采集单元301采集视频图像。关键特征识别单元302识别所采集的视频图像中当前帧中的关键特征，其中预先设置视频图像中需要被识别的关键特征。根据本发明的一个示例，可以根据系统默认或用户定义来预先设置视频图像中需要被识别的关键特征。关键特征例如包括表情特征、身体特征和环境特征、物体表面特征等等。当关键特征是表情特征时，例如可以是：大笑，微笑，抿嘴笑，或者更具体的嘴角的上扬角度，眼珠转动次数，眼睛的睁开的尺寸，脸部肌肉的凸起或凹陷的弧度等。当关键特征是人体特征时，例如可以是：摇头、点头、人的脉搏频率、呼吸频率和心跳频率等。当关键特征是环境特征时，例如可以是：雾霾指数，空气湿度、温度等特征。当关键特征是物体表面特征时，例如可以是：物体表面纹理、材质、表面形状等特征。

根据本发明的一个示例，在识别关键特征时，可以先识别出视频图像中包括关键特征的目标区域，然后在目标区域中识别关键特征。例如，当需要识别人脸特征时，可以先将包括人脸的人像区域划分出来，然后进一步在该区域中识别人脸特征。

根据本发明的一个示例，图3所示的装置300还可以进一步确定使用装置300的电子设备的用户与另一电子设备的用户是否进行互动。当确定电子设备的用户与另一电子设备的用户进行互动时，表示当前帧图像细节信息可能是用户较为关注的信息，例如，人的表情特征。可以着重识别所采集的视频图像中当前帧中的表情特征或表情变化特征作为关键特征。例如，当A用户向B用户提出问题，等候B用户回答时，A用户迫切需要看到B用户的表情以及变化，此时，B用户的表情以及表情变化属于视频图像中的关键特征。 可以对所采集的视频图像中包含B用户表情的当前帧进行识别，从而获取描述B用户的表情变化的关键特征。还可以结合当前帧和之前的一帧或多帧，比较而获得B用户的表情变化，从而获取描述B用户的表情变化的关键特征。例如，为了更好的识别B用户的表情特征，B方设备可以使用高分辨率高速摄像机进行拍摄，并在本地对拍摄图像进行处理和识别。并且还可以采用复杂的识别算法尽可能地识别出B用户的所有表情，将该表情特征作为当前帧中的关键特征。

根据本发明的一个示例，在识别人脸或人体的关键特征时，可以预先设置人脸中的68个特征点，然后识别这些特征点，利用这些特征点相互之间的比例关系，检测出人脸的一些表情特征。比如微笑，大笑，眯眼等。可替换的，根据本发明的另一个示例，还可以采用三维的摄像头，深度传感器等检测人脸的三维坐标，把这些坐标的相互变化组合构成一组特征，从而可以检测出比如撇嘴，摇头，点头等特征。

根据本发明的另一个示例，在对视频图像中的关键特征进行识别时还可以通过识别人脸特征而获取人的生理特征。例如心脏的血液涌向身体和大脑时，脸上皮肤颜色会产生细小变化，通过摄像头监测这轻微的晃动和人皮肤颜色的变化，可以计算出人的脉搏、呼吸频率和心跳频率，同样可以作为视频图像中的关键特征。

根据本发明的另一个示例，除了可以将人脸信息、人体信息作为关键特征进行识别之外，还可以通过检测雾霾，抖动等方式检测到当时环境的变化情况。或者通过检测物体表面纹理变化情况获取物体的关键特征，然后将这些环境变化信息或物体属性信息作为采集的视频图像的辅助信息。

关键特征转换单303将所识别的关键特征转换为指示该关键特征的标识。根据本发明的一个示例，关键特征转换单303首先获取图像历史数据，图像历史数据可以是根据之前的视频通信和/或用户之间预先设定的协议而生成的数据。该数据例如可以存放在一个历史数据库的表格文件中。历史数据库中可以存储多条记录，每个记录可以包括：视频图像帧、视频图像帧中提取的图像特征，以及该图像特征对应的标识。例如，其中一个记录可以是，包括A方用户人脸的视频图像帧、该帧中提取出的人脸特征，以及上述人脸特征对应的标识。例如，如果人脸特征包括“嘴角上扬角度”、“眉毛上扬角度”，“眼珠转动次数”以及“眼睛睁开尺寸”，那么“嘴角上扬角度”可以使 用“MC”来进行标识，“眉毛上扬角度”可以用“EC”来标识，“眼珠转动次数”可以用ER标识，“眼睛睁开尺寸”可以用“ES”来标识。又例如，人脸特征中的“微笑”可以用“SM”来标识；“大笑”可以用“LA”来标识。在历史数据中，对每个标识所代表的特征的具体数据可以是预先设定的。例如，“微笑”是“MC”＝15度；“EC”＝5度；“ES”＝5mm等；“大笑”是“MC”＝25度；“EC”＝6度；“ES”＝2mm。

然后，将从视频图像中提取的关键特征与历史数据中的图像特征进行匹配，并根据匹配结果确定与关键特征匹配的图像特征，之后将关键特征转换为与关键特征匹配的图像特征所对应的标识。例如，历史数据中关于“笑”的特征包括“大笑”、“微笑”、“抿嘴笑”等。“大笑”的嘴角上扬角度是40-60度，“微笑”的嘴角上扬角度是20-30度，“抿嘴笑”的嘴角上扬角度是5-10度。如果在视频图像中提取的关键特征是，嘴角上扬尺寸为42度，则与历史数据中的图像特征比较后，确定该关键特征与“大笑”的图像特征匹配，则将该关键特征转换为对应该大笑的标识“LA”。

标识发送单元304将标识发送至另一电子设备，使得另一电子设备显示与标识对应的关键特征。根据本发明的一个示例，将关键特征转换单303得到的标识通过有线或无线网络发送给视频通信的对应端的电子设备，使得该对应端的电子设备根据该标识，将该标识还原成其所代表的关键特征，在本地端进行显示。例如，将标识“LA”发送给视频通信的对应端后，视频对端可以将该标识“LA”还原成“大笑”的特征在本地的视频通信设备中显示。

根据本发明的一个示例，在传输表示关键特征的标识之前，还可以预先传输所采集的视频图像的部分图像给视频接收端。例如，当所述电子设备的用户与所述另一电子设备的用户进行互动时，发送视频图像的部分图像给视频接收端。例如，可以预先传输所采集的视频图像的基本场景图像给视频接收端。然后，再发送关键特征的标识从而使接收端在基本场景图像的基础上根据标识重建关键特征。由于视频通信中，背景图像往往是变化较小的，也是相对而言不重要的特征，因此，可以预先将视频通话的背景图像传输给接收端，从而有效地避免了非重要信息对带宽的占用，保证了传输速率和传输质量。

本发明实施例在本地端对视频图像帧的关键特征进行提取，并将提取的关键特征转换为对应该特征的标识，然后将该标识发送给视频通信对应端。 由于标识信息相对于视频图像本身的数据量非常小，因此，在保证高质量的传输信息的同时，大大降低了带宽，提高了传输效率。

上述本发明第三个实施例是对视频通信发送端的传输视频图像的装置300的介绍，下面将进一步描述与第一个实施例相对应的视频通信接收端对接收的图像进行显示的装置。图4示出了根据本发明第四个实施例的显示图像的装置400，该装置同样应用于上述电子设备，显示图像的装置400与前面所述的显示图像的方法200对应，在此仅作简要描述。

参见图4，显示图像的装置400包括：标识接收单元401，标识转换单402，输出图像显示单元403。

具体地，标识接收单元401接收从另一电子设备发送的标识。标识转换单402将所接收的标识转换为包括该标识指示的关键特征的输出图像。输出图像显示单元403显示输出图像。根据本发明的一个示例，标识接收单元401的视频图像接收端在从视频图像发送端接收到标识后，标识转换单402首先获取图像历史数据，图像历史数据中包含图像特征以及与该图像特征对应的标识。例如，图像历史数据可以是与发送端的图像历史数据相同的或对应的历史数据，在此不再赘述。

然后，标识转换单402根据接收到的标识与图像历史数据中的标识进行匹配，确定接收到的标识在图像历史数据中匹配的标识以及该标识对应的图像特征，并将该图像特征作为关键特征生成输出图像。例如，历史数据中关于“笑”的特征包括“大笑”、“微笑”、“抿嘴笑”等。“大笑”的嘴角上扬角度是40-50度，“微笑”的嘴角上扬角度是20-30度，“抿嘴笑”的嘴角上扬角度是5-10度。如果接收到的标识是LA，那么，与历史数据中的标识进行比较后，确定该标识对应的图像特征是“大笑”，则视频图像接收端根据“大笑”的特征，将用户的嘴角修改为上扬40-50度，来重建输出图像。

根据本发明的一个示例，视频图像接收端可以接收从发送端发送的视频图像的部分图像，根据视频图像的部分图像以及标识指示的关键特征生成输出图像。例如，部分图像可以是该视频图像的基本场景图像或基本人脸轮廓图。然后，再接收关键特征的标识，从而在基本图像的基础上根据标识重建关键特征，构成输出图像。由此，可以有效地避免不重要的信息在传输时占用带宽，保证了重要信息的传输速率和传输质量。

可替换地，根据本发明的另一个示例，在接收到预先传送的部分图像以 及表示关键特征的标识之后，还可以利用标识对视频图像的部分图像进行处理以使之具有标识指示的关键特征，再根据处理后的图像生成输出图像。例如，预先传送的基本场景包括视频聊天背景以及无任何表情的人脸图像，而接收到的标识信息是“大笑”。这样，可以根据该标识信息所表示的“大笑”的具体数据，修改基本的人脸图像，例如，修改人脸图像中嘴角的上扬角度，眉毛的上扬角度等，从而输出具有大笑特征的人脸图像。

本发明实施例在视频图像接收端接收代表关键特征的标识信息，来重建视频图像，由于标识信息相对于视频图像本身的数据量非常小，因此，在保证高质量的传输了信息的同时，大大降低了带宽，提高了传输效率。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现。并且软件模块可以置于任意形式的计算机存储介质中。为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本领域技术人员应该理解，可依赖于设计需求和其它因素对本发明进行各种修改、组合、部分组合和替换，只要它们在所附权利要求书及其等价物的范围内。