专利名称：一种可视电话中图像处理方法和装置的制作方法
技术领域：
本发明涉及移动通信领域，尤其是一种可视电话中图像处理方法和装置。
背景技术：
可视电话是通信领域的一种重要的电话业务，特别是随着第三代无线通讯的普 及，提供给移动用户终端使用的带宽有了较大提高，可视电话逐渐成为用户最常使用的业
务之一。相较于传统的语音电话，可视电话是一种比较新颖的业务。而年轻人对各种新兴 业务的尝试和接纳是最积极的。因此，在世界上，特别是在中国，可视电话的用户主体是年 轻人群。年轻人普遍存在思维活跃，热衷娱乐，喜欢开玩笑的特点。但是目前的可视电话业 务还仅仅是通话双方终端摄像头所采集影像的直接传递，缺乏娱乐性和可玩性的特点。如 果能在这些方面有所改善，将对可视电话业务的主体用户——年轻人有更强的吸引力。
发明内容
本发明要解决的技术问题是提供了一种可视电话中图像处理方法和装置，提高了 视频通话的趣味性，能够吸引更多的视频电话用户。为解决上述技术问题，本发明提供了如下技术方案一种可视电话中图像处理方法，包括获取近端用户的视频图像，在所述视频图像上添加图形和/或文字，得到处理后 的视频图像，将所述处理后的视频图像发送给远端用户。进一步，所述在视频图像上添加图形和/或文字，得到处理后的视频图像包括获取所述视频图像的人脸区域；在所述人脸区域添加图形和/或文字，得到效果合成图像；将所述效果合成图像与原视频图像进行叠加，得到处理后的视频图像。进一步，在所述人脸区域添加图形和/或文字，得到效果合成图像包括设定待添加的图形和/或文字，以及所述图形和/或文字与人脸区域的位置和大 小关系；获取人脸区域的位置和大小，根据设定的待添加的图形和/或文字与所述人脸区 域的位置和大小关系，将所述图形和/或文字添加在所述人脸区域，得到效果合成图像。进一步，所述方法还包括存储所设定的图形和/或文字，以及所述图形和/或文字与人脸区域的位置和大 小关系为娱乐效果方案；在后续视频通话过程中，基于已存储的娱乐效果方案生成效果合成图像。进一步，获取所述视频图像后，在所述视频图像上添加图形和/或文字前还包括， 判断是否开启图像娱乐增强功能，如果已开启，在所述视频图像上添加图形和/或文字；否 则，直接发送视频图像至远端用户。
进一步，所述图形和/或文字为所述近端用户手绘输入或者从预置素材库中选择 得到。一种可视电话中图像处理装置，其中，包括图像获取模块，用于获取近端用户的视频图像；图像娱乐增强模块，用于在所述视频图像上添加图形和/或文字，得到处理后的 视频图像，传输给发送模块；发送模块，用于将所述处理后的视频图像发送给远端用户。进一步，所述图像娱乐增强模块包括人脸识别模块，娱乐效果合成模块和视频叠 加模块，其中所述人脸识别模块，用于获取所述视频图像的人脸区域；所述娱乐效果合成模块，用于在所述人脸区域添加图形和/或文字，得到效果合 成图像；所述视频叠加模块，用于将所述效果合成图像与所述图像获取模块获取的所述视 频图像进行叠加，得到处理后的视频图像，传输给发送模块。进一步，所述装置还包括可视电话娱乐效果控制模块，用于设定待添加的图形和/ 或文字，以及所述图形和/或文字与人脸区域的位置和大小关系；所述娱乐效果合成模块还用于获取人脸区域的位置和大小，根据所述可视电话 娱乐效果控制模块设定的待添加的图形和/或文字与所述人脸区域的位置和大小关系，将 所述图形和/或文字添加在所述人脸区域，得到效果合成图像。进一步，所述可视电话娱乐效果控制模块，还用于将已设定的待添加的图形和/ 或文字，以及所述图形和/或文字与人脸区域的位置和大小关系存储为娱乐效果方案；所述娱乐效果合成模块还用于基于已存储的娱乐效果方案生成效果合成图像。进一步，所述装置还包括手绘图形输入和存储模块和/或预置素材库模块，其中所述手绘图形输入和存储模块，用于接收近端用户手绘输入的图形和/或文字， 并能够进行存储；所述预置素材库模块，用于存储预置的图形和/或文字；所述可视电话娱乐效果控制模块是用于调用所述手绘图形输入和存储模块和/ 或预置素材库模块设定所述图形和/或文字。进一步，所述可视电话娱乐效果控制模块还用于提供一娱乐增强功能开关；所述图形娱乐增强模块，用于判断是否开启娱乐增强功能，如果已开启，在所述视 频图像上添加图形和/或文字，得到处理后的视频图像，传输给发送模块，否则，直接将视 频图像传输给发送模块。本发明在视频通话的基础上增加了对视频图像的处理功能，增加了视频通话的趣 味性、可玩性，与现有技术相比，本发明能够吸引更多的视频电话用户，提高运营商的利润 增长点。
图1为可视电话中图像处理装置的系统结构图；图2为现有可视电话的视频截图3为人脸识别模块确定脸部位置的视频截图；图4为预置素材库模块对脸部图像进行编辑的示意图；图5为手绘图形输入和存储模块对脸部图像进行编辑的示意图；图6为图像娱乐增强模块对脸部图像编辑后的效果图；图7为可视电话中图像处理方法设置阶段流程图；图8为可视电话中图像处理方法合成阶段流程图。
具体实施例方式下面结合附图对本发明做进一步详细的说明。为描述方便，以下称可视电话呼叫 中本端用户为近端用户，近端用户的终端为近端终端，其摄像头等图像获取模块采集到的 本端用户的视频图像为近端视频，称可视电话呼叫对端用户为远端用户，远端用户的终端 为远端终端，其摄像头等图像获取模块采集到的对端用户的视频图像为远端视频。本发明的基本思想是获取近端用户的视频图像，在所述视频图像上添加图形和 /或文字，得到处理后的视频图像，将所述处理后的视频图像发送给远端用户。基于上述思想，本发明提供了一种可视电话中图像处理装置，包括图像获取模块，用于获取近端用户的视频图像；图像娱乐增强模块，用于在所述视频图像上添加图形和/或文字，得到处理后的 视频图像，传输给发送模块；发送模块，用于将所述处理后的视频图像发送给远端用户。进一步，所述图像娱乐增强模块包括人脸识别模块，娱乐效果合成模块和视频叠 加模块，其中所述人脸识别模块，用于获取所述视频图像的人脸区域；所述娱乐效果合成模块，用于在所述人脸区域添加图形和/或文字，得到效果合 成图像；所述视频叠加模块，用于将所述效果合成图像与所述图像获取模块获取的所述视 频图像进行叠加，得到处理后的视频图像，传输给发送模块。进一步，所述装置还包括可视电话娱乐效果控制模块，用于设定待添加的图形和/ 或文字，以及所述图形和/或文字与人脸区域的位置和大小关系；所述娱乐效果合成模块还用于获取人脸区域的位置和大小，根据所述可视电话 娱乐效果控制模块设定的待添加的图形和/或文字与所述人脸区域的位置和大小关系，将 所述图形和/或文字添加在所述人脸区域，得到效果合成图像。进一步，所述可视电话娱乐效果控制模块还用于将已设定的待添加的图形和/ 或文字，以及所述图形和/或文字与人脸区域的位置和大小关系存储为娱乐效果方案；所述娱乐效果合成模块还用于基于已存储的娱乐效果方案生成效果合成图像。进一步，所述装置还包括手绘图形输入和存储模块和/或预置素材库模块，其中所述手绘图形输入和存储模块，用于接收近端用户手绘输入的图形和/或文字， 并进行存储；所述预置素材库模块，用于存储预置的图形和/或文字；所述可视电话娱乐效果控制模块是用于调用所述手绘图形输入和存储模块和/
6或预置素材库模块设定所述图形和/或文字。进一步，所述可视电话娱乐效果控制模块还用于提供一娱乐增强功能开关；所述图形娱乐增强模块，用于判断是否开启娱乐增强功能，如果已开启，在所述视 频图像上添加图形和/或文字，得到处理后的视频图像，传输给发送模块，否则，直接将视 频图像传输给发送模块。基于以上增加的设备模块，本发明还提供了一种可视电话中图像处理方法，包括， 获取近端用户的视频图像，在所述视频图像上添加图形和/或文字，得到处理后的视频图 像，将所述处理后的视频图像发送给远端用户。进一步，所述在视频图像上添加图形和/或文字，得到处理后的视频图像包括获取所述视频图像的人脸区域；在所述人脸区域添加图形和/或文字，得到效果合成图像；将所述效果合成图像与原视频图像进行叠加，得到处理后的视频图像。进一步，在所述人脸区域添加图形和/或文字，得到效果合成图像包括设定待添加的图形和/或文字，以及所述图形和/或文字与人脸区域的位置和大 小关系；获取人脸区域的位置和大小，根据设定的待添加的图形和/或文字与所述人脸区 域的位置和大小关系，将所述图形和/或文字添加在所述人脸区域，得到效果合成图像。进一步，所述方法还包括存储所设定的图形和/或文字，以及所述图形和/或文字与人脸区域的位置和大 小关系为娱乐效果方案；在后续视频通话过程中，基于已存储的娱乐效果方案生成效果合成图像。进一步，获取所述视频图像后，在所述视频图像上添加图形和/或文字前还包括， 判断是否开启图像娱乐增强功能，如果已开启，在所述视频图像上添加图形和/或文字；否 则，直接发送视频图像至远端用户。进一步，所述图形和/或文字为所述近端用户手绘输入或者从预置素材库中选择 得到。下面通过具体实施例进一步说明本发明。如图1所示，在已经具有可视电话功能的近端终端上增加以下设备模块1、人脸识别模块F108 用于在近端视频中识别出人脸，并确定人脸在图像中的位 置和大小。2、手绘图形输入和存储模块Fill 用于近端用户绘制各种自定义的图形或文字， 并能够将绘制结果存储下来。绘制结果的存储可以是以位图形式存储或者矢量形式存储。3、预置素材库模块F112 用于存储各种预置的图形图像素材。4、娱乐效果合成模块F109 此模块从人脸识别模块F108获取人脸在图像中的位 置和范围，根据要求将预置素材库模块F112或手绘图形输入和存储模块Fill中的图形图 像素材放置在与已识别人脸相关的位置上并调整大小，最终形成效果合成图像。5、视频叠加模块F105 此模块将娱乐效果合成模块F109生成的效果合成图像与 经视频处理和增强的原始视频进行叠加处理，形成最终发送给远端用户的视频。6、可视电话娱乐效果控制模块F113 此模块通过触摸屏等输入设备FllO与近端用户交互，控制上述各模块是否工作和设置工作参数。本发明提供的图像处理方法可分为如下2个处理步骤图像处理功能控制1)娱乐增强功能的开启与关闭可视电话娱乐效果控制模块F113在可视电话的 近端终端界面上显示一个娱乐增强功能开关。近端用户可通过触摸屏等输入设备FllO设 置此娱乐增强功能的开启与关闭。2)近端视频娱乐效果设置近端用户可选择预置素材库模块F112中的图形图像 素材，或者通过手绘图形输入和存储模块Fill绘制自定义的图形图像素材，并设置这些图 形图像素材与近端视频中人脸的几何位置关系。3)近端用户可将已设置的近端视频娱乐效果方案进行存储，并可在以后的可视电 话中使用，免去重新设置的过程。图像合成阶段1)近端视频的采集和预处理近端终端通过摄像头等视频采集设备F103采集近 端原始视频，并经视频处理和增强模块F104进行处理，处理后的近端视频送入视频叠加模 块F105和人脸识别模块F108。2)人脸识别处理人脸识别模块F108收到近端视频后，判断近端终端上是否已经 开启了可视电话娱乐增强功能。如果未开启，则对收到的视频不进行处理。如果已经开启， 则对视频中的每一帧中的人脸进行识别，确定人脸在图像中的位置和大小，并将这些位置 和大小信息发送给娱乐效果合成模块F109。3)娱乐效果的合成娱乐效果合成模块F109根据人脸识别处理模块F108识别出 的人脸位置和范围，以及可视电话娱乐效果控制模块F113设定的预置图形图像(存储于预 置素材库模块F112中)和/或自定义的图形(通过手绘图形输入和存储模块Fill绘制) 与人脸的几何关系，将这些图形图像进行拼合，形成效果合成图像。效果合成图像和经过预 处理的原始图像在视频叠加模块(Fl(^)中进行叠加处理，形成最终显示给远端用户的图 像并发出。本发明的实施过程可分为两个阶段，一个是可视电话中设置阶段，另一个是可视 电话中图像合成阶段，如图7所示，本发明可视电话中图像处理方法设置阶段流程图，具体 描述如下(S100)近端用户与远端用户已经建立了视频通话(效果如图2所示)，可视电 话娱乐效果控制模块F113在可视电话的近端终端界面上显示一个娱乐增强功能开关，近 端用户可通过触摸屏等输入设备FllO设置此娱乐增强功能的开启触发了娱乐效果设置功 能；(SlOl)可视电话娱乐效果控制模块F113冻结当前近端视频的一帧；(S102)人脸识别模块F108收到近端视频后，判断近端终端上是否已经开启了可 视电话娱乐增强功能，如果未开启，则对收到的视频不进行处理；如果已经开启，则对视频 中的每一帧中的人脸进行识别，确定人脸在图像中的位置和大小并显示给近端用户(效果 如图3所示)，然后将这些位置和大小信息发送给娱乐效果合成模块F109 ；(S103)近端用户后续可选择是添加预置图形还是添加手绘图形；(S104)添加预置图形(效果如图4)，此设置可反复执行，直到近端用户选择设置结束；(S105)添加手绘图形(效果如图幻的处理，此设置可反复执行，直到近端用户选 择设置结束；(S106)近端用户选择设置是否结束；(S107)近端用户选择设置结束后，此时可视电话娱乐效果控制模块F113记录下 已添加图形以及其与人脸区域的相对关系；(S108)上述记录工作结束后，整个设置阶段完成，界面回到视频通话状态，进入娱 乐效果合成阶段。如图8所示，本发明强可视电话图像合成流程图，具体描述如下(S201)近端用户和远端用户在进行视频通话时，对于本端用户的每一个经过视频 采集模块F103和视频增强处理F104的视频帧，原先是直接发给远端用户；(S202)当实施了本发明，每次获取到这种经视频增强处理的视频帧后，都要增加 是否系统已经开启娱乐增强处理且已经进入了娱乐效果合成阶段的判断；如果没有开启或 者尚未设置娱乐效果，则直接将这个视频帧输出给远端用户(步骤S205)；(S203)当判断娱乐增强处理已经开启且用户已经设置了娱乐效果进入了合成阶 段，则首先调用人脸识别模块F108对当前视频帧进行处理，识别出人脸在此视频帧中的范 围；(S204)娱乐效果合成模块F109根据人脸识别模块F108识别出的人脸位置和范 围，以及可视电话娱乐效果控制模块F113设定的预置图形图像(存储于预置素材库模块 F112中)和/或自定义的图形(通过手绘图形输入模块Fill绘制)与人脸的几何关系，将 这些图形图像进行拼合，形成效果合成图像；(S205)将娱乐效果合成模块F109生成的效果合成图像与原始视频帧通过视频叠 加模块F105进行叠加处理，形成最终效果视频帧，然后将其发给远端用户，经过上述的处 理，近端用户和远端用户实际的视频通话效果如图6所示。本发明在视频通话的基础上增加了用户对视频图像的处理功能，增加了视频通话 的趣味性、可玩性，与先有技术相比，本发明能够吸引更多的视频电话用户，提高运营商的 利润增长点。上述实施例仅是对本发明的解释而非限制，凡是基于本发明思想对本发明所做的 任何变换、等同替换或者改进，都应该包含在本发明的保护范围之内。
权利要求
1.一种可视电话中图像处理方法，其特征在于，包括获取近端用户的视频图像，在所述视频图像上添加图形和/或文字，得到处理后的视 频图像，将所述处理后的视频图像发送给远端用户。
2.如权利要求1所述的方法，其特征在于，所述在视频图像上添加图形和/或文字，得 到处理后的视频图像包括获取所述视频图像的人脸区域；在所述人脸区域添加图形和/或文字，得到效果合成图像； 将所述效果合成图像与原视频图像进行叠加，得到处理后的视频图像。
3.如权利要求2所述的方法，其特征在于，在所述人脸区域添加图形和/或文字，得到 效果合成图像包括设定待添加的图形和/或文字，以及所述图形和/或文字与人脸区域的位置和大小关系；获取人脸区域的位置和大小，根据设定的待添加的图形和/或文字与所述人脸区域的 位置和大小关系，将所述图形和/或文字添加在所述人脸区域，得到效果合成图像。
4.如权利要求3所述的方法，其特征在于，所述方法还包括存储所设定的图形和/或文字，以及所述图形和/或文字与人脸区域的位置和大小关 系为娱乐效果方案；在后续视频通话过程中，基于已存储的娱乐效果方案生成效果合成图像。
5.如权利要求1所述的方法，其特征在于，获取所述视频图像后，在所述视频图像上添加图形和/或文字前还包括，判断是否开 启图像娱乐增强功能，如果已开启，在所述视频图像上添加图形和/或文字；否则，直接发 送视频图像至远端用户。
6.如权利要求1至5任一所述的方法，其特征在于，所述图形和/或文字为所述近端用户手绘输入或者从预置素材库中选择得到。
7.—种可视电话中图像处理装置，其特征在于，包括 图像获取模块，用于获取近端用户的视频图像；图像娱乐增强模块，用于在所述视频图像上添加图形和/或文字，得到处理后的视频 图像，传输给发送模块；发送模块，用于将所述处理后的视频图像发送给远端用户。
8.如权利要求7所述的装置，其特征在于，所述图像娱乐增强模块包括人脸识别模块，娱乐效果合成模块和视频叠加模块，其中所述人脸识别模块，用于获取所述视频图像的人脸区域；所述娱乐效果合成模块，用于在所述人脸区域添加图形和/或文字，得到效果合成图像；所述视频叠加模块，用于将所述效果合成图像与所述图像获取模块获取的所述视频图 像进行叠加，得到处理后的视频图像，传输给发送模块。
9.如权利要求8所述的装置，其特征在于，所述装置还包括可视电话娱乐效果控制模块，用于设定待添加的图形和/或文字，以及所述图形和/或文字与人脸区域的位置和大小关系；所述娱乐效果合成模块还用于获取人脸区域的位置和大小，根据所述可视电话娱乐 效果控制模块设定的待添加的图形和/或文字与所述人脸区域的位置和大小关系，将所述 图形和/或文字添加在所述人脸区域，得到效果合成图像。
10.如权利要求9所述的装置，其特征在于，所述可视电话娱乐效果控制模块，还用于将已设定的待添加的图形和/或文字，以及 所述图形和/或文字与人脸区域的位置和大小关系存储为娱乐效果方案；所述娱乐效果合成模块还用于基于已存储的娱乐效果方案生成效果合成图像。
11.如权利要求9或10所述的装置，其特征在于，所述装置还包括手绘图形输入和存储 模块和/或预置素材库模块，其中所述手绘图形输入和存储模块，用于接收近端用户手绘输入的图形和/或文字，并进 行存储；所述预置素材库模块，用于存储预置的图形和/或文字；所述可视电话娱乐效果控制模块是用于调用所述手绘图形输入和存储模块和/或预 置素材库模块设定所述图形和/或文字。
12.如权利要求9或10所述的装置，其特征在于，所述可视电话娱乐效果控制模块还用于提供一娱乐增强功能开关；所述图形娱乐增强模块，用于判断是否开启娱乐增强功能，如果已开启，在所述视频图 像上添加图形和/或文字，得到处理后的视频图像，传输给发送模块，否则，直接将视频图 像传输给发送模块。
全文摘要
本发明公开了一种可视电话中图像处理方法和装置，所述方法包括获取近端用户的视频图像，在所述视频图像上添加图形和/或文字，得到处理后的视频图像，将所述处理后的视频图像发送给远端用户。所述装置包括，图像获取模块，用于获取近端用户的视频图像；图像娱乐增强模块，用于在所述视频图像上添加图形和/或文字，得到处理后的视频图像，传输给发送模块；发送模块，用于将所述处理后的视频图像发送给远端用户。本发明在视频通话的基础上增加了对视频图像的处理功能，增加了视频通话的趣味性、可玩性，与现有技术相比，本发明能够吸引更多的视频电话用户，提高运营商的利润增长点。
文档编号H04N7/14GK102075727SQ20101061529
公开日2011年5月25日 申请日期2010年12月30日 优先权日2010年12月30日
发明者李响 申请人:中兴通讯股份有限公司