专利名称：移动通信终端中共享视频电话屏幕的设备和方法
移动通信终端中共享视频电话屏幕的设备和方法优先权本申请要求于2006年7月4日向韩国知识产权局提交的、分配序列号 为第2006-62349号的申请的优先权，该在先申请的内容以引用的方式并入 本文。技术领域'本发明总体上涉及一种移动通信终端中共享视频电话屏幕的设备和方 法，并且具体来说，涉及一种在视频电话中与接通的对方实时共享显示在显 示单元上的屏幕的设备和方法。
背景技术：
国际移动电信(IMT) -2000系统(是第三代(3G)移动通信系统)指 的是一种使非专业个人能够通过移动电话进行全球无线电话、建立全球范围 的无线电话网全备的系统。基于移动通信网《各(比如IMT—2000和通用移动 电信系统(UMTS))的异步宽带码分多址(WCDMA)移动通信系统，凭借 其提供高速数据传输的能力，正在为用户提供诸如因特网和视频电话服务之 类的文件和一见频服务以及语音电话通信。视频电话服务提供全面的电话功能发送方终端对用户的面部图像进行 压缩并且将其传输至接收方终端，并解码和显示从接收方终端接收到的接通 对方的面部图像，从而能够实现实时的面对面电话通信。视频电话服务不能提供用户在视频电话过程中向接通的对方传输内容 的功能。因此，用户会遇到以下不便当想要在视频电话过程中向接通的对 方传输诸如静止图像之类的内容时，不得不停止视频电话，然后使用多i某体 消息服务(MMS)来传输静止图像文件。因此，尽管目前提供了在视频电 话中传输内容的功能，但视频电话服务仍然具有不可能与接通对方实时共享 在视频电话中传输的内容的缺陷。此外，尽管用户在视频电话中向接通的对 方传输了内容，但如果接通的对方没有再现该内容，则传输本身也是没有意义的。内容的服务。 发明内容本发明的一个方面是，基本上解决至少上述问题和/或不足，并且给出至 少以下优点。因此，本发明的一个方面是提供一种移动通信终端中共享视频 电话屏幕的设备和方法。本发明的另 一方面是，提供了 一种为了共享移动通信终端中的视频电话 屏幕而进行的屏幕传输的设备和方法。上述方面是通过提供一种移动通信终端中共享视频电话屏幕的设备和 方法来实现的。按照本发明，提供了 一种在移动通信终端中进行视频电话中共享屏幕的方法。该方法包括如果在视频电话中出现了屏幕共享的事件，则向接通的 终端发送屏幕共享请求信号，和当从接通的终端接收到屏幕共享接受信号 时，捕获屏幕上显示的图像，并把所捕获的图像发送到接通的终端。按照本发明，提供了 一种在移动通信终端中进行的视频电话中共享屏幕 的方法。该方法包括当在视频电话中从接通的终端接收到屏幕共享请求时， 在显示单元上显示该屏幕共享请求，当设定了屏幕共享接受时，向接通的终 端发送屏幕共享接受信号，当从接通的终端接收到映射信息和编码图像时， 依据映像信息解码并重构编码图像，和在显示单元的一个位置上显示重构的 图像当。按照本发明，提供了 一种用于在移动通信终端中进行的视频电话中共享 屏幕的设备。该设备包括显示单元，用于显示图像；图像捕获单元，用于 在产生了视频电话屏幕共享事件时，生成与共享区域相关的分割映射信息、 捕获显示单元上显示的图像和依据分割映射信息分割所捕获的图像；图像处 理器，用于对所分割的图像进行编码，和通信模块，用于将编码图像和分割 映射信息发送到接通的终端。按照本发明，提供了 一种用于在移动通信终端中进行的视频电话中共享 屏幕的设备。该设备包括通信模块，用于从接通的终端接收映射信息和编 码图像；图像处理器，用于依据映射信息解码编码图像；图像重构单元，用
于依据映射信息按原始图像重构解码后的图像；和显示单元，用于在预定的 区域内显示重构的图像。
在与附图相结合时，从下面的详细说明中将会比较明显地看出本发明的上述和其它目的、特征和优点，其中图1图解说明按照本发明的移动通信终端的结构；图2A和2B图解说明按照本发明的移动通信终端中的使用多个緩冲器 对图像进行编码和解码的图像处理器的结构；图3A和3B图解说明按照本发明的移动通信终端中的使用单个緩冲器 对图像进行编码和解码的图像处理器的结构；图4是图解说明按照本发明在视频电话中共享屏幕的过程的梯形图；图5是图解说明按照本发明由发送方终端共享移动通信终端中的视频电 话屏幕的过程的流程图；图6图解说明按照本发明的打算用来共享移动通信终端中的视频电话屏 幕的屏幕区域的结构；和图7是图解说明按照本发明由接收方终端共享移动通信终端中的视频电 话屏幕的过程的流程图。
具体实施方式
下面在本文中将参照附图介绍本发明的优选实施方式。在下面的介绍 中，为了清楚简明，不对公知的功能或结构加以详细介绍。本发明提供一种与移动通信终端中进行的视频电话中的接通对象实时 共享显示在显示单元上的图像的设备和方法。所述移动通信终端指的是支持 视频电话的所有终端。图1图解说明按照本发明的移动通信终端的结构。该移动通信终端包 括控制器100、视频电话信号处理器102、摄像机104、图像处理器106、 图像捕获单元108、显示单元110、图像重构单元112、通信模块114、语音 处理器116、麦克风118和扬声器120。参照图1,控制器IOO针对视频电话和数据通信进行处理和控制。按照 本发明，控制器IOO在视频电话中出现屏幕共享事件时，经由通信模块114送屏幕共享请求信号。控制器100在接收到来自接通终端的屏 幕共享接受信号时，向图像捕获单元108输出屏幕共享开始通知信号。此后，控制器IOO控制将由图像处理器106编码的图像和关于编码图像的映射信息发送给接通终端的功能。控制器IOO在接收到来自接通终端的视频电话屏幕共享请求信号时，根据用户的按键操作向接通终端发送屏幕共享接受或拒绝 信号，并将从接通终端接收到的编码图像和映射信息输出到图像处理器106。而且，控制器100包括视频电话信号处理器102,并且控制为了进行按照本 发明的视频电话而与接通终端交换的信号。摄像机104包括摄像传感器，用于在图像拍摄时感测光信号，并将感 测到的光信号转换为电信号；和信号处理器，用于把摄像传感器拍摄的模拟 图像信号转换为数字数据。摄像机104将转换后的数字数据输出到图像处理 器106。图像处理器106还连接到图像编解码器(CODEC )。图像处理器106依 照设定的编码方法对从摄像机104接收的图像信号进行编码，或将编码帧图 像数据解码为原始帧图像数据。图像处理器106以帧为单位处理从摄像机 104收到的图像信号。图像处理器106输出针对显示单元110的特点和尺寸 进行了调节的处理后的图像信号。按照本发明，图像处理器106对从图像捕 获单元108接收到的图像信号进行编码，并将编码后的图像信号输出到控制 器100。图像处理器106对从控制器IOO接收到的图像信号进行解码，并把 解码后的图像信号输出到图像重构单元112。图像处理器106可以为了编码或解码图像信号而如图2A和2B中所示 的那样使用多个緩冲器或如图3A和3B中所示的那样使用单个緩冲器。当 使用多个缓冲器时，图像处理器106可利用全部的I帧和P帧与接通终端共 享屏幕。I帧表示可独立解码的帧，比如联合图像专家组(JPEG)。 P帧表示 用于预测和补偿I帧之间的运动的帧当使用多个緩冲器时，图像处理器106根据分割图像的构成顺序经由第 一开关201将I帧和P帧存储到各个緩冲器中、经由第二开关209将所存储 的I帧和P帧排列成原始顺序并且将排列好的I帧和P帧输出至编码器211, 从而对I帧和P帧进行编码，如图2A所示。I帧和P帧是根据分割图像的构 成顺序交替地存储到各个缓冲器中的。详细来说，图像处理器106将具有I 帧中的第 一构成顺序的分割图像存储到第 一缓冲器203中，将具有P帧中的 第一构成顺序的分割图^象存储到第二緩冲器205中，并将具有I帧中的第二构成顺序的分割图像存储到第三緩冲器207中。图像处理器106要求多个緩 冲器的数量是分割图像数量的两倍，因而限制了存储器利用率。因此，如图 3A和3B中所示，图像处理器106仅仅使用I帧而利用了单个緩冲器，从而 限制了存储器利用程度。当从控制器IOO接收到屏幕共享接受通知信号后，图像捕获单元108按 照预设的固定尺寸分割由用户设定的显示单元110的区域，并构造关于该分 割区域的映射信息。此后，图像捕获单元108依据映射信息来分割显示单元 110的区域中显示的图像。图像捕获单元108对分割图像进行编码并将其输 出到图像处理器106。所述固定尺寸可以使用H.263和运动图像专家组 (MPEG) -4支持的四分之一公共中间格式(QCIF)(176"44)。所述映射信息 包括与分割区域相关的数量、构成顺序和位置信息。显示单元110显示移动通信终端在操作过程中产生的状态信息和有限数 量的字符。具体来说，按照本发明，显示单元IIO显示与接通终端共享的屏 幕区域，并且在与接通终端共享的屏幕区域中显示从图像处理器106接收到 的解码图像。图像重构单元112从图像处理器106接收解码后的图像和映射信息，依 据映射信息按照原始图像重构解码图像，并将重构图像经由图像处理器106 输出到显示单元110。通信模块114通过天线发射和接收输入和输出数据的无线电信号。例如， 在发射模式下，通信模块114把通过对要发送的数据进行信道编码和扩频获 得的基带信号转换为射频(RF)信号。通信模块114通过天线发射转换后的 基带信号。在接收模式下，通信模块114接收RF信号并将其转换为基带信 号，并且对基带信号进行解扩和信道解码来进行数据恢复。语音处理器116还与音频CODEC相连。语音处理器116通过麦克风118 和扬声器120输入输出语音信号。例如，语音处理器116从控制器IOO接收 脉冲编码调制(PCM)数据，将PCM数据转换为模拟语音信号，并通过扬 声器120发出转换后的模拟语音信号。语音处理器116从麦克风118接收语 音信号，把接收到的语音信号转换为PCM数据，并且将转换后的PCM数据 传输至控制器100。图4是图解说明按照本发明的在视频电话中共享屏幕的过程的梯形图。
参照图4,在步骤410中，在发送方终端400和接收方终端402之间连 通视频电话。在步骤412中，当在发送方终端400中出现要与接收方终端402 共享视频电话屏幕的事件时，发送方终端400向接收方终端402发送视频电 话屏幕共享请求。在步骤414中，接收方终端402向发送方终端400发送视 频电话屏幕共享接受信号。如果是这样，则在步骤416中，发送方终端400 对显示在显示单元IIO上的图像进行捕获、分割和编码。在步骤418中，发 送方终端400将编码图像发送到接收方终端402。在步骤420中，接收方终端402对编码图像进行解码并且按照原始图像 对编码图像进行重构，并将重构的图像显示在显示单元110上。图5是图解说明按照本发明的在移动通信终端中由发送方终端共享视频 电话屏幕的过程的流程图。参照图5，在步骤501中，发送方终端检查是否出现了在视频电话中共 享视频电话屏幕的事件。在出现了屏幕共享事件时，在步骤503中发送方终 端向接收方终端发送屏幕共享请求信号。如果没有屏幕共享事件出现，则重 复步骤501。在步骤505中，发送方终端检查是否接收到了来自接收方终端的屏幕共 享接受或拒绝消息。当从接收方终端接到屏幕共享拒绝消息时，发送方终端 终止按照本发明的算法。反之，当从接收方终端接到屏幕共享接受消息时， 在步骤507中，发送方终端请求用户设定想要用来与视频电话中接通的对方 共享的屏幕区域。在步骤509中，发送方终端检查用户是否设定了想要用来与视频电话中 接通的对方共享的屏幕区域。在步骤511中，当检测到用户已经设定了想要 用来与接通的对方共享的屏幕区域时，发送方终端按固定尺寸对所设定的共 享区域进行分割。在步骤513中，发送方终端生成代表与分割区域相关的信 息的分割映射信息。所述固定尺寸可以使用H.263和MPEG-4所支持的QCIF (176*144)。所述映射信息包括设定区域的数量、设定区域的构成顺序和与 设定区域相关的位置信息。例如，可以通过按QCIF的尺寸603分割用户设 定的发送区域601并且设定分割区域的顺序来生成分割映射信息，如图6所 示。在步骤515中，发送方终端对显示单元110的区域中显示的图像进行捕 获和分割，并按照包含在所生成的分割映射信息中的分割区域顺序对分割图
像进行编码。为了捕获所设定的发送区域，按照R324M的建议，每秒总帧 数值等于15fps。换句话说，每秒帧数值是这样决定的使发送区域的分割 图像的个数与用来捕获每个图像的每秒帧数值的乘积小于或等于15fps(即， 分割图像的个数x每秒帧数《l5fps)。例如，当用户选定的屏幕区域被分割 为4个QCIF时，每个分割区域的每秒帧数值可以等于3fps。在步骤517中，发送方终端把分割映射信息发送到接收方终端。在步骤 519中，发送方终端通过用于视频电话的视频信道，将使用分割映射信息当 中与分割区域有关的顺序信息编码的图像发送到接收方终端。此后，发送方 终端终止本算法。图7是图解说明按照本发明的在移动通信终端中由接收方终端共享视频 电话屏幕的过程的流程图。参照图7，在步骤701中，接收方终端检查是否在视频电话中接收到了 来自于发送方终端的视频电话屏幕共享请求。在步骤703中，当接收到屏幕 共享请求后，接收方终端在显示单元IIO上显示屏幕共享请求通知消息，并 检查用户是否设定了屏幕共享接受或拒绝。在步骤715中，当用户设定了屏 幕共享拒绝时，接收方终端向进行视频电话的发送方终端发送屏幕共享拒绝 通知消息。此后，接收方终端终止本算法。在步骤705中，当用户设置了屏幕共享接受时，接收方终端向视频电话 中的发送方终端发送屏幕共享接受通知消息。在步骤707中，接收方终端检 查是否从发送方终端接收到了分割映射信息。分割映射信息包括分割捕获图 像的个数、分割图像的构成顺序和关于分割图像的位置信息。在步骤709中，当接收到分割映射信息时，接收方终端检查是否从发送 方终端接收到了编码图像。在步骤711中，当接收到编码图像时，接收方终端依据接收到的分割映 射信息对所接收到的图像进行解码。在步骤713中，接收方终端在显示单元 110的区域中显示解码后的图像。如上所述，本发明能够在移动通信终端中进行的视频电话中与接通对方 共享视频电话屏幕，从而与接通对方同时共享相同的内容，而提供一种会议 一样的效果。本发明无需单独进行传输就可以由它自己的终端再现内容，并 且与^L频电话中的接通对方实时地共享内容。虽然本发明是参照它的特定优选实施方式给出和介绍的，但是本领域技 术人员可以理解，可以对本发明进行各种形式和细节上的改变，而不会超出 所附的权利要求中定义的本发明的思想和范围。
权利要求
1.一种在移动通信终端中进行的视频电话中共享屏幕的方法，该方法包括如果在视频电话中出现了屏幕共享的事件，则向接通的终端发送屏幕共享请求信号；和当从接通的终端接收到屏幕共享接受信号时，捕获屏幕上显示的图像，并把所捕获的图像发送到接通的终端。
2. 如权利要求1所述的方法，其中图像的捕获和发送进一步包括 在显示单元上显示屏幕共享区域设定请求；当设定了屏幕的共享区域时，按固定尺寸分割所设定的区域； 生成与分割区域相关的映射信息；捕获所设定区域中显示的图像，并依据映射信息对所捕获的图像进行分 割和编码；和将映射信息和编码图像发送到接通的终端。
3. 如权利要求2所述的方法，其中固定尺寸是基于H.263或运动图像 专家组MPEG-4中支持的四分之一公共中间格式QCIF的。
4. 如权利要求2所述的方法，其中映射信息包括按固定尺寸分割的屏 幕区域的数量、分割区域的构成顺序和与分割区域相关的位置信息中的至少 一项。
5. 如权利要求2所述的方法，其中分割图像的每秒帧数是小于或等于 由H.324M中所建议的十五帧每秒除以分割图像的数量所得的商的整数。
6. —种在移动通信终端中进行的视频电话中共享屏幕的方法，该方法 包括当在视频电话中从接通的终端接收到屏幕共享请求时，在显示单元上显 示该屏幕共享请求；当设定了屏幕共享接受时，向接通的终端发送屏幕共享接受信号；当从接通的终端接收到映射信息和编码图像时，依据映像信息解码并重 构编码图像；和在显示单元的一个位置上显示重构的图像。
7. 如权利要求6所述的方法，其中映射信息包括分割图像的数量、分 割图像的构成顺序和与分割图像有关的位置信息中的至少一项。
8. —种用于在移动通信终端中进行的视频电话中共享屏幕的设备，该设备包括显示单元，用于显示图像；图像捕获单元，用于在产生了视频电话屏幕共享事件时，生成与共享区 域相关的分割映射信息、捕获显示单元上显示的图像和依据分割映射信息分 割所捕获的图像；图像处理器，用于对所分割的图像进行编码；和通信模块，用于将编码图像和分割映射信息发送到接通的终端。
9. 如权利要求8所述的设备，其中分割映射信息包括由用户设定的分 割屏幕区域的数量、分割屏幕区域的构成顺序和与分割屏幕区域相关的位置 信息中的至少一项。
10. 如权利要求8所述的设备，其中图像处理器包括单个緩冲器，并且 将可独立解码的I-帧存储在该单个緩冲器中。
11. 如权利要求8所述的设备，其中图像处理器包括多个緩冲器，并且 将可独立解码I-帧和用于预测和补偿I帧之间的运动的P-帧存储到相应的缓 沖器中。
12. 如权利要求11所述的设备，其中I帧和P帧是依据分割图像的构 成顺序交替地存储在相应的緩冲器中的。
13. —种用于在移动通信终端中进行的视频电话中共享屏幕的设备，该 设备包括通信模块，用于从接通的终端接收映射信息和编码图像； 图像处理器，用于依据映射信息解码编码图像； 图像重构单元，用于依据映射信息按原始图像重构解码后的图像； 显示单元，用于在设定的区域内显示重构的图像。
14. 如权利要求13所述的设备，其中映射信息包括分割捕获图像的数 量、分割图像的构成顺序和与分割图像有关的位置信息中的至少 一项。
15. 如权利要求13所述的设备，其中图像处理器包括单个緩冲器，并 且将可独立解码的I-帧存储在该单个緩冲器中。
16. 如权利要求13所述的设备，其中的图像处理器包括多个緩冲器， 并且将可独立解码的I-帧和用于预测和补偿I帧之间运动的P-帧存储在相应的緩冲器中。
17. 如权利要求16所述的设备，其中I帧和P帧是依照分割图像的构 成顺序交替地存储在相应的緩冲器中的。
18. —种用于在移动通信终端中进行的视频电话中共享屏幕的设备，包括用于向接通的终端发送屏幕共享请求信号的装置； 用于从接通的终端接收屏幕共享接受信号的装置； 用于向接通的终端发送显示图像的装置。
19. 如权利要求18所述的设备，其中用于发送显示图像的装置执行步骤按固定尺寸分割屏幕共享区域； 生成与分割区域相关的映射信息；捕获屏幕共享区域内显示的图像，并依照映射信息对所捕获的图像进行 编码；和将映射信息和编码图像发送到接通的终端。
20. —种用于在移动通信终端中进行的视频电话中共享屏幕的设备，包括:用于向接通的终端发送屏幕共享接受信号的装置； 用于在从接通的终端接收到映射信息和编码图像时依照映射信息解码 和重构编码图像的装置；用于显示重建图像的装置。
全文摘要
提供了一种在移动通信终端中进行的视频电话中共享屏幕的设备和方法。该方法包括如果在视频电话中出现了屏幕共享的事件，则向接通的终端发送屏幕共享请求信号，和当从接通的终端接收到屏幕共享接受信号时，捕获屏幕上显示的图像，并把所捕获的图像发送到接通的终端。
文档编号H04N7/26GK101127874SQ20071015273
公开日2008年2月20日 申请日期2007年7月4日 优先权日2006年7月4日
发明者刘晋宇, 朴钟喆, 郑旭炫 申请人:三星电子株式会社