专利名称：确定移动视频电话之间的首选图像格式的方法和设备的制作方法
技术领域：
本发明主要涉及一种基于网际协议(IP)的视频呼叫服务的移动终端设备和方
法。更具体地，本发明涉及一种图像格式确定的方法和设备，以确定用于移动视频电话之间 的交换的图像格式。
背景技术：
最近，一种设计为将相机功能添加到移动通信终端的所谓的"相机电话"变得越来 越普遍。相机电话已经发展到超过了记录图片以通过端口转发到计算机的发送/接收视频 数据的方式，超越了移动通信终端发送/接收视频和数据的原始性能。因此，现在可获得视 频呼叫服务，在该服务中，用户不仅可享受语音呼叫而且可通过相机电话来享受视频呼叫。
参照图1，以下是用于普通的基于IP的移动视频电话之间的视频呼叫的初始化过 程的简单描述。 参照图1，步骤110和120中，用户设备1(UE1)101通过对外代理服务器102向 UE2103发送会话描述协议(SDP)邀请要约。 SDP邀请要约是包括用于视频传输的控制信息(诸如每秒帧数、图片质量、图像格 式等)的消息。基于网际协议(IP)，移动视频电话将有限的比特率适当地分发用于传输图 像、语音、数据和控制信号。全部比特率中，通过考虑每秒帧数、图片质量、图像格式等来确 定用于视频传输的比特率分配。这些项中，甚至可在视频呼叫期间调整每秒帧数和图片质 量，但是在呼叫期间图像格式通常是固定的。 会话初始化协议/会话描述协议(SIP/SDP)用于控制每秒帧数以及图像质量。在 该特定情况下，连同图1的SDP要约一起，UE向其相对UE发送指示关于每秒帧数和图像质 量的信息的命令"a = quality :〈quality〉"。在该命令中，"〈quality〉"具有从0到10范 围的值，其中，0与最大每秒帧数和最低图像质量相应，10与最小每秒帧数和最高图像质量 相应。随后，相对UE根据SDP要约中的〈quality〉信息控制每秒帧数和图像质量。
图像格式包括视频呼叫期间的发送/接收的图像的水平像素和垂直像素的数量， UE使用SDP要约以向相对UE提供关于其期望的图像格式的信息。以下给出SDP要约的示 例。 〈SDP offer〉 m = video 49154 RTP/AVP 99 100
b = AS :92a = rtpmap :99 H263-2000/90000
a = fmtp :99 profile = 0 ;level = 45
a = rtpmap :100 MP4V-ES/90000
a = fmtp :100 profile-level-id = 9 ;\ config = 000001b009000001b509000001000000012000845d4c282c2090a28
关于上述SDP要约，UE请求相对UE选择92kbps比特率的H. 263视频编码器(类(profile) = 0，级(level) = 45)和MPEG-4视频编码器(类_级=9)之一。在SDP要约中，定义视频编码器的性能的"类"和"级"规定编码/解码可用的最大图像格式、最大每秒帧数、最大可处理块数等。 发送UE通常利用类和级的值允许的最大图像格式对传输数据进行编码。例如，最大图像格式可包括SQCIF(128x96) ， QCIF(176x144) ， QVGA(320x240) ， CIF(352x288)，VGA (640x480)等。 再参照图l，步骤130中，UE2103分析接收的SDP要约，并执行与分析结果相应的操作。 下面将参照图2给出步骤130的分析处理的详细描述。 参照图2， UE2103在步骤210中检查接收的SDP要约，在步骤220中确定接收的SDP是否可接受。接受能力是基于设备的属性。例如，对于图像格式，UE2103确定UE1101请求的最大图像格式是否是UE2103可接受的图像格式。 如果在步骤220中确定不可能接收SDP要约，例如，如果最大图像格式大于或等于UE2103可接受的图像格式，则UE2103在步骤250产生新的SDP指示UE2103可接收的最大图像格式的要约(反要约类型)并将该要约发送到UEllOl。 然而，在上述过程中，已接收到发送UE在编码后发送的图像的接收UE可在其屏幕上以不同于编码期间使用的图像格式的格式来显示接收的图像。 一个原因是允许用户偏好的定制显示。 图3是示出正在操作中的两个UE(或移动视频电话)的示例屏幕的示图。
图3中，发送UE以QCIF (176x 144)编码和发送了图像，但是该图像在接收UE的屏幕上实际显示的图像的格式具有240x200的大小。在此特定情况下，接收UE以QCIF(176x144)的编码格式对接收的图像进行解码，随后为了如下理由将解码的图像放大到240x200。也就是说，因为接收UE使用具有QVGA(320x240)分辨率的液晶显示器(LCD)作为其屏幕，所以如果接收UE原样地在其屏幕上显示接收的以QCIF(176x144)编码的图像，则显示的图像相较于UE的特定屏幕的大小会太小。
然而，在放大处理中，有时会遇到下面的问题。 如果如上所述发送UE以QCIF(176x144)编码了图像，则当接收UE将以QCIF(176x144)编码的图像放大到240x200时，不管接收UE将比特率提高到多高，都会有保持或提高图像质量的限制。 此外，所述放大处理应对每帧执行插值和滤波，而用于放大处理的插值和滤波需要巨大的计算量。相反地，即使发送UE以QVGA(320x240)或CIF(352x288)编码和发送图像并且接
收UE縮小传输的图像以与240x200图像格式匹配，接收UE也需要二次采样并执行需要许
多计算的滤波处理，作为结果，会丢失经历编码之后传输的图像信息的相当大的部分。在无
线通信中，这种频率资源的浪费很低效，并且由于额外资源的缺乏几乎不被允许。 换句话说，本领域存在一个的已知问题就是在当前信号处理系统中使用的多个图
像格式中，移动电话的LCD的可用大小和与移动电话的环境紧密关联的QCIF、 QVGA和CIF
格式之间存在很大的不同。 本领域的第二个问题是不能利用选择现有的多个图像格式中的一种的方法以各种模式利用给定的比特率。例如，即使UE想要以(16:9)宽屏模式对图像进行编码，也不存在这样的格式，并且如果需要，必须对期望的格式单独地进行标准化，而这将引起另一个问题。
发明内容
本发明的一方面提供一种首选图像格式确定方法和设备，用于在使用原样的现有信号系统的同时，向相对UE正确地传送期望的图像格式，从而以图像的首选图像格式对图像进行编码以最好的利用分配的比特率。 根据本发明的一个实施例方面，提供一种在支持移动视频呼叫的用户设备(UE)之间确定UE中的首选图像格式的方法，所述UE每个都具有相机和显示器。所述方法包括当从相对UE接收到包括首选图像格式的视频传输控制命令时，确定相对UE请求的首选图像格式是否是可接受的；以及向相对UE发送视频传输控制信息，该视频传输控制信息包括可接受的响应消息和根据相对UE请求的首选图像格式的接受能力的可接受的新首选图像格式中的至少一个。 根据本发明的另一实施例方面，提供一种在支持移动视频呼叫的用户设备(UE)之间确定UE中的首选图像格式的设备，所述UE每个都具有相机和显示器。所述设备包括控制器，通过与将进行移动视频呼叫的相对UD交换首选图像格式信息来确定首选图像格式；视频解码器，以由控制器确定的特定图像格式对从相机接收的图像信号进行编码，并将编码的图像信号发送到相对UE ;以及图像解码器，对从相对UE接收的编码的图像信号进行解码，将解码的图像信号调整为由控制器确定的确定图像格式，并将经过格式调整的图像信号输出到显示器。
通过下面结合附图进行的详细描述，本发明的上述和其他示例性方面、特征和优点将会变得更加清楚，其中 图1是示出UE之间的传统视频呼叫初始化过程的信令图； 图2是示出对图1的步骤130的详细描述所给出的UE2的操作的流程图； 图3是示出根据现有技术进行的视频呼叫中的显示器的示图； 图4是示出根据本发明示例的移动视频电话的内部结构的框图； 图5是示出根据本发明示例的UE的首选图像格式确定方法的流程图。
具体实施例方式
以下将通过参照附图来详细描述本发明的优选示例性实施例。在下面的描述中，当包含已知功能和配置的详细描述会使本领域普通技术人员对本发明的主要问题的理解变得模糊时，为了清楚和简明，将省略这里包含的已知功能和配置的详细描述。基于本发明中的功能来定义以下使用的术语，并可能根据用户、操作者的目的和通常的实践而变化。因此，可基于整个说明书的内容对术语进行定义。 本发明提供一种方法，在所述方法中，在两个UE之间的基于SIP/SDP的协商过程中， 一个UE将其期望的图像格式与SDP要约一起发送，当相对UE接收到SDP要约时考虑该相对UE的视频编码器和相机的接受能力接受SDP要约，或者如果不能接受，则相对UE将其支持的首选图像格式条件建议(提供)回另一方，从而在UE之间协商图像格式。也就是说，传统技术仅交换指示最大图像格式信息的接受能力的信息，而本发明不仅向相对UE提供最大图像格式信息，还提供实际期望的正确图像格式。 通过参照图4，将对UE (或基于IP的包交换移动视频电话)的一个示例性内部结构进行描述，所述UE用于实现本发明的上述方法。 参照图4， UE大致上由用于双向通信的发送处理器410和接收处理器460组成。
发送处理器410中，分别在语音编码器411和视频编码器412中被编码的通过麦克风420的声音和通过相机425的图像与通过键盘430和文本处理器413接收的文本一起，在基于包的网络接口 440中被附加上各种协议(诸如RTP、 UDP和IP)的头，随后被传送到第三代合作项目组(3GPP)网络的层2(L2)450。 在图4所示的接收处理器460中，基于包的网络接口 440从接收的编码的图像、声音和文本信息分离出各种协议(诸如RTP、UDP和IP)的头，将进行了头分离的图像、声音和文本分别发送到语音解码器461、视频解码器462和文本处理器463，并在同步后将解码的图像和视频发送到扬声器470和显示器475。 控制器(会话设置和控制)480根据通过用户接口 490提供的用户输入信息来控制呼叫开始/结束。此外，控制器480产生并输出SDP要约。传统技术在SDP要约中指定期望的视频编码器的类型、类和级，而本发明将下面的命令添加到SDP要约中的每个视频解码器的描述中。 a = rtpmap :99 H263-2000/90000
a = fmtp :99 profile = 0 ;level = 50
a = image_format :a b SDP要约的添加的命令导致的结果是虽然UE向相对UE发送对于可对最大CIF的图像编码的H. 263编码器的请求，但是实际期望的图像格式的具体大小是水平a像素和垂直b像素。首选图像格式(a，b)应小于或等于最大图像格式(352,288)。为了降低图像格式确定时间，可对于一个视频编码器请求多个首选图像格式。 现在将描述根据本发明确定上述UE中的图像格式的方法。例如，本发明确定在图l所示的视频呼叫初始化过程中的图像格式，并由于本发明的全部初始化过程与图1的相同，所以将参照图1进行本发明的描述。 与传统技术不同的是，本发明中，当UE1101执行图1的步骤110时，还附加地包括在发送SDP要约中添加用于首选图像格式(a，b)的命令，并将SDP要约发送到UE2103。随后，在步骤130中，UE2103利用添加的命令分析接收的SDP要约以确定图像格式。现在将通过参考图5在下面给出根据本发明示例的UE2103的分析操作的详细描述。
参照图5的示例性流程图，UE2在步骤510中检查接收的SDP要约，并在步骤520中确定SDP要约是否可接受。也就是说，UE2确定它是否可接受SDP要约中包括的最大图像格式。如果在步骤520中确定UE2能接受最大图像格式，则在步骤530中UE2分析与SDP要约一起接收的首选图像格式命令(a = image—format :a b)以确定UE2是否可支持与具有已经过协议的类和级的最大图像格式一起的由首选图像格式(a，b)指示的图像格式。
如果UE2在步骤530中确定可接受请求的首选图像格式命令，则随后在步骤540
7中UE2检查它的视频编码器和相机是否可支持首选图像格式。如果在步骤540中UE2检查到视频编码器和相机可支持请求的首选图像格式，则在步骤550中UE2对视频编码器进行初始化，并在步骤560中将指示接受接收的SDP要约的响应消息(2000K)发送到发送SDP要约的相对UE1。 然而，如果在步骤520到540中确定UE2不能接受SDP要约，则UE2产生可接受的SDP要约并将该SDP要约发送到相对UE1，所述SDP要约不仅包括可接受的最大图像格式，还包括首选图像格式。 虽然未在示图中示出，但是当从UE2103接收到2000K消息时，UE1101开始以首选图像格式传输的视频呼叫。然而，当接收到新的SDP要约消息时，UE1101执行与步骤510到570相同的操作，从而与UE2103执行首选图像格式确定过程。此后，根据通过上述协商过程确定图像格式来开始UE间的视频呼叫。 从上述描述很清楚的是，本发明利用现有的信号传输系统，提供以这样的格式对图像进行的编码如果可能的话，图像与具有客户期望的格式的图像最接近。此外，本发明最好地利用了有限的比特率，从而最大化移动视频电话的图像质量。更进一步地，本发明可降低由用于图像大小调整的计算所引起的延迟和功耗。 虽然参照特定优选示例性实施例显示和描述了本发明，但是本领域技术人员应该理解，在不脱离范围由权利要求限定的本发明的精神和范围的情况下，可对本发明的形式
和细节进行各种改变。
权利要求
一种在支持移动视频呼叫的用户设备UE之间确定UE中的首选图像格式的方法，所述UE每个都具有相机和显示器，所述方法包括(a)从相对UE接收包括首选图像格式的视频传输控制信息，确定由相对UE请求的首选图像格式是否是可接受的格式；以及(b)向相对UE发送视频传输控制信息，该视频传输控制信息包括可接受的响应消息和根据相对UE请求的首选图像格式的接受能力的可接受的新首选图像格式中的至少一个。
2. 如权利要求1所述的方法，其中，所述首选图像格式的数量多于两个。
3. 如权利要求1所述的方法，其中，仅将新首选图像格式发送到相对UE。
4. 如权利要求1所述的方法，其中，所述首选图像格式包括水平a像素和垂直b像素的 具体大小(a， b)。
5. 如权利要求1所述的方法，其中，所述新首选图像格式包括水平a像素和垂直b像素 的具体大小(a， b)。
6. 如权利要求l所述的方法，其中，所述首选图像格式或新首选图像格式的大小(a，b) 小于或等于最大图像格式。
7. 如权利要求l所述的方法，其中，步骤(a)中确定首选图像格式是否是可接受的步骤 包括(i) 确定是否可接受包括在接收的视频传输控制信息中的最大图像格式；(ii) 确定在最大图像格式中是否支持包括在接收的视频传输控制信息中的首选图像 格式；以及(iii) 确定视频编码器和相机是否支持首选图像格式。
8. 如权利要求l所述的方法，其中，步骤(a)中向相对UE发送传输控制信息的步骤包括(i)发送UE将可接受的最大图像格式和至少一个首选图像格式与视频传输控制信息 一起发送到相对UE。
9. 一种在支持移动视频呼叫的用户设备UE之间确定UE中的首选图像格式的设备，所 述UE每个都具有相机和显示器，所述设备包括控制器，为了移动视频呼叫，通过与相对UE交换首选图像格式信息来确定图像格式； 视频解码器，以由控制器确定的特定图像格式对从相机接收的图像信号进行编码，并将编码的图像信号发送到相对UE ;以及图像解码器，对从相对UE接收的编码的图像信号进行解码，将解码的图像信号调整为由控制器确定的所述特定图像格式，并将经过格式调整的图像信号输出到显示器。
10. 如权利要求9所述的设备，其中控制器产生视频传输控制信息，所述视频传输控制 信息包括根据包括以下的至少一个可接受的响应消息和根据包括在从相对UE接收的视 频传输控制信息中的首选图像格式的接受能力的可接受的新首选图像格式，并且控制器将 产生的视频传输控制信息发送到相对UE。
11. 如权利要求9所述的设备，其中，所述首选图像格式的数量多于两个。
12. 如权利要求10所述的设备，其中，所述新首选图像格式的数量多于两个。
13. 如权利要求IO所述的设备，其中，所述控制器确定是否接受包括在接收的视频传 输控制信息中的最大图像格式，确定在最大图像格式中是否支持包括在接收的视频传输控制信息中的首选图像格式，以及确定视频编码器和相机是否支持所述首选图像格式，并且 产生包括根据确定结果的可接受的响应消息和可接受的新首选图像格式中的至少一个的 视频传输控制信息，并将产生的视频传输控制信息发送到相对UE。
14. 如权利要求11所述的设备，其中，控制器将可接受的最大图像格式和至少一个首 选图像格式与视频传输控制信息一起发送到相对UE。
15. 如权利要求11所述的设备，其中，控制器仅发送一个或多个首选图像格式。
16. 如权利要求9所述的设备，其中，所述首选图像格式的具体大小(a， b)包括水平a 像素和垂直b像素。
17. 如权利要求10所述的设备，其中，所述新首选图像格式的具体大小(a， b)包括水 平a像素和垂直b像素。
18. 如权利要求10所述的设备，其中，所述新首选图像格式或首选图像格式的大小(a， b)小于或等于最大图像格式。
全文摘要
在支持移动视频呼叫的用户设备(UE)之间确定UE中的首选图像格式的方法。每个UE应该具有相机和显示器，UE从相对UE接收到在其中包括首选图像格式的视频传输控制信息。如果相对UE请求的首选图像格式是可接受的，则相对UE发送视频传输控制信息，所述视频传输控制信息中包括可接受的响应消息和根据相对UE请求的首选图像格式的接受能力的可接受的新首选图像格式中的至少一个。
文档编号H04N7/14GK101755454SQ200880100044
公开日2010年6月23日 申请日期2008年8月25日 优先权日2007年8月23日
发明者郑庚训 申请人:三星电子株式会社