会议呼叫终端和操作所述会议呼叫终端的用户界面的方法

会议呼叫终端和操作所述会议呼叫终端的用户界面的方法
【专利摘要】提供一种会议呼叫终端和操作所述会议呼叫终端的用户界面的方法。所述方法包括：当启动会议呼叫时，操作第一相机和第二相机；输出包括从第一相机和第二相机收集的第一图像和第二图像的会议呼叫屏幕的输出图像，第一图像和第二图像被布置为不重叠；并且，当在会议呼叫屏幕的输出图像中检测到讲话者的图像时，将讲话者的图像与另一个人的图像区分开。
【专利说明】会议呼叫终端和操作所述会议呼叫终端的用户界面的方法
【技术领域】
[0001]本公开涉及一种用于操作会议呼叫终端的用户界面(UI)的方法和设备。更具体地说，本公开涉及一种具有双相机的会议呼叫终端和用于操作该会议呼叫终端的UI的方法。
【背景技术】
[0002]由于通信技术的发展，便携式终端(例如，智能电话和平板PC)已经变得日益普及。通过添加除了语音呼叫、文本呼叫和图像呼叫服务以外的各种新功能，移动终端提供整合的用户功能。
[0003]特别地，图像呼叫服务在用户之间同时提供图像和音频，并且，当将音频和图像信号从呼叫方的移动通信终端发送到接收方时，通过接收在呼叫方自身的移动终端上由呼叫方发送的图像和音频信号，接收方可以看到并听到呼叫方的对话。
[0004]随着移动通信技术近期的发展，并且由于移动终端的规范的增加，图像呼叫服务可以被许多用户使用。在图像呼叫期间，通过获得经由相机输入的用户图像和经由麦克风输入的用户语音，便携式终端可以将用户图像或用户语音发送到另一方便携式终端，将从另一方便携式终端接收到的图像输出到显示单元，并且通过扬声器输出语音。但是，由于便携式终端的有限大小，当执行图像呼叫服务时，存在以下问题:即，通过使用单个便携式终端难以让多个人同时参与到图像呼叫中。
[0005]通常，设置于便携式终端的正面上的前置相机被用于图像呼叫中。也就是说，当执行图像呼叫时，由于只有一个相机(例如，前置相机或后置相机)被使用，因此通过该相机可以被看到的用户是有限的。为了通过使用一个便携式终端来呼叫一个以上的人，应当通过移动便携式终端经由相机将呼叫方的面部输出到显示单元。另外，即使通过使用单个相机将若干个用户输出到便携式终端的小屏幕上，也难以识别出讲话者是谁。
[0006]因此，需要一种通过在执行会议呼叫时操作第一相机和第二相机来同时与多个人执行图像呼叫的会议呼叫终端以及用于操作该会议呼叫终端的用户界面(UI)的方法。
[0007]以上信息仅被呈现为用于帮助理解本公开的背景信息。关于以上内容中的任何一项是否可适用于关于本公开的现有技术，未作出确定且未作出断言。

【发明内容】

[0008]本公开的各方面将至少解决上述问题和/或缺点，并将至少提供下述优点。因此，本公开的一个方面在于提供一种会议呼叫终端以及用于操作所述会议呼叫终端的Π的方法，所述会议呼叫终端通过在执行会议呼叫时操作第一相机和第二相机来同时与多个人进行图像呼叫。
[0009]本公开的另一个方面在于提供一种会议呼叫终端以及用于操作所述会议呼叫终端的UI的方法，所述会议呼叫终端通过识别会议呼叫期间的讲话者来将参与会话的人与未参与会话的人区分开。
[0010]根据本公开的一个方面，提供用于操作会议呼叫终端中的Π的方法。所述方法包括:当启动会议呼叫时，操作第一相机和第二相机；输出包括从第一相机和第二相机收集的第一图像和第二图像的会议呼叫屏幕的输出图像，第一图像和第二图像被布置为不重叠；并且，当在会议呼叫屏幕的输出图像中检测到讲话者的图像时，将讲话者的图像与另一个人的图像区分开。
[0011]根据本公开的另一个方面，提供一种会议呼叫终端。所述会议呼叫终端包括:第一相机和第二相机，被配置用来获得和收集图像；音频处理单元，被配置用来收集和输出音频信号；无线通信单元，被配置用来发送和接收图像和语音信号；控制器，被配置用来当启动会议呼叫时通过操作第一相机和第二相机来收集第一图像和第二图像，并且配置包含被布置为不重叠的第一图像和第二图像的会议呼叫屏幕的输出图像，并且从会议呼叫屏幕的输出图像检测讲话者；以及显示单元，被配置用来将从会议呼叫屏幕检测到的讲话者的图像与另一个讲话者的图像区分开。
[0012]根据本发明的另一个方面，提供一种操作会议呼叫终端的用户界面的方法。所述方法包括:产生输出图像，所述输出图像包括(i)从第一成像装置接收到的第一图像和从第二成像装置接收到的第二图像，第一图像和第二图像在第一平行平面上相互邻接，以及
(ii)从另一个会议呼叫终端接收到的在第二平行平面上的另一方图像；将输出图像中的至少一个讲话者的图像与至少一个安静的人的图像区分开；以及将输出图像输出到会议呼叫终端的会议呼叫屏幕上。
[0013]通过结合附图公开了本公开的各种实施例的以下详细描述，本公开的其他方面、优点和显著特征对本领域的技术人员将变得明显。
【专利附图】

【附图说明】
[0014]通过结合附图进行的以下描述，本公开的特定实施例的以上和其他方面、特征和优点将会更加清楚，其中:
[0015]图1是示出根据本公开的实施例的会议呼叫终端的配置的框图；
[0016]图2是示出根据本公开的实施例的操作会议呼叫终端的用户界面(UI)的方法的流程图；
[0017]图3示出根据本公开的一个实施例的会议呼叫屏幕UI ；
[0018]图4示出根据本公开的一个实施例的讲话者显示方法；
[0019]图5示出根据本公开的另一个实施例的讲话者显示方法；
[0020]图6示出根据本公开的另一个实施例的便携式终端的会议呼叫屏幕UI ；
[0021]图7示出根据本公开的又一个实施例的便携式终端的会议呼叫屏幕Π。
[0022]贯穿附图，应注意相同参考标号被用来描述相同或相似元件、特征和结构。
【具体实施方式】
[0023]参照附图的以下描述被提供用于帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。以下描述包括各种具体细节以帮助所述理解，但是这些具体细节将仅被视为示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可作出描述于此的各种实施例的各种改变和修改。另外，为了清晰和简明，可省略公知功能和构造的描述。[0024]以下描述和权利要求中使用的术语和词语不限于书面含义，而仅由发明人用来实现本公开的清楚且一致的理解。因此，本领域的技术人员应清楚，本公开的各种实施例的以下描述仅被提供用于说明目的而不用于限制由权利要求及其等同物限定的本公开的目的。
[0025]应理解，除非上下文另有明确指示，否则单数形式包括复数指代，。因此，例如，参照“组件表面”包括参照这种表面中的一个或更多个。
[0026]根据本公开的具有双相机的会议呼叫终端可以被应用于便携式终端。很明显，这样的便携式终端可以是具有相机和通信功能的所有类型的信息通信装置，诸如，移动电话、智能电话、平板PC和手持PC。另外，根据本公开的会议呼叫设备可以装备有可以同时执行若干个任务的多任务功能。
[0027]在下文中，将在会议呼叫终端可以相应于智能电话的假设下进行描述。
[0028]图1是示出根据本公开的实施例的便携式终端的配置的框图。
[0029]参考图1，根据本公开的便携式终端100可以包括:配置有触摸面板111和显示单元112的触摸屏、键输入单元120、无线通信单元130、音频处理单元140、第一相机150、第二相机155、存储单元160和控制器170。
[0030]触摸屏110可以包括触摸面板111和显示单元112。触摸屏可以根据用户功能执行来显示屏幕，并且可以检测与用户功能控制有关的触摸事件。根据本公开的触摸屏可以是透明的触摸屏，但是，根据本公开的触摸屏并不限于此。
[0031]触摸面板111可以被放置在显示单元112上。详细地讲，触摸面板111可以被实现为设置在显示单元112正面的外挂(add-on)型，或者被插入到显示单元112中的外嵌(on-cell)型或内嵌(in-cell)型。触摸屏110的大小可以被确定为触摸面板111的大小。触摸面板111可响应于与触摸面板111相应的用户输入信息(例如，用户手势)产生模拟信号(例如，触摸事件)，并且可以通过执行模拟到数字的转换将该信号传送到控制器170。这里，触摸事件可以包括触摸坐标(X，Y)信息。当触摸事件从触摸屏110被接收到时，控制器170可确定触摸装置(例如，手指或笔)触摸到了触摸屏，并且当触摸事件未从触摸屏110被接收到时，控制器170可确定触摸被释放。另外，当触摸坐标已经被改变时，控制器170可以确定触摸被移动，并且可响应于触摸移动计算触摸的位置变化和触摸的移动速度。控制器170可基于触摸坐标、触摸释放、触摸移动、触摸的位置变化和触摸的移动速度来划分用户手势。用户手势可以包括触摸、多点触摸、单击、双击、长击、单击并触摸、拖动、轻拂、按、长按、捏合和展开。另外，触摸屏可以装备有用于检测被触摸的点的压力的压力传感器。检测到的压力信息可以被传送到控制器，并且可以划分触摸和按。可以将电阻型、电容型和电磁感应型应用于触摸面板111。
[0032]在控制器170的控制下，显示单元112可在接收自控制器170的图像数据转换为模拟信号之后，显示图像数据。也就是说，显示单元112可以根据便携式终端的使用提供各种屏幕，例如，锁屏、主(home)屏幕、应用(在下文中，被称为APP)执行屏幕、菜单屏幕、键区屏幕、消息书写屏幕和互联网屏幕。显示单元112可以使用液晶显示器(IXD)、有机发光二极管(0LED)、有源矩阵有机发光二极管(AM0LED)、柔性显示器和透明显示器的类型来形成。当显示单元用透明显示器类型形成时，配置该显示单元的组件(例如，LCD面板、偏光板(polarizing plate)和背光单元)都是透明的。当显示单元112用柔性类型形成时,配置该显示单元的组件可以由已经添加了柔性的金属箔或塑料薄膜来代替。[0033]在控制器170的控制下，根据本公开的显示单元112可以提供会议呼叫屏幕界面，其中，所述会议呼叫屏幕界面布置并输出从第一相机收集的第一图像和从第二相机收集的第二图像，以使得在执行会议呼叫时第一图像和第二图像不重叠。另外，在控制器的控制下，根据本公开的显示单元112可以显示特定的人的图像，S卩，讲话者的图像与另一个人的图像被区分。例如，在控制器的控制下，通过针对图标、颜色、亮度和效果中的至少一种执行图形处理，显示单元112可以显示讲话者的图像与另一个人的图像被区分。例如，讲话者的图像可以由显示单元112突出显示，并且不讲话的人的图像可以显示为灰色。另外，通过提取单独的图像，显示单元112可以在单独的显示区域中输出讲话者的图像。特别地，根据本公开的显示单元可以以横向模式提供图像呼叫屏幕用户界面(UI)，以执行会议呼叫。将参考图4到图7对图像呼叫屏幕Π进行更详细地描述。
[0034]键输入单元120可以接收数字或人信息，并且可以包括多个输入键和用于设置各种功能的功能键。功能键可以包括:方向键、侧键和设置用来执行特定功能的快捷键。另夕卜，键输入单元120可以产生与便携式终端100的用户设置和功能控制有关的键信号，并且可以将该键信号传送到控制器170。该键信号可以被分成电源开/关信号、音量控制信号和屏幕开/关信号。控制器170可以响应于这样的键信号来控制配置。另外，键输入单元120可以包括包含多个键的QWERTY键区、3X4键区和4X3键区。此外，当便携式终端100中的触摸面板由全触摸屏类型支持时，键输入单元120可以仅包括形成在便携式终端100的壳体侧面中的用于屏幕开/关或便携式终端开/关的至少一个侧键。
[0035]无线通信单元130可以执行便携式终端的通信。无线通信单元130可通过形成通信信道来执行诸如语音通信、图像通信和数据通信的通信，其中，在所述通信信道中，已经设置了可支持的移动通信网络。无线通信单元130可以包括执行发送信号的频率的上变频和放大的射频发送单元以及执行接收信号的频率的低噪声放大和下变频的接收单元。另夕卜，无线通信单元130可以包括移动通信模块(例如，第3代移动通信模块、第3.5代移动通信模块或第4代移动通信模块等)和数字广播模块(例如，DMB模块)。
[0036]音频处理单元140可以通过执行数字到模拟(DA)转换将从控制器170接收到的音频数据发送到扬声器(SPK),并且可以通过执行模拟到数字(AD)转换将从麦克风(MIC)接收到的音频数据传送到控制器170。音频处理单元140可以被配置有编解码器(编码器/解码器)，并且该编解码器可以装备有处理分组数据的数据编解码器和处理诸如语音的音频信号的音频编解码器。音频处理单元140可以通过音频编解码器将接收到的数字音频信号转换为模拟信号，并通过扬声器来回放。音频处理单元140可以通过音频编解码器将从麦克风输入的模拟音频信号转换为数字音频信号，并传送到控制器170。
[0037]第一相机150和第二相机155可以提供通过拍照收集到的图像。这里，当第一相机150和第二相机155中的一个被设置在便携式终端的一面上时，另一个则被设置在另一面上。例如，第一相机150是安装在便携式终端的背面的后置相机，并且第一相机150可以以高分辨率拍摄对象图像。相反地，第二相机155是安装在便携式终端的正面的前置相机，并且第二相机155可以以与第一相机150相比较低的低分辨率来拍摄便携式终端100的用户的图像。根据从触摸屏110或键输入单兀120产生的信号,第一相机150和第二相机155可以被激活以收集图像。
[0038]本公开中的第一相机150和第二相机155可包括:将输入光信号转换为电信号的相机传感器、将从相机传感器拍摄的模拟图像信号转换为数字数据的图像信号处理器、以及对视频信号执行图像处理(例如，大小缩放、去噪、RCG信号转换等)以将从图像信号处理器输出的数字数据显示在触摸屏上的数字信号处理器。这里，电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器可以被用于相机传感器，数字信号处理器可以被省略并且可以使用DSP来实现。
[0039]存储单元160可以存储从便携式终端产生的各种数据，以及便携式终端100的操作系统(OS)和各种应用(App)。这些数据可以通过使用在便携式终端的应用执行(App)和便携式终端中产生的数据来产生，或者可以包括接收自外部(例如，外部服务器、其它移动终端、个人计算机)的所有类型的可存储数据。存储单元160可以存储从便携式终端提供的用户界面以及与便携式终端功能处理器相应的各种设置信息。
[0040]控制器170可以控制会议呼叫终端的全部操作以及在会议呼叫终端的内部块之间的信号流。当启动会议呼叫时，控制器170可以基于收集的图像以横向模式形成会议呼叫屏幕Π。当启动会议呼叫时，控制器170可以通过操作第一相机150和第二相机155来收集第一图像和第二图像，并且可以形成第一图像和第二图像被布置为不重叠的会议呼叫屏幕。当从另一方便携式终端接收到另一方图像时，控制器170可通过基于另一方图像和图像信息更新(renew)当前被输出的会议呼叫屏幕来输出另一方图像。
[0041]控制器170可以从输出自会议呼叫屏幕的图像提取人的图像，并且可以执行在多个提取的人的图像当中确定讲话者的图像的功能。控制器170可以在会议呼叫屏幕中突出显示讲话者的图像，或者可以以单独的图像边框来输出讲话者的图像。控制器170可以处理第一图像和第二图像的背景图像，以在会议呼叫屏幕中具有相同的背景图像。
[0042]更详细地讲，控制器170包括讲话者提取单元171和处理单元172。讲话者提取单元171可以通过使用各种检测方法从会议呼叫屏幕的输出图像检测人的图像。例如，检测方法可以通过检测人的图像的轮廓(边缘:即，像素亮度不连续的点)来将人的图像从输出图像分离出来。这种检测方法可能能够将除用户以外的背景图像以及人的图像分离。
[0043]讲话者提取单元171可以将输出图像处理为灰色或二进制，并且可以通过执行与被处理图像相应的模版(template)匹配来从输出图像检测出面部和嘴唇。讲话者提取单元171可以提取人的图像，并且可以通过使用各种检测方法来确定讲话者。例如，讲话者提取单元171可以通过计算人的图像的嘴唇区域中与先前帧的变化来确定讲话者。讲话者提取单元171可以将确定的讲话者信息传送到处理单元172。
[0044]当讲话者信息被从讲话者提取单元发送时，处理单元172可以将讲话者的图像的输出图像与另一人的图像区分开，并且可以将处理过的图像传送到显示单元112。例如，处理单元172可以提取输出有讲话者的图像边框部分，并且可以产生分离的讲话者的图像，并将该图像传送到显示单元112。另外，处理单元172可以突出显示输出有讲话者的图像部分，或者突出显示讲话者的图像部分，并且未讲话者的图像变灰，并将处理过的图像传送到显示单元112。处理单元172可以将提取的人的图像与特定背景图像合成，使得第一图像和第二图像的背景可以具有相同的背景效果，并且将合成的图像传送到显示单元112。
[0045]另外，处理单元172可以将从第一相机150和第二相机155收集的第一图像和第二图像合成为不重叠，并且可以将合成的图像发送到另一方终端。
[0046]此外，根据本公开的便携式终端可以支持横向模式的屏幕显示、纵向模式的屏幕显示、以及根据与在显示会议呼叫屏幕时便携式终端的旋转方向(或取向)相应的横向模式与纵向模式之间的改变的自适应屏幕转换显示。
[0047]由于变化根据数字融合(digital convergence)的趋势是如此多样，因此不可能列举出所有情况，但是，根据本公开的便携式终端100还可以包括在上文中未提到的配置，诸如，检测与便携式终端的位置改变有关的信息的传感器模块、测量便携式终端的位置的全球定位系统(GPS)模块以及相机模块。另外，可以从上述配置排除便携式终端100中的特定配置，或者可以根据便携式终端10的提供类型来使用其它配置代替便携式终端100中的特定配置。此外，本公开中的输入单元可以是触摸板和轨迹球，以及触摸屏110和键输入单元120。
[0048]在执行图像呼叫时，发送侧终端和接收侧终端两者都适用于根据本公开实施例的便携式终端。也就是说，当启动会议呼叫时，根据本公开的便携式终端可以将从第一相机和第二相机收集的第一图像和第二图像发送到另一方终端，或者可以将第一图像和第二图像被布置为不重叠的合成图像发送到另一方终端。与此相反，便携式终端可以从另一方终端接收图像被布置为不重叠的合成图像。便携式终端可以基于从相机收集的图像和从另一方终端接收的图像来配置具有各种类型的会议呼叫屏幕UI。特别地，根据本公开实施例的会议呼叫屏幕Π可以被设置为以横向模式输出，但是，并本公开不限于此。另外，根据本公开的便携式终端可以确定会议图像中的讲话者，并且可以将屏幕UI配置为将讲话者输出为与其他人不同。
[0049]为了便于描述，用于在图像呼叫期间操作屏幕Π的方法将基于发送侧终端来进行描述，但是，根据本公开的用于操作Π的方法和设备并不限于此，并且可以是可实现根据本公开实施例的所有配置的便携式终端。
[0050]图2是示出根据本公开实施例的操作会议呼叫终端的UI的方法的流程图。
[0051]参考图2，控制器170可以在操作210接收图像呼叫连接。在该操作中，用户终端(例如，发送侧)可以请求到另一方终端(例如，接收侧)的图像呼叫连接，或者可以从另一方终端接收呼叫连接请求。
[0052]控制器170可以从另一方的终端接收允许呼叫连接的响应信号，或者，在允许另一方终端的呼叫连接请求时，会议呼叫可以被连接到另一方便携式终端。
[0053]在操作220，控制器170可以确定图像呼叫连接是否是会议呼叫连接请求。例如，根据本公开实施例的便携式终端可以提供请求会议呼叫连接的选项菜单。当用户选择了便携式终端的呼叫功能中的会议呼叫连接菜单时，控制器170可以接收会议呼叫连接请求事件。否则，当用户未选择便携式终端的呼叫功能中的会议呼叫连接菜单时，控制器170结束处理。
[0054]在操作230，当会议呼叫连接请求事件被接收到时，控制器170可以操作第一相机150和第二相机155。这里,第一相机150和第二相机155可以是安装在用户终端中的前置相机和后置相机。同时，当接收到用于普通图像呼叫而不是会议呼叫连接的请求事件时，控制器170可以仅操作第一相机150和第二相机155中的一个。
[0055]在操作240,控制器170可以收集从第一相机150和第二相机155拍摄的第一图像和第二图像。同时，控制器170可以收集通过麦克风接收的语音信号。
[0056]例如，对于会议呼叫，当分别地在用户终端的前方有三个人并在用户终端的后方有三个人时，控制器170可以通过第一相机150收集在前方的人的第一图像，并且可以通过第二相机155收集在后方的人的第二图像。
[0057]控制器170可以基于通过第一相机收集的第一图像来产生第一图像数据，并且可以基于通过第二相机收集的第二图像来产生第二图像数据。控制器170可以将输出位置信息添加到第一图像数据和第二图像数据，使得这些图像可以不重叠。输出位置信息指的是第一图像和第二图像在会议呼叫屏幕Π中输出的位置的信息。另外，控制器170可以通过将第一图像和第二图像布置为在会议呼叫屏幕中输出的组合图像来产生合成图像数据。控制器170可以分别压缩和解码产生的第一图像数据和第二图像数据，或者可以通过压缩和解码合成图像数据来发送到另一方终端。当从另一方终端接收到允许呼叫连接的响应信号时，或者当通过允许另一方终端的呼叫连接请求而使得图像呼叫与另一方的便携式终端连接时，控制器170可以从另一方终端收集另一方图像。
[0058]在操作250，控制器170可以基于收集的图像来输出会议呼叫屏幕H。控制器170可以配置会议呼叫屏幕Π，使得第一图像和第二图像可以不重叠。特别地，根据本公开实施例的便携式终端可以以使得第一图像和第二图像以横向模式被输出的方式来设置，但是，本公开并不限于此。这里，将参考图3到图7在稍后对图像呼叫屏幕Π进行详细地描述。
[0059]当从另一方终端接收到另一方图像时，控制器170可以将另一方图像信息和基于另一方的图像信息的另一方图像输出到会议呼叫屏幕上。在这种情况下，控制器170可以从另一方终端接收合成图像，或者可以接收两个另一方图像和输出位置信息。
[0060]在操作260，控制器170可以从会议呼叫屏幕的输出图像检测人的图像。例如，控制器170可以通过检测人的图像的轮廓(边缘:即，像素亮度不连续的点)来将人的图像从输出图像分离出来。这里，控制器可以将不包括人的背景以及人的图像分离。
[0061]在操作270，控制器170可以确定讲话者是否存在于检测到的人的图像中。例如，控制器170可以通过计算在讲话者的嘴唇区域中与先前帧的变化来确定讲话者。否则，如果控制器170未确定讲话者，则控制器170可以结束处理。
[0062]在操作280，控制器170提取人的图像信息，并且以使得讲话者的图像与未讲话者的图像可以被区分的方式来对会议呼叫屏幕上的图标、颜色、亮度或效果中的至少一种进行图形处理，从而将讲话者和其他的人不同地输出。
[0063]例如，控制器170可以提取输出有讲话者的图像边框部分，产生分离的讲话者的图像，并且可以将该图像传送到显示单元112。控制器170可以更新会议呼叫屏幕，使得分离的讲话者的图像被输出在显示单元上。另外，控制器170可以处理讲话者被突出显示的图像部分并将其他人的图像部分处理为灰色，并且可以将处理过的图像传送到显示单元112。控制器170可以将提取的人的图像与特定背景图像合成，使得第一图像和第二图像的背景图像可以具有相同的背景效果，并且可以将合成的图像传送到显示单元112。
[0064]根据本公开，与通过仅使用单个相机来执行会议呼叫相比，通过在执行会议呼叫时操作第一相机和第二相机，相对更多的人可以参与到会议呼叫中。
[0065]图3示出根据本公开的一个实施例的会议呼叫屏幕UI。
[0066]参考图3，当启动会议呼叫时，如屏幕301所示，控制器170可以将会议呼叫屏幕Π输出在显示单元112上。这里，会议呼叫屏幕Π可以被设置为以横向模式输出，但是，并不限于此。[0067]至此，控制器170可以将指示以横向模式放置便携式终端的消息(例如，请将装置以横向模式放置)或图标(例如，丨丨丨)输出在显示单元上，但是，这仅是示例，并不限于此。会议呼叫屏幕310可根据针对图像呼叫而收集的图像(即，从用户终端收集的图像)以及从另一方终端收集的图像的位置信息和帧率被配置为各种类型。
[0068]在屏幕301中的会议呼叫屏幕310可以包括用户显示区域320和另一方显示区域330。另外，尽管未在图中示出，但是会议呼叫屏幕可以包括与图像呼叫有关的功能菜单(例如，转换为普通图像呼叫的功能以及静音功能等)区域，但并不限于此。在横向模式中的会议呼叫屏幕310的情况下，用户显示区域320和另一方显示区域330可以被布置为上下排列。为了便于描述，用户显示区域被示出为设置在屏幕301中的上部，但是，并不限于此。
[0069]根据预定义的设置来布置用户显示区域320，使得从第一相机和第二相机收集的第一图像321和第二图像322可以不重叠。用户显示区域320的输出大小可以根据收集的图像的数量来改变。即，控制器170可以用两个图像输出大小来设置用户显示区域，并且可以分别在用户显示区域320的左侧区域中输出第一图像321，在右侧区域中输出第二图像322。在这种情况下，控制器170可以产生并存储第一图像和第二图像的输出位置信息。为了便于描述，用户显示区域的虚线被示出，并且该虚线不可以被应用于具有本公开的配置的便携式终端。
[0070]从另一方终端接收到的另一方图像被输出在另一方显示区域330中。此时，另一方显示区域330的输出大小可以根据另一方图像的数量和帧率来改变。
[0071]例如，如301所示，当从另一方终端接收的输出帧率是4:3时，控制器170可通过用一个图像输出大小来设置另一方显示区域330，以输出另一方图像。同时，当从另一方终端接收的图像的输出帧率是8:3时，控制器170可通过用两个图像输出大小来设置另一方显示区域330，以输出另一方图像。
[0072]屏幕302是当使用两个图像输出大小来设置用户显示区域和另一方显示区域时的会议呼叫屏幕的示图。
[0073]例如，当在处理从另一方终端接收到的另一方图像的过程中接收到的图像是两个或一个合成图像(例如，输出帧率为8:3)时，控制器170可以通过用两个图像输出大小来设置另一方显示区域。如302所示，当从另一方终端接收到的图像是两个时，正如在用户显示区域中输出图像一样，控制器170可以将两个接收到的图像331、332布置并输出为不重叠。当从另一方终端接收到两个图像时，控制器170可以验证每个图像的输出位置信息，并且可以将两个图像边框输出为不重叠。例如，控制器170可以基于从另一方终端接收到的两个图像当中的输出位置信息来在另一方显示区域330的左侧中输出一个图像331，并且可以在右侧中输出另一个图像332。
[0074]如上所述，根据本公开的会议呼叫终端可以根据从另一方终端接收到的图像以及从用户终端收集的图像的数量和比率来配置屏幕Π。另外，会议呼叫终端可将根据屏幕Π配置的屏幕配置信息发送到另一方终端。即，会议呼叫终端可以分别将第一图像和第二图像分别发送到另一方终端，或者可以将第一图像和第二图像被不重叠地布置的合成图像发送到另一方终端。因此，另一方终端也可以使用与所述屏幕Π相同的屏幕Π配置来执行会议呼叫。
[0075]与通过仅使用单个相机来执行图像呼叫相比，通过操作第一相机和第二相机，根据本公开的会议呼叫可以使得相对更多的人能够参与到会议呼叫中。
[0076]图4示出根据本公开的一个实施例的讲话者显示方法。
[0077]参考图4，可根据图像信息，使用各种类型的图像效果来输出会议呼叫屏幕。为此，控制器170可以提取包括在图像中的图像信息，并且，如果从人的图像信息中将特定的人确定为讲话者，则控制器170可以对图标、颜色、亮度和效果中的至少一种进行图形处理，使得讲话者的图像可以与其他人的图像区分开来。例如，控制器170可以突出显示讲话者的图像，并且可以使其他人的图像变灰。
[0078]特别地，当启动会议呼叫时，控制器170可以配置包括用户显示区域420和另一方显示区域430的会议呼叫屏幕410，并且可以从输出图像检测人的图像。控制器170可以确定检测到的人是否是讲话者。这里，控制器170可以从输出图像中仅提取一个人的图像，并且可通过使用人的语音特征信息、嘴唇的运动信息、面部的运动信息和人的特定姿势信息来确定讲话者。
[0079]例如，控制器170可以从输出图像(S卩，用户图像和另一方方图像)仅提取人的图像，并且可以通过使用人的面部颜色信息和形状信息来提取每个人的面部和嘴唇区域。另夕卜，控制器170可以通过计算在嘴唇区域中与先前帧的变化量来确定讲话者。已经出于本公开的便利性描述了确定讲话者的配置，但是并不限于此。
[0080]当确定讲话者存在于输出图像中时，控制器170可以将输出图像划分成讲话者区域440和未讲话者区域450，并且可以如图5所示通过处理输出图像来突出显示讲话者区域440。
[0081]另外，控制器170可以突出显示讲话者区域440，并且可以使未讲话者区域450变灰，并且还可以在讲话者区域440上输出箭头状标记(例如，诸如闪烁点和多边形图标的图形处理等)。这样，用户可以在从会议呼叫屏幕输出的多个人当中直观地区分出谁是讲话者。
[0082]图5示出根据本公开的另一个实施例的讲话者显示方法。
[0083]参考图5，在包括用户显示区域520和另一方显示区域530的会议呼叫屏幕510中，在参与到图像呼叫的多个人当中的讲话者的图像作为单独的图像540被输出在屏幕的底部。当启动会议呼叫时，控制器170可以配置会议呼叫屏幕510，并且可以从输出图像(即，另一方图像和用户图像)检测人的图像。当确定讲话者存在于检测到的人的图像中时，控制器170可以仅提取与输出图像当中的每个边框相应的讲话者区域的图像部分。控制器170可以将提取的讲话者的图像540输出在会议呼叫屏幕的底部。
[0084]图6示出根据本公开的另一个实施例的便携式终端的会议呼叫屏幕UI。
[0085]参考图6，会议呼叫屏幕610可以以使得收集到的两个图像中的每一个都具有相同的背景图像效果650的方式来输出。例如，由于配置会议呼叫屏幕610的第一图像和第二图像是从设置在便携式终端中的前置相机和后置相机收集的图像，因此第一图像和第二图像的背景图像可以不同。控制器170可以从第一图像和第二图像提取人的图像(例如，讲话者区域640)和背景图像，并且可以将提取的人的图像和特定的背景图像被合成的合成图像输出在用户显示区域620上。根据预定义设置，特定的背景图像650可以是根据用户选择从输出图像提取的背景图像或从便携式终端提供的背景图像中的任意一个。例如，控制器170可以选择从第一图像和第二图像提取的背景图像当中的第一图像的背景图像650，并且可以通过合成第二图像的人的图像与第一图像的背景图像来控制输出。
[0086]在会议呼叫屏幕610中，从另一方终端接收到的另一方图像被输出在另一方显示区域630中。这里，在另一方显示区域中的图像的输出大小可以根据接收到的另一方图像的数量与帧率来改变。
[0087]图7示出根据本公开的又一个实施例的便携式终端的会议呼叫屏幕UI。
[0088]参考图7，当启动会议呼叫时，如图7所示，控制器可以以纵向方式将会议呼叫屏幕Π输出在显示单元上。会议呼叫屏幕710可以包括用户显示区域720和另一方显示区域 730。
[0089]在纵向模式中的会议呼叫屏幕710中，根据预定义设置，用户显示区域720可以被布置为上下排列，使得从第一相机150和第二相机155收集到的第一图像和第二图像可以不重叠。在纵向模式中的会议呼叫屏幕710可根据图像被输出为具有各种图像类型的图像效果。例如，在纵向模式中的会议呼叫屏幕710可以处理并突出显示讲话者区域，或者可以将第一图像和第二图像的背景图像改变为相同。
[0090]在会议呼叫屏幕710中，从另一方终端接收到的另一方图像可以被输出在另一方显示区域730上。在另一方显示区域中的图像的输出大小可以根据接收到的另一方图像的数量与帧率来改变。例如，当从另一方终端接收到两个图像，或者接收到两个图像以上下排列被合成的图像时，接收到的两个图像或者被合成的图像可以被布置为上下排列，使得两个图像可类似于用户显示区域不重叠。
[0091]本公开可以在会议呼叫期间通过前置相机和后置相机收集多个人的图像，并且可以将收集到的图像中的讲话者与其他人区分开来。
[0092]本发明的各个方面也可以被实现为非暂时性计算机可读记录介质上的计算机可读代码。非暂时性计算机可读记录介质是可以存储随后可由计算机系统读取的数据的任何数据存储装置。非暂时性计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-R0M、磁带、软盘以及光学数据存储装置。非暂时性计算机可读记录介质还可以被分布在联网的计算机系统中，使得计算机可读代码以分布式的方式来被存储和执行。此夕卜，本公开所属领域的程序员可以容易地解释用于实现本公开的功能性程序、代码和代码段。
[0093]在这一点上，应当注意，如上所述的本公开的各种实施例通常涉及一定程度的输入数据的处理和输出数据的产生。输入数据处理和输出数据产生可以在硬件中或者与硬件结合的软件中被实现。例如，特定电子组件可以被应用于用于实现与如上所述的本公开的各种实施例相关联的功能的移动装置或者类似的或有关的电路中。可选地，根据存储的指令进行操作的一个或更多个处理器可以实现与如上所述的本公开的各种实施例相关联的功能。如果是这种情况，则以下情况在本公开的范围内:这样的指令可以被存储在一个或更多个非暂时性处理器可读介质上。处理器可读介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘以及光学数据存储装置。处理器可读介质也可以被分布在联网的计算机系统上，使得指令以分布的方式被存储和执行。此外，本公开所属领域的程序员可以容易地解释用于实现本公开的功能性计算机程序、指令和指令段。
[0094]虽然已经针对本公开的各种实施例对本公开进行了示出和描述，但是本领域的技术人员将会理解，在不脱离由权利要求及其等同物所限定的本公开的精神和范围的情况 下，可以对实施例进行形式和细节上的各种改变。
【权利要求】
1.一种用于操作会议呼叫终端的用户界面的方法，所述方法包括: 输出包括第一图像和第二图像的会议呼叫屏幕的输出图像，其中，第一图像和第二图像被布置为不重叠；以及 当在会议呼叫屏幕的输出图像中检测到讲话者的图像时，将讲话者的图像与另一个人的图像区分开。
2.如权利要求1所述的方法，其中，输出会议呼叫屏幕的输出图像的步骤包括: 当启动会议呼叫时，操作第一相机和第二相机； 输出会议呼叫屏幕的输出图像，所述输出图像包括(i)包含从第一相机和第二相机收集的第一图像和第二图像的用户显示区域，以及(2)包含从另一方终端接收到的另一方图像的另一方显示区域， 其中，用户显示区域和另一方显示区域被布置为一个在另一个之上，并且不重叠。
3.如权利要求1所述的方法，其中，输出会议呼叫屏幕的输出图像的步骤包括以横向模式输出会议呼叫屏幕。
4.如权利要求1所述的方法，其中，输出会议呼叫屏幕的输出图像的步骤包括: 从第一图像和第二 图像分离并提取人的图像和背景图像； 将提取的人的图像与一个背景图像合成；以及 输出合成的第一图像和第二图像。
5.如权利要求1所述的方法，其中，将讲话者的图像与其他人的图像区分开的步骤包括: 分离并提取讲话者的图像和另一个人的图像的边框区域；以及针对讲话者的图像和另一个人的图像的边框区域，对图标、颜色、亮度和效果中的至少一种进行图形处理和输出。
6.如权利要求5所述的方法，其中，图形处理和输出的步骤包括突出显示讲话者的图像的边框区域，并使另一个人的图像的边框区域变灰。
7.如权利要求1所述的方法，其中，将讲话者的图像与另一个人的图像区分开的步骤包括: 分离并提取讲话者的图像和另一个人的图像的边框区域； 产生由提取的讲话者的图像构成的讲话者的图像；以及 在会议呼叫屏幕的特定区域中输出产生的讲话者的图像。
8.如权利要求1所述的方法，其中，输出会议呼叫的输出图像的步骤包括: 创建输出图像，所述输出图像包括(i)从第一成像装置接收到的第一图像和从第二成像装置接收到的第二图像，第一图像和第二图像在第一平行平面上相互邻接，以及(ii)从另一个会议呼叫终端接收到的在第二平行平面上的另一方图像。
9.一种会议呼叫终端，包括: 第一相机和第二相机，被配置用来获得和收集图像； 音频处理单元，被配置用来收集和输出音频信号； 无线通信单元，被配置用来发送和接收图像和语音信号； 控制器，被配置用来当启动会议呼叫时收集第一图像和第二图像，并且配置包含被布置为不重叠的第一图像和第二图像的会议呼叫屏幕的输出图像，并且从会议呼叫屏幕的输出图像检测讲话者；以及 显示单元，被配置用来将从会议呼叫屏幕检测到的讲话者的图像与另一个人的图像区分开。
10.如权利要求9所述的设备，其中，控制器还包括: 讲话者提取单元，被配置用来通过从会议呼叫屏幕的输出图像检测人的图像的轮廓，并且从人的图像确定讲话者；以及 处理单元，被配置用来当讲话者被确定时，处理输出图像，使得讲话者的图像可以与另一个人的图像被区分。
11.如权利要求9所述的设备，其中，显示单元输出会议呼叫屏幕，在该会议呼叫屏幕中，第一图像和第二图像的人的图像与一个背景图像被合成。
12.如权利要求9所述的设备，其中，显示单元输出会议呼叫屏幕，在所述会议呼叫屏幕中，讲话者的图像的边框区域被突出显示。
13.如权利要求9所述的设备，其中，显示单元分离并提取讲话者的图像与另一个人的图像的边框区域，并且针对讲话者的图像和另一个人的图像的边框区域，对图标、颜色、亮度和效果中的至少一种进行图形处理和输出。
14.如权利要求13所述的设备，其中，显示单元输出会议呼叫屏幕，在所述会议呼叫屏幕中，讲话者的图像的边框区域被突出显示，并且另一个人的图像的边框区域被变灰。
15.如权利要求9所述的设备，其中，显示单元在会议呼叫屏幕的特定区域中输出讲话者的图像。
【文档编号】H04M3/56GK104038723SQ201410085814
【公开日】2014年9月10日 申请日期:2014年3月10日 优先权日:2013年3月8日
【发明者】金键洙, 梁弘锡, 刘奈兼, 黃炯锡 申请人:三星电子株式会社