用于提高在装置之间共享屏幕的体验质量的方法和设备的制作方法

用于提高在装置之间共享屏幕的体验质量的方法和设备的制作方法
【专利摘要】本发明公开了一种用于提高在装置之间共享屏幕的体验质量的方法和设备。一种提高与第二装置共享第一装置的屏幕的第一装置的体验质量（QoE）的方法，所述方法包括：检测当前显示在屏幕上的内容的类别；基于检测到的内容的类别来确定QoE策略；基于确定的QoE策略对屏幕的屏幕图像进行编码；将编码的屏幕图像发送到第二装置。这样，当在多个装置之间共享屏幕时，可以实现针对每个内容类别的最佳QoE。
【专利说明】用于提高在装置之间共享屏幕的体验质量的方法和设备
[0001]本申请要求于2013年3月25日提交到美国专利商标局的第61/804，804号美国专利申请的优先权，以及2013年4月9日提交到韩国知识产权局的第10-2013-0038843号韩国专利申请的优先权，其公开通过引用完整地包含于此。

【技术领域】
[0002]与示例性实施例一致的方法和设备涉及通过网络在多个装置之间共享屏幕数据。

【背景技术】
[0003]当多个装置共享屏幕时，鉴于网络的状态而确定用于共享屏幕的流的比特率。如果网络为空载(unloaded)，则可传输具有高比特率的流，如果网络被加载(loaded)或者拥挤，则可传输具有低比特率的流。
[0004]然而，由于现有技术中的以上方法只考虑网络的状态，因此共享屏幕的屏幕图像可被中断或可被降低分辨率。


【发明内容】

[0005]示例性实施例解决了至少以上问题和/或缺点及上面没有讨论的其他缺点。此夕卜，示例性实施例不需要克服上述缺点，示例性实施例可不克服上述任何问题。
[0006]一个或更多个实施例提供了一种鉴于当前显示在多个屏幕之间共享的屏幕上的内容的类别，在发送屏幕数据时能够提高体验质量(QoE)的方法和设备。
[0007]根据示例性实施例的一方面，提供了一种提高与第二装置共享第一装置的屏幕的第一装置的体验质量(QoE)的方法，所述方法包括:检测当前显示在屏幕上的内容的类别；基于检测到的内容的类别来确定QoE策略；基于确定的QoE策略对屏幕的屏幕图像进行编码；将编码的屏幕图像发送到第二装置。
[0008]可通过使用基于确定的QoE策略调整的帧率和分辨率来执行所述编码。
[0009]QoE策略可响应于具有大量运动的内容将帧率调整为高。
[0010]检测到的内容的类别可以是图形内容、真实图像内容和文本内容之中的至少一个。可基于当前执行的应用的名称来执行所述检测。
[0011]确定的步骤可包括:响应于当前正显示在屏幕上的多种内容类别，基于针对多种内容类别预先设置的优先级来选择与具有最高优先级的内容类别对应的Q0E策略。
[0012]编码的步骤可包括:基于用于在第一装置和第二装置之间共享屏幕的网络状态来确定允许的比特率；基于确定的比特率来调整用来对屏幕的屏幕图像编码的帧率和分辨率。
[0013]根据另一示例性实施例的一方面，提供了一种发送装置，包括:存储器，被配置为存储至少一个程序；处理器，被配置为通过执行至少一个程序来使发送装置能够与接收装置共享发送装置的屏幕，并提高体验质量(QoE)，其中，所述至少一个程序执行如下方法，包括:检测当前显示在屏幕上的内容的类别；基于检测的内容的类别来确定QoE策略；基于确定的QoE策略来对屏幕的屏幕图像进行编码；将编码的屏幕图像发送到接收装置。
[0014]可通过使用基于确定的QoE策略调整的帧率和分辨率来执行所述编码。
[0015]QoE策略可响应于具有大量运动的内容将帧率调整为高。
[0016]检测到的内容的类别可以是图形内容、真实图像内容和文本内容之中的至少一个。可基于当前执行的应用的名称来执行所述检测。
[0017]确定的步骤可包括:响应于当前正显示在屏幕上的多种内容类别，基于针对多种内容类别预先设置的优先级来选择与具有最高优先级的内容类别对应的QoE策略。
[0018]编码的步骤可包括:基于用于在发送装置和接收装置之间共享屏幕的网络状态来确定允许的比特率；基于确定的比特率来调整用来对屏幕的屏幕图像编码的帧率和分辨率。
[0019]根据另一示例性实施例的一方面，提供了一种在其上已实现用于执行提高第一装置的QoE的方法的计算机程序的计算机可读记录介质。
[0020]根据另一示例性实施例的一方面，提供了一种发送装置，包括:显示器，被配置为显示屏幕图像；控制器，被配置为确定用于共享屏幕图像的网络状态，确定与当前显示的屏幕图像的内容对应的QoE策略，基于确定的QoE策略和确定的网络状态来确定帧率和帧分辨率，根据确定的帧率和确定的帧分辨率来对屏幕图像进行编码，使用网络将编码的屏幕图像发送到接收装置。
[0021]控制器还可被配置为通过确定屏幕图像的内容的类别来确定QoE策略。
[0022]控制器还可被配置为通过确定屏幕图像的内容的运动量来确定QoE策略。
[0023]控制器还可被配置为通过确定用于发送编码的图像的最大比特率来确定网络状态。
[0024]根据另一示例性实施例的一方面，提供了一种当在发送装置和接收装置之间共享屏幕时提高体验质量(QoE)的方法，所述方法包括:确定用于共享屏幕的网络状态；确定与当前显示在发送装置的屏幕上的图像的内容对应的QoE策略；基于确定的QoE策略和确定的网络状态来确定帧率和帧分辨率；根据确定的帧率和确定的帧分辨率来对图像进行编码；使用网络将编码码的屏幕图像发送到接收装置。
[0025]确定QoE策略的步骤可包括:确定屏幕图像的内容的类别。
[0026]确定QoE策略的步骤还可包括:确定屏幕图像的内容的运动量。
[0027]确定网络状态的步骤可包括:确定用于发送编码的图像的最大比特率。
[0028]根据另一示例性实施例的一方面，提供了一种在其上已实现由用于执行在共享屏幕时提高QoE的方法的计算机可执行的程序的非暂时性计算机可读记录介质。

【专利附图】

【附图说明】
[0029]通过结合附图对特定示例性实施例进行的以下描述，以上和/或其他方面将会变得清楚和更易于理解，其中:
[0030]图1是用于描述根据示例性实施例的在多个装置之间共享屏幕的概念图；
[0031]图2是根据示例性实施例的基于内容的类别来提高体验质量(QoE)的方法的流程图；
[0032]图3A和图3B是根据示例性实施例的分别应用了 QoE策略的图形内容和文本内容的示图；
[0033]图4A和图4B是根据示例性实施例的应用了 QoE策略的实时图像内容的示图；
[0034]图5是根据示例性实施例的检测内容的类别的方法的流程图；
[0035]图6是示出根据示例性实施例的基于内容的类别的QoE策略的表格；
[0036]图7示出根据示例性实施例的存在多个内容类别的屏幕；
[0037]图8是根据示例性实施例的通过分析网络的状态来提高QoE的方法的流程图；
[0038]图9是根据示例性实施例的基于内容类别和网络状态来提高QoE的方法的流程图；
[0039]图1OA和图1OB是根据另一示例性实施例的应用了 QoE策略的图形内容和文本内容的示图；
[0040]图1lA和图1lB是根据另一示例性实施例的应用了 QoE策略的实时图像内容的示图；
[0041]图12和图13是根据示例性实施例的用于提高在多个装置之间共享的屏幕的QoE的装置的框图。

【具体实施方式】
[0042]现在将参照附图对特定示例性实施例进行更详细的描述。
[0043]在以下描述中，即使在不同的附图中，相同的标号始终表示相同的元件。提供在描述中所定义的内容(诸如，详细构造和元件)以帮助对示例性实施例的全面的理解。因此，显然，在没有这些具体定义的内容的情况下，可实施这些示例性实施例。此外，由于公知的功能或构造会在不必要的细节上使示例性实施例不清楚，因此没有对公知的功能或构造进行详细描述。
[0044]图1是用于描述根据示例性实施例的在多个装置之间共享屏幕的概念图。在以下描述中，发送装置102是指用于发送共享的屏幕的屏幕图像的装置，接收装置106是指用于接收屏幕图像的装置。例如，装置可被实施为例如个人计算机(PO、智能电话和平板PC。
[0045]发送装置102通过网络将当前显示在发送装置102的屏幕上的屏幕图像104发送到接收装置106。例如，如果在发送装置102中正在执行图库应用，则照片的列表可当前被显示为发送装置102的屏幕图像104。如果屏幕被共享，则发送装置102可捕获屏幕图像104，并通过网络将屏幕图像104发送到接收装置106。
[0046]如果接收装置106接收捕获的屏幕图像104，则接收装置106可显示与显示在发送装置102上的屏幕图像104相同的屏幕图像108，从而共享相同的屏幕。
[0047]当发送装置102发送屏幕图像104时，由于用于发送屏幕图像104的允许的比特率是基于网络的状态而确定的，因此需要考虑网络的状态。然而，除了网络的状态之外，还需要考虑体验质量(QoE)。QoE是指当服务用户在共享屏幕上查看应用或服务时服务用户的总体体验或者容忍度。
[0048]例如，对于地图应用的情况，当执行地图应用时，屏幕图像通常没有运动或者有基于滚动的简单运动。另一方面，地图应用优先考虑可读性。因此，当用于执行地图应用的屏幕被共享时，如果允许的比特率是通过分析网络的状态而确定的，则与帧率相比，分辨率(例如，帧分辨率)在确定的允许的比特率范围内被设置为高。
[0049]即使在网络的状态相同且因此而确定相同的允许的比特率时，如果应用具有大量的运动(例如，游戏应用)，则与分辨率相比，帧率在确定的允许的比特率范围内被设置为闻。
[0050]换句话说，即使当允许的比特率相同时，由于所需的分辨率和帧率的水平基于应用的特性而变化，因此QoE需要通过基于每个应用的特性适当调整分辨率和帧率来保持在最佳状态。换句话说，允许的比特率的带宽基于每个应用的特性而被分配在帧分辨率和帧率之间。
[0051]图2是根据示例性实施例的基于内容的类别来提高QoE的方法的流程图。由发送装置102来执行当在多个装置之间共享屏幕时的QoE的提高。
[0052]在操作202中，发送装置102检测当屏幕被共享时将被发送到接收装置的屏幕图像的内容的类别。
[0053]内容的类别可被分类为图形内容、实时图像内容或者文本内容。此外，屏幕图像中的运动量还可以是用于对内容的类别进行分类的条件。换句话说，图形内容可以基于屏幕图像的运动量是高还是低而进一步被分类。然而，内容的类别不限于此。以下，将参照图3A至图4B更详细地描述内容的类别。
[0054]图3A和图3B是根据示例性实施例的应用了 QoE策略的图形内容和文本内容的示图。
[0055]参照图3A和图3B，作为图形内容和文本内容的示例分别示出游戏应用和网页正被执行的发送装置102的屏幕。
[0056]参照图3A，与图形内容对应的应用的示例包括游戏应用。由于游戏应用具有大量的运动，因此为了使QoE保持在最佳状态，帧率可被确定为高。
[0057]即使对于内容(例如，图形内容)的相同类别的情况，QoE策略可根据运动量而不同。例如，在内容的类别具有大量的运动的情况下，与具有相对较少的运动的内容的类别相t匕，帧率可被确定为相对高于分辨率。当内容具有大量运动时，由于用户相对难以识别图像质量劣化，因此根据示例性实施例的发送装置102可在基于网络状态而确定的允许的比特率的范围内将帧率确定为相对高于分辨率。
[0058]例如，如果主屏幕在发送装置102正被执行，则如同游戏应用，在主屏幕上显示为图标的项的每一项与图形内容对应。然而，主屏幕的屏幕图像通常没有运动或者有非常简单的运动。因此，与在执行游戏应用时相比，在执行主屏幕时，发送装置102可将帧率确定为相对较低，并将分辨率确定为相对较高。
[0059]图3B示出文本内容的示例。参照图3B，文本内容的示例包括网页。对于网页的情况，运动量低于其他内容类别，可读性变得重要。因此，在网页正被执行时，发送装置102可优先考虑分辨率，并在基于网络状态而确定的允许的比特率的范围内将分辨率确定为相对高于帧率。
[0060]文本内容的另一示例包括电子邮件应用。由于可读性再次成为电子邮件应用的重要因素，因此在电子邮件应用正被执行时，发送装置102可将分辨率确定为相对高于帧率。
[0061]图4A和图4B是根据示例性实施例的应用QoE策略的真实图像内容的示图。
[0062]参照图4A和图4B，作为真实图像内容的示例示出正执行相机应用和图库应用的发送装置102的屏幕。
[0063]图4A示出正在执行相机应用的发送装置102的屏幕。相机应用捕获运动图像或者静止图像，因此在屏幕图像中具有大量的运动。另一方面，图4B中示出的图库应用不具有大量运动。因此，相机应用的帧率被确定为高于图库应用的帧率。
[0064]以供参考，真实图像内容的分辨率通常被设置为高于图形内容的分辨率。此外，真实图像内容的分辨率被设置为与文本内容的分辨率相比较低。
[0065]可基于应用的名称来检测当前显示在屏幕上的内容的类别。这里，应用的名称可以是指能够识别基于操作系统(OS)的应用的各种类型的识别信息。
[0066]现在参照图5对通过使用应用的名称来检测内容的类别的方法进行描述。
[0067]参照图5，命令502被输入以检测当前在装置中正被执行的应用。如果命令502被输入，则检查应用的名称。然而，在检查期间用于检测被执行的应用的信息不限于应用的名称。
[0068]例如，用于检测应用的信息可将头信息包括在比特流中。具体地讲，装置的程序中的每个应用的唯一头信息被预先设置在存储器中，与通过解析共享屏幕的屏幕图像的比特流获得的头信息匹配的信息在存储器中被找到。找到的应用可被确定为当前显示在屏幕上的应用。
[0069]为了防止应用的非法拷贝，还可通过使用插入到每一帧的水印信息来检测应用。当使用水印信息时，如果每个应用的唯一水印信息被预先设置，则可通过搜索与水印信息匹配的应用来检测当前显示在屏幕上的应用。
[0070]如果检查到当前执行的应用，则输入用于检测与应用对应的内容的类别的命令504。由于应用的类型被映射到内容的类别的列表被存储在存储器中，因此如果检查到当前执行的应用，则可在列表上找到与当前执行的应用对应的内容的类别。
[0071]将应用的类型映射到内容的类别的方法可基于例如图像类型(诸如，图形图像或真实图像)或者针对每个应用的运动量。
[0072]可通过使用文本检测算法来确定当前显示在屏幕上的内容的类别是否为文本内容。文本检测算法不局限于任何特定的算法并且可以使用各种文本检测算法。
[0073]可基于编解码器是否被使用来确定当前显示在屏幕上的内容的类别是否为真实图像内容。例如，如果通过MOX检查到视频解码器被使用并且因此真实视频图像当前被显示在屏幕上，则当前被显示在屏幕上的内容的类别可被检测为真实图像内容。
[0074]还可以通过使用当前显示在屏幕上的内容的运动矢量来检测内容的类别。范围被设置，然后基于设置的范围来映射内容的类别。如果当前显示在屏幕上的内容的运动矢量与设置的范围对应，则被映射到设置的范围的内容的类别可被检测为当前显示在屏幕上的内容的类别。
[0075]可通过使用运动矢量之和与文本检测算法一起来检测内容的类别。可通过使用文本检测算法来获得屏幕上的文本的比例信息，然后可以基于分辨率来对基于运动矢量之和的内容的类别进一步进行分类。
[0076]更详细地讲，如果屏幕上的文本的比例小于之前设置的特定值，则分辨率的权重(weight)减小。否则，如果文本的比例等于或大于特定的值，则分辨率的权重增加。正因如此，用于确定分辨率的权重可被不同地设置。
[0077]在操作204中，发送装置基于检测到的内容的类别来确定QoE策略。如果当前允许的比特率是通过分析网络状态而确定的，则QoE策略用于基于在允许的比特率范围内的内容的类别来调整分辨率和帧率。下面将参照图6来对通过分析网络的状态来确定允许的比特率的方法进行描述。
[0078]在操作206中，发送装置基于确定的QoE策略来对当前显示在屏幕上的屏幕图像进行编码。例如，如果游戏应用当前被显示在屏幕上，则由于游戏应用是图形内容并且具有大量的运动，因此用户不太会识别出图像质量劣化，帧率被设置为高。
[0079]在操作208中，发送装置将编码的屏幕图像发送到接收装置。可存在一个或更多个接收装置。
[0080]图6是示出根据示例性实施例的基于内容的类别的QoE策略的表格。
[0081]如果当前显示在屏幕上的内容的类别为图形内容或者真实图像内容，则分辨率可以是VGA或者QVGA，帧率可在每秒5帧(fps)和30fps之间不定地改变。否则，如果当前显示在屏幕上的内容的类别为文本内容，则分辨率可以是HD或者VGA，帧率可在Ifps和15fps之间不定地改变。
[0082]针对具有大量运动因此具有少量的图像质量劣化的图形内容,帧率可被设置为最高，针对具有作为优先考虑的因素的可读性的文本内容，分辨率可被设置为最高。这里，帧率和分辨率的设置不限于此。
[0083]例如，当网络的状态被分析且流的允许的比特率为每秒100千比特(kbps)时，如果当前显示在屏幕上的内容的类别为图形内容，则帧率可被设置为15fps。如果内容的类别为真实图像内容，则帧率可被设置为1fps。如果内容的类别为文本内容，则帧率可被设置为 Ifps0
[0084]由于允许的比特率基于网络的状态而变化，因此帧率和分辨率还基于变化的比特率而变化。例如，如果允许的比特率增加，则可针对内容的每个类别而不同地设置基于增加的允许的比特率的增加帧率的比例。
[0085]更详细地讲，针对图形内容，增加帧率Ifps所需的比特率可被设置为lOfps，针对真实图像，增加帧率Ifps所需的比特率可被设置为15kpbs，针对文本内容，增加帧率Ifps所需的比特率可被设置为30kpbs。
[0086]例如，假设，当流的允许比特率是10kbps时，图形内容的帧率为15fps，真实图像内容的帧率为lOfps，文本内容的帧率是lfps。如果允许的比特率基于变化的网络状态而增加到280kbps，则图形内容的帧率增加到33fps，真实图像内容的帧率增加到26fps，文本内容的帧率增加到7fps。
[0087]可以基于运动量来对当前显示在屏幕上的内容的类别进行进一步分类。例如，图形内容还可以被分类为具有少量运动的图形内容或者具有大量运动的图形内容。此外，真实图像内容还可以被分类为具有少量运动的真实图像内容或者具有大量运动的真实图像内容。文本内容不具有运动或者具有非常少量的运动，因此不会基于运动量来进一步分类。
[0088]由于QoE策略是基于内容的类别，因此，与真实图像内容或者文本内容相比，具有少量运动的图形内容(GRAPHIC_SMALLM0T1N)可被设置为高帧率和低分辨率。与具有少量运动的图形内容对应的应用的示例包括装置的主屏幕。
[0089]由于具有大量运动的内容的图像质量劣化不会容易地被用户识别，因此，与分辨率相比，具有大量运动的图形内容(GRAPHIC_LARGEM0T10N)可保持在高帧率。与具有大量运动的图形内容对应的示例包括游戏应用。
[0090]与具有少量运动的真实图像内容(REAL_SMALLM0T10N)对应的应用的示例包括图库应用。具有少量运动的内容通常不具有运动或者具有简单的运动，因此与帧率相比，可被设置为具有高分辨率。
[0091]由于具有大量运动的内容的图像质量劣化可能不容易地被用户识别，因此，与分辨率相比，具有大量运动的真实图像内容(REAL_LARGEM0T10N)可被设置为具有高帧率。在这种情况下，与图形内容的分辨率相比，该分辨率通常被设置为高。
[0092]文本内容(TEXT_SMALLM0T10N)优先考虑可读性，因此与帧率相比，文本内容可被设置为具有高分辨率。与文本内容对应的应用的示例包括电子邮件应用、网页和地图应用。
[0093]图7示出根据示例性实施例的存在多个内容类别的屏幕。如果在屏幕上存在多个内容类别，则可以确定与具有针对图形内容、真实图像内容和文本内容预先设置的优先级之中的最高优先级的内容的类别对应的QoE策略。
[0094]例如，参照图7，区域A702对应于真实图像内容，区域B704对应于文本内容，区域C706对应于图形内容。如果以真实图像内容、图形内容和文本内容的顺序给出预先设置的优先级，则适于真实图像内容的QoE策略被确定，然后基于确定的QoE策略来调整用于对当前显示在屏幕上的屏幕图像进行编码的参数。
[0095]如果在屏幕上存在多个内容类别，则可根据存在于屏幕上的每个内容类别的比例来确定QoE策略。例如，参照图7，由于在屏幕上与图形内容对应的区域C706的比例为最高，因此适于图形内容的QoE策略被确定，然后基于确定的QoE策略来调整用于对当前显示在屏幕上的屏幕图像进行编码的参数。
[0096]在多个内容类别存在时用于确定QoE策略的条件不局限于预先设置的优先级和在屏幕上的每个内容类别的比例。
[0097]图8是根据示例性实施例的通过分析网络的状态来提高QoE的方法的流程图。
[0098]在操作802中，发送装置分析用于在多个装置之间共享屏幕的网络的状态。例如，实时传输控制协议(RTCP)用于分析网络的状态。RTCP基于通过将周期性控制数据包传输到通过网络参与流的发送和接收的装置获得的数据来监视网络。具体地讲，RTCP用于收集关于接收装置的信息且用于计算接收装置的传输率。
[0099]网络状态可被分类为流的发送和接收被适当执行的空载状态、开始产生流的发送和接收的加载状态和开始发生数据包丢失的拥挤状态。
[0100]可通过分析网络的当前状态和最近的η个网络状态来分析网络状态。可通过读取在特定时间段内存储在缓冲区中的网络的状态来获得最近的η个网络状态。
[0101]在操作804中，发送装置基于分析的网络状态来确定用于发送流的允许的比特率。
[0102]在操作806中，发送装置基于在操作804中确定的允许的比特率来调整帧率和分辨率。更具体地讲，如果允许的比特率是基于分析的网络状态而确定的，则可基于确定的允许的比特率来确定适于当前显示在屏幕上的内容的类别的QoE策略。可基于确定的QoE策略来调整帧率和分辨率。
[0103]例如，发送装置在t时刻开始将要分享的屏幕的屏幕图像发送到接收装置。假设，在t时刻，网络装置处于加载状态且允许的比特率是100kbps。当前显示在屏幕上的应用是作为具有大量运动的图形内容的游戏应用。
[0104]在从t时刻起完全分析η个网络状态的时刻，假设通过分析网络的当前状态和η个网络状态而分析的网络状态为空载状态且允许的比特率为280kbps。由于允许的比特率增加，因此用于对屏幕的屏幕图像编码的帧率和分辨率被改变。
[0105]当前显示在屏幕上的应用为游戏应用，帧率与分辨率相比必须保持为高。对于图形内容的情况，如果假设增加帧率Ifps所需的比特率为10kbps，则当前显示的屏幕图像的帧率增加18fps。
[0106]图9是根据示例性实施例的基于内容类别和网络状态来提高QoE的方法的流程图。
[0107]在操作910中，发送装置检测在屏幕被共享时要发送到接收装置的屏幕图像上的内容的类别。
[0108]内容的类别可被分类为图形内容、真实图像内容或者文本内容。此外，屏幕图像中的运动量可以是用于对内容的类别进行分类的条件。换句话说，图形内容可以基于屏幕图像的运动量的是高还是低而被进一步分类。
[0109]在操作920中，发送装置基于检测到的内容的类别来确定QoE策略。例如，发送装置将针对每个内容类别(即，图形内容、真实图像内容或者文本内容)预定的QoE策略应用于在发送装置的屏幕中执行的内容。以下，将参照图1OA至图1lB来描述当内容显示在TV终端时的QoE策略。
[0110]图1OA和图1OB是根据另一示例性实施例的应用了 QoE策略的图形内容和文本内容的示图。图1OA示出显示图形内容的TV终端的屏幕，图1OB示出显示文本内容的TV终端的屏幕。
[0111]参照图10A，图形内容的示例可包括动画电影。在内容的类别具有大量运动的情况下，与具有较少运动量的内容的类别相比，帧率可被确定为相对高于分辨率。当在TV终端执行动画电影时，显示在TV终端的图像具有大量的运动，因此，为了提高QoE，帧率被确定为闻。
[0112]图1OB示出文本内容的示例。参照图10B，文本内容的示例可包括教育应用。对于教育应用的情况，教学资料的内容被编写为文本，从而运动量少于其他类别的内容，并且可读性变为重要因素。因此，当在TV终端执行教育应用时，可优先考虑分辨率，分辨率可在基于网络状态设置的允许的比特率范围内被确定为相对高于帧率。
[0113]图1lA和图1lB是根据另一示例性实施例的应用了 QoE策略的真实图像内容的示图。参照图1lA和图11B，作为真实图像内容的示例示出正在执行电话应用和图库应用的TV终端的屏幕。
[0114]图1lA示出正在执行电话应用的TV终端的屏幕。对于电话应用的情况，由于在打电话期间图像数据或声音数据应该被实时地发送和接收，因此存在大量的运动。另一方面，虽然在图1lB中示出的图库应用被包括在作为电话应用的真实图像内容中，但是相比于电话应用有少量的运动。因此，电话应用的帧率被确定为高于图库应用的帧率。
[0115]参照图9，在操作930，发送装置分析在共享屏幕的多个终端装置之间的网络的状态。发送装置基于网络状态的分析结果来确定流传输的允许的比特率。分析网络状态的方法的示例可包括RTCP。
[0116]在操作940，发送装置基于确定的QoE策略和网络状态来确定帧率和分辨率。例如，当作为对网络状态分析的结果允许的比特率为100kbps时，发送装置可确定显示在屏幕的内容的帧率和分辨率在100kbp比特率范围内。当内容的类别为图形内容且内容具有大量的运动时，发送装置可在100kbp比特率范围内将帧率确定为相对高于分辨率。
[0117]在操作950，发送装置根据确定的帧率和分辨率来对屏幕图像进行编码。操作950可对应于操作206。
[0118]发送装置将编码的屏幕图像发送到接收装置。根据示例性实施例的接收装置可以是一个或者更多个。
[0119]图12和图13是根据示例性实施例的用于提高在多个装置之间共享的屏幕的QoE的装置1200的框图。
[0120]如图12中所示，根据本实施例的用于提高在多个装置之间共享的屏幕的QoE的装置1200 (以下，发送装置)可包括控制器1250和存储器1260。然而，并不是所有示出的组件都为必要的组件。发送装置1200可通过比示出的组件或多或少的组件来被实现。
[0121]图13示出当发送装置1200为智能电话时的示例。然而，如上所述，该装置可被实现为诸如PC、智能电话、平板PC和TV的各种装置。
[0122]移动通信器1201通过诸如3G/4G网络的蜂窝网络来执行例如与基站的呼叫建立和数据通信。子通信器1202执行用于诸如蓝牙或近场通信(NFC)的短距离通信的功能。广播接收器1203接收数字多媒体广播(DMB)信号。
[0123]相机1204包括用于捕获照片或者视频的透镜和光学元件。
[0124]传感器1205可包括用于感测装置1200的运动的重力传感器、用于感测光的亮度的照度传感器，用于感测人的接近度的近距离传感器和用于感测人的运动的运动传感器坐寸ο
[0125]全球定位系统(GPS)接收器1206从卫星接收GPS信号。各种服务可通过使用GPS信号被提供给用户。
[0126]输入器/输出器(I/O) 1210提供与外部装置或者用户的接口，并包括按钮1211、麦克风1212、扬声器1213、振动电机1214、连接器1215和键盘1216。
[0127]触摸屏1218接收用户的触摸输入。这里，触摸输入可以是由于拖动手势或者轻击手势而做出的输入。触摸屏控制器1217将由触摸屏1218接收的触摸输入发送到控制器1250。电源1219与电池或外部电源连接以给装置1200提供电力。
[0128]控制器1250允许装置1200通过执行存储在存储器1260中的程序来用作提高QoE的装置。
[0129]存储在存储器1260中的程序可根据它们的功能被分类为多个模块，例如，移动通信模块1261、W1-Fi模块1262、蓝牙模块1263、DMB模块1264、相机模块1265、传感器模块1266、GPS模块1267、视频播放器模块1268、音频播放器模块1269、电源模块1270、触摸屏模块1271、用户界面(UI)模块1272和QoE控制模块1273。
[0130]大部分模块的功能会由本领域普通技术人员鉴于它们的名称来直觉地理解，因此这里将只对QoE控制模块1273进行描述。当通过网络在多个装置之间共享屏幕时，QoE控制模块1273基于当前显示在屏幕上的内容的类别来调整用于对屏幕的屏幕图像进行编码的参数。
[0131]换句话说，QoE控制模块1273包括如下命令，所述命令用于检测与当前显示在屏幕上的应用对应的内容的类别、确定适于检测到的内容的类别的QoE策略、基于确定的QoE策略来调整帧率和分辨率。
[0132]可基于应用的名称来检测当前显示在屏幕上的应用。QoE控制模块1273可包括用于提取应用的名称信息的提取器。如果提取器提取当前显示在屏幕上的应用的名称信息，则可通过存储在存储器1260中的列表来检测与应用对应的内容的类别。
[0133]此外，如果多个装置通过网络共享屏幕，则QoE控制模块1273分析网络的状态，基于对网络状态分析的结果来确定允许的比特率，并基于确定的允许的比特率将帧率和分辨率调整为适于当前显示在屏幕上的内容的类别。
[0134]示例性实施例可以以包括计算机可执行的命令(例如，计算机可执行的程序模块)的形式来被实现。计算机可读介质可以是可被计算机访问的任意介质，并包括易失性和非易失性介质、可拆卸和不可拆卸介质。此外，计算机可读介质可包括计算机记录介质和通信介质。计算机记录介质包括通过使用用于存储诸如计算机可读命令、数据结构、程序模块或其他数据的信息的任意方法或技术而实现的易失性和非易失性介质、可拆卸和不可拆卸介质。通信介质通常包括计算机可读命令、数据结构、程序模块或者其他传输装置，并且包括任意信息传输介质。
[0135]示例性实施例可以以许多不同的形式来体现，且不应被解释为局限于前述的示例性实施例。例如，单个组件可以被分为多个组件，多个组件可以组合成一个组件。
[0136]虽然具体示出和描述了前述的示例性实施例，但本领域普通技术人员将会理解，在不脱离由权利要求及其等同物限定的本发明构思的精神和范围的情况下，可以进行形式上和细节上的各种改变。
【权利要求】
1.一种提高与第二装置共享第一装置的屏幕的第一装置的质量的方法，所述方法包括: 检测当前显示在屏幕上的内容的类别； 基于检测到的内容的类别来确定质量策略； 基于确定的质量策略对屏幕的屏幕图像进行编码； 将编码的屏幕图像发送到第二装置。
2.根据权利要求1所述的方法，其中，通过使用基于确定的质量策略调整的帧率和分辨率来执行所述编码。
3.根据权利要求2所述的方法，其中，质量策略响应于具有大量运动的内容将帧率调整为高。
4.根据权利要求1所述的方法，其中，检测到的内容的类别是图形内容、真实图像内容和文本内容之中的至少一个。
5.根据权利要求1所述的方法，其中，基于当前执行的应用的名称来执行所述检测。
6.根据权利要求1所述的方法，其中，确定的步骤包括:响应于当前正显示在屏幕上的多个内容类别，基于针 对多个内容类别预先设置的优先级来选择与具有最高优先级的内容类别对应的质量策略。
7.根据权利要求1所述的方法，其中，编码的步骤包括: 基于用于在第一装置和第二装置之间共享屏幕的网络状态来确定允许的比特率； 基于确定的比特率来调整用来对屏幕的屏幕图像编码的帧率和分辨率。
8.一种发送装置，包括: 存储器，被配置为存储至少一个程序； 处理器，被配置为通过执行至少一个程序来使该发送装置能够与接收装置共享屏幕，并提闻质量， 其中，所述至少一个程序执行如下方法，包括: 检测当前显示在屏幕上的内容的类别； 基于检测的内容的类别来确定质量策略； 基于确定的质量策略来对屏幕的屏幕图像进行编码； 将编码的屏幕图像发送到接收装置。
9.根据权利要求8所述的发送装置，其中，通过使用基于确定的质量策略调整的帧率和分辨率来执行所述编码。
10.根据权利要求9所述的发送装置，其中，质量策略响应于具有大量运动的内容将帧率调整为高。
11.根据权利要求8所述的发送装置，其中，检测到的内容的类别是图形内容、真实图像内容和文本内容之中的至少一个。
12.根据权利要求8所述的发送装置，其中，基于当前执行的应用的名称来执行所述检测。
13.根据权利要求8所述的发送装置，其中，确定的步骤包括:响应于当前正显示在屏幕上的多个内容类别，基于针对多个内容类别预先设置的优先级来选择与具有最高优先级的内容类别对应的质量策略。
14.根据权利要求8所述的发送装置，其中，编码的步骤包括:基于用于在发送装置和接收装置之间共享屏幕的网络状态来确定允许的比特率；基于确定的比特率来 调整用来对屏幕的屏幕图像编码的帧率和分辨率。
【文档编号】G06F3/14GK104077098SQ201410114580
【公开日】2014年10月1日 申请日期:2014年3月25日 优先权日:2013年3月25日
【发明者】金容台, 金信爱, 白允善 申请人:三星电子株式会社