一种终端设备、同屏显示方法和系统的制作方法
【专利摘要】本发明实施例公开了一种终端设备、同屏显示方法和系统，该同屏显示方法，用于具有触控功能的设备中，其包括：检测触控对象在触控屏上的位置；根据检测到的所述触控对象在触控屏上的位置生成对应所述触控对象的位置的图标；将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容；将所述同屏触控显示内容发送到同屏显示设备中，以便所述同屏显示设备显示包含所述图标的同屏触控显示内容。采用本发明，可以将触控操作情况同步到同屏显示设备中，使得触控操作者可以通过观察同屏显示设备来进行触控操作，提高用户体验。
【专利说明】一种终端设备、同屏显示方法和系统
【技术领域】
[0001]本发明涉及数据处理领域，尤其涉及一种终端设备、同屏显示方法和系统。
【背景技术】
[0002]目前，智能手机、平板电脑等终端设备的功能越来越强大，用户可以用智能手机、平板电脑等终端设备来观看视频、浏览照片和网页等。但是，这类可移动的智能终端的屏幕比较小，为了获得更好的视觉体验，通常可将这些智能终端的显示内容同步输出到更大屏幕的设备上，比如同步到投影仪、大屏幕电视等具有较大显示屏幕的设备上。这样通过大屏幕设备可以看到智能终端的小屏幕中的显示内容。这种技术通常被称为同屏技术。
[0003]在同屏技术后，同一内容在两个屏幕上显示，比如具有触摸屏的智能手机和电视同屏，当通过触摸方式操作智能手机时，通常，进行触摸操作的用户只能通过智能手机的触摸屏进行观察，实际上无法体验使用同屏技术下的大屏幕显示带来的效果，影响用户体验。
【发明内容】
[0004]本发明实施例所要解决的技术问题在于，提供一种终端设备、同屏显示方法和系统。可以将触控操作情况同步到同屏显示设备中，使得触控操作者可以通过观察同屏显示设备来进行触控操作，提高用户体验。
[0005]为了解决上述技术问题，一方面，本发明实施例提供了一种同屏显示系统，所述系统包括具有触控功能的设备和同屏显示设备，
[0006]所述具有触控功能的设备，用于检测触控对象在触控屏上的位置，根据检测到的所述触控对象在触控屏上的位置生成对应所述触控对象的位置的图标，将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容，将所述同屏触控显示内容发送到同屏显示设备中；
[0007]所述同屏显示设备，与所述具有触控功能的设备连接，用于接收所述具有触控功能的设备发送的同屏触控显示内容，并在本地显示包含所述图标的所述同屏触控显示内容。
[0008]其中，所述具有触控功能的设备还可用于发现通讯网络中的所述同屏显示设备，并在进入同屏模式后启动邻近触控模块检测触控对象在触控屏上的位置。
[0009]另一方面，本发明实施例还提供了一种终端设备，包括触控屏，所述终端设备还包括:
[0010]邻近触控模块，用于检测触控对象在触控屏上的位置；
[0011]位置图标生成模块，与所述邻近触控模块连接，用于获得所述邻近触控模块检测到的所述触控对象在触控屏上的位置，并根据所述检测到的所述触控对象在触控屏上的位置生成对应所述触控对象的位置的图标；
[0012]合成模块，与所述位置图标生成模块连接，用于获得所述位置图标生成模块生成的对应所述触控对象的位置的图标，并将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容；
[0013]发送模块，与所述合成模块连接，用于将所述同屏触控显示内容发送到同屏显示设备中，以便所述同屏显示设备显示包含所述图标的所述同屏触控显示内容。
[0014]其中，所述合成模块可包括:显示缓存模块，与所述位置图标生成模块连接，用于获得所述位置图标生成模块生成的对应所述触控对象的位置的图标，并将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容，并根据所述同屏触控显示内容更新所述触控屏的同屏触控显示内容；同屏模块，与所述显示缓存模块连接，用于获得所述同屏触控显示内容，并将所述同屏触控显示内容发送至所述发送模块。
[0015]或，所述合成模块包括:同屏模块，与所述位置图标生成模块连接，用于获得所述位置图标生成模块生成的对应所述触控对象的位置的图标，并将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容，并将所述同屏触控显示内容发送至所述发送模块；显示缓存模块，与所述同屏模块连接，用于获得所述同屏触控显示内容，并根据所述同屏触控显示内容更新所述触控屏的同屏触控显示内容。
[0016]进一步的，所述终端设备还可包括同屏启动模块，用于发现通讯网络中的同屏显示设备，并在进入同屏模式后启动所述邻近触控模块检测触控对象在触控屏上的位置。
[0017]另一方面，本发明实施例还提供了一种同屏显示方法，用于具有触控功能的设备中，所述方法包括:
[0018]检测触控对象在触控屏上的位置；
[0019]根据检测到的所述触控对象在触控屏上的位置生成对应所述触控对象的位置的图标；
[0020]将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容；
[0021]将所述同屏触控显示内容发送到同屏显示设备中，以便所述同屏显示设备显示包含所述图标的所述同屏触控显示内容。
[0022]其中，当触控对象与触控屏不接触时，所述触控对象在触控屏上的位置可为触控对象在触控屏上的投影位置；或者，当触控对象与触控屏接触时，所述触控对象在触控屏上的位置可为触控对象在触控屏上的接触位置。
[0023]在所述将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容之后，所述方法还包括:根据所述同屏触控显示内容更新所述触控屏的同屏触控显示内容。
[0024]具体的，所述检测触控对象在触控屏上的位置的步骤可包括:启动所述具有触控功能的设备进入同屏模式，在所述具有触控功能的设备进入同屏模式后启动检测触控对象在触控屏上的位置。
[0025]在本发明实施例中，具有触控屏的设备在与同屏显示设备进行同屏显示时，将触控对象在触控屏上的位置的图标与原显示内容叠加后传输到同屏显示设备中进行显示，可以将触控操作情况同步到同屏显示设备中，使得触控对象的操作者可以只通过观察同屏显示设备的显示内容进行触控操作，而不需要一边观察触控屏一边观察同屏显示设备，从而避免了用户在两个屏幕之间进行来回切换观看，提高了用户体验。
【专利附图】
【附图说明】
[0026]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]图1是本发明实施例中的同屏显示系统的一个具体组成示意图；
[0028]图2是本发明实施例中的具有触控功能的设备的一个具体组成示意图；
[0029]图3是本发明实施例中的具有触控功能的设备的另一具体组成示意图；
[0030]图4是图2中的合成模块包括显示缓存模块和同屏模块时的一个具体组成是意图；
[0031]图5是图2中的合成模块包括显示缓存模块和同屏模块时的另一个具体组成是意图；
[0032]图6是本发明实施例中的同屏显示方法的一个具体流程示意图；
[0033]图7是本发明实施例中的同屏显示方法的另一具体流程示意图；
[0034]图8是本发明实施例中的Pad的一个具体组成示意图；
[0035]图9是本发明实施例中的触控屏的手指检测原理示意图；
[0036]图10本发明实施例中的Pad的另一个具体组成示意图。
【具体实施方式】
[0037]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]在现有的同屏技术中，如果其中一个显示屏为触控屏，使用者通过触控操作进行控制时，另一同屏显示设备上无法观察使用者在触控屏上的操作，因而使用者只能通过观察触控屏进行触控操作，触控屏也必须一直保持显示状态。但是，在很多使用同屏技术的环境中，一般另一同屏显示设备的显示屏幕较大，更有利于使用者进行触控操作，而且其他观察者也希望可以在所述较大的显示屏幕上看到使用者进行的各项触控操作。因而，在本发明实施例中提出了一种同屏显示方案，通过捕获使用者在触控屏上的位置信息进行显示，不但可以同屏显示内容，还可以在显示内容上同屏显示触控操作。
[0039]如图1所示，为本发明实施例中的同屏显示系统，该系统包括具有触控功能的设备和同屏显示设备，需要说明的是，在本系统中的同屏显示设备可以是一台也可以是多台；具有触控功能的设备与同屏显示设备之间的通讯可以是有线通讯，也可以是无线通讯，此处不做限定。
[0040]其中，具有触控功能的设备1，用于检测触控对象在设备I的触控屏上的位置，根据检测到的所述触控对象在触控屏上的位置生成对应所述触控对象的位置的图标，将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容，将所述同屏触控显示内容发送到同屏显示设备中。进一步的，具有触控功能的设备I还用于发现通讯网络中的同屏显示设备，进一步地，在进入同屏模式后启动邻近触控模块检测触控对象在触控屏上的位置。
[0041]同屏显示设备2，与所述具有触控功能的设备I连接，用于接收所述具有触控功能的设备I发送的同屏触控显示内容，并在本地显示包括所述图标的所述同屏触控显示内容。
[0042]如图2所示，为本发明实施例中的具有触控功能的设备的具体组成，在本例中称具有触控功能的设备为终端设备，该终端设备包括触控屏10，同时，还包括:
[0043]邻近触控模块12，用于检测触控对象在触控屏10上的位置。其中，触控对象可以是控制者的手指，触控笔(或称为手写笔)等可以在所述触控屏上进行触控操作的对象。触控对象与触控屏之间可以是接触式的也可以是非接触式的。
[0044]位置图标生成模块14，与所述邻近触控模块12连接，用于获得所述邻近触控模块12检测到的所述触控对象在触控屏10上的位置，并根据所述检测到的所述触控对象在触控屏10上的位置生成对应所述触控对象的位置的图标。
[0045]其中，当触控对象与触控屏不接触时，所述触控对象在触控屏上的位置为触控对象在触控屏上的投影位置；当触控对象与触控屏接触时，所述触控对象在触控屏上的位置为触控对象在触控屏上的接触位置。
[0046]该图标可以是记录的当前位置情况，也可以是包括历史位置情况和当前位置情况等，具体可以跟当前屏幕显示的应用程序有关。如，在画图程序中，手指对应画笔功能划动的“Z”字形，则图标为对应的位置的“Z”字图标；而在操作系统中，手指对应鼠标功能，则图标为对应位置的鼠标图标；而在word文档应用中，手指对应word中的光标，则图标为对应位置的光标图标；等等，该图标的具体内容随具体应用的不同，还可以有其他形式，本发明对此不作限定，此处不做一一赘述。
[0047]合成模块16，与所述位置图标生成模块14连接，用于获得所述位置图标生成模块14生成的对应所述触控对象的位置的图标，并将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容。
[0048]发送模块18，与所述合成模块16连接，用于将所述同屏触控显示内容发送到同屏显示设备2中，以便所述同屏显示设备2显示包括所述图标的同屏触控显示内容。
[0049]如图3所示，终端设备I还可包括同屏启动模块11，用于发现通讯网络中的同屏显示设备，并在进入同屏模式后启动所述邻近触控模块检测触控对象在触控屏上的位置。
[0050]其中，如图4所示，合成模块16可包括:显示缓存模块160，与所述位置图标生成模块连接，用于获得所述位置图标生成模块生成的对应所述触控对象的位置的图标，并将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容，并根据所述同屏触控显示内容更新所述触控屏的同屏触控显示内容；同屏模块162，与所述显示缓存模块连接，用于获得所述同屏触控显示内容，并将所述同屏触控显示内容发送至所述发送模块。
[0051]或者，如图5所示，合成模块16可包括:同屏模块162，与所述位置图标生成模块连接，用于获得所述位置图标生成模块生成的对应所述触控对象的位置的图标，并将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容，并将所述同屏触控显示内容发送至所述发送模块；显示缓存模块160，与所述同屏模块连接，用于获得所述同屏触控显示内容，并根据所述同屏触控显示内容更新所述触控屏的同屏触控显示内容。
[0052]相应的，如图6所示，本发明实施例还提供了一种同屏显示方法，用于具有触控功能的设备中，该方法包括如下步骤:
[0053]101、检测触控对象在触控屏上的位置。在本步骤之前还可包括:100、启动所述具有触控功能的设备进入同屏模式，并在其后启动所述检测触控对象在触控屏上的位置的步骤。
[0054]S卩，在初始时需要启动有触控功能的设备找到网络中的同屏显示设备，并进入同屏模式中，然后启动检测过程。当然，若已经进入同屏模式时，则步骤100可跳过；实时或定时的检测触控对象的位置，只要触控对象进行了移动则检测其移动后的新位置。
[0055]102、根据检测到的所述触控对象在触控屏上的位置生成对应所述触控对象的位置的图标。本实施例中的图标的定义同前述装置实施例中的一致，此处不做赘述。
[0056]同时，当触控对象与触控屏不接触时，所述触控对象在触控屏上的位置为触控对象在触控屏上的投影位置；或者，当触控对象与触控屏接触时，所述触控对象在触控屏上的位置为触控对象在触控屏上的接触位置。
[0057]103、将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容。在本步骤之后还可包括A:根据所述同屏触控显示内容更新所述触控屏的同屏触控显示内容。步骤A与后续步骤104之间没有必然的先后顺序。
[0058]104、将所述同屏触控显示内容发送到同屏显示设备中，以便所述同屏显示设备显示包括所述图标的显示内容。需要说明的是，在同屏触控显示内容中包括了图标在显示内容中的位置。
[0059]通过上述实施例的描述可知，具有触控屏的设备在与同屏显示设备进行同屏显示时，将触控对象在触控屏上的位置信息与原显示内容叠加后传输到同屏显示设备中进行显示，可以将触控操作情况同步到同屏显示设备中，使得触控对象的操作者可以只通过观察同屏显示设备的显示内容进行触控操作，而不需要一边观察触控屏一边观察同屏显示设备，从而避免了用户在两个屏幕之间进行来回切换观看，提高了用户体验。
[0060]如图7所示，为本发明实施例中的同屏显示方法的另一具体流程示意图。在本例中的具有触控功能的设备为具有触控屏的平板电脑(以下简称Pad)，同屏显示设备为电视。本实施例中的Pad的组成模块如图8所示,该Pad 3包括:触控屏30、显示缓存模块31、同屏模块32、编码模块33、发送模块34、邻近触控模块35和位置图标生成模块36，其中，各模块具体功能可参考前述图2?图5中的描述，以及下述方法中的描述。则该方法包括如下步骤:
[0061]201、Pad发现电视。如，Pad可通过通用即插即用(Universal Plug and Play,UPnP)协议的发现功能来发现网络中的电视，Pad具有控制点功能，电视具有UPnP设备功倉泛。
[0062]202、Pad和电视切换到同屏模式。在Pad发现网络中可进行同屏显示的电视后，可以将其显示在Pad的显示界面，用户可以选择已发现的待同屏的电视；当然，通过配置，也可以是Pad自动选择默认的电视。在确定待同屏的电视后，Pad和被选定的电视切换到同屏模式。此时，电视的状态为显示Pad的内容，Pad的状态为:关闭屏幕显示(可选)、Pad触控屏30仍然工作、启动临近触控功能。
[0063]203、Pad通过临近触控模块35识别手指在Pad屏上方的位置。
[0064]邻近触控模块35可以检测手指在Pad触控屏上方的位置(手指未接触屏幕)，在本发明实施例中不对检测手指位置的技术进行限定，可采用现有技术中的检测方法检测手指在屏幕上方的位置。如图9所示为现有的一种检测方案示意图，图中160表示发光模块，150表示光检测模块，120表示屏幕，发光模块160从X轴和y轴方向发出光束520，当手指接近屏幕120时，会中断发光模块160发出的光束(如，被中断的光束530)，光检测模块150会检测X轴方向和I轴方向光束的变化，根据这些光的变化可以计算出手指的位置。
[0065]204、位置图标生成模块36根据邻近触控模块35检测到的手指位置生成手指位置的图标。
[0066]205、获得叠加后的数据。
[0067]如，显示缓存模块31把手指位置的图标与Pad的原有显示内容进行叠加，根据叠加后的数据刷新显示缓存中的数据，此时显示缓存中包含原有的显示数据和手指位置的图标数据；可选地，如果Pad显示屏打开，则Pad的显示屏上会增加手指位置的图标。同屏模块32从显示缓存中读取数据，通过编码模块33进行编码，如编码成H.264格式。
[0068]当然，在本步骤中，也可由同屏模块32完成叠加功能，即:同屏模块32把手指位置的图标与Pad的显示缓存进行叠加，生成待发送给电视的数据；如果Pad显示屏打开，则同屏模块32还可以将叠加后的数据传输给显示缓存，根据叠加后的数据刷新显示缓存中的数据，Pad的显示屏上显示的内容会增加手指位置的图标。则此时的Pad组成如图10所示。
[0069]206、发送模块34把通过编码模块33编码后的数据传输给电视。
[0070]207、电视上显示Pad传输过来的内容，显示画面中包含了手指位置的图标。
[0071]这样，用户就可以根据电视上显示的手指位置的图标判断手指在Pad屏幕上方的位置，以便执行触摸动作。
[0072]208、当手指进行移动等触摸操作时，循环执行步骤203?207，Pad根据触摸操作执行对应的操作和界面的更新，并将更新的界面同步到电视上。
[0073]在本发明实施例中，还包括一种计算机存储介质，该计算机存储介质中存储有计算机可执行程序，该计算机可执行程序可实现上述方法中的步骤，包括:检测触控对象在触控屏上的位置；根据检测到的所述触控对象在触控屏上的位置生成对应所述触控对象的位置的图标；将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容；将所述同屏触控显示内容发送到同屏显示设备，以便所述同屏显示设备显示包含所述图标的所述同屏触控显示内容。
[0074]在本发明实施例中，还包括一种终端设备，包括触控屏、存储器、处理器和通讯模块，该处理器用于，检测触控对象在触控屏上的位置，根据检测到的触控对象在触控屏上的位置生成对应所述触控对象的位置的图标，将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容；通讯模块，用于将处理器获得的同屏触控显示内容发送到同屏显示设备中，以便所述同屏显示设备显示包含所述图标的所述同屏触控显示内容；存储器则用于存储各中间数据。
[0075]通过上述实施例的描述可知，在同屏应用中，具有触控功能的终端设备识别手指在终端设备屏上方的位置并发送给电视，由电视以图标方式显示出手指的位置，以便用户根据电视上显示的手指位置的图标判断手指在终端设备屏幕上方的位置，这样用户在操作带触摸屏的终端设备时，可以只看电视屏幕，而不必看终端设备的屏幕，用户的眼睛不必在两个屏幕间切换，提高了用户体验。
[0076]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或随机存储记忆体(Random AccessMemory, RAM)等。
[0077]以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
【权利要求】
1.一种终端设备，包括触控屏，其特征在于，所述终端设备还包括: 邻近触控模块，用于检测触控对象在触控屏上的位置； 位置图标生成模块，与所述邻近触控模块连接，用于获得所述邻近触控模块检测到的所述触控对象在触控屏上的位置，并根据所述检测到的所述触控对象在触控屏上的位置生成对应所述触控对象的位置的图标； 合成模块，与所述位置图标生成模块连接，用于获得所述位置图标生成模块生成的对应所述触控对象的位置的图标，并将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容； 发送模块，与所述合成模块连接，用于将所述同屏触控显示内容发送到同屏显示设备中，以便所述同屏显示设备显示包含所述图标的所述同屏触控显示内容。
2.如权利要求1所述的终端设备，其特征在于，所述合成模块包括: 显示缓存模块，与所述位置图标生成模块连接，用于获得所述位置图标生成模块生成的对应所述触控对象的位置的图标，并将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容，并根据所述同屏触控显示内容更新所述触控屏的同屏触控显示内容； 同屏模块，与所述显示缓存模块连接，用于获得所述同屏触控显示内容，并将所述同屏触控显示内容发送至所述发送模块。
3.如权利要求1所述的终端设备，其特征在于，所述合成模块包括: 同屏模块，与所述位置图标生成模块连接，用于获得所述位置图标生成模块生成的对应所述触控对象的位置的图标，并将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容，并将所述同屏触控显示内容发送至所述发送模块； 显示缓存模块，与所述同屏模块连接，用于获得所述同屏触控显示内容，并根据所述同屏触控显示内容更新所述触控屏的同屏触控显示内容。
4.如权利要求1至3中任一项所述的终端设备，其特征在于，所述终端设备还包括同屏启动模块，用于发现通讯网络中的同屏显示设备，并在进入同屏模式后启动所述邻近触控模块检测触控对象在触控屏上的位置。
5.一种同屏显示方法，用于具有触控功能的设备中，其特征在于，所述方法包括: 检测触控对象在触控屏上的位置； 根据检测到的所述触控对象在触控屏上的位置生成对应所述触控对象的位置的图标； 将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容； 将所述同屏触控显示内容发送到同屏显示设备，以便所述同屏显示设备显示包含所述图标的所述同屏触控显示内容。
6.如权利要求5所述的方法，其特征在于， 当触控对象与触控屏不接触时，所述触控对象在触控屏上的位置为触控对象在触控屏上的投影位置；或者， 当触控对象与触控屏接触时，所述触控对象在触控屏上的位置为触控对象在触控屏上的接触位置。
7.如权利要求5所述的方法，其特征在于，所述将所述图标与所述触控屏的显示内容叠加，获得同屏触控显示内容之后，所述方法还包括:根据所述同屏触控显示内容更新所述触控屏的同屏触控显示内容。
8.如权利要求5至7中任一项所述的方法，其特征在于，所述检测触控对象在触控屏上的位置的步骤包括: 启动所述具有触控功能的设备进入同屏模式，在所述具有触控功能的设备进入同屏模式后启动检测触控对象在触控屏上的位置。
9.一种同屏显示系统，所述系统包括具有触控功能的设备和同屏显示设备，其特征在于， 所述具有触控功能的设备，用于检测触控对象在触控屏上的位置，根据检测到的所述触控对象在触控屏上的位置生成对应所述触控对象的位置的图标，将所述图标与所述触控屏的显示内容叠加， 获得同屏触控显示内容，将所述同屏触控显示内容发送到同屏显示设备中； 所述同屏显示设备，与所述具有触控功能的设备连接，用于接收所述具有触控功能的设备发送的同屏触控显示内容，并在本地显示包括所述图标的显示内容。
10.如权利要求9所述的同屏显示系统，其特征在于，所述具有触控功能的设备还用于发现通讯网络中的所述同屏显示设备，并在进入同屏模式后启动邻近触控模块检测触控对象在触控屏上的位置。
【文档编号】G06F3/14GK103677597SQ201210331418
【公开日】2014年3月26日 申请日期:2012年9月10日 优先权日:2012年9月10日
【发明者】张钦亮, 朱萸 申请人:华为终端有限公司