多屏联动系统及其互动显示方法与流程

本发明涉及界面交互显示技术领域，具体涉及一种多屏联动系统及其互动显示方法。

背景技术

随着科技的飞速发展，多媒体互动技术产业代替了原来复杂、死板的模式。多屏联动是多媒体互动技术的展现，它的出现使得多媒体内容的展示方式更加丰富多彩，已广泛应用于各个领域。

现有的多屏联动技术以两台以上能独立运行的带显示屏幕的系统为硬件，所述带显示屏幕的系统例如为两台电脑，通过其中一台电脑可以控制另一台电脑上的屏幕显示，以此实现一台电脑上的屏幕显示和另一台电脑上的屏幕显示内容的同步或关联显示，但所述显示屏幕之间无法直接交互。

技术实现要素：

有鉴于此，本发明实施例提供一种多屏联动系统及其互动显示方法。

一方面，本发明实施例提供了一种多屏联动系统的互动显示方法，所述多屏联动系统包括光学传感器、处理器和至少两个子屏幕，其特征在于，所述方法包括：

所述光学传感器采集用户在第一子屏幕中的触控输入；

所述处理器对所述触控输入进行分析，判断所述触控输入是否满足预设条件，若是，则所述处理器将所述第一子屏幕的图像内容输出供第二子屏幕显示，或者所述处理器将预设的与所述第一子屏幕的图像内容相关联的信息输出供第二子屏幕显示。

进一步地，将所述第一子屏幕的图像内容输出供第二子屏幕显示包括：

将所述第一子屏幕的图像内容输出供所述第一子屏幕和第二子屏幕同时显示；或者

将所述第一子屏幕的图像内容输出仅供第二子屏幕显示；

将预设的与所述子屏幕的图像内容相关联的信息输出供第二子屏幕显示包括：

将预设的与所述子屏幕的图像内容相关的信息输出供所述第一子屏幕和第二子屏幕同时显示；或者

将预设的与所述子屏幕的图像内容相关的信息输出仅供第二子屏幕显示。

进一步地，包括：

所述处理器识别所述触控输入的触控轨迹；

将所述触控轨迹与预设触控轨迹进行比较，判断所述触控轨迹是否与所述预设触控轨迹匹配，若是，则判断所述触控轨迹满足预设条件；

将所述第一子屏幕中的图像内容输出供第二子屏幕显示，或者将预设的与所述第一子屏幕的图像内容相关联的图像信息输出供第二子屏幕显示。

进一步地，包括：

所述处理器获取所述触控输入的起始点坐标和终止点坐标，并记录所述起始点到所述终止点的时间；

根据所述起始点坐标、终止点坐标和时间，确定所述触控输入的速度、方向和距离；

判断所述速度、方向和距离是否在预设阈值范围内，若是，则判断所述触控输入满足预设条件；

将所述第一子屏幕中的图像内容输出供第二子屏幕显示，或者将预设的与所述第一子屏幕的图像内容相关联的信息输出供第二子屏幕显示。

将第一子屏幕的图像内容或者将预设的与第一子屏幕的图像内容相关联的信息输出到对应触控输入方向的第二子屏幕上显示。

第二方面，本发明实施例提供了一种多屏联动系统，所述系统包括：光学传感器、处理器和至少两个子屏幕，其中，

所述至少两个子屏幕用于显示图像内容；

所述光学传感器用于采集用户在第一子屏幕中的触控输入；

所述处理器用于对所述触控输入进行分析，判断所述触控输入是否满足预设条件，若是，则所述处理器将所述第一子屏幕的图像内容输出供第二子屏幕显示，或者所述处理器将预设的与所述第一子屏幕的图像内容相关联的信息输出供第二子屏幕显示。

进一步地，所述处理器包括：

识别单元，用于识别所述触控输入的触控轨迹；

匹配单元，用于将所述触控轨迹与预设触控轨迹进行比较，判断所述触控轨迹是否与所述预设触控轨迹匹配，若是，则判断所述触控轨迹满足预设条件；

执行单元，用于将所述第一子屏幕的图像内容输出供第二子屏幕显示，或者所述处理器将预设的与所述第一子屏幕的图像内容相关联的信息输出供第二子屏幕显示。

进一步地，所述处理器包括：

记录单元，用于获取所述触控输入的起始点坐标和终止点坐标，并记录所述起始点到所述终止点的时间；

计算单元，用于根据所述起始点坐标、终止点坐标和时间，确定所述触控输入的速度、方向和距离；

判断单元，用于判断所述速度、方向和距离是否在预设阈值范围内，若是，则判断所述触控输入满足预设条件；

第二执行单元，用于将所述第一子屏幕的图像内容输出供第二子屏幕显示，或者所述处理器将预设的与所述第一子屏幕的图像内容相关联的信息输出供第二子屏幕显示。

进一步地，所述至少两个子屏幕表面布置有红外光幕，所述光学传感器为红外摄像头。

进一步地，所述系统还包括多屏拼接处理器，用于当触控输入满足预设条件时，将所述第一子屏幕的图像内容或预设的与所述第一子屏幕的图像内容相关联的信息输出供第二子屏幕显示，或者将所述第一子屏幕的图像内容或预设的与所述第一子屏幕的图像内容相关联的信息输出供所述第一子屏幕和第二子屏幕共同显示。

本发明实施例提供的多屏联动系统及其互动显示方法，通过采集用户在第一子屏幕中的触控输入，并分析判断所述触控输入是否满足预设条件，当满足预设条件时，将第一子屏幕的图像内容输出供第二子屏幕显示或预设的与所述第一子屏幕的图像内容相关联的信息。由此能够实现不同触控屏幕之间的直接交互，可操作性强，而且不像现有技术那样需要多台能够独立运行的计算设备，从而大大降低了成本。

附图说明

图1是本发明一个实施例提出的多屏联动系统的互动显示方法的流程示意图。

图2是本发明另一个实施例提供的多屏联动系统的互动显示方法的流程示意图。

图3是本发明又一个实施例提供的多屏联动系统的互动显示方法的流程示意图。

图4是本发明又一个实施例提供的多屏联动系统的结构示意图。

图5是本发明另一些实施例提供的处理器的结构示意图。

图6是本发明另一些实施例提供的处理器的结构示意图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。应当理解，此处描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

请参照图1，图1是本发明一个实施例提出的多屏联动系统的互动显示方法的流程示意图，所述多屏联动系统包括光学传感器、处理器和至少两个子屏幕，所述方法包括：

s11：所述光学传感器采集用户在第一子屏幕中的触控输入。

所述第一子屏幕可以是红外线式(红外边框式或红外光幕式)等触控屏幕，用户输入可以通过光学传感器被捕获。

对于红外光幕式屏幕，红外光幕可以通过屏幕上方的红外激光器阵列而形成于屏幕表面，当通过手指等作用于布置有红外光幕的屏幕时，通过红外摄像头捕获用户在第一子屏幕中的触控输入。例如，当在第一子屏幕上进行触控时，触控点处的红外光幕的光分布将因触控行为而发生变化，例如触控点处的部分红外光被触控手指反射离开屏幕或因触控手指的作用透射穿过屏幕，红外摄像头拍摄触控点在内的红外图像，捕获用户的触控输入。此外，例如还可以通过使用户带上红外光发射手套，当带有手套并且手套能在触控时发射红外光的手指触控屏幕时，红外摄像头拍摄手指在屏幕上的操作或触控点，由此获取用户在第一子屏幕中的触控输入。屏幕可以是多种类型的，例如，lcd、led和dlp等显示屏幕或投影屏幕，其材质并不做限定。

s12：所述处理器对所述触控输入进行分析，判断所述触控输入是否满足预设条件，若是，则执行步骤s13，将所述第一子屏幕的图像内容输出供第二子屏幕显示，或者所述处理器将预设的与所述第一子屏幕的图像内容相关联的信息输出供第二子屏幕显示。

在本步骤中，光学传感器将用户在第一子屏幕中的触控输入采集并转化为电信号以后发送至处理器，处理器对所述电信号进行分析后能够获得用户的触控输入坐标，根据触控输入坐标能够获得用户的触控轨迹，判断用户的触控轨迹是否与预设触控轨迹相匹配，若匹配，则判断用户的触控输入满足预设条件。

或者，处理器可以根据触控输入的坐标判断触控输入的速度、方向和移动距离是否在预设阈值范围内，若满足，则判断用户的触控输入满足预设条件。

s13：将所述第一子屏幕的图像内容输出供第二子屏幕显示，或者将预设的与所述第一子屏幕的图像内容相关联的信息输出供第二子屏幕显示。

在本步骤中，当处理器判断用户在第一子屏幕上的触控输入满足预设条件时，将第一子屏幕的图像内容发送至第二子屏幕，使第二子屏幕能够显示第一子屏幕的图像内容，此时，第一子屏幕可根据用户需要显示图像内容。

将所述第一子屏幕的图像内容输出供第二子屏幕显示，一种可能的实施方式是，处理器将第一子屏幕的内容发送至多屏拼接处理器，由多屏拼接处理器将第一子屏幕的图像内容发送至第二子屏幕显示，或者由多屏拼接处理器将第一子屏幕的图像内容发送至第一子屏幕和第二子屏幕同时显示。此处，所述多屏拼接处理器的功能可以集成在处理器中，也可以与所述处理器单独设置。

在本步骤中，当处理器判断用户的触控输入满足预设条件时，可以将预先存储的与第一子屏幕中的图像内容相关联的信息输出供第二子屏幕显示，或者供第一子屏幕和第二子屏幕显示。其中，所述预设的与第一子屏幕中的图像内容相关联的信息可以为文字、表格、图片、视频或网页链接等。例如：第一子屏幕显示的图像内容是二维地图，与之相关联的内容是三维地图，则当用户的触控输入满足预设条件时，将三维地图的图像内容显示在第二子屏幕上。

利用本发明实施例提供的多屏联动系统的互动显示方法时，能够实现多屏联动系统中不同触控屏幕之间的直接交互，可操作性强，而且不像现有技术那样需要多台能够独立运行的计算设备，从而大大降低了成本。

请参照图2，图2是本发明另一个实施例提供的多屏联动系统的互动显示方法的流程示意图。具体地，所述系统包括光学传感器、处理器和至少两个子屏幕，该方法包括：

s21：所述光学传感器采集用户在第一子屏幕中的触控输入。

s22：所述处理器识别所述触控输入中的触控轨迹。

以手指在红外光幕式触控屏上进行触控为例，红外摄像头捕获用户的触控输入，例如捕获每帧触控图像，分析每帧触控图像中触点的位置，从而识别出触控输入的触控轨迹。

s23：将所述触控轨迹与预设触控轨迹进行比较，判断所述触控轨迹是否与预设触控轨迹匹配，若是，则判断所述触控输入满足预设条件，执行步骤s24，将所述第一子屏幕的图像内容输出供第二子屏幕显示，或者所述处理器将预设的与所述第一子屏幕的图像内容相关联的信息输出供第二子屏幕显示，若否，则结束操作。

在本步骤中，用户可以对预设触控轨迹进行自定义设置，例如：当开启触控轨迹设置页面后，用户能够新建并自定义触控轨迹。即用户能够自定义预设触控轨迹以及预设触控轨迹对应的触控操作。接着，将预设触控轨迹存储，并将预设触控轨迹和触控操作关联后存储。

将输入的触控轨迹与预先存储的触控轨迹进行比较，若输入的触控轨迹与预设触控轨迹相匹配，根据预设触控轨迹和触控操作之间的映射关系得到预设触控轨迹对应的触控操作，并执行该触控操作，例如将第一子屏幕的图像内容输出供第二子屏幕显示，或者将预设的与所述第一子屏幕的图像内容相关联的信息输出供第二子屏幕显示；若判断输入的触控轨迹与预设触控轨迹不匹配，则说明输入的触控轨迹是无效的，结束操作。

s24：将所述第一子屏幕的图像内容输出供第二子屏幕显示，或者将预设的与所述第一子屏幕的图像内容相关联的信息输出供第二子屏幕显示。

步骤s24可参照上述实施例中的步骤s13进行理解，此处不再赘述。

下面举例来说明本发明实施例提供的多屏联动系统的互动显示方法的工作过程：

例如：当有手势w(或其他事先拟定的手势)被一个光学传感器(例如红外摄像头)捕获时，光学传感器将采集到的触控输入信息发送给处理器，处理器接着对该电信号进行分析识别，将识别出的手势与预先存储的触控轨迹w匹配，若匹配，则获取预先存储的触控轨迹w对应的触控操作，根据该触控操作将第一子屏幕上的图像内容显示在第二子屏幕上，或者将预设的与所述第一子屏幕的图像内容相关联的信息显示在第二子屏幕上。

利用本发明实施例提供的多屏联动的互动显示方法，能够通过在屏幕上直接进行操作实现在第一子屏幕和第二子屏幕中同时显示图像内容，或者仅在第二子屏幕中显示图像内容，实现了不同触控屏幕之间的直接交互，可操作性强，而且不像现有技术那样需要多台能够独立运行的计算设备，从而大大降低了成本。

请参照图3，图3是本发明又一个实施例提供的多屏联动系统的互动显示方法的流程示意图。具体地，所述系统包括光学传感器、处理器和至少两个子屏幕，该方法包括：

s31：所述光学传感器采集用户在第一子屏幕中的触控输入。

s32：所述处理器获取所述触控输入的起始点坐标和终止点坐标，并记录所述起始点到所述终止点的时间，根据所述起始点坐标、终止点坐标和时间，确定所述触控输入的速度、方向和距离。

在本步骤中，用户在第一子屏幕上进行触控输入时，光学传感器能够采集用户在第一子屏幕上进行触控输入时的每一帧图像，将所述每一帧图像转化为电信号后发送至处理器，处理器根据所述电信号能够获得触控输入的起始点e的坐标(x1，y1)和终止点f的坐标(x2，y2)，并记录起始点e到终止点f的时间t。处理器根据起始点e的坐标(x1，y1)和终止点f的坐标(x2，y2)能够确定起始点e到终止点f之间的距离，结合时间t能够确定用户触控输入的速度，同时根据起始点e和终止点f的坐标能够确定触控输入的斜率，即触控输入的方向。

s34：判断所述速度、方向和距离是否在预设阈值范围内，若是，则执行步骤s35，若否，则结束操作。

当触控输入的速度、方向和距离在预设阈值范围内时，判断用户的触控输入符合要求。

s35：将所述第一子屏幕中的图像内容输出供第二子屏幕显示，或者所述处理器将预设的与所述第一子屏幕的图像内容相关联的信息输出供第二子屏幕显示。

步骤s35可参照上述实施例中的步骤s13进行理解，此处不再赘述。

在本实施例中，在将第一子屏幕的图像内容或预设的与第一子屏幕的图像内容相关的信息(以下简称预设相关信息)输出供第二子屏幕显示时，可以根据触控输入的方向决定将第一子屏幕的图像内容或预设相关信息输出到对应移动方向的第二子屏幕上显示。此处可以预先在处理器内存储触控输入的方向对应的控制信息。例如：假设第一子屏幕的左上角为坐标原点，取向右方向为x轴的正方向，向左方向为x轴的负方向，向上方向为y轴的正方向，向下方向为y轴的负方向，触控输入的移动方向相对于x轴的斜率为k，则当0°＜k≤45°时，表示手指向上滑动，将第一子屏幕中的图像内容或预设相关信息显示到位于第一子屏幕上方的第二子屏幕中；当45°＜k＜135°时，表示手指向左滑动，将第一子屏幕中的图像内容或预设相关信息显示到位于第一子屏幕左边的第二子屏幕中；当135°≤k＜225°时，表示手指向下滑动，将第一子屏幕中的图像内容或预设相关信息显示到位于第一子屏幕下方的第二子屏幕中；当225°≤k＜315°时，表示手指向右滑动，将第一子屏幕中的图像内容或预设相关信息显示到位于第一子屏幕右边的第二子屏幕中。

需要说明的是，上述描述仅是示例性的说明了根据所述触控输入的方向，将第一子屏幕上的图像内容或预设相关信息显示在对应触控输入的方向的第二子屏幕上。在实际应用中，可自定义设置第一子屏幕中的图像内容或预设相关信息显示在哪个方向的第二子屏幕上。

在本发明另一些实施例中，还可以根据触控输入的起始点和终止点的横坐标的移动方向δx，或者根据触控输入的起始点和终止点的纵坐标的移动方向δy来决定将第一子屏幕的图像内容或预设相关信息输出供哪个方向的第二子屏幕进行显示。例如：当δx＞0时，表示手指向右滑动，将第一子屏幕上的图像内容或预设相关信息显示在第一子屏幕右边的第二子屏幕上；当δx＜0时，表示手指向左滑动，将第一子屏幕上的图像内容或预设相关信息显示在第一子屏幕左边的第二子屏幕上；当δy＞0时，表示手指向上滑动，将第一子屏幕上的图像内容或预设相关信息显示在第一子屏幕上边的第二子屏幕上；当δy＜0时，表示手指向下滑动，将第一子屏幕上的图像内容或预设相关信息显示在第一子屏幕下边的第二子屏幕上。

利用本发明实施例提供的多屏联动的互动显示方法，能够通过在屏幕上直接操作实现在第一子屏幕和第二子屏幕中同时显示图像内容，或者仅在第二子屏幕中显示图像内容，实现了不同触控屏幕之间的直接交互，可操作性强，而且不像现有技术那样需要多台能够独立运行的计算设备，从而大大降低了成本。

为了更好的理解本发明一个实施例提供的多屏联动系统的互动显示方法，本发明另一实施例还提供了多屏联动系统。其中，名词的含义与上述多屏联动系统的互动显示方法相同，具体实现细节可以参考方法实施例中的说明。

请参照图4，图4是本发明又一个实施例提供的多屏联动系统的结构示意图，具体地，所述系统包括光学传感器、处理器和至少两个子屏幕。

第一子屏幕m1和第二子屏幕m2、红外激光器a1和a2、光学传感器b1和b2、处理器c。其中，第一子屏幕m1和第二子屏幕m2可以通过多屏拼接处理器拼接在一起，但可以在空间上分开安置，用于显示图像；红外激光器a1和a2用于形成平行于第一子屏幕m1和第二子屏幕m2的光幕，红外激光器的数目可以与子屏幕的数目相同为2个，2个红外激光器a1和a2分别设置于第一子屏幕m1和第二子屏幕m2的上方；光学传感器b1和b2用于采集用户在第一子屏幕m1上的触控输入，第一子屏幕m1和第二子屏幕m2位于红外摄像头b1和b2的视角范围内，可以将红外摄像头的数目设置为与子屏幕的数目相同，为2个。红外激光器a1和a2开启时，形成平行于第一子屏幕m1和第二子屏幕m2的表面并且厚度均匀的激光面。当用户在第一子屏幕m1上进行触摸时，实际上是在第一子屏幕m1上形成了手指触点的光信号，然后，光学传感器b1拍摄第一子屏幕m1上的触控输入的图像，之后光学传感器b1将该图像信息发送至处理器c。处理器c对接收到的图像信息进行分析，判断触控输入是否满足预设条件，如果满足预设条件，则将第一子屏幕m1的图像内容或预设相关信息发送至第二子屏幕m2进行显示。或者处理器将第一子屏幕m1的图像内容或预设相关信息发送至多屏拼接处理器，由多屏拼接处理器将第一子屏幕m1的图像内容或预设相关信息发送至第二子屏幕m2进行显示。还可以使得第一子屏幕m1和第二子屏幕m2同时显示图像内容。其中，多屏拼接处理器可以集成在处理器c中，也可以与处理器c分别独立设置。所述光学传感器b1和b2可以为红外摄像头。

在本发明另一些实施例中，如图5所示，图5是本发明另一些实施例提供的处理器的结构示意图。处理器c可包括：识别单元41、匹配单元42和第一执行单元43。其中，

所述识别单元41用于识别所述触控输入的触控轨迹；所述匹配单元42用于将所述触控轨迹与预设触控轨迹进行比较，判断所述触控轨迹是否与所述预设触控轨迹匹配，若是，则判断所述触控轨迹满足预设条件；所述第一执行单元43，用于当所述触控轨迹满足预设条件时，将所述第一子屏幕的图像内容输出供第二子屏幕显示，或者所述处理器将预设的与所述第一子屏幕的图像内容相关联的信息输出供第二子屏幕显示。

在本发明另一些实施例中，如图6所示，图6是本发明另一些实施例提供的处理器的结构示意图。处理器c可包括：记录单元51、计算单元52、判断单元53和第二执行单元54。其中，

记录单元51用于获取所述触控输入的起始点坐标和终止点坐标，并记录所述起始点到所述终止点的时间；计算单元52用于根据所述起始点坐标、终止点坐标和时间，确定所述触控输入的速度、方向和距离；判断单元53用于当所述速度、方向和距离在预设阈值范围内时判断所述触控输入满足预设条件；第二执行单元54用于当所述触控输入满足预设条件时，将所述第一子屏幕的图像内容输出供第二子屏幕显示，或者所述处理器将预设的与所述第一子屏幕的图像内容相关联的信息输出供第二子屏幕显示。

根据本发明又一个实施例的多屏联动系统可对应于根据本发明一个实施例的多屏联动系统的互动显示方法中的执行主体，并且多屏联动系统中的各个模块的上述和其它操作或功能分别为了实现图1中的各个方法的相应流程，为了简洁，在此不再赘述。

利用本发明实施例提供的多屏联动系统，能够通过用户直接在屏幕上进行操作，实现将第一子屏幕的图像内容或预设相关信息输出供第二子屏幕显示，或者同时在第一子屏幕和第二子屏幕中显示图像内容，实现了不同触控屏幕之间的直接交互，可操作性强，而且不像现有技术那样需要多台能够独立运行的计算设备，从而大大降低了成本。

上述示例可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。