一种多屏交互方法及其系统与流程

本申请涉及通信技术领域，尤其涉及一种多屏交互方法及其系统。

背景技术：

随着多媒体压缩技术和网络通信技术的发展，媒体业务提供商推出了越来越多的高压缩比、高分辨率、高帧率的视频内容，它将极大地改善用户的视觉体验，丰富用户的娱乐生活。但要播放这些高压缩比、高分辨率、高帧率的视频内容，对终端播放器的计算能力和数据处理能力也提出了很高的要求。再现有的具有大显示屏的播放设备（例如：机顶盒、电视机等）进行操作复杂的操作过程比较麻烦，客户体验较差。而具有小显示屏的移动设备（手机、平板电脑等）直接查看数据时，查看细节不方便。

此外，播放设备接收移动终端同步的数据进行播放又容易出现跳帧情况。

技术实现要素：

本申请的目的在于提供一种多屏交互方法及其系统，能够简化显示终端操作过程，以及提升操作终端查看数据的效果。

为达到上述目的，本申请提供一种多屏交互方法，包括如下步骤：接收操作终端发送的接入请求，并完成设备接入；与当前完成设备接入的操作终端进行绑定，并建立实时通信通道；通过实时通信通道接收并显示交互行为，其中，交互行为的交互类型包括：同步数据或操作指令。

如上的，其中，与当前完成设备接入的操作终端进行绑定，并建立实时通信通道的子步骤如下：向操作终端发送完成接入信息，其中，完成接入信息至少包括：操作终端的身份码；接收操作终端收到完成接入信息后反馈的显示屏抢占请求，完成显示屏连接；完成显示屏连接后，完成实时通信通道的建立。

如上的，其中，通过实时通信通道接收并显示交互行为的子步骤如下：确定交互行为的交互类型，其中交互类型包括：同步数据或操作指令中的至少一种；根据交互类型对交互行为进行处理并显示。

如上的，其中，当交互类型为同步数据时，通过实时通信通道接收并显示同步数据的子步骤如下：获取同步数据，并判断同步数据的数据类型；根据数据类型对同步数据进行数据检测，生成检测结果；根据检测结果对同步数据进行处理，生成处理后同步数据；将处理后同步数据同步至显示屏进行显示。

如上的，其中，若数据类型为视频数据，则对视频数据进行检测的子步骤如下：获得解码视频数据中一帧图像的最大允许时间和平均时间；利用最大允许时间和平均时间获得播放能力参数。

如上的，其中，利用最大允许时间和平均时间获得播放能力参数的具体公式如下：；其中，为播放能力参数；为平均时间；为最大允许时间。

本申请还提供一种多屏交互系统，包括：显示终端和操作终端；其中，显示终端：用于执行上述的多屏交互方法；操作终端：用于向显示终端发送接入请求，与显示终端建立实时通信通道，并通过实时通信通道向显示终端发送同步数据或操作指令。

如上的，其中，显示终端包括：显示屏、数据处理装置和云端存储；其中，云端存储：用于存储历史标志码；用于存储显示终端上报的操作日志；用于接收同步的交互行为；数据处理装置：用于从云端存储中获取交互行为，对交互行为中的同步数据进行处理，并生成处理后同步数据；显示屏：用于接收并显示同步数据或操作指令。

如上的，其中，数据处理装置包括：数据获取单元、检测单元和数据处理单元；其中，数据获取单元：用于从云端存储获取同步数据，对同步数据进行数据类型判断；检测单元：根据数据类型对相应的同步数据进行数据检测，生成检测结果；数据处理单元：接收检测结果，并根据检测结果对同步数据进行处理，生成处理后同步数据，并将处理后同步数据同步至显示屏进行显示。

如上的，其中，操作终端具有显示单元，显示单元的尺寸小于显示屏的尺寸。

本申请实现的有益效果如下：

（1）显示终端用于显示交互行为，操作终端用于进行操作，其中显示终端的显示屏（大屏幕）能提供和展示更多操作终端的显示单元（小屏幕）不具备的细节，便于用户查看数据的细节内容，将显示终端的复杂操作通过操作终端进行操作，能够更轻便的进行交互操作（例如更换角度、缩放细节和滑动等操作）以交互查看展示内容信息，具有提高用户操作的易用性、便利性和可靠性的效果。

（2）显示终端与操作终端之间以异步交互为主，即无需等待任何响应，接收到交互行为进行解密后，对需要作出响应的再进行内容展示或效果表现，具有传输效率更高和通信延迟更低的优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为多屏交互系统一种实施例的结构示意图；

图2为多屏交互方法一种实施例的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供一种多屏交互方法及其系统，能够简化显示终端操作过程，以及提升操作终端查看数据的效果。

如图1所示，本申请提供一种多屏交互系统，包括：显示终端110和操作终端120。

其中，显示终端：用于执行下述的多屏交互方法。

操作终端：用于向显示终端发送接入请求，与显示终端建立实时通信通道，并通过实时通信通道向显示终端发送同步数据或操作指令。具体的，操作终端为可手持设备，例如：手机，pad等。

进一步的，显示终端包括：显示屏、数据处理装置和云端存储。

其中，云端存储：用于存储历史标志码；用于存储显示终端上报的操作日志；用于接收同步的交互行为。

数据处理装置：用于从云端存储中获取交互行为，对交互行为中的同步数据进行处理，并生成处理后同步数据。

显示屏：用于接收并显示同步数据或操作指令。

进一步的，数据处理装置包括：数据获取单元、检测单元和数据处理单元。

其中，数据获取单元：用于从云端存储获取同步数据，对同步数据进行数据类型判断。

检测单元：根据数据类型对相应的同步数据进行数据检测，生成检测结果。

数据处理单元：接收检测结果，并根据检测结果对同步数据进行处理，生成处理后同步数据，并将处理后同步数据同步至显示屏进行显示。

进一步的，操作终端具有显示单元，显示单元的尺寸小于显示屏的尺寸。

如图2所示，本申请提供一种多屏交互方法，包括如下步骤：

s210：接收操作终端发送的接入请求，并完成设备接入。

进一步的，接收操作终端发送的接入请求，并完成设备接入的子步骤如下：

q1：接收操作终端发送的接入请求。

具体的，显示终端启动后，操作终端通过显示终端的临时通信通道向显示终端发送接入请求，显示终端接收到接入请求后，执行q2。其中，接入请求包括：操作终端的安全性证书和操作终端标识码。

q2：对接入请求进行处理，生成认证结果。

进一步的，对接入请求进行处理，生成认证结果的子步骤如下：

q210：对接入请求中的标识码进行识别，生成识别结果。

具体的，识别结果包括：无需认证和需要认证。显示终端接收到接入请求后，对接入请求中的标识码进行识别，若识别该标识码为历史标识码，则生成的识别结果为无需认证；若识别该标识码为新标识码，则生成的识别结果为需要认证。显示终端生成识别结果后，执行q220。

其中，历史标志码为显示终端曾经完成设备接入的操作终端的标志码。新标志码为第一次向显示终端发送接入请求的操作终端的标志码。

q220：分析识别结果，若识别结果为无需认证，则直接生成认证结果；若识别结果为需要认证，则对接入请求中的安全性证书进行认证，并生成认证结果。

具体的，认证结果包括：认证成功和认证失败。若显示终端分析识别结果为无需认证，则直接生成认证结果，该认证结果为认证成功。若显示终端分析识别结果为需要认证，则对接入请求中的安全性证书进行认证，若认证安全性证书为合法的，则生成认证成功；若认证安全性证书为不合法的，则生成认证失败。显示终端生成认证结果后，执行q3。

q3：若认证结果为认证成功，则完成设备接入；若认证结果为认证失败，则生成操作日志，并将操作日志自动上报至云端。

具体的，显示终端生成认证结果后，对认证结果进行判断，若认证结果为认证成功，则完成设备接入，执行s220；若认证结果为认证失败，则将本次的操作相关数据生成操作日志，并自动上传至云端存储，存储的操作日志用于做数据分析或风险监控。

s220：与当前完成设备接入的操作终端进行绑定，并建立实时通信通道。

进一步的，与当前完成设备接入的操作终端进行绑定，并建立实时通信通道的子步骤如下：

w1：向操作终端发送完成接入信息，其中，完成接入信息至少包括：操作终端的身份码。

具体的，完成设备接入后，显示终端向操作终端发送完成接入信息，操作终端接收到完成接入信息后，向显示终端反馈显示屏抢占请求，并执行w2。

w2：接收操作终端收到完成接入信息后反馈的显示屏抢占请求，完成显示屏连接。

进一步的，接收操作终端反馈的显示屏抢占请求，完成显示屏连接的子步骤如下：

e1：检查显示屏的当前连接状态，并生成状态结果。

具体的，显示终端对显示屏的连接状态进行检查，若检查当前显示屏处于与历史的操作终端连接的状态，则生成的状态结果为已占有；若检查当前显示屏处于未与任何操作终端连接的状态，则生成的状态结果为未占有。生成状态结果后，执行e2。

e2：根据状态结果对操作终端进行显示屏连接。

进一步的，根据状态结果对操作终端进行显示屏连接的子步骤如下：

e210：分析状态结果，若状态结果为已占有，则执行e220；若状态结果为未占有，则执行e230。

e220：向操作终端发送显示屏抢占指令，并断开与历史的操作终端的连接，执行e230。

具体的，当状态结果为已占有时，表示当前显示屏与历史的操作终端处于连接状态，显示终端向新接入的操作终端发送显示屏抢占指令。新接入的操作终端接收到显示屏抢占指令后，对显示屏进行抢占，抢占成功后，显示终端断开与上一操作终端的数据同步，执行e230。

e230：完成显示屏连接。

具体的，显示终端完成与操作终端的显示屏连接后，执行w3。

w3：完成显示屏连接后，完成实时通信通道的建立。

具体的，完成显示屏连接后，完成实时通信通道的建立的子步骤如下：

w310：向操作终端发送显示屏连接成功信息。

具体的，显示终端完成与操作终端的显示屏连接后，向操作终端发送显示屏连接成功信息，并执行w320。

w320：判断在预设的时间范围内是否接收到交互请求，若在预设的时间范围内接收到交互请求，则完成实时通信通道的建立；若在预设的时间范围内未接收到交互请求，则向操作终端发送重新绑定指令；其中，交互请求为操作终端接收到显示屏连接成功信息后发送的信息。

具体，作为一个实施例，预设的时间范围为：显示终端向操作终端发送显示屏连接成功信息后的连续3个，。若显示终端在预设的时间范围内未接收到同一操作终端的交互请求，则主动断开与当前操作终端的连接，并向该操作终端发送重新绑定指令。若该操作终端需再次连接，则根据重新绑定指令重新执行s220。若显示终端在预设的时间范围内接收到交互请求，则完成实时通信通道的建立，并执行s230，立即与该操作终端进行数据同步和回显。

具体的，实时通行通道的通信协议保持当前信息+前3次信息为一个信息单元的方式进行广播，能够有效减少丢包、断包、粘包等造成的数据不一致。

s230：通过实时通信通道接收并显示交互行为。

具体的，实时通信通道建立完成后，操作终端将交互行为异步发送至云端存储，显示终端的数据处理装置从云端存储获取交互行为并处理，将处理后同步数据同步至显示屏进行展示。

进一步的，通过实时通信通道接收并显示交互行为的子步骤如下：

p1：确定交互行为的交互类型，其中交互类型包括：同步数据或操作指令中的至少一种。

具体的，显示终端获取到交互行为后，对交互行为的交互类型进行确定。

p2：根据交互类型对交互行为进行处理并显示。

具体的，确定交互类型后，根据交互类型对交互行为进行处理，若交互类型为操作指令，则直接将操作指令显示于显示屏，并根据操作指令进行操作；若交互类型为同步数据，则对同步数据进行检测和处理，并将处理后同步数据显示于显示屏。

进一步的，当交互类型为同步数据时，通过实时通信通道接收并显示同步数据的子步骤如下：

r1：获取同步数据，并判断同步数据的数据类型。

具体的，数据获取单元从云端存储获得到同步数据后，对同步数据的数据类型进行判断，确定数据类型，执行r2。

其中，同步数据的数据类型至少包括：视频数据、图像数据、音频数据或文本数据。

r2：根据数据类型对同步数据进行数据检测，生成检测结果。

具体的，作为第一个实施例，若数据类型为图像数据，则对图像数据的清晰程度和损坏程度进行检测，若图像数据的清晰程度符合预设阀值，且无损坏，则将图像数据同步至显示屏进行展示。

具体的，作为第二个实施例，若数据类型为音频数据，则对音频数据的清晰程度和损坏程度进行检测，若音频数据的清晰程度符合预设阀值，且无损坏，则将音频数据同步至显示屏进行播放。

具体的，作为第三个实施例，若数据类型为视频数据，则对视频数据进行检测的子步骤如下：

r210：获得解码视频数据中一帧图像的最大允许时间和平均时间。

具体的，检测单元根据获取的视频数据的帧率和解码该帧视频图像所需的时间获取解码一帧图像的最大允许时间和解码一帧图像的平均时间。

r220：利用最大允许时间和平均时间获得播放能力参数。

进一步的，利用最大允许时间和平均时间获得播放能力参数的具体公式如下：

；

其中，为播放能力参数；为平均时间；为最大允许时间。

r230：对播放能力参数进行判断，生成检测结果，其中，检测结果包括：有跳帧和无跳帧。

具体的，若检测单元判断数据获取单元获取到的视频数据的，该视频可能出现跳帧状况，则生成的检测结果为有跳帧，将该视频数据发送至数据处理单元，执行r3。

若检测单元判断，表示该视频数据显示时不具有跳帧状况，则生成的检测结果为无跳帧，直接同步至显示屏进行展示。

r3：根据检测结果对同步数据进行处理，生成处理后同步数据。

具体的，作为一个实施例，当同步数据为视频数据时，根据检测结果对同步数据进行处理，生成处理后同步数据的子步骤如下：

r310：确定跳帧数据的跳帧位置。

具体的，数据处理单元接收可能具有跳帧状况的视频数据，并对视频数据进行二次检查，若二次检查中的视频数据不具有跳帧位置，则表示该视频数据不存在跳帧状况，直接将该视频数据作为处理后同步数据，执行r4。若二次检查中的视频数据具有跳帧位置，则确定跳帧位置，执行r320。

r320：对确定的跳帧位置的前后帧图像进行图像匹配，插值获得插值图像。

具体的，图像匹配方法可采用压缩优先过滤（cpf）匹配算法，但不仅限于cpf匹配算法，还可以采用基于灰度的匹配算法、基于特征的匹配算法、基于关系的匹配算法等。

r320：将插值图像与待处理图像进行对比，生成对比结果。

其中，待处理图像为原始输入图像的带局部补偿的跳帧编码帧。插值图像为待处理图像的插值参考图像。

进一步的，作为另一个实施例，获取待处理与插值中间图像对应的相同位置区域之间的匹配度，根据匹配度生成比对结果，子步骤如下：

y1：获取第一信噪比阀值和插值图像中块的客观信噪比。

具体的，根据匹配概率，将图像中的所有块的信噪比直方图化，即可以得到相应的第一信噪比阀值。

具体的，获取插值图像与待处理图像对应的相同位置区域的失配标识位的公式如下：

；

其中，

；

其中，为块的失配标识位，即图像匹配模型在块中的有效性；为插值图像中与待处理图像第个块相同位置的块；为块的信噪比；为第一信噪比阀值，信噪比阀值的取值与匹配概率相关；为匹配概率；为一帧图像内的所有块的总数；为自然数，。

具体的，当时，表示匹配；当时，表示失配。获取到后，执行y2。

y2：利用第一信噪比阀值和插值图像中块的客观信噪比，获取待处理图像插值图像对应的相同位置区域的的跳跃标志位，根据跳跃标志为生成对比结果。

进一步的，获取插值图像fr帧与待处理图像f帧对应的相同位置区域的跳跃标志位的子步骤如下：

；

其中，

；

；

其中，为块跳跃标志位；为待处理图像第个块相同位置的块；为插值图像中的块的信噪比；为信噪比判决阈值；为第一信噪比阀值；为引入的第二信噪比阀值；为表示插值图像整幅图像的平均信噪比；为失配的块的信噪比与平均信噪比的最小距离。

具体的，若，则对块需要进行编码处理，比对结果为需要处理；反之，则不需要对其进行编码，只需要传递标志位比对结果为无需处理。其中，块跳跃标志位即为匹配度。

具体的，作为另一个实施例，数据处理单元将插值图像与待处理图像进行对比，若插值图像与待处理图像对应位置的区域的相识度高（相似度大于或等于相似度阀值80%），则对比结果为无需处理。若插值图像与待处理图像对应的相同位置的区域的相似度低（相似度小于相似度阀值80%），则对比结果为需要处理。

r330：根据对比结果对待处理图像进行处理，获得补码图像。

具体的，当对比结果为无需处理时，直接使用插值图像中的相同区域替换待处理图像中的该区域，替换后的待处理图像为补码图像。当对比结果为需要处理时，则对待处理图像中的该区域进行补码处理，获得补码图像。获得补码图像后，执行r340。

r340：将补码图像插入视频数据的相应跳帧位置后，作为处理后同步数据。

具体的，数据处理单元获得处理后同步数据后，执行r4。

进一步的，作为又一实施例，交互类型包括同步数据和操作指令中两种，其中，操作指令为滑动，同步数据为图像数据或文本数据时，对跳帧数据进行处理，可结合手指在操作终端的屏幕上的滑动距离和滑动时间进行计算后自动补偿中间帧，该方式能够避免在用户视觉上出现跳帧。

r4：将处理后同步数据同步至显示屏进行显示。

具体的，对支持展示webp格式的显示屏优先展示，具有用带宽更小，减少用户等待时间的优点。

本申请实现的有益效果如下：

（1）显示终端用于显示交互行为，操作终端用于进行操作，其中显示终端的显示屏（大屏幕）能提供和展示更多操作终端的显示单元（小屏幕）不具备的细节，便于用户查看数据的细节内容，将显示终端的复杂操作通过操作终端进行操作，能够更轻便的进行交互操作（例如更换角度、缩放细节和滑动等操作）以交互查看展示内容信息，具有提高用户操作的易用性、便利性和可靠性的效果。

（2）显示终端与操作终端之间以异步交互为主，即无需等待任何响应，接收到交互行为进行解密后，对需要作出响应的再进行内容展示或效果表现，具有传输效率更高和通信延迟更低的优点。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，本申请的保护范围意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请保护范围及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。