一种智能手机遥控智能电视的交互方法
【专利摘要】本发明提出一种智能手机遥控智能电视的交互方法，以解决智能手机遥控智能电视过程中用户视觉和记忆负担过重问题。该发明方法在智能手机和智能电视上设立交互模块，这些模块用于通信、操作控制或显示处理，智能手机通过无线信道对智能电视进行控制，实现对智能电视视频播放的操作和信息分享。本发明方法能够将智能手机遥控智能电视过程中的视线从手机屏幕上解脱出来，增强智能手机和智能电视之间的交互，解决现有智能电视遥控设备的不足，减少遥控设备的生产成本。
【专利说明】一种智能手机遥控智能电视的交互方法
【技术领域】
[0001]本发明涉及一种智能终端间的交互方法，建立一种新型人机交互模型，利用智能手机对智能电视进行高效控制，属于软件工程、人机交互、移动计算交叉技术应用领域。
【背景技术】
[0002]智能电视具有全开放式平台，能够不断给用户带来丰富的个性化体验，其搭载相应的操作系统，用户在欣赏普通电视内容的同时，可以自行安装和卸载各类应用软件，持续对功能进行扩充和升级的新电视产品。
[0003]智能手机目前得到了广泛的发展，具有众多应用程序，这些应用程序区别于以往的程序，它们的重点是为用户提供交互平台，提供生活服务。智能手机的普及率越来越高，大多数用户日益熟悉其操作方式。
[0004]在智能电视使用中，传统的遥控设备实现成本较高，对于实现文字输入非常麻烦，另外操作方式单一，不适合对智能电视有效控制。通过智能手机控制智能电视是一种具有较好前景的方式，该方式不但方便用户操作也节省了成本，更重要的是，智能手机拥有除了与智能电视通信外更多的功能，可以将智能手机拥有的功能与智能电视联系，将二者的优点相互结合。
[0005]本发明给出一种智能手机遥控智能电视的交互方法，该方法相比由按键构成的传统遥控器，通过触摸方式实现控制的智能手机更符合用户的使用习惯，可以实现滑动、拖动等操作；同时，整个手机屏幕都能感应触摸动作，使用这种控制方式用户不必像传统遥控一样寻找按键，用户不用观看手机屏幕就能完成操作，减轻了用户视线转换的负担。同时，有效地减轻了用户的记忆负担。
【发明内容】
[0006]技术问题:本发明所述一种智能手机遥控智能电视的交互方法，目的是解决现有智能电视遥控设备的不足，减轻用户视觉和记忆的负担，增强设备间的交互，提供一种新型交互方法。
[0007]技术方案:本发明所述一种智能手机遥控智能电视的交互方法，采用智能手机作为智能电视的遥控设备，在智能手机上建立第一通信交互模块CMl、功能交互模块FM和播放控制模块PCM，在智能电视上建立第二通信交互模块CM2和屏幕显示模块DM，所述交互模块是智能手机或智能电视上相对独立的功能区，这些功能区具有通信、操作控制或显示处理功能，所建立的第一通信交互模块CMl和第二通信交互模块CM2具有设备间通信功能；
[0008]播放控制模块PCM在智能手机上具有操作控制功能和播放控制功能，屏幕显示模块DM在智能电视上具有屏幕显示处理功能；
[0009]智能手机第一通信交互模块CMl最先接受用户的启动命令，与智能电视第二通信交互模块CM2建立网络通信，智能手机开始启动功能交互模块FM，第一通信交互模块CMl与第二通信交互模块CM2在W1-Fi局域网中建立连接；[0010]智能手机功能交互模块FM利用第一通信交互模块CMl与智能电视通信，功能交互模块FM接受、处理来自用户的外部输入，在智能手机屏幕上显示来自智能电视的信息，所述信息包括文体和图片；功能交互模块FM启动手机软键盘将智能手机获得的文字传送给第一通信交互模块CM1，第一通信交互模块CMl对数据进行处理后传送给智能电视；另外，功能交互模块FM中提供外部程序访问接口，通过接口向手机设备申请启动社交网络程序，手机设备授权使用权限后，编辑文字和图片信息发送到外部网络应用，所述外部网络应用包括微博、微信、社交网络；
[0011]智能手机功能交互模块FM接收到输入事件后将该事件信息传送给播放控制模块PCM,播放控制模块PCM根据输入事件来控制正在播放的视频，监听手机屏幕，支持手机上的触碰输入事件、传感器输入事件、手势输入事件；所述的触碰输入事件是指手指在手机屏幕上点击、按住、拖动动作；所述的传感器输入事件是指手机上的加速度传感器检测到的状态变化；所述的手势输入事件是指手指在屏幕画出图形；播放控制模块PCM接受外部因素的变化生成播放控制命令，外部因素包括用户操作、手机状态变化，播放控制模块PCM将命令传递给第一通信交互模块CMl处理后再发送给智能电视；
[0012]智能电视第二通信交互模块CM2接收智能手机第一通信交互模块CMl的启动命令后，建立交互模式，处理和传递智能电视屏幕显示模块DM发送来的信息，将智能电视产生的数据发送给手机端；
[0013]智能电视屏幕显示模块DM接收到第二通信交互模块CM2传递来的数据和命令后，屏幕显示模块DM在智能电视后台执行操作，将结果更新显示在屏幕上，驱动电视屏幕变化，同时将结果内容提交给第二通信交互模块CM2进而传递给智能手机；屏幕显示模块DM支持视频播放，接收智能手机的播放命令便开始播放视频，在播放过程中，接收智能手机发送的播放控制命令控制视频，屏幕显示模块DM在屏幕上方显示提示信息，这些信息反馈操作结果；
[0014]在智能手机第一通信交互模块CMl和智能电视的第二通信交互模块CM2通信中，智能手机通过无线信道采用TCP/IP协议与智能电视通信；TCP协议完成数据的传输，UDP协议完成命令的传输，数据和命令采用队列数据结构，保存在内存上，发送时将数据或命令与当前时间一起封装成数据包，手机和电视分别在内存上建立两个队列，一个用于保存TCP发送和接收的数据，另一个用于保存UDP发送和接收的命令，第一通信交互模块CMl和第二通信交互模块CM2发送数据或者命令时，先存放在内存的队列中等待发送；接收到数据或命令后，先存放在内存的队列中，根据数据包中的时间信息确定处理顺序，时间早的先处理；
[0015]智能手机功能交互模块FM维护一个来电监听功能，来电时间发生时，功能交互模块FM向智能电视发出暂停指令，然后将来电信息发送到智能电视，智能电视屏幕显示模块DM暂停当前播放的视频在屏幕上方显示来电号码提醒用户手机有来电；用户挂断电话后，视频正常播放，手机屏幕回到交互模式。
[0016]该方法包含的步骤为:
[0017]步骤1:智能手机第一通信交互模块CMl发出启动命令，
[0018]步骤2:智能手机检测网络状态，根据当前的网络状态做出判断，如果智能手机与智能电视之间的W1-Fi局域网连接失败，智能手机与智能电视之间的交互建立结束，如果智能手机与智能电视之间的W1-Fi局域网连接成功，智能电视同意建立连接，智能手机与智能电视之间的交互建立成功；
[0019]步骤3:智能电视第二通信交互模块CM2接收智能手机发送来的命令，在接收到第一条命令时建立起交互模型；
[0020]步骤4:智能电视屏幕显示模块DM与智能手机功能交互模块FM建立连接，按照据权利要求1所述的方法进行交互；在上述过程中，智能电视和智能手机根据预先设定的时间定期检测网络状态，如果智能手机与智能电视之间的W1-Fi局域网连接失败，智能手机与智能电视之间的交互建立结束；
[0021]步骤5，当智能手机有输入事件发生而要求进行播放操作时，智能电视屏幕显示模块DM与智能手机播放控制模块PCM建立连接，按照据权利要求1所述的方法进行交互，播放操作完成后，进入步骤4;在上述过程中，智能电视和智能手机根据预先设定的时间定期检测网络状态，如果智能手机与智能电视之间的W1-Fi局域网连接失败，智能电视退出交互模式，智能手机与智能电视之间的交互建立结束；当智能手机没有播放操作时，进入步骤4 ；
[0022]在步骤2、步骤4和步骤5中，所述智能手机与智能电视之间的W1-Fi局域网连接失败是智能手机与智能电视之间的W1-Fi局域网连接超过预先设定的网络延迟时间，所述的网络延迟是指等待网络数据到达的时间超过一个预定的时间值。
[0023]有益效果:本发明给出一种智能手机遥控智能电视的交互方法，具有如下的有益效果:
[0024](I)本发明所述的一种智能手机遥控智能电视的交互方法中，通过使用智能手机遥控智能电视，避免了传统遥控设备的生成成本；用户只需在手机上安装遥控软件，设备间建立网络连接后，便可以通过手机软件控制智能电视。
[0025](2)本发明所述的一种智能手机遥控智能电视的交互方法中，提供了友好的人机交互模型；相比由按键构成的传统遥控器，通过触摸方式实现控制的智能手机更符合用户的使用习惯，同时便于实现滑动、拖动等操作；整个手机屏幕都能感应触摸动作，使用这种控制方式用户不必像传统遥控一样寻找按键，用户不用观看手机屏幕就能完成操作，减轻了用户视线转换的负担。同时，用户通过手机输入法方便的输入中英文到电视中，克服了传统遥控的技术瓶颈。建立了清晰的用户心理模型，用户可以准确地推断出每个手机界面上应该有的功能，减轻用户的记忆负担。
[0026](3)本发明所述的一种智能手机遥控智能电视的交互方法中，有效地结合了两类设备所具有的特性，观看电视的同时，用户可以将自己喜欢的内容通过社交网络推荐给好友。
【专利附图】
【附图说明】
[0027]图1是智能手机与智能电视通信示意图。
[0028]图2是智能手机遥控智能电视交互方法的模块图。
[0029]图3是智能手机运行时界面状态机图。
[0030]图4是智能手机遥控智能电视交互方法的流程图。【具体实施方式】
[0031]本发明涉及一种智能终端间的交互方法，主要是利用智能手机对智能电视进行控制，建立不同模块、以触摸方式实现控制操作，将视线从手机屏幕上解脱出来，将智能电视中的信息(截屏、视频信息等)通过智能手机分享到社交网络。图1给出了智能手机和智能电视的通信示意图。
[0032]在智能手机遥控智能电视具体实施中，在智能手机和智能电视上建立交互模块，图2给出了智能手机遥控智能电视交互方法的模块图。智能手机端拥有三个交互模块:第一通信交互模块CM1、功能交互模块FM、播放控制模块PCM ;智能电视端拥有两个交互模块:第二通信交互模块CM2、屏幕显示模块DM。
[0033]在智能手机遥控智能电视具体实施中，利用现有的无线WiFi技术实现设备间的通信，智能手机通过IP地址绑定智能电视，如图1所示.采用点对点的方式进行连接，在具体实施中，设备间采用TCP和UDP通信协议，UDP传送命令，TCP传送数据。
[0034]在智能手机遥控智能电视具体实施中，智能手机首先发出控制指令，智能电视响应命令。在视频播放的过程中，智能手机可以获得智能电视端的相关信息，如视频信息、截屏等，实现分享。在整个过程中，用户可以通过手机输入法输入汉字或外文，克服了传统遥控的技术瓶颈。
[0035]在具体实施中，图3给出了典型交互场景下的智能手机界面状态机图，图4是智能手机遥控智能电视交互方法的流程图。智能手机接收用户启动，第一通信交互模块CMl开始预处理工作，智能手机进入一个欢迎界面，图3中的状态SI，这个过程实现两个作用:第一，防止用户不小心启动程序，避免了对智能电视的错误启动；第二，第一通信交互模块CMl获得时间做预处理工作，减少了用户的等待时间。在欢迎界面，用户点击按钮“开始”，第一通信交互模块CMl向第二通信交互模块CM2发出交互建立申请，如果W1-Fi网络正常，第二通信交互模块CM2接收命令启动屏幕显示模块DM，交互建立，手机端功能交互模块FM启动，手机界面状态进入视频目录界面，图3中的状态S2，该界面显示了智能电视上可播放的视频文件夹；另外，如果W1-Fi网络异常，交互建立失败。交互建立后，手机端FM模块工作，电视端屏幕显示模块DM工作，第一通信交互模块CMl和第二通信交互模块CM2负责通信工作，在文件目录界面选择某一目录后，可以看到该目录下的可播放视频，即进入了视频列表界面，图3中的状态S3。在文件目录和视频列表界面，我们可以在搜索框中输入要查找的视频名称，点击按钮“搜索”实现查找，结果显示在搜索结果界面，图3所示的状态S4。在视频列表界面或者搜索结果界面，我们都可以选择一个视频查看视频的介绍，即进入视频详细信息界面，图2中的状态S5。在以上的手机端功能交互模块FM和电视端屏幕显示模块DM工作过程中，功能交互模块FM维护手机端变化、屏幕显示模块DM维护电视端变化，每次通信要检测网络状态，如果通信延迟超过5s，交互过程结束。在视频详细信息界面，我们可以查看到与视频有关的介绍信息，通过按钮“在电视上播放”进入了播放控制界面(图2中的状态S6)，在播放控制界面我们能实现对视频播放的控制，这样手机端播放控制模块PCM开始工作，由播放控制模块PCM和智能电视的屏幕显示模块DM负责交互过程，播放控制模块PCM将外部因素变化转变为命令通过第一通信交互模块CMl和第二通信交互模块CM2发送给屏幕显示模块DM。也可以结束当前视频的播放，这样手机端由播放控制模块PCM回到了功能交互模块FM，功能交互模块FM和屏幕显示模块DM来完成交互任务。在手机的功能交互模块FM和播放控制模块PCM可以退出交互过程。
[0036]在智能手机遥控智能电视具体实施中，通过触摸操作和系统键来实现播放控制，这中人性化的交互方法用于克服传统遥控方式只依靠按键的缺陷。另外，触摸操作可以免视实现，即操作时不用观看手机界面，具体控制方式如下:
[0037]步骤1:手指或者触屏设备在手机屏幕上连续点击两次实现暂停功能，再点击两次继续播放；
[0038]步骤2:手指或者触屏设备在手机屏幕上点击后向前拖动，实现播放进度条向前移动功能；
[0039]步骤3:手指或者触屏设备在手机屏幕上点击后向后拖动，实现播放进度条向后移动功能；
[0040]步骤4:视频播放时，手指或者触屏设备在手机屏幕上连续点击两次视频暂停后，向前快速滑动再离开屏幕后，实现按倍数快进功能；
[0041]步骤5:视频播放时，手指或者触屏设备在手机屏幕上连续点击两次视频暂停后，向后快速滑动再离开屏幕后，实现按倍数快退功能；
[0042]步骤6:手指或者触屏设备在手机屏幕上长按会弹出对话框，用户可以选择社交程序和内容分享给好友；
[0043]步骤7:手指或者触屏设备在手机屏幕上上下滑动实现音量的增大和减小；或者通过手机音量键也可以调整音量；
[0044]步骤8:手指或者触屏设备在手机屏幕上画V图形能够实现截屏功能；或者按下手机照相键截屏。
[0045]在智能手机遥控智能电视具体实施中，智能电话拥有通话功能，当来电事件发生时，智能手机能够将来电信息及时的显示到智能电视端提示用户，用户可以根据需要做出选择，接听电话或者挂掉电话。
[0046]在智能手机遥控智能电视具体实施中，拖动方式实现的进度条需要测量触摸点到屏幕两侧的距离，当视频播放到40%时出现拖动操作，手指当前位置到手机屏幕最右端的距离平均分配后60%的播放进度，手指当前位置到手机屏幕最左端的距离平均分配前40%的播放进度。
[0047]在智能手机遥控智能电视具体实施中，由于拖动操作和滑动操作存在混淆，拖动操作是指用户手指或者触屏设备点击屏幕后有一个移动的动作，滑动动作是指用户手指或者触屏设备点击屏幕后有一个移动的动作，然后再有一个离开的动作，所以发生滑动操作时一定会发生拖动操作。为了解决该问题，通过双击改变信号量控制发生的次序。
[0048]在智能手机遥控智能电视具体实施中，智能手机上拥有功能交互模块FM和播放控制模块PCM。功能模块中，用户低头查看手机屏幕发出命令、接收智能电视端返回的数据，用户观察电视屏幕的变化，用户视线在两个屏幕间转换。播放控制模块中，用户在观看电视画面时操作手机实现对播放的控制，不用低头查看手机屏幕，减轻用户的视觉负担。在这种交互方法中，功能模块完成视频播放前的准备工作，播放控制模块完成视频播放控制。在具体实施中，区分两类模块将为用户建立清晰的心理模型，用户可以准确地推断出每个手机界面上应该有的功能，减轻用户的记忆负担。
【权利要求】
1.一种智能手机遥控智能电视的交互方法，其特征在于: 在智能手机上建立第一通信交互模块CMl、功能交互模块FM和播放控制模块PCM，在智能电视上建立第二通信交互模块CM2和屏幕显示模块DM，所述交互模块是智能手机或智能电视上相对独立的功能区，这些功能区具有通信、操作控制或显示处理功能，所建立的第一通信交互模块CMl和第二通信交互模块CM2具有设备间通信功能； 播放控制模块PCM在智能手机上具有操作控制功能和播放控制功能，屏幕显示模块DM在智能电视上具有屏幕显示处理功能； 智能手机第一通信交互模块CMl最先接受用户的启动命令，与智能电视第二通信交互模块CM2建立网络通信，智能手机开始启动功能交互模块FM，第一通信交互模块CMl与第二通信交互模块CM2在W1-Fi局域网中建立连接； 智能手机功能交互模块FM利用第一通信交互模块CMl与智能电视通信，功能交互模块FM接受、处理来自用户的外部输入，在智能手机屏幕上显示来自智能电视的信息，所述信息包括文体和图片；功能交互模块FM启动手机软键盘将智能手机获得的文字传送给第一通信交互模块CM1，第一通信交互模块CMl对数据进行处理后传送给智能电视；另外，功能交互模块FM中提供外部程序访问接口，通过接口向手机设备申请启动社交网络程序，手机设备授权使用权限后，编辑文字和图片信息发送到外部网络应用，所述外部网络应用包括微博、微信、社交网络； 智能手机功能交互模块FM接收到输入事件后将该事件信息传送给播放控制模块PCM，播放控制模块PCM根据输入事件来控制正在播放的视频，监听手机屏幕，支持手机上的触碰输入事件、传感器输入事件、手势输入事件；所述的触碰输入事件是指手指在手机屏幕上点击、按住、拖动动作；所述的传感器输入事件是指手机上的加速度传感器检测到的状态变化；所述的手势输入事件是指手指在屏幕画出图形；播放控制模块PCM接受外部因素的变化生成播放控制命令，外部因素包括用户操作、手机状态变化，播放控制模块PCM将命令传递给第一通信交互模块CMl处理后再发送给智能电视；` 智能电视第二通信交互模块CM2接收智能手机第一通信交互模块CMl的启动命令后，建立交互模式，处理和传递智能电视屏幕显示模块DM发送来的信息，将智能电视产生的数据发送给手机端； 智能电视屏幕显示模块DM接收到第二通信交互模块CM2传递来的数据和命令后，屏幕显示模块DM在智能电视后台执行操作，将结果更新显示在屏幕上，驱动电视屏幕变化，同时将结果内容提交给第二通信交互模块CM2进而传递给智能手机；屏幕显示模块DM支持视频播放，接收智能手机的播放命令便开始播放视频，在播放过程中，接收智能手机发送的播放控制命令控制视频，屏幕显示模块DM在屏幕上方显示提示信息，这些信息反馈操作结果; 在智能手机第一通信交互模块CMl和智能电视的第二通信交互模块CM2通信中，智能手机通过无线信道采用TCP/IP协议与智能电视通信；TCP协议完成数据的传输，UDP协议完成命令的传输，数据和命令采用队列数据结构，保存在内存上，发送时将数据或命令与当前时间一起封装成数据包，手机和电视分别在内存上建立两个队列，一个用于保存TCP发送和接收的数据，另一个用于保存UDP发送和接收的命令，第一通信交互模块CMl和第二通信交互模块CM2发送数据或者命令时，先存放在内存的队列中等待发送；接收到数据或命令后，先存放在内存的队列中，根据数据包中的时间信息确定处理顺序，时间早的先处理； 智能手机功能交互模块FM维护一个来电监听功能，来电时间发生时，功能交互模块FM向智能电视发出暂停指令，然后将来电信息发送到智能电视，智能电视屏幕显示模块DM暂停当前播放的视频在屏幕上方显示来电号码提醒用户手机有来电；用户挂断电话后，视频正常播放，手机屏幕回到交互模式。
2.根据权利要求1所述的一种智能手机遥控智能电视的交互方法，其特征在于该方法包含的步骤为: 步骤1:智能手机第一通信交互模块CMl发出启动命令， 步骤2:智能手机检测网络状态，根据当前的网络状态做出判断，如果智能手机与智能电视之间的W1-Fi局域网连接失败，智能手机与智能电视之间的交互建立结束，如果智能手机与智能电视之间的W1-Fi局域网连接成功，智能电视同意建立连接，智能手机与智能电视之间的交互建立成功； 步骤3:智能电视第二通信交互模块CM2接收智能手机发送来的命令，在接收到第一条命令时建立起交互模型； 步骤4:智能电视屏幕显示模块DM与智能手机功能交互模块FM建立连接，按照据权利要求I所述的方法 进行交互；在上述过程中，智能电视和智能手机根据预先设定的时间定期检测网络状态，如果智能手机与智能电视之间的W1-Fi局域网连接失败，智能手机与智能电视之间的交互建立结束； 步骤5，当智能手机有输入事件发生而要求进行播放操作时，智能电视屏幕显示模块DM与智能手机播放控制模块PCM建立连接，按照据权利要求1所述的方法进行交互，播放操作完成后，进入步骤4;在上述过程中，智能电视和智能手机根据预先设定的时间定期检测网络状态，如果智能手机与智能电视之间的W1-Fi局域网连接失败，智能电视退出交互模式，智能手机与智能电视之间的交互建立结束；当智能手机没有播放操作时，进入步骤4 ; 在步骤2、步骤4和步骤5中，所述智能手机与智能电视之间的W1-Fi局域网连接失败是智能手机与智能电视之间的W1-Fi局域网连接超过预先设定的网络延迟时间，所述的网络延迟是指等待网络数据到达的时间超过一个预定的时间值。
【文档编号】H04N21/422GK103561308SQ201310543036
【公开日】2014年2月5日 申请日期:2013年11月5日 优先权日:2013年11月5日
【发明者】王林章, 孙家旭, 李宣东, 陈志
申请人:南京大学