通信装置、通信方法和存储介质与流程
本发明涉及用于发送关于用户操作的信息的技术。
背景技术
近年来，用于对通信装置上显示的画面和/或由通信装置再现的音频进行无线镜像的技术被标准化为wi-fi显示(miracast)。镜像是如下的技术，该技术通过将图像数据和/或音频数据作为关于在发送装置上显示的画面和由发送装置再现的音频的信息经由网络发送到接收装置，使得发送装置和接收装置能够共享所显示的画面和/或所再现的音频。在wi-fi显示中，定义了源设备(sourcedevice)和沉设备(sinkdevice)。源设备发送图像数据和/或音频数据作为关于所显示的画面和/或所再现的音频的信息。沉设备从源设备接收图像数据和/或音频数据。
此外，用户输入返回信道(uibc)功能可以用于wi-fi显示。当使用uibc功能时，将操作信息从沉设备发送到源设备，以使源设备能够从沉设备操作。此时，将用户经由键盘、鼠标、遥控器等输入的操作信息作为操作信息从沉设备发送到源设备。
日本特开第2016-71638号公报讨论了上述镜像功能和沉设备从除源设备以外的外部设备获取数据并显示数据的内容重定向功能。在内容重定向功能中，源设备向沉设备发送关于存储在外部设备中的数据的信息，并且沉设备从外部设备获取数据并再现该数据。然后，根据数据类型等切换进行镜像的镜像模式和进行内容重定向的内容重定向模式。
在镜像模式下，如果使用uibc功能，则沉设备基于输入的用户操作将包括关于由用户操作指定的坐标的坐标信息的操作信息发送到源设备。此外，在镜像模式下，源设备和沉设备上显示的图像是相同的。因此，如果源设备基于接收到的操作信息进行处理，则在源设备上显示的图像上与坐标信息对应的坐标处，输入与对沉设备输入的用户操作相同的用户操作。因此，按照用户的意图对通过镜像的数据再现进行控制。
另一方面，在内容重定向模式下，即使包括坐标信息的操作信息像镜像模式下那样被发送到外部设备，也不能按照用户的意图对数据再现进行控制。这是因为，当在沉设备和外部设备上显示的图像不同或者在外部设备上没有显示时，如果外部设备基于接收到的操作信息进行处理，则进行与用户意图的操作不同的操作。为了控制内容重定向模式下的数据再现，沉设备需要生成包括诸如基于用户操作的临时数据挂起(temporarydatasuspension)等的信息的控制信息，并将控制信息发送到外部设备。
技术实现要素：
本发明旨在提供一种如下的技术，该技术用于基于输入用户操作的通信装置接收到的数据，是在其他通信装置上显示的图像相关的数据还是在其他通信装置或外部设备中存储的数据，来发送适当的信息。
根据本发明的一方面，一种通信装置，其能够在第一操作模式及第二操作模式下操作，在第一操作模式下，接收在其他通信装置处显示的图像相关的数据，并且在显示区域中显示在其他通信装置处显示的图像，在第二操作模式下，基于由其他通信装置接受的用户操作来接收其他通信装置或外部设备中存储的数据，并且在显示区域中显示所接收的在其他通信装置或外部设备中存储的数据相关的图像，该通信装置包括：接受单元，其用于接受对在第一操作模式或者第二操作模式下在显示区域中显示的图像的用户操作；以及发送单元，其用于在经由接受单元接受用户操作时，在通信装置在第一操作模式下操作的情况下，发送与表示通过对显示区域中显示的图像的用户操作而指定的位置的坐标相对应的坐标信息，而在通信装置在第二操作模式下操作的情况下，发送基于用户操作的控制信息。
通过下面参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1例示了通信系统的网络构造。
图2是例示通信装置101和102的硬件构造的框图。
图3是在通信装置101与102进行镜像时要实现的序列图。
图4是在通信装置102接受用户操作时要实现的流程图。
图5是在通信装置101从通信装置102接收基于用户操作的操作信息或控制信息时要实现的流程图。
图6是在通信装置101和102与云服务器104进行镜像时要实现的序列图。
图7是在通信装置101和102与云服务器104进行内容重定向时要实现的序列图。
图8是在通信装置101和102进行直接流式传输(directstreaming)时要实现的序列图。
具体实施方式
下面将参照附图详细描述本发明的示例性实施例。以下示例性实施例中描述的构造仅仅是示例，并且本发明不限于所例示的构造。
图1例示了根据本发明示例性实施例的通信系统的网络构造。网络110上的设备使用基于电气和电子工程师协会(ieee)802.11系列标准的无线通信方法进行通信。
通信装置101和102经由基于wi-fi显示规范(wi-fi
除了基于ieee802.11系列标准的无线通信，或代替该无线通信，设备可以使用基于不同无线通信方法的通信方法，诸如蓝牙(注册商标)、近距离无线通信、超宽带(uwb)、zigbee或多频带正交频分复用(ofdm)联盟(mboa)。此外，近距离无线通信的示例包括近场通信(在下文中称为“nfc”)。此外，uwb的示例包括无线通用串行总线(usb)、无线1394和wimedia网络。此外，可以使用基于诸如有线局域网(lan)等的有线通信方法的通信方法。
通信装置101的具体示例包括但不限于平板电脑、智能电话、个人计算机(pc)、移动电话、照相机和摄像机。此外，通信装置102的具体示例包括但不限于平板电脑、智能电话、pc、移动电话、电视机、头戴式显示器、投影仪、显示器、汽车导航设备以及诸如扬声器等的输出设备。
在通信装置101作为源设备并且通信装置102作为沉设备的状态下，通信装置101和102基于wi-fi显示规范进行镜像。此时，源设备和沉设备分别基于wi-fi显示规范进行数据发送处理和数据接收处理。在基于wi-fi显示规范的镜像中，源设备用作如下的发送设备，其用于经由网络向沉设备发送(流式传输)图像数据和/或音频数据的流作为关于所显示的画面和/或所再现音频的信息。图像数据是通过对在源设备上显示的画面进行编码而获得的数据，并且音频数据是通过对由源设备再现的音频进行编码而获得的数据。此外，沉设备用作用于接收图像数据和/或音频数据的流并且与源设备同步地再现流的接收设备。结果，源设备和沉设备共享源设备上显示的画面和/或源设备再现的音频。在下文中，使用镜像的流式传输模式(通信装置101和102的操作模式)将被称为“镜像模式”。不仅可以基于wi-fi显示还可以基于其他规范来进行镜像。
此外，通信装置101(源设备)和通信装置102(沉设备)可以使用内容重定向模式作为流式传输模式。在内容重定向模式下，源设备使沉设备从除源设备以外的外部设备获取数据，并使沉设备再现所获取的数据。此时，源设备向沉设备发送从外部设备获取数据所需的信息。沉设备要获取的数据例如是内容，并且包括图像数据、文档数据、音频数据和视频数据中的一者。沉设备要获取的数据还可以包括用于再现上述数据的软件数据、图形用户界面(gui)数据和元数据中的至少一者。
所需信息是关于外部设备上的内容的信息。关于内容的信息例如是用于识别外部设备上的内容的标识符、服务名称、关于内容的位置的信息(统一资源标识符(uri)，统一资源定位符(url))以及再现开始时间(偏移)。要接收的内容信息可以是上述信息中的一些。内容标识符是用于唯一确定内容的标识符。在本示例性实施例中，通信装置102基于从通信装置101接收的内容信息、经由接入点103接收作为外部设备的云服务器104上的内容，并再现接收到的内容。
此外，通信装置101(源设备)和通信装置102(沉设备)也可以使用直接流式传输模式作为流式传输模式。在直接流式传输模式下，源设备将在源设备中存储的数据发送到沉设备。沉设备接收并再现数据。在这种情况下，源设备可以以原始编码形式将数据发送到沉设备，而无需对数据进行解码和重新编码。沉设备要接收的数据例如是内容。
图2例示了通信装置101的硬件构造。
通信装置101包括存储单元201、控制单元202、功能单元203、输入单元204、输出单元205、通信单元206和天线207。
存储单元201包括诸如只读存储器(rom)或随机存取存储器(ram)等的存储器，并且存储诸如内容、用于执行将在下面描述的各种操作的程序以及用于无线通信的通信参数等的各种类型的信息。除了诸如rom或ram等的存储器之外，诸如软盘、硬盘、光盘、磁光盘、光盘rom(cd-rom)、可记录光盘(cd-r)、磁带、非易失性存储卡或数字多功能盘(dvd)等的存储介质可以用作存储单元201。此外，存储单元201可以包括多个存储器。
控制单元202包括诸如中央处理单元(cpu)或微处理器单元(mpu)等的处理器并且执行在存储单元201中存储的程序以综合地控制通信装置101。此外，控制单元202执行在存储单元201中存储的程序以实现作为源设备的镜像功能、内容重定向功能和直接流式传输功能。如这里所使用的，作为源设备的镜像功能指的是如下功能：向沉设备发送通过拍摄在源设备上显示的画面并对拍摄的画面进行编码而获得的图像数据以及通过对再现的音频进行编码而获得的音频数据。此外，作为源设备的内容重定向功能指的是如下的功能：向沉设备发送沉设备从除源设备以外的外部设备获取要在沉设备处再现的内容所需的信息。此外，作为源设备的直接流式传输功能是指将在存储单元201中存储的内容发送到沉设备的功能。
控制单元202可以与在存储单元201中存储的程序和操作系统(os)协作以综合地控制通信装置101。此外，控制单元202可以包括多个处理器，诸如多核处理器，并且多个处理器可以综合地控制通信装置101。
此外，控制单元202控制功能单元203执行诸如摄像和内容查看等的预定处理。功能单元203是通信装置101用以执行预定处理的硬件。例如，在通信装置101是照相机的情况下，功能单元203是摄像单元并进行摄像处理。此时，通信装置101使输出单元205在画面上显示由摄像单元生成的数据，并且通过控制单元202的镜像功能将数据发送到其他通信装置以执行镜像。作为另选，在通信装置101的存储单元201中存储的数据可以由输出单元205显示在画面上，并且可以如上所述执行镜像。
输入单元204接受来自用户的各种操作。输出单元205经由监视器画面和/或扬声器向用户进行各种类型的输出。如这里所使用的，由输出单元205进行的输出指的是画面上的显示、由扬声器进行的音频输出、振动输出等。输出单元205进行输出的画面是通信装置101的画面。作为另选，该画面可以是与通信装置101连接的其他装置的画面。此外，输入单元204和输出单元205可以通过诸如触摸面板等的单个模块来实现。
通信单元206控制基于ieee802.11系列的无线通信、诸如有线lan的有线通信和互联网协议(ip)通信。此外，通信单元206控制天线207发送和接收用于无线通信的无线信号。通信装置101经由通信单元206与通信装置102通信以交换图像数据、文档数据、音频数据、视频数据等。
此外，通信单元206的功能可以包括接收从通信装置102发送的操作信息。操作信息从通信装置102基于wi-fi显示规范的用户输入返回信道(uibc)功能而被发送。当使用uibc功能时，包括基于对图像的用户操作的坐标信息的操作信息被从通信装置102发送到通信装置101，以使通信装置101能够从通信装置102进行操作。在这种情况下，通信装置101可以将从通信装置102发送的操作信息视为对输入单元204的输入。
此外，通信单元206的功能可以包括接收从通信装置102发送的、用于控制通信装置101的控制信息。控制信息被存储在通信装置101中，并且包括作为关于被发送到通信装置102的内容的再现的控制信息的在线控制信息。更具体地，控制信息基于经由通信装置102接受的用户操作而在通信装置102处生成，并被发送到通信装置101。表示诸如开始、停止或暂停内容再现的指令等的指令的信息被包括为再现控制信息。再现控制信息还可以包括表示诸如快进或倒回内容或指定再现位置的指令等的指令的信息。接收到了控制信息的通信装置101基于控制信息中包括的再现控制信息来控制内容发送。例如，如果经由通信装置102接受用于暂停内容的用户操作，则通信装置102生成包括表示暂停内容的指令信息的控制信息作为再现控制信息，并将所生成的控制信息发送到通信装置101。接收到了控制信息的通信装置101基于控制信息中包括的再现控制信息暂停内容。
控制信息可以不包括再现控制信息。接受了用户操作的通信装置102可以根据用户操作来生成用于控制内容的控制信息，并将生成的控制信息发送到通信装置101。例如，如果输入用于停止内容的用户操作，则与通信装置101的通信被断开以停止接收内容。在这种情况下，在通信装置102处生成的控制信息可能需要至少包括表示断开与通信装置101的通信的指令的信息。
通信装置102具有与通信装置101类似的硬件构造。通信装置102的存储单元201、功能单元203、输入单元204、输出单元205和天线207与通信装置101中的类似，因此省略其描述。
通信装置102的控制单元202执行在存储单元201中存储的程序以实现作为沉设备的镜像功能、内容重定向功能和直接流式传输功能。如这里所使用的，作为沉设备的镜像功能是指如下的功能：接收、解码和再现，通过拍摄源设备上显示的画面并对拍摄的画面进行编码而获得的图像数据和/或编码的音频数据。此外，作为沉设备的内容重定向功能是指如下的功能：基于从源设备发送的信息、从除源设备以外的设备获取要再现的内容，并再现所获取的内容。此外，作为沉设备的直接流式传输功能是指接收和再现从源设备发送的内容的功能。
此外，通信装置102的通信单元206可以包括向通信装置101发送操作信息的发送功能。通信装置102基于wi-fi显示规范的uibc功能从用户操作生成包括坐标信息的操作信息，并将生成的操作信息发送到通信装置101。经由通信装置102的输入单元204输入的用户操作可以被视为对通信装置101的输入单元204的输入。操作信息的示例包括但不限于诸如键盘操作、鼠标操作、触摸操作、操纵杆操作、照相机控制操作、手势操作或遥控器操作等的用户操作信息。
此外，通信装置102的通信单元206的功能可以包括将包括再现控制信息的控制信息发送到作为外部设备的云服务器104。通信装置102基于接受的用户操作来生成用于控制云服务器104的控制信息，并且将所生成的控制信息发送到云服务器104。再现控制信息可以包括表示如下指令的信息：诸如开始、停止、或暂停内容再现等的指令，快进或倒回内容的指令，或指定再现位置的指令。此外，包括在控制信息中的再现控制信息可以包括关于在通信装置102当前正在再现的内容之后要再现的内容的信息。接收到控制信息的云服务器104基于控制信息中包括的再现控制信息控制内容的发送。例如，如果经由通信装置102接受了用于快进内容的用户操作，则通信装置102生成控制信息并将所生成的控制信息发送到云服务器104，该控制信息包括指示快进内容的指令的信息作为再现控制信息。接收到控制信息的云服务器104基于控制信息中包括的再现控制信息来快进内容。
控制信息可以不包括再现控制信息。接受了用户操作的通信装置102可以生成用于根据用户操作来控制内容的控制信息，并将所生成的控制信息发送到云服务器104。例如，如果输入停止内容的用户操作，则断开与云服务器104的通信以停止接收内容。在这种情况下，在通信装置102处生成的控制信息需要至少包括指示断开与云服务器104的通信的指令的信息。
通信装置102的通信单元206的功能可以包括将包括再现控制信息的控制信息发送到通信装置101。通信装置102基于接受的用户操作来生成控制信息，并将生成的控制信息发送到通信装置101。
通信装置101和102各自是能够显示图像和再现音频的装置。作为另选，通信装置101和102中的各个可以是能够显示图像和再现音频中的任一者的装置。
图3是当源设备(通信装置101)和沉设备(通信装置102)进行镜像时要实现的序列图。
首先，在步骤s301中，由用户对源设备的输入单元204进行镜像模式开始操作。开始操作的示例包括按下用于开始镜像模式的控制按钮的用户操作、启动预定应用的用户操作以及开始预定内容的再现的用户操作。
在步骤s302中，如果进行开始操作，则在源设备和沉设备之间进行设备搜索。更具体地，源设备发送基于ieee802.11系列的探测请求作为设备检测请求。接收到信号的沉设备发送基于ieee802.11系列的探测响应作为对该信号的响应。以这种方式，源设备和沉设备相互检测。然后，在步骤s303中，显示在源设备处检测到的设备的列表，并且从设备列表中选择连接目的地设备(沉设备)。
作为另选，沉设备可以发送探测请求，并且源设备可以发送探测响应以相互检测。此外，可以在沉设备处进行对连接目的地设备的选择。
此外，要用于设备搜索的信号可以是诸如基于wi-fi显示规范的、符合ieee802.11系列的信标信号等的无线信号。此外，源设备可以使用nfc、快速响应(qr)码(注册商标)、蓝牙低功耗(ble)等来检测连接目的地设备。例如，如果源设备的功能包括nfc功能，则可以通过nfc触摸操作来进行源设备和沉设备的配对，并且可以基于wi-fi显示标准来进行之后的通信。作为另选，源设备可读取显示在沉设备上的qr码并获取连接到沉设备所需的信息，并且可以基于wi-fi显示规范进行之后的通信。此外，如果源设备的功能包括ble通信功能，则源设备可以扫描ble兼容设备，与沉设备进行配对，并且基于wi-fi显示规范进行之后的通信。沉设备可以代替源设备检测连接目的地设备(源设备)。
接下来，在步骤s304中，源设备和沉设备设立连接。更具体地，进行wi-fi显示连接处理，然后进行传输控制协议(tcp)连接处理。进行wi-fi显示连接处理和tcp连接处理以完成连接的设立。
尽管建立wi-fi显示连接的方法可以从两种方法，即wi-fip2p方法或隧道直接链路建立(tdls)方法中选择，但是在本示例性实施例中基于wi-fip2p规范来进行建立。
这里将描述步骤s304的详情。首先，为了确定扮演构造无线网络的角色等的组所有者(go)，源设备发送go协商请求。该信号包括源设备的意图值。被确定为go的设备扮演与wi-fip2p无线通信中的接入点的角色类似的角色。未被确定为go的设备成为客户端并扮演站的角色。
响应于go协商请求，从沉设备发送go协商响应。该信号包括沉设备的意图值。各个装置比较沉设备和源设备的意图值，并且具有更大意图值的设备成为go。在本示例性实施例中，假定源设备成为go。作为另选，沉设备可以成为go。最后，将go协商确认从源设备发送到沉设备，使得源设备和沉设备的角色各自被确定为go或客户端。在本示例性实施例中，源设备被确定为go，并且沉设备被确定为客户端。
然后，使用wi-fi保护设立(wi-fiprotectedsetup，wps)方法共享源设备和沉设备之间建立无线网络连接所需的参数信息，诸如关于连接和安全性的信息。然后，作为客户端的沉设备基于交换的参数信息向作为go的源设备发送关联请求。接收到信号的源设备响应于关联请求发送关联响应。
以这种方式，在源设备和沉设备之间建立基于wi-fip2p规范的wi-fi显示连接，即wi-fip2p连接。关于发送上述无线信号的设备，可以切换沉设备和源设备的角色(go和客户端)。此外，除了上述那些之外的无线信号可以用于建立wi-fi显示连接。更具体地，可以使用信标信号、重关联消息、p2p邀请消息、供应发现(provisiondiscovery)消息等。
然后，在源设备和沉设备之间建立tcp连接。扮演tcp服务器角色的源设备和扮演tcp客户端角色的沉设备进行三向握手(three-wayhandshake)以建立tcp连接。
如上所述建立wi-fi显示连接和tcp连接以完成连接的设立。
然后，在步骤s305中，在源设备和沉设备之间进行能力协商。wi-fi显示规范指定使用实时流式传输协议(rtsp)进行能力协商。rtsp是用于控制流式传输的协议。此外，tcp通常用作低层传输协议。在能力协商中，在源设备和沉设备之间交换预定的rtsp消息m1至m4。作为交换rtsp消息的结果，源设备获取关于沉设备的能力信息，确定要使用的参数，并将所确定的参数的通知发送给沉设备。沉设备设置通知中指定的参数。关于画面的能力信息的具体示例包括关于画面的兼容分辨率、帧速率、编解码器的信息。此外，关于音频的能力信息的具体示例包括关于兼容编解码器、采样频率的信息。作为步骤s305中的能力协商的结果，用于编码图像数据和/或音频数据的方法的类型、以及诸如用于在源设备和沉设备之间的镜像的图像的分辨率和帧速率等的参数被确定。要发送和接收的能力信息可以是上述信息中的一些。例如，关于图像的分辨率，首先，包括关于沉设备的分辨率的询问的消息m3从源设备被发送到沉设备。响应于消息m3，沉设备向源设备发送包括关于沉设备的画面的分辨率的信息的消息。接收到消息的源设备基于沉设备的画面的分辨率来确定要发送到沉设备的图像的分辨率。
在本示例性实施例中，假设进行能力协商时从源设备发送的消息m3包括关于沉设备的uibc功能的能力的询问。从源设备发送的消息m3是rtspget_parameter消息，该消息是源设备用于询问关于沉设备的能力的消息。响应于从源设备发送并包括关于沉设备的uibc功能的能力的询问的消息m3，沉设备发送包括关于沉设备的uibc功能的能力的信息的消息。在这种情况下，关于沉设备的uibc功能的能力的信息包括，例如关于沉设备的uibc功能是否可执行的信息。该信息还可以包括关于沉设备的uibc功能所支持的用户操作类型的信息。
当源设备从沉设备接收到对消息m3的响应时，源设备将消息m4发送到沉设备。在本示例性实施例中，从源设备发送的消息m4包括用于启用uibc功能的指令。此外，消息m4可以包括关于uibc功能的信息，诸如要使用的端口号和由源设备的uibc功能支持的用户操作的类型。如果沉设备接收到消息m4，则沉设备启用uibc功能并向源设备返回响应“ok”。
当能力协商完成时，则在步骤s306中，源设备和沉设备建立wi-fi显示会话。根据wi-fi显示规范，在源设备和沉设备之间交换预定的rtsp消息m5到m7以建立wi-fi显示会话。作为交换rtsp消息的结果，进行要使用的端口号等的设置来建立wi-fi显示会话。在建立wi-fi显示会话时，沉设备可以设置在其他功能(例如内容重定向功能)中使用的端口号。此外，可以设置多个端口号。
当直到步骤s306的rtsp消息的交换完成时，则在步骤s307中，源设备和沉设备进行镜像。在源设备处的镜像处理的示例包括，诸如拍摄在源设备上显示的画面、对拍摄的图像进行编码、复用和数据传输等的处理。在沉设备处的镜像处理的示例包括，诸如数据接收、解复用、对拍摄图像进行解码以及对解码的拍摄图像的再现等的处理。作为执行前述处理的结果，将图像数据和/或音频数据的流从源设备发送到沉设备，作为关于在源设备上显示的画面和/或由源设备再现的音频的信息。
在本示例性实施例中，当进行步骤s305中的能力协商时，启用uibc功能。作为另选，uibc功能可以不在步骤s305中启用，而是在步骤s306中的会话建立完成之后启用。更具体地，首先，源设备在步骤s305中发送不包括关于uibc功能的询问的消息m3。接收到消息m3的沉设备向源设备发送不包括关于uibc功能的能力的信息的响应。然后，源设备发送消息m4，但是接收到消息m4的沉设备不启用uibc功能。然后，在步骤s306中的会话建立完成之后，源设备可以向沉设备发送包括关于沉设备的uibc功能的能力询问的消息m3。然后，沉设备可以向源设备发送对接收到的消息m3的响应。此外，当源设备接收到对消息m3的响应时，源设备可以向沉设备发送包括启用uibc功能的指令的消息m4。接收到消息m4的沉设备启用uibc功能并向源设备发送响应“ok”。
作为另选，在步骤s305的能力协商中，源设备发送包括关于沉设备的uibc功能的能力的询问的消息m3，并且接收对消息m3的响应。然后，源设备发送不包括用于启用uibc功能的指令的消息m4，并从沉设备接收对消息m4的响应，并且完成步骤s305中的能力协商。然后，在完成步骤s306中的会话建立之后，可以将包括用于启用uibc功能的指令的消息m14从源设备发送到沉设备。接收到消息m14的沉设备启用uibc功能，然后向源设备返回响应“ok”。
然后，处理进行到步骤s308，并且经由沉设备的输入单元204输入用户操作。由于沉设备的uibc功能当前被启用，因此基于wi-fi显示规范根据输入的用户操作来生成包括坐标信息的操作信息。在步骤s309中，由于当前流式传输模式是镜像模式，所以沉设备将所生成的操作信息发送到源设备。
更具体地，首先，沉设备生成包括如下信息的操作信息：关于uibc功能的版本的信息、关于输入的用户操作是否是设备依赖(device-dependent)操作的信息、数据包长度、输入内容。输入类型标识符和关于用户操作的内容的信息被包括作为输入内容。输入类型标识符是用于识别用户操作的输入类型的信息。用户操作的类型包括移动鼠标的操作、触摸操作、点击操作和滚动操作。用户操作的内容包括基于各个用户操作的不同信息。
例如，在用户操作是触摸操作的情况下，生成包括指示操作是设备独立(device-independent)操作的信息的操作信息。指示用户操作的内容的信息包括指针的数量和关于x坐标和y坐标的信息。指针的数量是指示用户操作是否是多点触摸的信息。在触摸操作是单点触摸的情况下，指针的数量是1。此外，可以通过基于关于源设备的分辨率信息标定(scaling)沉设备上的坐标信息，来获得关于x坐标和y坐标的信息。
标定的具体方法如下。首先，将作为沉设备和源设备中的各个的输出单元205的显示单元的左上角设置为原点(0，0)。将讨论如下的情况，其中，沉设备和源设备的显示单元的分辨率分别是1536×2048像素和750×1334像素，并且要从源设备发送到沉设备的图像的分辨率在步骤s305的能力协商中被确定为1152×2048像素，并且沉设备显示图像数据，使该图像数据的左上角相对于原点位于点(192，0)。在这种情况下，如果经由沉设备在(x，y)＝(300，400)处输入用户触摸操作并且输入的触摸操作是单点触摸操作，则基于触摸操作的输入坐标(300，400)和图像数据显示区域的开始坐标(192，0)，获得图像数据显示区域中的触摸操作的对应坐标(108，400)。此外，基于要从源设备发送到沉设备的图像的分辨率和源设备的显示区域的分辨率，获得源设备的显示区域上的触摸操作的对应坐标(70，261)。沉设备生成包括(x，y)＝(70，261)和指针数量＝1的信息的操作信息作为坐标信息，并且将生成的操作信息发送到源设备。接收到操作信息的源设备基于接收到的操作信息(即，对相对于作为原点的、源设备的显示区域的左上角的坐标(70，261)进行单点触摸操作)执行处理。
在本示例性实施例中，沉设备基于用户操作的输入坐标、图像数据显示区域、图像分辨率以及源设备的显示区域的分辨率进行标定，以获得包括在操作信息中的坐标信息。作为另选，源设备可以进行标定以获得坐标信息。例如，沉设备基于输入坐标获得图像数据显示区域中的图像数据的坐标，并将所获得的坐标作为坐标信息发送到源设备。在这种情况下，发送了坐标信息的源设备基于从源设备发送的图像数据的分辨率和源设备的显示区域的分辨率获得坐标信息，并且执行处理。作为另选，沉设备将用户操作的输入坐标作为坐标信息发送到源设备。在这种情况下，源设备可以基于源设备的必要信息进行标定。标定的处理可以由沉设备和源设备中的一者执行，或者可以由沉设备和源设备共享。
此外，虽然在本示例性实施例中原点被设置为沉设备和源设备中的各个的显示单元的左上角，但是原点可以被设置为沉设备和源设备中的各个的图像显示区域的左上角。原点不限于上述那些，并且可以是沉设备和源设备中的各个的显示单元的区域内的任何点。在这种情况下，标定方法根据原点的位置适当地改变。
虽然在本示例性实施例中，触摸操作被描述为用户操作的示例并且描述了坐标信息标定方法，但是用户操作不限于触摸操作，并且在用户操作是对鼠标的点击操作的情况下可以如上所述获得坐标信息。例如，在用户操作是缩放(zoom)操作的情况下，指示用户操作的内容的信息包括关于x坐标和y坐标的信息、缩放时间的整数和分数值。
如上所述，沉设备基于用户操作生成包括坐标信息的操作信息，并将该操作信息发送到源设备。
基于用户输入生成的操作信息可以不包括坐标信息。例如，在向沉设备输入画面滚动操作的情况下，沉设备生成包括指示竖直和水平滚动量的信息的操作信息，作为指示用户操作的内容的信息。此外，例如，如果向沉设备输入旋转操作，则沉设备生成包括旋转量的整数和分数值的操作信息作为指示用户操作的内容的信息。在这种情况下，正旋转量指示逆时针旋转量，负旋转量指示顺时针旋转量。如上所述，沉设备可以生成不包括关于输入的用户操作的坐标信息的操作信息。
此外，设备依赖操作的示例包括使用键盘或照相机的用户操作。沉设备生成关于这种设备依赖操作的、与关于设备独立操作的操作信息不同的操作信息。更具体地，在操作信息中包括的输入内容中所包括的信息不同。基于人机接口设备类(hidc)输入主体格式生成输入内容。基于设备依赖操作的操作信息中的输入内容包括关于输入路径、输入类型和用户操作的内容的信息。
用户操作不限于设备依赖操作和设备独立操作。例如，用户操作可以是供应商特定操作。在这种情况下，沉设备基于供应商特定操作来生成操作信息。
在步骤s310中，接收到操作信息的源设备基于操作信息执行操作。例如，如步骤s309中所述，在从沉设备发送的操作信息包括指示用户操作是触摸操作的信息并且还包括坐标信息的情况下，接收到操作信息的源设备通过确定用户在基于坐标信息的坐标处对源设备进行触摸操作，来进行处理。
如上所述，图3中的序列图例示了在进行镜像时由通信装置101和102实现的处理。
在本示例性实施例中，在该序列图中由沉设备或源设备发送的各个消息可以由作为消息的接收器的设备来发送。例如，虽然在本示例性实施例中，源设备是作为消息m14的发送器的设备，但是沉设备可以是作为消息m14的发送器的设备。
接下来，图4是例示当通信装置102(沉设备)接受用户操作时，通过控制单元202读取并执行存储在存储单元201中的程序所实现的处理的流程图。当在图3的步骤s307中开始源设备和沉设备之间的镜像时开始该流程图。作为另选，可以在开始内容重定向或直接流式传输时开始该流程图。另外，作为另选，可以在步骤s306中建立wi-fi显示会话时开始该流程图。
首先，在步骤s401中，沉设备确定对输入单元204的用户操作是否被接受。在这种情况下，沉设备的输入单元204上的区域是预定的，并且如果在预定区域之外的区域上进行用户操作，则沉设备可以确定没有接受用户操作。例如，将在用作输入单元204和输出单元205的触摸面板的画面上的、要再现从通信装置101或云服务器104接收到的图像的再现区域，设置为预定区域。然后，如果在再现区域之外的区域上进行触摸操作，则沉设备可以确定没有接受用户操作。作为选择，如果在显示再现控制的gui的区域之外的区域上进行触摸操作，则沉设备可以确定没有接受用户操作。在步骤s401中，如果沉设备确定没有接受用户操作(步骤s401中为“否”)，则处理返回到步骤s401中的确定。
另一方面，在步骤s401中，如果沉设备确定用户操作被接受(步骤s401中为“是”)，则在步骤s402中，确定当前流式传输模式是否是镜像模式。该确定是基于与源设备交换的、可用以识别流式传输模式的参数进行的。例如，基于消息m3和m4中的至少一个中包括的参数来进行确定。如果紧接在接受用户操作之前与源设备交换的消息m4包括指示直接模式的开始的参数，则确定当前流式传输模式不是镜像模式。如果消息m4包括指示内容重定向模式的开始的参数，则也确定当前流式传输模式不是镜像模式。另一方面，如果消息m4不包括指示直接模式或内容重定向模式的开始的参数，则确定当前流式传输模式是镜像模式。如果消息m4包括指示直接模式或内容重定向模式结束的消息，则也确定当前流式传输模式是镜像模式。作为另选，可以基于消息m3或m4中包括的信息(诸如图像的分辨率或编码方法)来进行确定。在确定中使用的消息m3和m4中的至少一个是在图3的步骤s306中建立wi-fi显示会话之后与源设备交换的消息。作为另选，在确定中使用的消息m3和m4中的至少一个可以是在图3的步骤s305中与源设备交换的消息。包括可用以识别流式传输模式的参数的消息不限于消息m3和m4。此外，可以不基于可用以识别流式传输模式的参数来进行确定，而是可以基于由沉设备用来接收图像数据和/或内容的应用，或者内容和/或图像数据的发送源来进行确定。作为另选，可以基于其组合来进行确定。
如果确定当前流式传输模式是镜像模式(步骤s402中为“是”)，则处理进行到步骤s403。另一方面，如果确定当前流式传输模式不是镜像模式(步骤s402中为“否”)，则处理进行到步骤s405。在步骤s403中，沉设备基于接受的用户操作来生成操作信息。更具体地，沉设备基于wi-fi显示规范的uibc功能生成操作信息。然后，在步骤s404中，将所生成的操作信息发送到源设备。
之后，在步骤s410中，沉设备确定源设备与沉设备之间的通信是否断开。更具体地，沉设备确定与源设备的wi-fi显示会话或wi-fip2p连接是否断开。作为另选，在进行基于tdls的tdls连接作为wi-fi显示连接的情况下，确定tdls连接是否断开而不是确定wi-fip2p连接是否断开。沉设备或源设备发出并发送基于wi-fi显示规范的rtspteardown消息以断开wi-fi显示会话或wi-fip2p连接。因此，可以基于沉设备是否发送或接收该消息来进行确定。作为另选，可以基于沉设备是否从源设备接收触发沉设备发出rtspteardown消息的消息来进行确定。此外，可以基于沉设备是否向源设备发送触发源设备发出rtspteardown消息的消息来进行确定。
如果源设备与沉设备之间的通信被断开(步骤s410中为“是”)，则流程图结束。另一方面，如果源设备与沉设备之间的通信没有断开(步骤s410中为“否”)，则处理返回到步骤s401以等待用户操作。
接下来，将在下面描述流式传输模式不是镜像模式的情况(步骤s402中为“否”)。在这种情况下，处理进行到步骤s405，并且确定流式传输模式是否是内容重定向模式。如在步骤s402中那样，基于在图3的步骤s305中与源设备交换的消息m3和m4中的至少一个中包括的、且可用以识别流式传输模式的参数来进行该确定。如果流式传输模式是内容重定向模式(步骤s405中为“是”)，则处理进行到步骤s406。另一方面，如果流式传输模式不是内容重定向模式(步骤s405中为“否”)，则处理进行到步骤s408。
如果流式传输模式是内容重定向模式(步骤s405中为“是”)，则在步骤s406中，沉设备基于用户操作生成外部设备控制信息。将用户操作从指示操作类型、操作位置、操作量等的各种类型的信息转换成包括流式传输再现控制信息的外部设备控制信息。例如，诸如鼠标点击、按键或触摸面板上的轻击等的用户操作，被转换为包括指示开始或停止内容再现、快进所再现的内容的用户指令的信息的再现控制信息。再现控制信息还可以包括指示诸如暂停内容的指令、倒回内容的指令或指定再现位置的指令等的指令的信息。此外，再现控制信息还可以包括指示对当前获取的内容之后要获取的内容的请求的信息。
在这种情况下，沉设备可以基于进行用户操作的坐标信息来生成再现控制信息。例如，如在图3的步骤s309中那样，如果经由沉设备接受轻击操作作为用户操作，则沉设备检测在沉设备的显示单元或图像数据显示区域中进行轻击操作的坐标。然后，沉设备基于该坐标生成与检测到的坐标或坐标信息相对应的再现控制信息。更具体地，在指示内容暂停的用户界面(ui)被显示在沉设备的画面上的坐标处的情况下，沉设备根据轻击操作生成指示暂停内容的再现控制信息。沉设备将包括再现控制信息的控制信息发送到外部设备。
在步骤s407中，外部设备控制信息被发送到作为外部设备的云服务器104。在内容重定向模式下从外部设备获取内容所使用的协议的示例包括适于流式传输再现控制的协议，例如，rtsp、数字生活网络联盟(dlna)(注册商标)准则、会话发起协议(sip)、超文本传输协议(http)实时流式传输(hls)、由运动图像专家组开发的基于http的动态自适应流式传输(mpeg-dash)和实时消息传输协议(rtmp)。
沉设备基于在内容重定向模式下从外部设备获取内容所使用的协议来生成外部设备控制信息。例如，在内容重定向模式中使用的协议是rtsp的情况下，也基于rtsp生成要从沉设备发送到外部设备的外部设备控制信息。更具体地，在沉设备接受用户操作以给出暂停内容的指令的情况下，沉设备生成rtsppause请求消息作为外部设备控制信息，并将rtsppause请求消息发送到外部设备。此外，例如，在内容重定向模式中使用的协议是http的情况下，也基于http生成要从沉设备发送到外部设备的外部设备控制信息。如果沉设备发送外部设备控制信息，则处理进行到步骤s410。
接下来，将在下面描述流式传输模式既不是镜像模式也不是内容重定向模式的情况(步骤s405中为“否”)。在这种情况下，流式传输模式是直接流式传输模式。在步骤s408中，沉设备基于用户操作生成通信装置控制信息。将用户操作从指示操作类型、操作位置、操作量等的各种类型的信息转换成包括用于控制流式传输再现的再现控制信息的通信装置控制信息。例如，将诸如鼠标点击、按键或触摸面板上的轻击等的用户操作转换为，包括指示开始或停止内容再现、快进所再现的内容的用户指令的信息的再现控制信息。再现控制信息还可以包括指示诸如暂停内容的指令、倒回内容的指令或指定再现位置的指等的指令的信息。此外，再现控制信息还可以包括指示对当前接收的内容之后要接收的内容的请求的信息。如在步骤s406中那样，沉设备可以检测接受的用户操作的坐标，并且基于坐标或基于坐标的坐标信息生成再现控制信息。在本示例性实施例中，由wi-fi显示规范指定的rtsp被用作直接流式传输模式中使用的协议。例如，包括rtspplay的消息可以被生成为指示开始内容再现的指令的通信装置控制信息。在步骤s409中，沉设备将所生成的通信装置控制信息发送到源设备，并且处理进行到步骤s410。
该流程图也适用于沉设备同时从多个源设备或云服务器接收图像并再现图像的情况。例如，当从多个源设备或云服务器接收到的多个图像被分割并显示在沉设备的画面上时，如果沉设备接受用户操作，则基于用户操作生成的信息根据显示图像的位置以及进行用户输入操作的位置，被发送到对应的源设备或云服务器。
在该流程图中，在步骤s401中接受用户操作之后，在步骤s402或s405中确定当前流式传输模式。不限于此，并且可以在步骤s401中接受用户操作之前确定当前流式传输模式。在这种情况下，在接受用户操作之后，处理可以依据预先确定的流式传输模式而进行到步骤s403、s406或s408。
如上所述，图4例示了当用户操作被接受时要由通信装置102实现的处理。
在本示例性实施例中，沉设备是可在三个流式传输模式下操作的设备，即，镜像模式、内容重定向模式和直接模式。作为另选，沉设备仅需要是可在三个流式传输模式中的两个流式传输模式下操作的设备。更具体地，沉设备仅需要是可以在如下组合下操作的设备：镜像模式和内容重定向模式的组合、内容重定向模式和直接模式的组合、或者直接模式和镜像模式的组合。
在这种情况下，根据需要改变图4中的流程图。在沉设备可在镜像模式和内容重定向模式下操作的情况下，省略步骤s408和s409。此外，也省略步骤s405。在这种情况下，如果确定当前流式传输模式不是镜像模式(步骤s402中为“否”)，则处理进行到步骤s406。作为另选，可以执行步骤s405来代替步骤s402。在这种情况下，如果沉设备确定用户操作被接受(步骤s401中为“是”)，则处理进行到步骤s405，并且如果确定流式传输模式不是内容重定向模式(步骤s405中为“否”)，则处理进行到步骤s403。
在沉设备可在内容重定向模式和直接模式下操作的情况下，省略步骤s402至s404。在这种情况下，如果沉设备确定用户操作被接受(步骤s401中为“是”)，则处理进行到步骤s405。此外，在步骤s405中，可以确定流式传输模式是否是直接模式来代替确定流式传输模式是否是内容重定向模式。在这种情况下，如果确定流式传输模式是直接模式，则处理进行到步骤s408。另一方面，如果确定流式传输模式不是直接模式，则处理进行到步骤s406。
在沉设备可在直接模式和镜像模式下操作的情况下，省略步骤s405至s407。在这种情况下，如果确定当前流式传输模式不是镜像模式(步骤s402中为“否”)，则处理进行到步骤s408。此外，在步骤s402中，可以确定流式传输模式是否是直接模式来代替确定流式传输模式是否是镜像模式。在这种情况下，如果确定流式传输模式是直接模式，则处理进行到步骤s408。另一方面，如果确定流式传输模式不是直接模式，则处理进行到步骤s403。
此外，虽然在本示例性实施例中在步骤s402和s405中确定了流式传输模式，但是可以简单地确定流式传输模式是什么。更具体地，如果沉设备确定用户操作被接受(步骤s401中为“是”)，则沉设备确定当前流式传输模式是什么。如在步骤s402和s405中那样，基于可用以识别流式传输模式的参数来执行该确定。作为另选，可以基于由沉设备用来接收图像数据和/或内容的应用，或者内容和/或图像数据的发送源来进行该确定。作为另选，可以基于其组合来进行该确定。在这种情况下，如果确定流式传输模式是镜像模式，则处理进行到步骤s403。如果确定流式传输模式是内容重定向模式，则处理进行到步骤s406。如果确定流式传输模式是直接模式，则处理进行到步骤s408。在这种情况下，如在上述情况中那样，沉设备仅需要可在三个流式传输模式中的至少两个中操作。
图5例示当通信装置101(源设备)从通信装置102(沉设备)接收到操作信息和/或基于用户操作的控制信息时，通过控制单元202读取并执行存储在存储单元201中的程序所要实现的处理的流程图。如果开始图3的步骤s307中的源设备和沉设备之间的镜像，则开始该流程图。作为另选，如果开始内容重定向或直接流式传输，则可以开始该流程图。另外，作为另选，如果在步骤s306中建立了wi-fi显示会话，则可以开始该流程图。
首先，在步骤s501中，源设备确定流式传输模式是否是镜像模式。该确定基于例如在图3中的步骤s305中与沉设备交换的消息中包括的、并且可用以识别流式传输模式的参数来进行。作为另选，可以基于图3中的步骤s301中的镜像开始指令来进行该确定。如果在下面描述的步骤s508中改变了流式传输模式，则在步骤s501的确定中可以使用在步骤s508中与沉设备交换的消息中包括的、并且可用以确定流式传输模式的参数。
如果源设备确定流式传输模式是镜像模式(步骤s501中为“是”)，则处理进行到步骤s502。另一方面，如果源设备确定流式传输模式不是镜像模式(步骤s501中为“否”)，则处理进行到步骤s509。在步骤s502中，源设备启用uibc功能。启用方法的示例包括从沉设备发送的操作信息不被忽略而是被处理的方法。作为另选，将rtspset_parameter请求发送到沉设备以启用uibc功能。如果接收到请求的沉设备可以启用uibc功能，则沉设备向源设备返回响应“ok”。如果源设备启用uibc功能，则处理进行到步骤s503。如果uibc功能已经启用并且之后未被禁用，则可以跳过步骤s502。
在步骤s503中，源设备开始发送图像数据和/或音频数据作为关于在源设备上显示的画面和/或由源设备再现的音频的信息，并且处理进行到步骤s504。此外，可以切换步骤s503和s502的顺序。
在步骤s504中，确定源设备与沉设备之间的通信是否断开。更具体地，确定与沉设备的wi-fi显示会话或wi-fip2p连接是否断开。作为另选，在进行基于tdls的tdls连接作为wi-fi显示连接的情况下，确定tdls连接是否断开来代替确定wi-fip2p连接是否断开。源设备从沉设备接收基于wi-fi显示规范的rtspteardown消息以断开wi-fi显示会话或wi-fip2p连接。因此，可以基于源设备是否接收该消息来进行确定。如果确定源设备与沉设备之间的通信断开(步骤s504中为“是”)，则该流程图结束。另一方面，如果确定源设备与沉设备之间的通信没有断开(步骤s504中为“否”)，则处理进行到步骤s505。
在步骤s505中，确定是否从沉设备接收到基于用户操作的操作信息。如果源设备没有接收到操作信息(步骤s505中为“否”)，则处理返回到步骤s504。另一方面，如果源设备接收到操作信息(步骤s505中为“是”)，则处理进行到步骤s506。
在步骤s506中，源设备基于接收到的操作信息执行处理。例如，如果从沉设备接收到包括坐标信息的操作信息，则在源设备的显示画面上识别与接收到的坐标信息对应的位置。然后，源设备基于操作信息中包括的用户操作的类型来对识别的位置执行处理。例如，如果用户操作的类型是点击操作，则确定在与坐标对应的位置上进行点击操作。
接下来，在步骤s507中，基于操作信息执行的处理是否将要改变流式传输模式。例如，源设备从沉设备接收指示在坐标(x，y)处进行点击操作的操作信息。如果已经在坐标(x，y)上进行了标定，则源设备基于确定在源设备的显示区域中的坐标(x，y)处进行点击操作的操作信息来进行处理。然后，例如，作为执行处理的结果，在源设备处启动预定应用。在这种情况下，确定基于操作信息执行的处理是用于给出改变流式传输模式的指令的处理。给出改变流式传输模式的指令的处理的另一个示例是按下用于改变为预定模式的控制按钮。此外，处理可以是选择存储单元201中存储的内容的处理或者选择云服务器上的内容的超链接的处理。在本示例性实施例中，根据源设备基于从沉设备发送的操作信息而执行的处理是否是给出改变流式传输模式的指令来进行确定。该确定不限于上述确定。作为另选，经由源设备输入用户操作，并且根据基于用户操作而执行的处理是否是给出改变流式传输模式的指令来进行确定。
如果控制不是给出改变流式传输模式的指令(步骤s507中为“否”)，则处理返回到步骤s504。另一方面，如果控制是给出改变流式传输模式的指令(步骤s507中为“是”)，则处理进行到步骤s508，并改变流式传输模式。与改变流式传输模式同时地，在步骤s507中，可以基于新的流式传输模式启用或禁用uibc功能。在改变流式传输模式之后，处理返回到步骤s501。
另一方面，如果源设备确定流式传输模式不是镜像模式(步骤s501中为“否”)，则处理进行到步骤s509，并且确定流式传输模式是否是内容重定向模式。如在步骤s501中那样进行该确定。如果确定流式传输模式不是内容重定向模式(步骤s509中为“否”)，则处理进行到步骤s513。另一方面，如果确定流式传输模式是内容重定向模式(步骤s509中为“是”)，则处理进行到步骤s510。
在步骤s510中，源设备禁用uibc功能。用于禁用uibc功能的方法的示例包括从沉设备发送的操作信息不被处理而被忽略的方法。作为另选，可以将rtspset_parameter请求发送到沉设备以禁用uibc功能。如果uibc功能可以被禁用，则接收到该请求的沉设备向源设备返回响应“ok”。在处理进行到步骤s510之前已经禁用uibc功能的情况下，例如在步骤s508中禁用uibc功能的情况下，可以跳过步骤s510。此外，在图3的步骤s305中并且之后直到处理进行到步骤s510之前没有启用uibc功能的情况下，也可以跳过步骤s510。如果uibc功能被禁用，则处理进行到步骤s511。
在步骤s511中，如在步骤s504中那样，确定源设备与沉设备之间的通信是否断开。如果确定源设备与沉设备之间的通信被断开(步骤s511中为“是”)，则该流程图结束。另一方面，如果确定源设备与沉设备之间的通信没有断开(步骤s511中为“否”)，则处理进行到步骤s512。
在步骤s512中，确定是否给出流式传输模式改变指令。例如基于输入到源设备的用户操作(诸如选择存储在存储单元201中的内容、启动预定应用或者按下控制按钮以改变为预定模式)来进行该确定。作为另选，可以基于例如沉设备处的内容再现的状态(诸如内容被再现到末尾的状态)来进行确定。如果确定没有给出流式传输模式改变指令(步骤s512中为“否”)，则处理返回到步骤s511。另一方面，如果确定给出了流式传输模式改变指令(步骤s512中为“是”)，则处理进行到步骤s508，并改变流式传输模式。
另一方面，如果确定流式传输模式既不是镜像模式也不是内容重定向模式(步骤s509中为“否”)，则处理进行到步骤s513。在这种情况下，流式传输模式是直接流式传输模式。在步骤s513中，如在步骤s510中那样，源设备禁用uibc功能。在源设备禁用uibc功能之后，处理进行到步骤s514。在步骤s514中，源设备开始向沉设备的内容传输，并且处理进行到步骤s515。可以切换步骤s514和s515的顺序。
在步骤s515中，如在步骤s504中那样，确定源设备与沉设备之间的通信是否断开。如果确定源设备与沉设备之间的通信断开(步骤s515中为“是”)，则该流程图结束。另一方面，如果确定源设备与沉设备之间的通信没有断开(步骤s515中为“否”)，则处理进行到步骤s516。
在步骤s516中，确定是否从沉设备接收到包括基于用户操作的再现控制信息的控制信息。如果源设备没有接收到控制信息(步骤s516中为“否”)，则处理返回到步骤s515。另一方面，如果源设备接收到控制信息(步骤s516中为“是”)，则处理进行到步骤s517。
在步骤s517中，确定从沉设备接收到的控制信息是否包括流式传输模式改变指令。基于例如是否包括指示停止内容的指令的再现控制信息来进行该确定。作为另选，可以将基于用户按下沉设备上的控制按钮以启动预定应用或改变为预定模式而生成的控制信息确定为包括流式传输模式改变指令的控制信息。此外，作为另选，控制信息可以是基于用户在沉设备上选择云服务器上的内容的超链接而生成的控制信息。这些用户操作可以不经由沉设备而是源设备来执行。在这种情况下，源设备可以基于用户操作的执行来进行确定。此外，作为另选，可以基于沉设备处的内容再现的状态进行该确定，诸如在沉设备处将内容再现到末尾的状态被确定为流式传输模式改变指令。
如果确定从沉设备接收到的控制信息包括流式传输模式改变指令(步骤s517中为“是”)，则处理进行到步骤s508，并改变流式传输模式。另一方面，如果确定从沉设备接收到的控制信息不包括流式传输模式改变指令(步骤s517中为“否”)，则处理进行到步骤s518，并且基于接收到的控制信息来进行控制。例如，如果接收到的控制信息指示内容的暂停，则源设备暂停到沉设备的内容流式传输。如果进行了基于接收到的控制信息的控制，则处理返回到步骤s515。
如上所述，图5中的流程图例示了当从沉设备接收到基于用户操作的操作信息或控制信息时由源设备实现的处理。
图6至图8的序列图中的沉设备和源设备分别根据图4和图5中的流程图进行操作。
图6例示当源设备(通信装置101)、沉设备(通信装置102)和外部设备(云服务器104)进行镜像时要实现的序列图。该序列图例示了源设备获取存储在外部设备中的内容并针对沉设备对内容进行镜像的处理。在该序列图之前，已经完成了图3中的步骤s301至s306中的处理。此外，已经在图3的步骤s305中启用uibc功能。
在步骤s307中，在源设备和沉设备之间进行镜像。在步骤s601中，源设备的用户选择要查看的内容。内容选择例如通过选择内容的超链接来进行。在步骤s602中，源设备向外部设备发送对所选择的内容的请求。然后，在步骤s603中，源设备从外部设备接收内容。由于当前正在进行步骤s307中的镜像，所以内容也被显示在沉设备上。
在这种情况下，在步骤s308中，如果沉设备接收到用户操作，则在步骤s309中，生成基于用户操作的操作信息并将其发送到源设备。源设备基于接收到的操作信息来控制其自身，以还控制从外部设备接收内容。
如上所述，图6中的序列图例示了当源设备、沉设备和外部设备进行镜像时实现的处理。
接下来，图7例示当源设备(通信装置101)、沉设备(通信装置102)和外部设备(云服务器104)进行内容重定向时要实现的序列。在序列图之前，已经完成了图3中的步骤s301至s306中的处理。此外，已经在图3的步骤s305中启用uibc功能。
在步骤s307中，在源设备和沉设备之间执行镜像。在这种情况下，在步骤s701中，用户向源设备输入内容重定向开始指令。内容重定向开始指令是诸如启动预定应用或按下控制按钮等的用户操作。作为另选，用户操作可以是选择云服务器上内容的超链接。此外，用户操作可以不经由源设备而是经由沉设备来进行。
在步骤s702中，源设备向沉设备发送关于内容重定向功能的询问。关于内容重定向功能的询问包括请求关于在沉设备的应用当中的能够执行内容重定向的应用的信息。例如，关于应用的信息是应用的名称、类型和发行者。此外，可以包括关于沉设备是否可以进行内容重定向的询问。作为另选，可以包括内容重定向开始指令和内容信息中的至少一者。
如果沉设备接收到关于内容重定向功能的询问，则在步骤s703中，沉设备向源设备发送指示内容重定向可执行或不可执行的响应。在这种情况下，基于沉设备中的任何应用是否支持内容重定向，来确定沉设备是否可以进行内容重定向。作为另选，可以基于是否将沉设备设置为允许进行内容重定向来进行确定。还作为另选，可以基于沉设备与源设备之间的连接状态或沉设备与外部设备之间的连接状态来进行确定。此外，这些确定准则可以组合使用。
进行了确定的沉设备向源设备发送指示内容重定向可执行或不可执行的响应。作为响应，基于确定结果发送通知“ok”或“ng”。此外，在发送通知“ng”作为响应的情况下，通知可以包括关于内容重定向不可执行的原因的信息、关于沉设备的应用当中的能够执行内容重定向的应用的信息。在该序列中，假设发送通知“ok”作为对源设备的响应。
然后，在步骤s704中，源设备将内容信息发送到沉设备。如果沉设备接收到内容信息，则在步骤s705中，沉设备向源设备发送响应“ok”。此外，在步骤s706中，源设备发送禁用uibc功能的请求。在步骤s707中，接收到禁用uibc功能的请求的沉设备禁用uibc功能，并向源设备发送响应“ok”。
在步骤s708和s709中，准备用于内容重定向的源设备和沉设备暂停正在执行的镜像。当在执行镜像的同时执行内容重定向时，暂停镜像处理减少了沉设备上的镜像处理的负荷，并降低了功耗。在这种情况下，维持源设备与沉设备之间的通信。
在步骤s710中，沉设备基于从源设备接收的内容信息向外部设备发送内容请求。在步骤s711中，接收到请求的外部设备向沉设备发送内容。在这种情况下，在步骤s712中，如果沉设备接受用户操作，则在步骤s713中，沉设备基于用户操作生成外部设备控制信息，并将生成的外部设备控制信息发送到外部设备。
如上所述，图7中的序列图例示了当进行内容重定向时由源设备、沉设备和外部设备实现的处理。
在该序列图中，在执行步骤s307中的镜像之后进行内容重定向。作为另选，可以在不执行镜像的情况下进行内容重定向。更具体地，可以在步骤s701中输入内容重定向开始指令来代替在图3的步骤s301中的用户进行的镜像开始操作。在这种情况下，在步骤s701中的处理之后，执行步骤s301至s306中的处理，并执行步骤s702中的处理。之后，跳过步骤s708和s709。在步骤s305中，不是必须启用uibc功能。在这种情况下，跳过步骤s706和s707。此外，可以在步骤s305中执行步骤s702至s704中的处理。
图8例示当源设备(通信装置101)和沉设备(通信装置102)进行直接流式传输时要实现的序列。在该序列之前，完成图3中的步骤s301至s306中的处理。此外，在图3的步骤s305中启用uibc功能。
在步骤s307中，在源设备和沉设备之间执行镜像。在这种情况下，在步骤s801中，用户将直接流式传输开始指令输入到源设备。直接流式传输开始指令是诸如启动预定应用或按下控制按钮等的用户操作。作为另选，直接流式传输开始指令可以是选择源设备上的内容。此外，可以不经由源设备而是经由沉设备来进行用户操作。
在步骤s802中，改变为直接流式传输模式的模式改变请求从源设备被发送到沉设备。模式改变请求包括关于在直接流式传输中使用的运动图像格式和/或音频格式的信息。此外，可以包括用于启动直接流式传输模式的信息。
如果沉设备接收到该请求，则在步骤s803中，如果沉设备支持请求中包括的运动图像格式和/或音频格式，则沉设备向源设备发送响应“ok”。在步骤s804中，源设备发送用于禁用uibc功能的请求。在步骤s805中，接收到用于禁用uibc功能的请求的沉设备禁用uibc功能，并向源设备发送响应“ok”。
在步骤s806中，接收到响应“ok”的源设备向沉设备发送存储在源设备中的内容。在这种情况下，在步骤s807中，如果沉设备接受用户操作，则在步骤s808中，沉设备基于用户操作生成通信装置控制信息，并将该通信装置控制信息发送到源设备。
如上所述，图8中的序列图例示了当进行直接流式传输时由源设备和沉设备实现的处理。
在该序列图中，在执行步骤s307中的镜像之后执行内容重定向。作为另选，可以在不执行镜像的情况下执行内容重定向。更具体地，可以在步骤s801中输入直接流式传输开始指令来代替图3的步骤s301中由用户进行的镜像开始操作。在这种情况下，在步骤s801中的处理之后，执行步骤s301至s306中的处理，并执行步骤s802中的处理。在步骤s305中，不是必须启用uibc功能。在这种情况下，跳过步骤s804和s805。此外，可以在步骤s305中进行步骤s802和s803中的处理。
在本示例性实施例中，描述了将流式传输模式从镜像模式改变为内容重定向模式的情况以及将流式传输模式从镜像模式改变为直接模式的情况。除了上述情况之外，流式传输模式可以从直接模式或内容重定向模式改变为其他流式传输模式。
例如，在从直接模式或内容重定向模式改变为镜像模式的情况下，由用户在源设备上进行镜像模式开始操作，作为改变为镜像模式的指令。镜像模式开始操作如图3中的步骤s301中那样。作为另选，可以在沉设备上进行镜像模式开始操作。还作为另选，可以基于进行以结束内容重定向模式或直接模式的操作来改变流式传输模式。此外，可以基于沉设备处的内容再现的状态来改变流式传输模式，例如在直接模式或内容重定向模式下内容被再现到末尾的情况。还作为另选，可以基于给出停止在沉设备处再现的内容的指令的事实来改变流式传输模式。
此外，基于如下事实来进行从直接模式到内容重定向模式的改变：诸如启动预定应用或按下控制按钮等的用户操作被输入到源设备。作为另选，用户操作可以是选择云服务器上内容的超链接。此外，可以不经由源设备而是经由沉设备来进行用户操作。
基于如下事实进行从内容重定向模式到直接模式的改变：诸如启动预定应用或按下控制按钮等的用户操作被输入到源设备。作为另选，用户操作可以是对源设备上的内容的选择。
在本示例性实施例中，当进行内容重定向模式或直接模式时从沉设备发送的控制信息包括再现控制信息，该再现控制信息包括关于用户指令(诸如用于开始或停止内容再现的用户指令，或者用于快进内容的用户指令等)的信息。此外，再现控制信息还可以包括指示诸如暂停或倒回内容或再现位置指定的指令等的指令的信息。要被包括在控制信息中的信息不限于上述信息，并且可以基于接收到的内容和用户操作来包括任何必要的信息。例如，如果沉设备接收到包括图像数据的网页并且用户点击超链接，则控制信息包括基于包含在超链接中的url对参考目的地的调用。
此外，在本示例性实施例中，如果沉设备在镜像模式下操作并且用户操作被接受，则包括坐标信息的操作信息被发送到源设备。本示例性实施例不限于上述情况，并且在沉设备在镜像模式下操作时，即使没有接受用户操作(例如点击操作)，包括指示鼠标指针的位置的坐标信息的操作信息也可以被定期地发送到源设备。另一方面，当沉设备在内容重定向模式或直接模式下操作并且没有用户操作被接受时，控制信息不必被发送到外部设备和源设备。
通过控制单元202读取并执行存储在通信装置101的存储单元201中的程序来实现图3、图6、图7和图8中的通信装置101的序列图。此外，通过控制单元202读取并执行存储在通信装置102的存储单元201中的程序来实现通信装置102的序列图。此外，可以由硬件实现图3、图6、图7和图8中的序列图中的至少一些或全部。在用硬件实现序列图的情况下，例如，使用预定编译器从用于实现各个步骤的程序在现场可编程门阵列(fpga)上生成专用电路，并且可以使用专用电路。此外，可以如在fpga的情况中一样形成门阵列电路以将序列图实现为硬件。此外，可以通过专用集成电路(asic)来实现序列图。这同样分别适用于图4和图5中的通信装置102和101的流程图。
可以由多个cpu(未示出)或装置(未示出)共享和执行图3至图8中的序列图和流程图中的步骤。在由多个装置共享和执行步骤的情况下，源设备作为源系统操作，而沉设备作为沉系统操作。
虽然上面详细描述了示例性实施例，但是本发明可以实现为例如系统、装置、方法、程序或记录介质(存储介质)。更具体地，本发明适用于包括多个设备(例如，主机计算机、接口设备、摄像设备和web应用)的系统或包括单个设备的装置。
本发明可以通过以下处理来实现，在该处理中，用于实现上述示例性实施例的一个或更多个功能的程序经由网络或存储介质提供给系统或装置，并且系统或装置的计算机的一个或更多个处理器读取并执行该程序。此外，本发明也可以通过实现一个或更多个功能的电路(例如，asic)来实现。
其他实施例
还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能，和/或包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(asic))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能，并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储器、光盘(诸如压缩光盘(cd)、数字通用光盘(dvd)或蓝光光盘(bd)tm)、闪存装置以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
根据本发明，输入有用户操作的通信装置能够基于通信装置是接收到基于在其他通信装置上显示的图像的数据，还是接收到存储在其他通信装置或外部设备中的数据，来发送适当的信息。
虽然已经参照示例性实施例对本发明进行了描述，但是应该理解，本发明不限于所公开的示例性实施例。应当对权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。
- 还没有人留言评论。精彩留言会获得点赞！