针对无线显示设备的用户输入控制的无连接传输的制作方法
【专利说明】
[0001] 优先权声明
[0002] 本申请要求享有于2013年1月25日递交的美国临时申请No. 61/757, 010和于 2013年1月28日提交的美国临时申请No. 61/757, 414的权益，通过引用的方式将每个美国 临时申请的全部内容并入本文。
技术领域
[0003] 本申请涉及媒体数据的传输和回放，更具体地说，涉及通过媒体数据的传输和回 放进行用户输入控制。
【背景技术】
[0004] Wi-Fi显示（也叫做Miracast?)是Wi-Fi联盟开发的针对无线显示的即将到来的 标准。该标准基于Wi-FiDirect。该Wi-Fi显示（WFD)标准提供了一种用于在Wi-Fi显示 宿处发现、配对、连接和呈现源自Wi-Fi显示源的多媒体内容的互操作机制。可以在Wi-Fi 联盟技术委员会显示任务小组的Wi-Fi显示技术规范vl. 0.0 (Wi-FiDisplayTechnical Specificationvl.0.0)和Wi-Fi联盟"Wi-FiDisplaySpecificationdraftversion I. 31"中找到关于当前WFD标准的额外信息，通过引用的方式将这些规范的全部内容并入 本文。
[0005] 无线显示（WD)系统包括源设备和一个或多个宿设备。源设备可以是能够在无线 局域网中发送媒体内容的设备。宿设备可以是能够接收并呈现媒体内容的设备。源设备和 宿设备可以是移动设备或有线设备。作为移动设备，例如，源设备和宿设备可以包括移动电 话、具有无线通信卡的便携式计算机、个人数字助理（PDA)、便携式媒体播放器、数字图像捕 捉设备（比如相机或摄像机）、或具有无线通信能力的其它闪存设备（包括所谓的"智能" 电话和"智能"平板计算机或平板电脑、或其它类型的无线通信设备）。作为有线设备，例 如，源设备和宿设备可以包括电视、台式计算机、监视器、投影仪、打印机、音频放大器、机顶 盒、游戏操纵杆、路由器、汽车仪表盘显示器和数字视频光碟（DVD)播放器和媒体服务器。
[0006] 源设备可以向参与特定媒体共享会话的一个或多个宿设备发送媒体数据，比如音 频视频（AV)数据。该媒体数据可以在源设备的本地显示器和宿设备的每个显示器上回放。 更具体地，每个参与宿设备呈现所接收到的媒体数据以用于在其屏幕和音频装置上显示。 在一些情况中，宿设备的用户可以将用户输入应用于宿设备，比如触摸输入和远程控制输 入。在一些情况中，源设备可以使用虚拟网络计算（VNC)作为基本协议以便在宿设备显示 器上显示源设备应用的用户接口并将用户输入传输回移动源设备。
【发明内容】
[0007] -般而言，本申请涉及一种将无线显示（WD)用户输入协议扩展为包括额外输入 类型，并且在一些方面中，使用无连接传输协议来传输与任何额外输入类型相对应的用户 输入数据的技术。
[0008] 在一个示例中，一种接收用户输入数据的方法包括发送用户输入返回信道（UIBC) 参数消息，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机（VNC)输入 类型中的一个；以及根据所述语音输入类型和所述VNC输入类型中的所规定的一个，接收 UIBC消息中的用户输入数据。
[0009] 在另一个示例中，一种发送用户输入数据的方法包括接收用户输入返回信道 (UIBC)参数消息，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机（VNC) 输入类型中的一个，以及根据所述语音输入类型和所述VNC输入类型中的所规定的一个来 发送用户输入数据。
[0010] 在再一个示例中，一种源设备包括用于发送用户输入返回信道（UIBC)参数消息 的模块，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机（VNC)输入类型 中的一个，以及用于根据所述语音输入类型和所述VNC输入类型中的所规定的一个来接收 UIBC消息中的用户输入数据的模块。
[0011] 在又一个示例中，一种宿设备包括用于接收用户输入返回信道（UIBC)参数消息 的模块，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机（VNC)输入类型 中的一个，以及用于根据所述语音输入类型和所述VNC输入类型中的所规定的一个来发送 用户输入数据的模块。
[0012] 在还有一个示例中，一种源设备包括一个或多个处理器，其中，所述一个或多个处 理器被配置为发送用户输入返回信道（UIBC)参数消息，其中，所述UIBC参数消息规定了语 音输入类型和虚拟网络计算机（VNC)输入类型中的一个，以及根据所述语音输入类型和所 述VNC输入类型中的所规定的一个来接收UIBC消息中的用户输入数据。
[0013] 在另一个不例中，一种宿设备包括一个或多个处理器，其中，所述一个或多个处理 器被配置为接收用户输入返回信道（UIBC)参数消息，其中，所述UIBC参数消息规定了语音 输入类型和虚拟网络计算机（VNC)输入类型中的一个，以及根据所述语音输入类型和所述 VNC输入类型中的所规定的一个来发送用户输入数据。
[0014] 在再一个示例中，一种包括存储在其上的指令的计算机可读存储介质，当执行所 述指令时将一个或多个处理器配置为：发送用户输入返回信道（UIBC)参数消息，其中，所 述UIBC参数消息规定了语音输入类型和虚拟网络计算机（VNC)输入类型中的一个，以及根 据所述语音输入类型和所述VNC输入类型中的所规定的一个来接收UIBC消息中的用户输 入数据。
[0015] 在又一个示例中，一种包括存储在其上的指令的计算机可读存储介质，当执行所 述指令时将一个或多个处理器配置为：接收用户输入返回信道（UIBC)参数消息，其中，所 述UIBC参数消息规定了语音输入类型和虚拟网络计算机（VNC)输入类型中的一个，以及根 据所述语音输入类型和所述VNC输入类型中的所规定的一个来发送用户输入数据。
[0016] 在附图和下面的描述中给出了本申请的一个或多个示例的细节。根据所述说明书 和附图以及根据权利要求，其它特征、目的和优点将是清楚的。
【附图说明】
[0017] 图1是示出了无线显示（WD)系统的示例的框图，所述无线显示（WD)系统包括能 够使用用户输入设备控制通信信道来交换语音和虚拟网络连接（VNC)按键事件的源设备 和宿设备。
[0018] 图2是示出了WD系统的数据通信模型或协议栈的示例的框图。
[0019] 图3是示出了可以实现本申请中描述的技术的源设备的示例的框图。
[0020] 图4是示出了可以实现本申请中描述的技术的宿设备的示例的框图。
[0021] 图5是示出了本申请中描述的用户输入传输技术的流程图。
[0022] 图6是示出了本申请中描述的用户输入传输技术的流程图。
[0023] 图7是示出了本申请中描述的用户输入传输技术的流程图。
[0024] 图8是示出了本申请中描述的用户输入传输技术的流程图。
【具体实施方式】
[0025] 源设备和宿设备可以实现WD通信技术，该技术与比如像无线HD、无线家用数字接 口（WHDI)、WiGig、无线USB和当前正在开发的Wi-Fi显示（WFD)标准兼容。可以在Wi-Fi 联盟技术委员会、显示任务小组的Wi-Fi联盟"Wi-FiDisplaySpecificationdraft versionI. 31"中找到关于WFD标准的额外信息，通过引用的方式将其全部内容并入本文。 但是，当前WFD标准既不支持语音输入也不支持虚拟网络计算（VNC)输入，比如VNC按键事 件输入。另外，当前WFD标准规定了通过面向连接的协议（即，通过互联网协议的传输控制 协议（TCP/IP))来传输用户输入。
[0026] 本申请的技术可以包括在WD系统中的源设备与宿设备之间建立用户输入设备控 制通信信道以便允许宿设备向源设备发送设备控制输入。用户输入设备控制通信信道可以 包括被称为Wi-Fi用户输入返回信道（UIBC)的反向信道架构，其已经被修改为传输一个或 多个额外的输入类型。例如，UIBC可以扩展到传输语音和VNC按键事件输入类型。
[0027] 在一些示例中，这些技术还可以包括修改WFD软件栈以便针对一个或多个输入类 型，通过无连接传输协议（比如，通过IP的用户数据报协议（UDP/IP))来传输用户输入设 备控制通信信道。在一些示例中，这些技术可以包括为TCP/IP和UDP/IP建立相应的用户 输入设备控制通信信道，并将设备控制的输入类型分配给用户输入设备控制通信信道中的 一个以用于传输。例如，语音可以分配给UDP/IP信道，而将鼠标点击事件分配给TCP/IP。 与TCP不同，UDP提供无保证的数据报传递、排序或复制保护，并且可以更好地适合于携带 语音和其它实时数据。
[0028] 结果，这些技术可以扩展WD设备的潜在用户输入类型的范围，从而改善正在对源 设备的操作进行控制的宿设备的用户的用户体验。另外，通过修改WFD软件栈以便使用无 连接协议来传输用户输入设备控制通信信道的至少一些输入类型，这些技术可以减小源设 备向宿设备发送的用户输入的传输延迟，通过减小例如语音命令与命令执行之间的延迟再 次潜在地改善用户体验。
[0029] 图1是示出了无线显示（WD)系统100的示例的框图，所述无线显示（WD)系统100 包括能够使用用户输入设备控制通信信道来交换语音和虚拟网络连接（VNC)按键事件的 源设备120和宿设备160。在一些示例中，源设备120和宿设备160能够使用无连接协议来 交换一个或多个用户输入类型，比如语音和VNC按键事件输入类型中的一个或二者。如图 1中所示，WD系统100包括经由通信信道150与宿设备160进行通信的源设备120。
[0030] 源设备120可以包括存储器122、显示器124、扬声器126、音频和/或视频（A/V) 编码器128、音频和/或视频（A/V)控制模块130、以及发射机/接收机（TX/RX)单元132。 宿设备160可以包括发射机/接收机单元162、音频和/或视频（A/V)解码器164、显示器 166、扬声器168、用户输入（UI)设备170和用户输入处理模块（UIPM) 172。所示出的组件 仅仅构成WD系统100的一种示例性配置。其它配置可以包括与那些示出的组件相比更少 的组件，或者可以包括除那些示出的组件以外的额外组件。
[0031] 在图1的示例中，源设备120可以在显示器124上显示A/V数据的视频部分，并且 可以使用扬声器126输出A/V数据的音频部分。可以将A/V数据本地地存储在存储器122 上，从外部存储介质（比如，文件服务器、硬盘驱动器、外部存储器、蓝光光碟、DVD或其它物 理存储介质）访问，或者可以经由网络连接（比如，经由互联网）流式传输到源设备120。 在一些实例中，A/V数据可以是经由源设备120的摄像头和麦克风实时捕获的。A/V数据可 以包括诸如电影、电视节目或音乐之类的多媒体内容，但是还可以包括由源设备120生成 的实时内容。这样的实时内容可以例如由源设备120上运行的应用产生，或者可以是被捕 捉到的视频数据，例如作为视频电话会话的一部分。在一些实例中，这样的实时内容可以包 括可用于由用户进行选择的用户输入选项的视频帧。在一些实例中，A/V数据可以包括不 同类型内容（比如，具有覆盖在视频帧上的用户输入选项的电影或TV节目的视频帧）的组 合的视频帧。在一些实例中，A/V数据可以包括由虚拟网络计算（VNC)传输的、用于在宿设 备160上显示在源设备120上执行的应用的用户接口的数据。一般而言，WD可以使用VNC 显示该用户接口并从宿