一种显示设备及投屏互动方法与流程

本技术涉及显示设备，尤其涉及一种显示设备及投屏互动方法。

背景技术：

1、显示设备是指能够输出具体显示画面的终端设备，可以是智能电视、移动终端、智能广告屏、投影仪等终端设备。以智能电视为例，智能电视是基于internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。

2、显示设备被配置为支持投屏功能，显示设备在与同样支持投屏功能的智能设备投屏连接之后，可以接收智能设备发送的投屏数据，如该智能设备上显示的应用画面。显示设备根据该投屏数据同步显示投屏画面，投屏画面与应用画面包括相同的画面内容，由此，可以实现用户在屏幕尺寸更大的显示设备上同步观看智能设备上的应用画面。

3、如果在直播场景下，则应用画面通常包括文本框，以令用户可以在该文本框内输入互动信息，并向主播发送该互动信息，以实现用户与主播之间的互动。但是，用户在观看投屏画面时，如果想要与主播进行互动，则需要拿到智能设备，并通过该智能设备向主播发送互动信息。其中，用户可能无法快速拿到智能设备，如用户不知道智能设备的位置，或者不方便拿到智能设备。用户通过智能设备向主播发送互动信息时，需要进行设备解锁、激活文本框、在文本框内输入互动信息、以及点击“发送”按钮等操作，才可以完成向主播发送互动信息。该操作过程繁琐，耗时较长。这样，用户需要耗费较长的时间才可以完成向主播发送互动信息的操作，可能错过与主播进行互动的最佳时机。

技术实现思路

1、本技术提供了一种显示设备及投屏互动方法，显示设备与智能设备投屏连接时，用户可以通过显示设备向智能设备发送互动信息，并由智能设备直接将该互动信息发送至服务器，以缩短智能设备发送互动信息的时间，提高用户与主播互动的简便性和时效性。

2、第一方面，本技术提供了一种显示设备，包括：

3、通信器，被配置为：与智能设备投屏连接；

4、显示器，被配置为：在第一图层显示所述智能设备中第一画面的投屏画面，所述投屏画面包括文本框，所述文本框用于用户输入互动信息；

5、控制器，被配置为：

6、接收所述智能设备发送的第一消息，所述第一消息包括用于在所述第一画面中定位所述文本框的定位信息；

7、响应于所述第一消息，根据所述定位信息和所述显示设备的屏幕信息，确定所述投屏画面中用于显示所述文本框的第一区域；

8、响应于用户输入的第一语音指令，在第二图层创建第一窗口，并在所述第一窗口内与所述第一区域对应的第二区域中显示呈闪烁状态的光标，其中，所述第二图层位于所述第一图层的上层，所述第一窗口呈透明状态；

9、接收用户输入的目标语音；

10、将所述目标语音转换为目标文本，以及在所述第二区域内显示所述目标文本；

11、响应于用户输入的第二语音指令，向所述智能设备发送第二消息，所述第二消息包括所述目标文本，所述第二消息用于指示所述智能设备将所述目标文本作为所述互动信息发送至服务器。

12、在本技术的一些实施例中，如果所述智能设备不支持扩展协议，且所述第一画面所属的第一应用不支持所述扩展协议，则所述控制器还被配置为：

13、在与所述智能设备建立通信连接之后，且在与所述智能设备投屏连接之前，向所述智能设备发布所述扩展协议；

14、或者，在与所述智能设备建立通信连接之后，且在与所述智能设备投屏连接之前，响应于所述智能设备的请求，向所述智能设备发布所述扩展协议，其中，所述智能设备的请求为所述智能设备检测到与所述显示设备建立所述通信连接之后发送的，或者为所述智能设备监听到所述第一应用启动之后发送的；

15、或者，在与所述智能设备投屏连接之后，向所述智能设备发送所述扩展协议；

16、或者，在与所述智能设备投屏连接之后，响应于所述智能设备的请求，向所述智能设备发送所述扩展协议；

17、或者，在与所述智能设备投屏连接之后，检测到开启投屏互动功能之后，向所述智能设备发送所述扩展协议；

18、其中，所述扩展协议用于规定传输所述第一消息、对所述第一消息的第一应答、所述第二消息、以及对所述第二消息的第二应答的格式和规范。

19、在本技术的一些实施例中，所述第一消息为所述智能设备检测到与所述显示设备投屏连接成功之后发送的，或者，所述第一消息为所述智能设备与所述显示设备投屏连接之后，响应于所述显示设备的请求发送的。

20、在本技术的一些实施例中，所述定位信息包括所述文本框在所述第一画面中的第一长度、第一宽度和第一位置、所述智能设备的第一屏幕分辨率，所述显示设备的屏幕信息包括第二屏幕分辨率；

21、所述控制器响应于所述第一消息，根据所述定位信息和所述显示设备的屏幕信息，确定所述投屏画面中用于显示所述文本框的第一区域，被配置为：

22、根据所述第一屏幕分辨率和所述第二屏幕分辨率，计算所述第一画面与所述投屏画面之间的缩放比例；

23、根据所述第一长度、所述第一宽度、所述第一位置、以及所述缩放比例，计算所述文本框在所述投屏画面中的第二长度、第二宽度和第二位置；

24、根据所述第二长度、所述第二宽度和所述第二位置，确定所述第一区域。

25、在本技术的一些实施例中，所述控制器在响应于所述第一消息，根据所述定位信息和所述显示设备的屏幕信息，确定所述投屏画面中用于显示所述文本框的第一区域之后，还被配置为：

26、向所述智能设备发送第一应答，所述第一应答包括所述控制器对所述第一消息的处理结果；

27、其中，如果所述控制器确定所述第一区域，则所述处理结果为处理成功；

28、如果所述控制器确定根据所述定位信息不能确定所述第一区域，则所述处理结果为需要提供更多的信息；

29、如果所述控制器在解析所述第一消息时出现错误，则所述处理结果为处理错误。

30、在本技术的一些实施例中，所述第一语音指令、所述目标语音和所述第二语音指令由所述显示设备的麦克风采集，或者由所述显示设备的控制设备采集并发送至所述显示设备。

31、在本技术的一些实施例中，所述控制器响应于用户输入的第一语音指令，在第二图层创建第一窗口，并在所述第一窗口内与所述第一区域对应的第二区域中显示呈闪烁状态的光标，被配置为：

32、在所述第一图层的上层创建所述第二图层，并在所述第二图层内创建所述第一窗口；

33、基于垂直映射关系，确定所述第一窗口内与所述第一区域对应的所述第二区域，其中，在显示所述第一窗口时，所述第二区域覆盖所述第一区域，且所述第二区域的尺寸小于或者等于所述第一区域的尺寸；

34、在所述第二区域内显示呈闪烁状态的所述光标。

35、在本技术的一些实施例中，所述控制器在所述第二区域内显示所述目标文本，被配置为：

36、在所述第二区域内一次性显示完整的所述目标文本；

37、或者，按照所述目标语音的转换进度，在所述第二区域内依次显示转换后的文本；

38、其中，所述目标文本的外轮廓位于所述第二区域的边框内，所述光标跟随所述第二区域内的末位字符显示。

39、在本技术的一些实施例中，所述控制器在响应于用户输入的第二语音指令，向所述智能设备发送第二消息之后，还被配置为：

40、接收所述智能设备发送的第二应答，所述第二应答包括所述智能设备对所述第二消息的处理结果；

41、其中，如果所述处理结果为处理成功，则表示所述智能设备成功解析所述第二消息，获得所述目标文本，并向所述服务器发送所述目标文本；

42、如果所述处理结果为需要更多信息，则表示所述智能设备根据所述第二消息不能解析得到所述目标文本，和/或不能理解所述第二消息；

43、如果所述处理结果为处理错误，则表示所述智能设备在解析所述第二消息时出现错误，和/或无法向所述服务器发送所述目标文本。

44、第二方面，本技术还提供一种投屏互动方法，应用于如第一方面中任一所述的显示设备，所述显示设备与智能设备投屏连接，并在第一图层显示所述智能设备中第一画面的投屏画面，所述投屏画面包括文本框，所述文本框用于用户输入互动信息；

45、所述方法包括：

46、接收所述智能设备发送的第一消息，所述第一消息包括用于在所述第一画面中定位所述文本框的定位信息；

47、响应于所述第一消息，根据所述定位信息和所述显示设备的屏幕信息，确定所述投屏画面中用于显示所述文本框的第一区域；

48、响应于用户输入的第一语音指令，在第二图层创建第一窗口，并在所述第一窗口内与所述第一区域对应的第二区域中显示呈闪烁状态的光标，其中，所述第二图层位于所述第一图层的上层，所述第一窗口呈透明状态；

49、接收用户输入的目标语音；

50、将所述目标语音转换为目标文本，以及在所述第二区域内显示所述目标文本；

51、响应于用户输入的第二语音指令，向所述智能设备发送第二消息，所述第二消息包括所述目标文本，所述第二消息用于指示所述智能设备将所述目标文本作为所述互动信息发送至服务器。

52、显示设备在与智能设备投屏连接之后，显示智能设备中第一画面的投屏画面，该投屏画面包括用于用户输入互动信息的文本框。显示设备可以根据智能设备发送的定位信息定位文本框在投屏画面中对应的第一区域，并响应于用户的第一语音指令，在位于投屏画面上层的第一窗口中与第一区域对应的第二区域内显示呈闪烁状态的光标，以实现激活文本框的展示效果。显示设备将接收到的目标语音转换为目标文本，并显示于第二区域内，以实现在文本框内输入互动信息的展示效果。显示设备响应于用户的第二语音指令，向智能设备发送目标文本，并指示智能设备将目标文本发送至服务器，以令用户通过显示设备实现互动的效果。