一种显示方法及相关设备与流程

本技术涉及终端，尤其涉及一种显示方法及相关设备。

背景技术：

1、目前，平板电脑(pad)等终端不仅可以作为独立设备以供用户使用，还可以作为扩展屏以供用户使用。平板电脑(pad)等终端作为独立设备来使用时，其不仅可以满足用户的通信需求，还可以给用户提供获取外界信息的渠道，以及多种多样的娱乐方式，而其作为另一电子设备(例如，手机、笔记本电脑等)的扩展屏来使用时，其可以用于显示该另一设备的投屏画面。

2、一方面，平板电脑等终端作为另一设备扩展屏使用时，用户无法直接与其进行交互，而只能通过与该另一设备进行交互来使其显示的画面发生变化。另一方面，若采用无线投屏技术，数据传输速率和帧率都比较受限。这也就意味着，针对一些对数据传输速率和帧率要求较高的投屏场景，无线投屏技术并不是好的选择。

3、因此，如何在保证投屏效果的情况下使得平板电脑等终端在显示另一电子设备所显示的画面的情况下，还能基于用户操作来触发该另一电子设备所显示的画面发生变化。

技术实现思路

1、本技术提供了一种显示方法及相关设备。该显示方法可以应用于建立有线连接的第一设备和第二设备。根据该显示方法，第一设备可以显示第二设备的显示内容。并且，用户可以通过作用于第一设备上的操作来控制第二设备的显示内容发生变化。

2、第一方面，本技术提供了一种显示方法。该显示方法可以应用于包括显示屏和第一接口的第一设备。第一接口可以为支持第一类型信号输入和第二类型信号输出的接口。该显示方法可以包括：在第一设备通过第一接口与第二设备建立有线连接的情况下，第一设备可以在显示屏上显示第一界面，第一界面可以包括第一显示区域，第一显示区域可以用于显示第二设备显示界面的内容；第一设备可以检测到作用于第一显示区域上的第一操作，响应于该第一操作，第一显示区域显示的内容发生变化。

3、在本技术提供的方案中，在第一设备和第二设备建立有线连接的情况下，第一设备可以在第一显示区域显示第二设备显示界面的内容，还可以基于作用在第一显示区域上的用户操作来控制第二设备执行相应操作。可理解，第一设备可以作为第二设备的扩展屏使用。并且，针对不便在第二设备上进行的操作(例如，书写、绘画等)，用户可以通过在第一设备执行来控制第二设备也执行相应操作。并且，在第一设备和第二设备操作系统不一致的情况下，第一设备不仅可以显示其自身操作系统支持的应用程序的界面，还可以显示其自身操作系统不支持但第二设备的操作系统支持的应用程序的界面。上述方法既保证了投屏数据传输的速度和稳定性，又实现了对设备的功能扩展。

4、在本技术的一些实施例中，第一设备可以为电子设备100，第二设备可以为电子设备200。第一接口可以为接口1。

5、在本技术的一些实施例中，第一类型信号可以为dp信号。在本技术又一些实施例中，第一类型信号可以为其他类型信号。例如，hdmi信号。

6、在本技术的一些实施例中，第二类型信号可以为usb信号。

7、在本技术的一些实施例中，第一显示区域可以为第一设备的显示屏的整个显示区域(即全部显示区域)。例如，第一显示区域可以为图2c-图2h所示的电子设备100中的整个显示区域。在本技术的又一些实施例中，第一显示区域可以为第一设备的显示屏的部分显示区域。例如，如图2i(a)所示的用户界面108中的显示区域1a。例如，如图2i(b)所示的用户界面109中的显示区域1a。再例如，如图2j-图2r所示的显示区域1a。

8、在本技术的一些实施例中，第一显示区域可以为显示区域1a。显示区域1a的相关描述可以参考后文，在此不再赘述。

9、在本技术的一些实施例中，第一界面可以为如图2c-图2r所示的电子设备100的用户界面。

10、在本技术的一些实施例中，第一操作可以为作用于如图2c所示的暂停播放控件10211上的用户操作。在本技术的一些实施例中，第一操作可以为作用于如图2c所示的播放下一曲控件10212上的用户操作。在本技术的一些实施例中，第一操作可以为作用于如图2e所示的最小化控件1041上的用户操作。在本技术的一些实施例中，第一操作可以为作用于如图2g所示的画布区域1061上的用户操作。在本技术的一些实施例中，第一操作可以为作用于如图2i(b)所示的退出控件1091上的用户操作。在本技术的一些实施例中，第一操作可以为作用于如图2j所示的视频应用图标1101上的用户操作。

11、可理解，第二设备显示界面的内容为第二设备显示的用户界面所包括的内容。

12、结合第一方面，在一种可能的实现方式中，在第一设备通过第一接口与第二设备建立有线连接的情况下，第一设备在显示屏上显示第一界面，具体可以包括：第一设备可以通过第一接口接收第二设备发送的第一数据，第一数据可以包括第一图像数据，第一数据可以为第一类型信号；第一设备可以基于第一图像数据在显示屏上显示第一界面，第一界面中的第一显示区域所显示的内容与第一图像数据相对应。

13、在本技术提供的方案中，第一设备可以通过第一接口接收第二设备发送的图像数据，并将第二设备发送的图像数据在第一设备的显示屏的第一显示区域上进行显示。并且，第一接口支持第一类型信号输入和第二类型信号输出。这样，第一设备可以显示第二设备的显示界面的内容。

14、在本技术的一些实施例中，第一数据可以为dp信号，即dp信号数据，又可称为dp数据包(例如，如图5a和图5b所示的从电子设备200的接口2传输至电子设备100的dp数据包)。第一图像数据可以为dp数据包中的图像数据(如图5a-图5b所示)。

15、在本技术的又一些实施例中，第一数据可以为hdmi信号，即hdmi信号数据，又可称为hdmi数据。

16、结合第一方面，在一种可能的实现方式中，第一数据包括的第一图像数据的格式为第一格式。第一设备通过第一接口接收第二设备发送的第一数据之后，该方法还可以包括：第一设备可以通过桥接芯片将第一图像数据的格式由第一格式转换为第二格式。第一设备基于第一图像数据在显示屏上显示第一界面，具体可以包括：第一设备可以基于第二格式的第一图像数据在显示屏上显示第一界面。

17、在本技术提供的方案中，第二设备传输至第一设备的第一数据可能无法直接使用，第一设备可以对其进行格式转换再传输至显示屏进行显示。例如，第一设备可以包括桥接芯片，并通过桥接芯片将第一数据包括的第一格式的第一图像数据转换为第二格式的第一图像数据，再基于该第二格式的第一图像数据在显示屏上显示相应画面。通过这种方法，针对第二设备传输至第一设备的无法直接使用的图像数据，第一设备可以首先通过桥接芯片进行格式转换，从而使得第一设备能够顺利显示第二设备传输的图像数据。

18、可理解，桥接芯片可以用于将第一格式的图像数据转换为第二格式的图像数据。

19、在本技术的一些实施例中，第一数据可以为dp数据包(如图5a和5b所示)，第一格式可以为dp数据格式，第二格式可以为csi数据格式。

20、在本技术的又一些实施例中，第一数据可以为hdmi信号，第一格式可以为hdmi数据格式，第二格式可以为csi数据格式。

21、结合第一方面，在一种可能的实现方式中，第一数据还可以包括第一音频数据。第一设备通过桥接芯片将第一图像数据的格式由第一格式转换为第二格式之前，第一设备可以通过桥接芯片分离第一数据中的第一图像数据和第一音频数据。并且，在第一设备通过桥接芯片分离第一数据中的第一图像数据和第一音频数据之后，第一设备可以播放第一音频数据。

22、在本技术提供的方案中，第二设备不仅可以将图像数据通过第一接口传输给第一设备，还可以将音频数据通过第一接口传输给第一设备。例如，第一数据可以包括第一图像数据和第一音频数据。可理解，第一设备接收第二设备传输的第一数据之后，可以通过桥接芯片将第一图像数据和第一音频数据分离，并通过桥接芯片对第一图像数据进行格式转换，再将格式转换后的第一图像数据通过相应接口(例如，csi接口)传输给soc，以及将分离后的第一音频数据通过相应接口(例如，音频接口1)传输给soc。这种方法可以解决一些场景下第二设备无法播放音频的问题。

23、在本技术的一些实施例中，第一数据可以为dp数据包(如图5a和图5b所示)，第一音频数据可以为dp数据包中的音频数据(如图5a和图5b所示)。

24、结合第一方面，在一种可能的实现方式中，第一显示区域可以为显示屏的整个显示区域。在这种情况下，第一图像数据可以为第一显示区域所显示的内容所对应的图像数据。

25、在本技术提供的方案中，第一设备可以全屏显示第二设备的显示界面的内容。

26、结合第一方面，在一种可能的实现方式中，第一界面还可以包括第二显示区域。第二显示区域可以用于显示第一设备自身系统对应的显示内容。第一设备基于第一图像数据在显示屏上显示第一界面，具体可以包括：第一设备可以将第一图像数据和第二图像数据进行处理，将处理后的图像数据传输给显示屏，并在显示屏上显示第一显示区域和第二显示区域。其中，第二图像数据为第一设备自身系统产生的图像数据。第一显示区域所显示的内容与第一图像数据对应。第二显示区域所显示的内容与第二图像数据对应。

27、在本技术提供的方案中，在第一设备和第二设备建立有线连接的情况下，第一设备不仅可以在第一显示区域显示第二设备显示界面的内容，还可以在第二显示区域显示其自身系统产生的画面。通过这种方法，第一设备不仅可以显示器自身系统产生的画面，还可以作为第二设备的扩展屏使用，既保证了投屏数据传输的速度和稳定性，又满足了用户对于扩展屏幕显示的需求。

28、在本技术的一些实施例中，第二显示区域可以为显示区域1b。显示区域1b的相关描述可以参考后文，在此不再赘述。

29、在本技术的一些实施例中，第一设备可以将第一图像数据和第二图像数据进行图层叠加，得到处理后的图像数据(如图5a和图5b所示)，并将该处理后的图像数据传输至显示屏进行显示。具体地，第一设备可以将第一图像数据和第二图像数据进行图层叠加之后，可以在显示屏的第一显示区域显示第一图像数据对应的画面，在第二显示区域显示第二图像数据对应的画面。

30、结合第一方面，在一种可能的实现方式中，第一数据包括的第一图像数据的格式可以为第一格式。第一设备将第一图像数据和第二图像数据进行处理，具体可以包括：第一设备通过桥接芯片将第一图像数据的格式由第一格式转换为第二格式；第一设备将第二格式的第一图像数据与第二图像数据进行图层叠加处理。

31、在本技术提供的方案中，第二设备传输至第一设备的第一数据可能无法直接使用，第一设备可以对其进行格式转换再传输至显示屏进行显示。第一设备对第一图像数据和第二图像数据进行的处理可以为图层叠加处理。具体地，第一设备可以通过内部图形处理器的预算，对第一图像数据和第二图像数据进行图层叠加处理，将其叠加到一个画面上来显示。

32、结合第一方面，在一种可能的实现方式中，第一类型信号可以为dp信号。第一数据可以为dp信号数据。第一格式可以为dp数据格式。第二格式可以为csi数据格式。

33、结合第一方面，在一种可能的实现方式中，第一设备通过第一接口与第二设备建立有线连接之前，该方法还可以包括：第一设备可以基于针对桥接芯片定制的管线，控制桥接芯片的rest管脚接收第一数据。

34、在本技术提供的方案中，第一设备可以针对桥接芯片定制usecase和/或管线，并控制桥接芯片的rest管脚接收第一数据。

35、结合第一方面，在一种可能的实现方式中，响应于第一操作，第一显示区域显示的内容发生变化，具体可以包括：响应于第一操作，第一设备将接触位置坐标相关信息发送给第二设备，并通过第一接口接收第二设备发送的第二数据。接触位置坐标相关信息为第二类型信号。第二数据包括第三图像数据。第二数据为第一类型信号。第三图像数据为第二设备基于接触位置坐标相关信息得到的更新后的图像数据。第三图像数据不同于第二图像数据。响应于第一操作，第一显示区域显示的内容发生变化，具体还可以包括：第一设备基于第三图像数据在显示屏上显示第二界面。第二界面中的第一显示区域所显示的内容与第三图像数据相对应。第二界面中的第一显示区域所显示的内容不同于第一界面中的第一显示区域所显示的内容。

36、在本技术提供的方案中，第一设备可以检测到相应的用户操作，并将该用户操作对应的接触位置坐标相关信息发送给第二设备。第二设备可以基于该接触位置坐标相关信息执行相应操作，得到更新后的图像数据。一方面，第二设备可以在其显示屏上显示更新后的图像数据。也就是说，第二设备可以在显示屏上显示更新后的显示界面。另一方面，第二设备可以将该更新后的图像数据发送给第一设备，以使得第一设备能够及时显示第二设备的更新后的显示界面的内容。

37、在本技术的一些实施例中，接触位置坐标相关信息可以为后文所提及的“相关操作信息”。

38、在本技术的一些实施例中，在第一设备未获取压感信息的情况下，接触位置坐标相关信息可以为tp报点信息。在本技术的一些实施例中，在第一设备获取压感信息的情况下，接触位置坐标相关信息可以为处理后的tp报点信息。接触位置坐标相关信息具体可以包括接触位置坐标。

39、结合第一方面，在一种可能的实现方式中，第一类型信号可以为dp信号。第二类型信号可以为usb信号。第一接口可以为支持dp信号输入和usb信号输出的type-c接口。第一设备可以设置有第二接口，第二接口可以为支持dp信号输出的type-c接口。

40、结合第一方面，在一种可能的实现方式中，第一界面还包括第二显示区域。在第一设备在显示屏上显示第一界面之前，该方法还可以包括：第一设备在显示屏上显示第三界面。第三界面的内容与第一界面中的第二显示区域显示的内容相同。

41、在本技术提供的方案中，在第一设备和第二设备建立有线连接的情况下，第一设备不仅可以在第一显示区域显示第二设备显示界面的内容，还可以在第二显示区域显示其自身系统产生的画面。这种方法实现了对设备的功能扩展。

42、结合第一方面，在一种可能的实现方式中，第一设备在显示屏上显示第一界面之后，该方法还可以包括：响应于作用于第二显示区域上的操作，第二显示区域显示的内容发生变化。

43、在本技术的一些实施例中，第二显示区域可以为如图2k所示的用户界面112中的显示区域1b。在这种情况下，作用在第二显示区域上的操作，具体可以为：作用于如图2k所示的备忘录应用图标1011上的用户操作。

44、结合第一方面，在一种可能的实现方式中，第一设备在显示屏上显示第一界面之后，该方法还可以包括：响应于作用于第一界面的操作，第一设备可以增大第一显示区域。

45、在本技术的一些实施例中，第一界面可以为如图2i(b)所示的用户界面109。在这种情况下，作用于第一界面的操作，具体可以为：作用于如图2i(b)所示的显示区域1a和显示区域1b的分界处的向右滑动操作。

46、结合第一方面，在一种可能的实现方式中，第一设备在显示屏上显示第一界面之后，该方法还可以包括：第一设备检测到第二操作，响应于第二操作，第一设备可以进入批注模式；第一设备检测到作用于显示屏上的操作，响应于作用在显示屏上的操作，在第一显示区域上显示第一批注痕迹；第一设备检测到第三操作，响应于第三操作，第一设备可以保存含有第一批注痕迹的图片。

47、在本技术的一些实施例中，第二操作可以为作用于如图2l所示的用户界面112上的两指下滑操作。

48、在本技术的一些实施例中，作用在显示屏上的操作，具体可以为：作用于如图2m所示的显示区域1a上的用户操作。

49、在本技术的一些实施例中，第三操作可以为作用于如图2m所示的工具栏1131中的完成控件上的用户操作。

50、在本技术的一些实施例中，第三操作可以为作用于如图2n所示的用户界面114中的截图控件11312上的用户操作。

51、在本技术的一些实施例中，第三操作可以为作用于如图2r所示的截图工具栏1182中的完成控件上的用户操作。

52、第二方面，本技术提供了一种显示方法。该显示方法可以应用于显示屏和第三接口的第二设备。第三接口为支持第一类型信号输出和第二类型信号输入的接口，该方法可以包括：在第二设备通过第三接口与第一设备建立有线连接的情况下，第二设备可以接收第一设备发送的接触位置坐标相关信息，基于接触位置坐标相关信息确定显示屏上的目标位置坐标，并基于目标位置坐标得到更新后的图像数据；第二设备可以将更新后的图像数据传输至显示屏上进行显示，且将更新后的图像数据发送给第一设备。

53、在本技术提供的方案中，第一设备可以检测到相应的用户操作，并将该用户操作对应的接触位置坐标相关信息发送给第二设备。第二设备可以基于该接触位置坐标相关信息执行相应操作，得到更新后的图像数据。一方面，第二设备可以在其显示屏上显示更新后的图像数据。也就是说，第二设备可以在显示屏上显示更新后的显示界面。另一方面，第二设备可以将该更新后的图像数据发送给第一设备，以使得第一设备能够及时显示第二设备的更新后的显示界面的内容。

54、第三方面，本技术提供了一种电子设备。该电子设备可以包括第一接口、显示屏、一个或多个存储器、一个或多个处理器。该一个或多个处理器与该第一接口、该显示屏，以及该第一个或多个存储器耦合。该第一接口可以用于接收第一类型信号，以及发送第二类型信号。该存储器可以用于存储计算机程序。该处理器可以用于调用该计算机程序，使得该电子设备执行如第一方面或第一方面的任意一种实现方式所描述的方法。

55、可理解，第三方面所涉及的电子设备可以为上述第一方面中所提及的第一设备。

56、结合第三方面，在一种可能的实现方式中，电子设备还可以包括第二接口，该第二接口可以用于输出第一类型信号。

57、结合第三方面，在一种可能的实现方式中，第一类型信号可以为dp信号。第二类型信号可以为usb信号。

58、第四方面，本技术提供了一种电子设备。该电子设备可以包括第一接口、桥接芯片、处理器和显示屏。第一接口与桥接芯片相连，桥接芯片与处理器相连，处理器与显示屏相连。第一接口可以用于连接第二设备，接收第二设备发送的第一数据，并将第一数据传输给桥接芯片。第一数据为第一类型信号。桥接芯片可以用于将第一数据中的第一格式的第一图像数据转换为第二格式的第一图像数据，并将第二格式的第一图像数据传输给处理器。处理器可以用于将第二格式的第一图像数据和电子设备自身系统产生的图像数据进行处理，得到第一已处理图像数据。显示屏可以用于显示第一已处理图像数据。第一接口还可以用于向第二设备发送接触位置坐标相关信息。接触位置坐标相关信息为第二类型信号。第一接口还可以用于接收第二设备发送的第二数据，并将第二数据传输给桥接芯片。第二数据为第一类型信号。桥接芯片还可以用于将第二数据中的第一格式的第三图像数据转换为第二格式的第三图像数据，并将第二格式的第三图像数据传输给处理器。第三图像数据为第二设备基于接触位置坐标相关信息得到的更新后的图像数据。处理器还可以用于将第二格式的第三图像数据和电子设备自身系统产生的图像数据进行处理，得到第二已处理图像数据。显示屏还可以用于显示第二已处理图像数据。

59、可理解，第四方面所涉及的电子设备可以为上述第一方面中所提及的第一设备。

60、在本技术的一些实施例中，第一已处理图像可以为电子设备100对输入的图像数据和自身系统产生的图像数据进行处理后所得的处理后的图像数据(如图5a和图5b所示)。

61、在本技术的一些实施例中，第二已处理图像可以为电子设备100对输入的更新后的图像数据和自身系统产生的图像数据进行处理后所得的处理后的图像数据(如图5b所示)。

62、结合第四方面，在一种可能的实现方式中，第一已处理图像数据为第二格式的第一图像数据和电子设备自身系统产生的图像数据进行图层叠加处理后所得的图像数据。

63、结合第四方面，在一种可能的实现方式中，第一已处理图像数据为第二格式的第一图像数据。

64、结合第四方面，在一种可能的实现方式中，第一类型信号为dp信号，第二类型信号为usb信号。

65、第五方面，本技术提供了一种电子设备。该电子设备可以包括第三接口、显示屏、一个或多个存储器、一个或多个处理器。该一个或多个处理器与、该第三接口、该显示屏，以及该第一个或多个存储器耦合。该第三接口可以用于发送第一类型信号，以及接收第二类型信号。该存储器可以用于存储计算机程序。该处理器可以用于调用该计算机程序，使得电子设备执行如第二方面所描述的方法。

66、第六方面，本技术提供了一种显示系统。该显示系统可以包括第一设备和第二设备。该第一设备可以包括第一接口。该第二设备可以包括第三接口。该第一设备可以通过第一接口与该第二设备的第三接口相连。第一设备为如第三方面或第三方面的任意一种实现方式或第四方面或第四方面的任意一种实现方式所描述的电子设备。第二设备为如第五方面或第五方面的任意一种实现方式所描述的电子设备。

67、结合第六方面，在一种可能的实现方式中，该显示系统还可以包括转接设备。第一设备可以通过第一接口与第二设备的第三接口相连，具体可以包括：第一设备可以通过第一接口与转接设备连接，转接设备与第二设备的第三接口连接。

68、结合第六方面，在一种可能的实现方式中，第三接口可以为支持dp信号输出和usb信号输入的接口。

69、第七方面，本技术提供了一种计算机存储介质。该计算机存储介质包括计算机指令，当该计算机指令在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种实现方式所描述的方法。

70、第八方面，本技术实施例提供一种芯片。该芯片可以应用于电子设备，该芯片包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实现方式所描述的方法。

71、第九方面，本技术实施例提供一种包含指令的计算机程序产品。当该计算机程序产品在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种实现方式所描述的方法。

72、第十方面，本技术提供了一种计算机存储介质。该计算机存储介质包括计算机指令，当该计算机指令在电子设备上运行时，使得该电子设备执行如第二方面或第二方面的任意一种实现方式所描述的方法。

73、第十一方面，本技术实施例提供一种芯片。该芯片可以应用于电子设备，该芯片包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第二方面或第二方面的任意一种实现方式所描述的方法。

74、第十二方面，本技术实施例提供一种包含指令的计算机程序产品。当该计算机程序产品在电子设备上运行时，使得该电子设备执行如第二方面或第二方面的任意一种实现方式所描述的方法。

75、可理解，上述第三方面和第四方面提供的电子设备、第六方面提供的显示系统、第七方面提供的计算机存储介质、第八方面提供的芯片，以及第九方面提供的计算机程序产品均用于执行如第一方面或第一方面的任意一种实现方式所描述的方法。因此，其所能达到的有益效果可参考上述第一方面中任一种可能的实现方式的有益效果，此处不再赘述。类似的，上述第五方面提供的电子设备、第六方面提供的显示系统、第十方面提供的计算机存储介质、第十一方面提供的芯片，以及第十二方面提供的计算机程序产品均用于执行如第二方面或第二方面的任意一种实现方式所描述的方法。因此，其所能达到的有益效果可参考上述第二方面中任一种可能的实现方式的有益效果，此处不再赘述。