一种显示设备及用户界面主题更新方法与流程

一种显示设备及用户界面主题更新方法
1.本技术要求在2021年1月14日提交中国专利局、申请号为202110046140.2、发明名称为“一种显示设备及自适应参数实现方法”的中国专利申请的优先权，其全部内容通过引用结合在本技术中。
技术领域
2.本技术涉及智能电视技术领域，尤其涉及一种显示设备及用户界面主题更新方法。


背景技术：

3.智能电视是基于internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。智能电视上还设有外接设备的接口用于接收外接设备发送的视频信号和/或音频信号，并进行信号输出。
4.例如，智能电视可以通过hdmi接口连接游戏设备。用户在使用游戏设备的过程中，游戏设备可以通过运行游戏相关程序，输出视频数据和音频数据。视频数据和音频数据可以通过hdmi协议发送给智能电视，并通过智能电视的屏幕和扬声器进行输出，播放游戏设备的视频和音频。
5.在智能电视播放视频数据和音频数据的过程中，用户还可以通过遥控器等控制装置对智能电视执行控制。例如，用户可以通过遥控器上的菜单键调出智能电视的控制菜单，从而通过控制菜单对智能电视的显示亮度、对比度、画质处理程序执行控制。通常，智能电视的控制菜单采用固定的主题模式，如控制菜单的默认主题为淡蓝色渐变背景，这种主题模式不仅形式单一，而且在智能电视输出外接设备的视频数据时，容易使控制菜单的主题风格与视频画面风格不匹配，不便于用户区分，降低交互体验。


技术实现要素：

6.本技术提供了一种显示设备及用户界面主题更新方法，以解决传统显示设备主题风格与输出视频画面风格不匹配，不便于执行交互操作的问题。
7.第一方面，本技术提供一种显示设备，包括显示器、外部装置接口以及控制器。其中，外部装置接口用于连接外接设备，显示器用于显示用户界面以及显示外接设备发送的媒资数据画面。控制器被配置为执行以下程序步骤：
8.接收外接设备发送的数据流；
9.从所述数据流中提取设备信息，所述设备信息包括外接设备的设备类型以及当前使用场景；
10.根据所述设备类型和/或当前使用场景，在主题库中查询主题图片；
11.按照所述主题图片更新所述用户界面主题。
12.第二方面，本技术还提供一种用户界面主题更新方法，应用于上述显示设备，所述
显示设备通过外部装置接口连接外接设备，所述用户界面主题更新方法包括：
13.接收外接设备发送的数据流；
14.从所述数据流中提取设备信息，所述设备信息包括外接设备的设备类型以及当前使用场景；
15.根据所述设备类型和/或当前使用场景，在主题库中查询主题图片；
16.按照所述主题图片更新所述用户界面主题。
17.由以上技术方案可知，本技术提供的显示设备及用户界面主题更新方法可以在显示设备连接外接设备后，实时获取外接设备发送的数据流。再从数据流中提取设备类型和当前使用场景，并以此提取主题图片，从而按照主题图片更新用户界面主题。所述方法可通过外接设备中的显示内容更新用户界面主题，使显示设备在输出数据流的过程中，能够更新为与数据流内容相匹配的界面风格，以便于用户执行交互操作。
附图说明
18.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本技术实施例中显示设备的使用场景；
20.图2为本技术实施例中控制装置的硬件配置框图；
21.图3为本技术实施例中显示设备的硬件配置图；
22.图4为本技术实施例中显示设备的软件配置图；
23.图5为本技术实施例中显示设备与外接设备连接状态示意图；
24.图6为本技术实施例中控制菜单示意图；
25.图7为本技术实施例中用户界面主题更新方法的流程示意图；
26.图8为本技术实施例中从数据流中提取设备类型的流程示意图；
27.图9为本技术实施例中检测外接设备类型的流程示意图；
28.图10为本技术实施例中从数据流中提取使用场景的流程示意图；
29.图11为本技术实施例中检测外接设备所支持的控制协议的流程示意图；
30.图12为本技术实施例中根据当前使用场景查询主题图片的流程示意图；
31.图13为本技术实施例中提取带有目标前景色主题图片的流程示意图；
32.图14为本技术实施例中按照主题图片更新用户界面主题的流程示意图；
33.图15为本技术实施例中主设置界面更新主题后效果对比图；
34.图16为本技术实施例中菜单界面更新主题后效果对比图；
35.图17为本技术实施例中遮挡界面更新主题后效果对比图。
具体实施方式
36.为使本技术的目的和实施方式更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
37.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的
实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
38.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
39.术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
40.术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
41.图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。
42.在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。
43.在一些实施例中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，ar/vr设备等中的任意一种。
44.在一些实施例中，也可以使用智能设备300以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
45.在一些实施例中，也可以使用智能设备300和显示设备进行数据的通信。
46.在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
47.在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
48.在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。
49.图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。
50.在一些实施例中，通信接口130用于和外部通信，包含wifi芯片，蓝牙模块，nfc或可替代模块中的至少一种。
51.在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可
替代模块中的至少一种。
52.图3示出了根据示例性实施例中显示设备200的硬件配置框图。
53.在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
54.在一些实施例中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，ram，rom，用于输入/输出的第一接口至第n接口。
55.在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控ui界面等。
56.在一些实施例中，显示器260可为液晶显示器、oled显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。
57.在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及epg数据信号。
58.在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
59.在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
60.在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(hdmi)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(cvbs)、usb输入接口(usb)、rgb端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
61.在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
62.在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示ui对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
63.在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。
64.在一些实施例中控制器包括中央处理器(central processing unit，cpu)，视频处理器，音频处理器，图形处理器(graphics processing unit，gpu)，ram random access memory，ram)，rom(read-only memory,rom)，用于输入/输出的第一接口至第n接口，通信总线(bus)等中的至少一种。
65.cpu处理器。用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。cpu处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。
66.在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
67.在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可显示设备200上显示或播放的信号。
68.在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的gui信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出rgb数据信号。
69.在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。
70.在一些实施例中，用户可在显示器260上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
71.在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素中的至少一种。
72.在一些实施例中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。
73.在一些实施例中，显示设备的系统可以包括内核(kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(ipc)。内核启动后，再加载shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
74.参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序
(applications)层(简称“应用层”)，应用程序框架(appl icat ion framework)层(简称“框架层”)，安卓运行时(android runtime)和系统库层(简称“系统运行库层”)，以及内核层。
75.在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
76.框架层为应用程序层的应用程序提供应用编程接口(applicat ion programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过api接口，可在执行中访问系统中的资源和取得系统的服务。
77.如图4所示，本技术实施例中应用程序框架层包括管理器(managers)，内容提供者(content provider)等，其中管理器包括以下模块中的至少一个：活动管理器(activity manager)用与和系统中正在运行的所有活动进行交互；位置管理器(location manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(package manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(notification manager)用于控制通知消息的显示和清除；窗口管理器(window manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
78.在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
79.在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的c/c++库以实现框架层要实现的功能。
80.在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、wifi驱动、usb驱动、hdmi驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
81.在本技术实施例中，显示设备200连接外接设备500是指建立通信连接。建立通信连接的显示设备200和外接设备500分别作为接收端(sink端)和发送端(source端)。例如，外接设备500可以是游戏设备，在用户使用游戏设备过程中，能够针对游戏过程实时输出视频数据和音频数据，并将视频数据和音频数据发送给显示设备200，以通过显示设备200将视频数据和音频数据输出为视频画面和声音。此时，游戏设备作为发送端，而显示设备200作为接收端。
82.发送端与接收端之间，可以通过特定接口实现通信连接，从而传递数据。为此，在发送端和接收端上都应设有同一种接口规范和功能的数据接口。例如，如图5所示，在显示设备200和外接设备500上均设有高清多媒体接口(high definition multimedia interface，hdmi)。在使用过程中，用户可以将hdmi接口数据线的两端分别插在显示设备200和外接设备500上，并在启动外接设备500和显示设备200后，设定显示设备200的信号源为hdmi接口，实现显示设备200与外接设备500之间的数据传输。
83.显示设备200在与外接设备500建立连接关系后，可以实时接收外接设备500发送
的视频数据和/或音频数据，以进行输出。在本技术实施例中，为了便于描述，将外接设备500发送给显示设备200的视频数据和音频数据统称为媒资数据。
84.需要说明的是，为了实现显示设备200与外接设备500之间的通信连接，显示设备200与外接设备500之间还可以采用其他的连接方式。具体的连接方式可以是有线的连接方式，如dvi(digital visual interface)、vga(video graphics array)、usb(universal serial bus)等；也可以是无线的连接方式，如无线局域网、蓝牙连接、红外连接等。不同的通信连接方式可以采用不同的信息传递协议，例如采用hdmi接口实现连接时，可以采用hdmi协议进行数据传输。
85.外接设备500在运行过程中，可以根据使用情况实时发送视频数据和/或音频数据。外接设备500在不同的使用场景下，所发送的视频数据和音频数据需要与对应播放模式相适应，从而获得更好的画质效果和音质效果。为此，显示设备200可以内置多种播放模式，不同的播放模式具有各自的解码参数和处理算法，可以获得不同画质和音质效果。
86.例如，显示设备200支持切换的播放模式可以包括低延迟模式(low-latency mode，llm)和高画质模式(high image quality mode，hiqm)。对于游戏机等外接设备500，由于游戏画面需要保持良好的流畅性和响应速度，因此在使用显示设备200输出游戏画面时，可以控制显示设备200切换至低延迟模式。在低延迟模式下，显示设备200可以关闭部分画质处理程序，如关闭插帧算法、降噪处理、超分算法等，减少画面处理的时间，降低画面显示延迟。而对于机顶盒等外接设备500，由于相对于游戏画面，影视画面更注重画面质量，并不需要过快的显示响应速度，因此在使用显示设备200播放机顶盒传输的影视画面时，可以控制显示设备200切换至高画质模式，以开启插帧算法、降噪处理、超分算法等全部画质处理程序，获得更好的画面效果。
87.由于显示设备200和外接设备500属于不同种类的设备，用户通常无法通过外接设备500直接对显示设备200进行控制。例如，用户在智能电视与游戏设备之间通过hdmi接口实现连接时，游戏设备负责运行游戏应用，并根据用户交互操作形成视频数据和音频数据，而智能电视只能被动获取游戏设备输出的音频数据和视频数据，游戏设备无法直接调整智能电视的播放模式，造成播放模式与使用场景不相符，影响音视频输出效果。
88.为了适应不同的使用场景，在一些实施例中，部分外接设备500可以支持自动控制协议，例如自动低延迟模式(auto low-latency mode，allm)协议。自动低延迟模式协议可以在sink端用户无需手动设置的情况下，由source端根据预设规则自动启动或禁止sink端运行低延时模式。例如，用户在观看电影时接到视频电话，则此时作为source端的外接设备500会自动停止电影播放，并通知sink端显示设备200切换至低延时模式，以保证视频电话的实时互动性能。而在用户接听完视频电话后，source端外接设备500可以恢复电影播放过程，并通知sink端显示设备200退出低延时模式的状态。
89.由此，所述数据流并不仅仅局限于上述视频数据和音频数据，还包括在显示设备200和外接设备500之间传递的其他数据，例如，设备信息、协议信息等数据。数据流可以通过多个连续帧形成数据流，即在数据流中可以包括多个数据帧，如显示图像数据帧，设备信息帧等。对于支持自动控制协议的外接设备500所发送的数据流，还可以包括协议帧等数据帧。
90.由于显示设备200和外接设备500都具有各自独立的操作系统，因此在建立连接关
系后，显示设备200一方面可以作为sink端输出外接设备500的数据流，另一方面还可以按照自身操作系统规则执行交互操作。例如，用户可以通过遥控器、手机等控制装置100实施交互操作，显示设备200则可以在输出数据流的过程中，实时接收控制装置100所发送的各种指令。当用户按下控制装置100中的“菜单”按钮时，显示设备200会显示控制菜单。在控制菜单中可以设置有“图像模式”、“声音模式”、“显示范围”、“缩放模式”、“hdmi版本”等多个控制选项，用户可以通过控制装置100执行进一步操作，选中任一控制选项。此时，显示设备200可以进一步显示对应的用户界面，以完成对显示设备200输出方式的控制。
91.对于显示设备200，其在交互过程中所显示的控制菜单等内容，可以跟随操作系统的用户界面主题，呈现为特定的界面风格。例如，如图6所示，对于智能电视等显示设备200，控制菜单可以呈现为淡蓝色渐变背景形式。
92.由于用户界面主题通常是由用户通过显示设备200的操作系统进行设定。因此在显示设备200与外接设备500建立连接关系以后，用户界面主题仍然按照操作系统中设定的形式进行显示。这将导致用户界面的主题形式单一，并且在输出外接设备500的数据流时，容易使控制菜单的主题风格与视频画面风格不匹配，不便于用户区分，降低交互体验。例如，当用户使用游戏机接入显示设备200时，游戏画面可能也是蓝色渐变背景形式，使控制菜单与背景颜色无法明显区分，不便于用户操作。在部分情况下，游戏画面还可能与控制菜单风格不一致，使整体显示效果不协调。
93.为了便于用户执行操作，提高用户体验，在本技术的部分实施例中提供一种显示设备200，所述显示设备200包括显示器275、外部装置接口240以及控制器250。其中，外部装置接口240用于连接外接设备500，显示器275用于显示用户界面以及显示外接设备500发送的媒资数据画面。控制器250则可以被进一步配置为执行用户界面主题更新方法，以实现显示设备200的用户界面主题可以跟随外接设备200发送的内容进行更新，以获得更便于操作和/或更协调的用户界面风格。
94.具体的，如图7所示，显示设备200可以在外接设备500连接至外部装置接口240以后，接收外接设备500发送的数据流。其中，显示设备200所接收到的数据流包括视频数据、音频数据以及与数据输出相关的辅助信息数据。外接设备500可以通过多个连续帧形成数据流，显示设备200在接收到数据流后，一方面可以解析从数据流中解析获得视频数据和音频数据等媒资数据，并形成具体的视频图像和声音信号；另一方面还可以从数据流中提取与数据输出过程相关的辅助信息，以便实时控制媒资输出过程。
95.例如，显示设备200可以从媒资数据中的设备信息帧中提取当前外接设备500相关的信息，包括设备名称、设备类型等信息，通过提取的信息调整播放模式，以适应外接设备500的使用场景或者向外接设备500发送一些控制指令。对于支持自动控制协议的外接设备500，显示设备200还可以在数据流中提取基于自动控制协议的相关控制指令，以便根据控制指令切换播放模式。
96.在接收到外接设备500发送的数据流后，显示设备200还可以从数据流中提取设备信息。其中，所述设备信息包括外接设备500的设备类型以及当前使用场景。设备类型可以通过外接设备500的实际功能进行分类，如可以分为游戏设备、多媒体设备等。由于部分外接设备500具有多种功能，因此设备类型还可以包括多功能设备、智能终端设备等。
97.设备类型可以通过读取数据流中的设备信息帧获得，也可以通过分析数据流中的
视频数据和音频数据内容，以及相关接口数据、设备名称等信息综合识别获得。显示设备200可以在接收到的数据流中提取设备名称、制造商信息、mac地址、接口规范以及音视频数据格式等内容，综合判断设备类型。例如，通过读取外接设备500的设备信息帧可以获得外接设备500的类型为“游戏设备”。而在需要确定具体游戏设备的时，还可以提取相关信息，包括：设备名称“游戏机360”、制造商信息“microsoft”、mac地址为“xx-xx-xx-xx-xx-xx”、接口规范为“hdmi”。因此，通过查询可以确定能够符合上述相关信息的游戏设备是“x-box 360”，从而获得外接设备500更多的设备信息。
98.显示设备200还可以通过数据流实时监测外接设备500的当前使用场景。使用场景可以通过读取数据流中的协议帧获得，也可以通过对数据流中显示图像执行场景识别的方式获得。由于不同的外接设备500，所对应能够支持的使用场景不同，部分外接设备500可以支持多种使用场景。例如，计算机设备、智能终端等，其在使用中能提供游戏场景、即时通信场景等。这些外接设备500还可在使用中切换不同的使用场景，因此称为多模式设备。部分外接设备500仅支持单一使用场景，例如，游戏机、机顶盒、多媒体播放器等，这些外接设备500一般在使用中不切换或极少切换使用场景，因此称为单模式设备。
99.对于单模式设备，当确定设备类型后，其对应的使用场景则可以直接确定。例如，对于设备类型为游戏设备的外接设备500，其对应的使用场景通常为游戏场景。对于设备类型为多媒体设备的外接设备500，其对应的使用场景通常为影视场景。而对于多模式设备，则可以在不同的使用时间或使用条件下处于不同的使用场景。例如，对于设备类型为智能终端设备的外接设备500，其在运行游戏应用时，对应的使用场景为游戏场景；其在播放视频资源时，对应的使用场景为影视场景。
100.一方面，显示设备200在获取设备信息后，可以根据设备信息中的使用场景切换播放模式，例如在确定外接设备500的当前使用场景为游戏场景时，将播放模式切换至低延迟模式；在确定外接设备500的当前使用场景为影视场景时，将播放模式切换至高画质模式。另一方面，显示设备200在获取设备信息后，可以根据设备信息提取主题图片。其中，主题图片可以由显示设备200根据菜单尺寸，预先制作的主流设备、主要使用场景下的图片画面，对于不同的外接设备500以及不同的使用场景，显示设备200可以设置与之匹配的多种主题图片，并存储于本地数据库或者云端数据库中。
101.基于此，显示设备200在提取主题图片的过程中，可以根据设备信息先后在本地数据库和云端数据库中进行查询，以获得符合设备信息的主题图片。显示设备200可以根据设备信息生成查询指令，并响应于查询指令调用本地数据库，并且在本地数据库中查询与设备信息相匹配的主题图片；而当本地数据库中没有查询到相匹配的主题图片时，显示设备200还可以将查询指令发送给云端服务器，以请求云端服务器在云端数据库中匹配与当前设备信息相适应的主题图片。
102.例如，显示设备200可以从数据流中提取出当前外接设备500的设备信息，包括设备类型为游戏设备，使用场景为运行游戏“游戏x”，则可以根据设备信息生成查询指令，以使显示设备200可以在本地数据库中查询与“游戏x”相关的主题图片，如游戏海报、游戏截图或者与游戏主色调或风格类似的其他战争类图片。当本地数据库中匹配到与“游戏x”相关的主题图片，则直接提取相关图片用于渲染显示设备200的用户界面主题。
103.而当本地数据库中没有匹配到与“游戏x”相关的主题图片时，显示设备200可以将
查询指令发送给云端服务器，请求云端服务器查询相关的主题图片。即云端服务器在接收到查询指令后，可以根据查询指令中指定的游戏场景“游戏x”，在云端服务器中匹配游戏海报、游戏截图或者与游戏x游戏类似的其他战争类游戏图片。最后，将匹配得到的主题图片再发送给显示设备200，以使显示设备200能够提取主题图片。
104.主题图片可以包括用于构成控制菜单的背景图案和前景图形，当查询获得主题图片后，显示设备200可以根据主题图片对应的背景图案和前景图形渲染控制菜单。不同的主题图片可以渲染出不同的主题风格。例如，当外接设备500为游戏设备时，显示设备200可以根据设备信息查询到游戏主题图片。游戏主题图片可以由基于某一游戏的封面图案生成的背景图案，以及与游戏封面主色调相同或相近的多个前景图形。通过将前景图形和背景图案相结合，可以渲染出符合游戏场景的用户界面，实现按照主题图片更新用户界面主题。
105.可见，在上述实施例中，显示设备200可以通过对数据流中设备信息的提取，查询与当前外接设备500使用场景相适应的主题图片，从而根据主题图片渲染出控制菜单，使用户界面风格与数据流中的显示画面风格相一致，便于用户执行交互操作，提高用户的使用体验。
106.为了能够从数据流中提取设备信息，如图8所示，在一些实施例中，显示设备200可以在数据流中获取的设备信息帧。其中，所述设备信息帧为外接设备根据基础传输协议发送的帧数据。例如，hdmi协议中规定了一种描述设备自身信息的源设备描述(source product description，spd)数据帧，外接设备500可以在传输媒资信息数据的同时，按照预设时间间隔发送spd数据帧。
107.显示设备200再通过遍历设备信息帧中指定标志位的状态值，读取设备类型，例如，在接收到spd数据帧以后，从spd数据帧中读取特定字节位置(标志位)上的设备分类，如spd数据帧中的第25个字节(data byte 25)为设备分类，其对应状态值“8”代表“游戏设备”、“9”代表“主机设备”、“10”代表“dvd设备”等。当读取到特定字节位置上的设备分类数值为“8”，代表接入显示设备200的外接设备500为游戏机，而游戏机通常用于进行游戏，因此可以将播放模式切换至低延迟模式。
108.为了能够根据标志位上的状态值确定外接设备500的设备类型，显示设备200通过遍历获得标志位状态值时，可以调用类型对照表，从而根据遍历获得的状态值在类型对照表中查询当前外接设备的设备类型。其中，类型对照表可以由显示设备200或者显示设备200的云端服务商进行维护，在所述类型对照表中可以包括多个状态值以及每个状态值所指代的设备类型。
109.由于支持spd数据帧协议的产品较为普及，主流外接设备500均可以送出spd数据帧，因此可以通过spd数据帧来获取外接设备500的设备类型信息。为实现更精确的判断，还可以从spd数据帧中提取其他辅助信息用于判断设备类型，例如制造商信息、型号信息等。
110.从设备信息帧中提取的设备类型，可以用于显示设备200切换播放模式。例如，按照用户的使用习惯，游戏类设备主要的使用场景是游戏场景，智能终端设备的主要使用场景则是画面投屏，以上两种场景均要求更低的画面传输延迟效果，即需要切换至低延迟模式；而其他类设备例如机顶盒、dvd等则主要用于观影场景，此时需要切换至高画质模式。
111.设备类型还可以用于显示设备200对用户界面主题更新过程进行初步判断，以便显示设备200仅针对于部分类型的外接设备500执行用户界面主题更新。由于显示设备200
能够连接的外接设备500类型众多，其中部分类型外接设备500所发送的数据流中包含特定的交互界面。例如，显示设备200在检测到外接设备500的设备类型为游戏设备时，由于游戏设备在运行游戏时会呈现游戏列表、游戏内的操作列表等交互界面，并且这些交互界面具有独特的界面风格，因此在通过显示设备200进行输出时，需要显示设备200更新用户界面的主题，以使显示设备200的用户界面与外接设备500的当前交互界面的风格保持一致。
112.而对于部分外接设备500，其发送的数据流中并不包含交互界面。例如，外接设备500的设备类型为摄像机设备，摄像机设备在使用中仅向显示设备200发送其录制的视频数据，通常不会有其独特的交互界面风格，因此并不需要显示设备200更新用户界面主题，直接按照初始主题进行显示即可。
113.因此，如图9所示，在一些实施例中，当显示设备200获得外接设备500的设备类型以后，显示设备200还可以对设备类型进行判断，如果设备类型为需要更新用户界面主题的第一类设备，则可以执行后续步骤，从数据流中提取当前使用场景，以获得设备信息。如果设备类型为不需要更新用户界面主题的第二类设备，则可以停止对用户界面主题的更新，维持显示设备200操作系统中设定的用户界面主题形式进行显示。
114.对于需要更新用户界面主题的第一类设备，显示设备200还可以从数据流进一步提取当前外接设备500的使用场景。即如图10所示，在一些实施例中，显示设备200可以获取数据流中的协议帧，并通过遍历协议帧中标志位的状态值，以根据状态值检测外接设备的当前使用场景信息。所述协议帧为外接设备根据自动控制协议发送的帧数据，例如，协议帧可以是外接设备500基于allm协议发送的一帧数据。在allm协议帧中，可以在指定标志位上通过状态值表示当前外接设备500的使用场景。
115.显示设备200可以通过遍历协议帧中标志位的状态值，确定当前外接设备500的使用场景。例如，显示设备200可以从数据流中提取allm协议帧，并读取协议帧中自动低延迟模式allm状态参数；如果allm状态参数等于1，则代表当前外接设备500处于游戏场景；如果allm状态参数等于0，则代表当前外接设备500处于非游戏场景。
116.对于支持多种使用场景的外接设备500，还可以通过设置协议帧上的预留标志位的状态值，向显示设备200传递当前使用场景信息。例如，对于计算机设备，可以利用hdmi规范中预留的两个bit位，表示使用场景，包括：rsvd1＝0且rsvd0＝0表示游戏场景；rsvd1＝0且rsvd0＝1表示即时通信场景；rsvd1＝1且rsvd0＝0表示办公场景，rsvd1＝1且rsvd0＝1表示运动场景等。
117.因此，显示设备200还可以通过周期性获取协议帧数据，并遍历协议帧数据中多个bit位上的状态值。从而根据多个bit位上的状态值组合，读取当前使用场景信息。例如，显示设备200可以每间隔1s，在数据流中提取协议帧数据，并在扩展协议指定的两个bit位上读取状态值。当读取到rsvd1＝0且rsvd0＝0时，则确定当前计算机设备处于游戏场景。当读取到rsvd1＝1且rsvd0＝1时，则确定当前计算机设备处于观看球赛等运动场景。
118.可见，通过读取协议帧中标志位上的状态值，可以获取多模式外接设备500的使用场景，从而按照不同的使用场景查询不同的主题图片，更新用户界面主题。但是对于部分不支持自动控制协议的外接设备500，显示设备200无法从数据流中获取协议帧，或者从数据流中获取的协议帧中不包含有效的设备信息，即无法从数据流中提取出设备信息。为此，如图11所示，在一些实施例中，显示设备200还可以在提取使用场景的过程中，先检测外接设
备500所支持的控制协议，如果外接设备500支持自动控制协议，则从数据流中提取协议帧，并通过遍历协议帧中标志位状态值，确定外接设备500的当前使用场景。
119.如果外接设备500不支持自动控制协议，则可以从数据流中提取多帧显示图像，再对多帧显示图像执行场景识别，获得外接设备500的当前使用场景信息。为了实现场景识别，显示设备200可以从数据流中提取显示图像，并将提取的显示图像输入场景识别模型，以获取场景识别模型输出的场景信息。其中，所述场景识别模型为根据样本图像训练获得的神经网络模型。样本图像则是一种用于训练的图像，包括外接设备500所支持的多个使用场景下的显示图像以及每个显示图像对应的使用场景标签。场景识别模型作为一种分类模型，可以在输入显示图像后，通过模型内部的神经网络算法，计算出该显示图像的分类概率，即该显示图像对应所属的使用场景。
120.显然，在执行自动控制协议的检测前，可以在显示设备200中构建一个场景识别模型。例如，场景识别模型可以通过执行神经网络模型训练获得，即可以先构建初始模型，再将样本图像逐一输入至该初始模型，以获得模型输出结果。再将模型输出结果与标签信息进行对比，确定分类误差，并使用分类无法反向传播调整模型参数。基于此，通过多次输入一定数量的样本图像，可以逐步对模型参数进行调整，以最终获得较高准确率的场景识别模型。
121.在构建场景识别模型后，显示设备200可以将从数据流中提取的显示图像输入到场景识别模型，以获得场景识别结果。根据与显示设备200连接的外接设备500类型不同，场景识别模型可以输出的识别结果种类也不同。例如，对于游戏设备，场景识别模型可以输出的使用场景信息包括游戏场景和非游戏场景；而对于计算机设备，场景识别模型可以输出的使用场景包括游戏场景、即时通信场景、办公场景以及运动场景等。因此，在执行场景识别时，还可以针对不同类型的外接设备500调用不同的场景识别模型，以获得相适应的场景分类。
122.为了检测外接设备500所支持的控制协议，显示设备200可以在外接设备500第一次接入时，通过检测外接设备500能否维护协议帧中标志位状态值，确定当前外接设备500是否支持自动控制协议。即在第一次接入时，自动使能allm协议解析线程，同时通过图像识别、ai场景识别等方式，判断当前的使用场景，同时记录allm_mode标志位的变化情况。若场景切换信息与参数变化信息相匹配，表示当前外接设备500可以正确维护该标志位，即当前外接设备500支持allm功能，否则不支持allm功能。
123.显示设备200还可以针对同一个外接设备500，在不同的使用场景下更新不同的用户界面主题，使用户界面主题与外接设备500输入给显示设备200的画面相适应。例如，对于接入显示设备200的游戏设备，可以在其运行游戏时，将显示设备200的用户界面主题更新为与游戏界面相适应；而在其不运行游戏时，将显示设备200的用户界面主题更新为与主界面相适应。
124.为此，显示设备200可以依据不同的设备信息提取主题图片，即如图12所示，在一些实施例中，可以在显示设备200中定义两类使用场景，即第一场景和第二场景。其中，第一场景为外接设备500具有不固定界面风格的使用场景；第二场景为外接设备500具有固定界面风格的使用场景。如果当前使用场景为第一场景，显示设备200则从数据流中截取当前视频画面，并通过提取当前视频画面的场景名称字符，以根据场景名称字符生成主题标签，最
后按照主题标签，从主题库中查询主题图片。
125.例如，游戏设备在运行游戏a时，其对应的游戏界面风格为卡通风格；在运行游戏b时，其对应的游戏界面风格为写实风格。由于卡通风格和写实风格相差较大，因此在游戏设备处于游戏模式时，显示设备200的控制器250或者独立的视频处理器可以从数据流中截取当前视频画面，以生成截屏图像。再通过启用光学字符识别(optical character recognition,ocr)等文字识别程序，在截屏图像中读取游戏名称或者与游戏名称相关的字符，如游戏开发商名称、游戏关键词、版本号等字符，从而获取游戏名称。显示设备200再根据游戏名称及相关的字符，生成包含游戏名称“a”的主题标签。最后显示设备200可以根据该主题标签，在主题库中查询相适应的主题图片，即卡通风格的主题图片。
126.在获取外接设备500的当前使用场景后，如果当前使用场景为第二场景，则从数据流中提取外接设备的制造商信息，再根据制造商信息生成主题标签，以及按照主题标签，从主题库中查询主题图片。通常，外接设备500的主界面风格是由制造商在出厂时设定，同一制造商所设置主界面风格往往趋于一致，因此对于固定风格的使用场景，显示设备200可以通过制造商信息生成主题标签，并按照生成的标签查询与主界面风格相似的主题图片，用于更新用户界面主题。
127.例如，在游戏设备未运行游戏时，一般处于主界面中，而主界面的风格由游戏设备的制造商通过游戏设备的操作系统ui风格确定。因此，当检测到游戏设备处于非游戏场景时，显示设备200可以从设备信息帧或协议帧中提取游戏设备的制造商信息。如xbox的制造商为“microsoft”，则以“microsoft”为准生成主题标签并进行匹配，从而在主题库中提取与xbox主界面风格相适应的主题图片，以将用户界面主题更新为相应的主题。
128.由于同一设备或者同一使用场景可以对应包括多种界面风格，例如，对于外接设备500的主界面，可以包括浅色模式和深色模式，以分别适应白天和黑夜两个使用时间段。对此，如图13所示，显示设备200可以在从主题库中查询主题图片的步骤中，获取与主题标签相匹配的多个主题图片，每个主题图片可以对应渲染出一个与当前使用场景相适应的用户界面主题。
129.同时，显示设备200还可以从数据流中提取同样时刻的多帧显示图像，并分别遍历多个主题图片和显示图像的色彩布局，以基于主题图片获得前景色彩，基于显示图像获得背景色彩。再通过对比前景色彩和背景色彩，从多个主题图片中提取具有目标前景色的主题图片。显然，目标前景色为在主题库中匹配到的多个前景色彩中的一个。
130.可以通过判断前景色彩与背景色彩是否相适应确定目标前景色。其中，前景色彩与背景色彩相适应是指，前景色彩与背景色彩的色调风格相近，但具体颜色存在差异的状态。例如，当背景色彩为绿、蓝、紫及其组合所形成的偏冷色调时，前景色彩也采用偏冷色调，但要与背景图案中的主要颜色能够区分，以使用户容易分辨控制菜单，便于执行交互操作。
131.可见，在上述实施例中，显示设备200可以通过对比显示图像和主题图片，确定当前使用场景下的界面风格，从而匹配出既与显示画面风格一致，又便于分辨的主题图片，用于更新用户界面主题。
132.为了更新用户界面主题，如图14所示，在一些实施例中，显示设备20在按照主题图片更新用户界面主题的过程中，可以先获取当前用户界面的菜单尺寸，再根据菜单尺寸裁
切主题图片，以生成背景图片，从而将背景图片添加至用户界面中，使用户界面的背景风格与当前使用场景相适应。
133.同时，为了使用户界面中选项内容清晰可辨，在将背景图片添加至用户界面的同时，还可以根据背景图片修改用户界面中文字和/或图标的颜色，以使用户界面中的文字和图标与背景对比更加明显，以便于用户分辨。
134.基于上述实施例，显示设备200可以通过在数据流中提取设备类型和使用场景，并根据提取的内容对用户界面主题进行更新，以获得与外接设备500使用场景相适应的主题风格。显然，显示设备200可以按照设定的频率持续对外接设备500的使用场景进行检测，从而实现用户界面主题跟随使用场景的变化而变化，提高用户体验。
135.例如，显示设备200可以通过中间件层、系统框架层以及渲染层三个部分的工作实现主题跟随变化。即中间件层部分负责收集source设备的类型描述、工作状态参数，并主动上报；系统框架(android framework)层截取source设备当前视频画面、提取游戏画面中的游戏名称字符，并生成主题标签；渲染层(livetv)根据菜单尺寸，预先制作主流设备、游戏的主题图片，存储于本地主题库。通过实时检测framework层通知的标签信息，在本地主题库中查询对应标签的主题图片，并更新用户界面主题。
136.需要说明的是，显示设备200在更新用户界面主题的过程中，可以对显示设备200的全部用户界面进行更新，也可以仅对部分控制菜单执行更新。例如，如图15、图16、图17所示，可更换主题的菜单主要包含如下几项：菜单、快捷设置界面、主设置界面、“无信号”遮挡界面、信号源选择界面等。上述界面为显示设备200与外接设备500连接时所能够调出的常用界面，通过对这些常用界面主题的更新，不仅能够获得更协调的主题风格，而且能够减少显示设备200在配置主题过程中的数据处理量，节省运算资源。
137.基于上述显示设备200，在本技术的部分实施例中，还提供一种用户界面主题更新方法，包括：接收外接设备发送的数据流；从数据流中提取设备信息，其中，设备信息包括外接设备的设备类型以及当前使用场景；根据设备信息，在主题库中查询主题图片；按照主题图片更新用户界面主题。
138.由以上技术方案可知，本实施例提供的用户界面主题更新方法可以在显示设备200连接外接设备500后，实时获取外接设备500发送的数据流。再从数据流中提取设备类型和当前使用场景，并以此提取主题图片，从而按照主题图片更新用户界面主题。所述用户界面主题更新方法可通过外接设备500中的显示内容更新用户界面主题，使显示设备200在输出数据流的过程中，能够更新为与数据流内容相匹配的界面风格，便于用户执行交互操作。
139.本技术提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本技术总的构思下的几个示例，并不构成本技术保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本技术方案所扩展出的任何其他实施方式都属于本技术的保护范围。