一种显示设备、外接设备及自动控制协议检测方法与流程

一种显示设备、外接设备及自动控制协议检测方法
1.本技术要求在2021年1月14日提交中国专利局、申请号为202110046140.2、发明名称为“一种显示设备及自适应参数实现方法”的中国专利申请的优先权，其全部内容通过引用结合在本技术中。
技术领域
2.本技术涉及智能电视技术领域，尤其涉及一种显示设备、外接设备及自动控制协议检测方法。


背景技术：

3.智能电视是基于internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。智能电视上还设有外接设备的接口用于接收外接设备发送的视频信号和/或音频信号，并进行信号输出。
4.例如，智能电视可以通过hdmi接口连接游戏设备。用户在使用游戏设备的过程中，游戏设备可以通过运行游戏相关程序，输出视频数据和音频数据。视频数据和音频数据可以通过hdmi协议发送给智能电视，并通过智能电视的屏幕和扬声器进行输出，播放游戏设备的视频和音频。智能电视在播放外接设备的音视频数据时，还可以通过切换模式，调整音频数据和视频数据的输出参数，以获得更好的画质效果和音质效果。
5.为了控制智能电视切换播放模式，智能电视可以通过自动控制协议获取外接设备的控制指令，并按照控制指令切换播放模式。但由于控制指令不能清晰的表达外接设备的全部使用场景，智能电视无法精确的控制调整播放模式。并且对于不支持自动控制协议的外接设备，智能电视无法获得控制指令，因此，智能电视基于自动控制协议方式调整播放模式时，则容易造成播放模式选择错误。


技术实现要素：

6.本技术提供了一种显示设备、外接设备及自动控制协议检测方法，以解决传统显示设备容易造成播放模式选择错误的问题。
7.一方面，本技术提供一种显示设备，包括显示器、外部装置接口以及控制器。其中，外部装置接口用于连接外接设备，显示器用于显示用户界面以及显示外接设备发送的媒资数据画面。控制器被配置为执行以下程序步骤：
8.接收外接设备发送的数据流，所述数据流中包括画面帧和辅助信息帧；
9.从所述数据流中提取辅助信息帧的标志位状态值，以及对所述数据流中的显示图像执行场景识别，以获得场景信息，所述显示图像是所述数据流中与所述设备信息帧同时刻的画面帧；
10.如果所述标志位状态值所指示的使用场景与所述场景信息相同，根据所述标志位状态值切换播放模式
11.基于上述显示设备，本技术第一方面还提供一种自动控制协议检测方法，包括以下步骤：
12.接收外接设备发送的数据流，所述数据流中包括画面帧和辅助信息帧；
13.从所述数据流中提取辅助信息帧的标志位状态值，以及对所述数据流中的显示图像执行场景识别，以获得场景信息，所述显示图像是所述数据流中与所述设备信息帧同时刻的画面帧；
14.如果所述标志位状态值所指示的使用场景与所述场景信息相同，根据所述标志位状态值切换播放模式
15.由以上技术方案可知，本技术第一方面提供的显示设备及自动控制协议检测方法可以在外接设备发送的数据流提取标志位状态值和场景信息，当标志位状态值所指示的使用场景与场景信息相同时，确定外接设备支持自动控制协议，因此可以根据标志位状态值切换播放模式。所述方法可以通过场景识别结果与标志位状态值进行对比，确定外接设备能够正常维护标志位状态值，从而确定是否支持自动控制协议，有利于准确的按照自动控制协议切换播放模式，缓解画质增强方式选择错误的问题。
16.另一方面，本技术还提供一种外接设备，包括数据接口和处理器。其中，数据接口用于连接显示设备，以向显示设备发送数据流，控制显示设备显示指定的内容。处理器被配置为执行以下程序步骤：
17.在所述外接设备支持自动控制协议时，检测当前使用场景；
18.根据所述使用场景设置辅助信息帧中的标志位状态值；
19.向所述显示设备发送数据流，以使所述显示设备根据所述标志位状态值切换播放模式，所述数据流中包括画面帧和所述辅助信息帧。
20.基于上述外接设备，本技术第二方面还提供一种媒资数据发送方法，包括以下步骤：
21.在所述外接设备支持自动控制协议时，检测当前使用场景；
22.根据所述使用场景设置辅助信息帧中的标志位状态值；
23.向所述显示设备发送数据流，以使所述显示设备根据所述标志位状态值切换播放模式，所述数据流中包括画面帧和所述辅助信息帧。
24.由以上技术方案可知，本技术第二方面提供的外接设备及媒资数据发送方法可以在在外接设备支持自动控制协议时，检测当前使用场景，并按照自动控制协议设置数据流中辅助信息帧的标志位状态值，最后将设置了标志位状态值的数据流发送给显示设备，以使显示设备可以根据标志位状态值切换播放模式。可见，所述方法可以使外接设备向显示设备发送的数据流中携带使用场景信息，便于显示设备根据使用场景切换播放模式。
附图说明
25.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1为本技术实施例中显示设备的使用场景；
27.图2为本技术实施例中控制装置的硬件配置框图；
28.图3为本技术实施例中显示设备的硬件配置图；
29.图4为本技术实施例中显示设备的软件配置图；
30.图5为本技术实施例中显示设备与外接设备连接状态示意图；
31.图6为本技术实施例中显示设备调整播放模式的流程示意图；
32.图7为本技术实施例中检测外接设备所支持控制协议的流程示意图；
33.图8为本技术实施例中根据allm状态参数切换播放模式的流程示意图；
34.图9为本技术实施例中根据使用场景信息切换播放模式的流程示意图；
35.图10为本技术实施例中调整播放模式中画质处理项的流程示意图；
36.图11为本技术实施例中根据设备类型切换播放模式的流程示意图；
37.图12为本技术实施例中维护设备信息表的流程示意图；
38.图13为本技术实施例中自动控制协议检测流程示意图；
39.图14为本技术实施例中判断外接设备是否支持自动控制协议的流程示意图；
40.图15为本技术实施例中场景识别流程示意图；
41.图16为本技术实施例中判断外接设备是否支持扩展协议的流程示意图；
42.图17为本技术实施例中检测外接设备是否首次接入的流程示意图；
43.图18为本技术实施例中外接设备数据流发送流程示意图。
具体实施方式
44.为使本技术的目的和实施方式更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
45.图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。
46.在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，ar/vr设备等中的任意一种。
47.图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。
48.图3示出了根据示例性实施例中显示设备200的硬件配置框图。
49.在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
50.在一些实施例中控制器250包括中央处理器，视频处理器，音频处理器，图形处理器，ram，rom，用于输入/输出的第一接口至第n接口。
51.在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示
的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控ui界面等。
52.在一些实施例中，显示器260可为液晶显示器、oled显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。
53.在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(hdmi)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(cvbs)、usb输入接口(usb)、rgb端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
54.在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示ui对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
55.在一些实施例中，显示设备的系统可以包括内核(kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(ipc)。内核启动后，再加载shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
56.参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(applications)层(简称“应用层”)，应用程序框架(application framework)层(简称“框架层”)，安卓运行时(android runtime)和系统库层(简称“系统运行库层”)，以及内核层。
57.在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
58.框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过api接口，可在执行中访问系统中的资源和取得系统的服务。
59.如图4所示，本技术实施例中应用程序框架层包括管理器(managers)，内容提供者(content provider)等，其中管理器包括以下模块中的至少一个：活动管理器(activity manager)用与和系统中正在运行的所有活动进行交互；位置管理器(location manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(package manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(notification manager)用于控制通知消息的显示和清除；窗口管理器(window manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
60.在本技术实施例中，显示设备200连接外接设备500是指建立通信连接，而建立通信连接的显示设备200和外接设备500分别作为接收端(sink端)和发送端(source端)。例如，外接设备500可以是游戏设备，在用户使用游戏设备过程中，能够针对游戏过程实时输出视频数据和音频数据，并将视频数据和音频数据发送给显示设备200，以通过显示设备200将视频数据和音频数据输出为视频画面和声音。此时，游戏设备作为发送端，而显示设
备200作为接收端。
61.发送端与接收端之间，可以通过特定接口实现通信连接，从而传递数据。为此，在发送端和接收端上都应设有同一种接口规范和功能的数据接口。例如，如图5所示，在显示设备200和外接设备500上均设有高清多媒体接口(high definition multimedia interface，hdmi)。在使用过程中，用户可以将hdmi接口数据线的两端分别插在显示设备200和外接设备500上，并在启动外接设备500和显示设备200后，设定显示设备200的信号源为hdmi接口，从而实现显示设备200与外接设备500之间的数据传输。
62.为了实现显示设备200与外接设备500之间的通信连接，显示设备200与外接设备500之间还可以采用其他的连接方式。具体的连接方式可以是有线的连接方式，如dvi(digital visual interface)、vga(video graphics array)、usb(universal serial bus)等；也可以是无线的连接方式，如无线局域网、蓝牙连接、红外连接等。不同的通信连接方式可以采用不同的信息传递协议，例如采用hdmi接口实现连接时，可以采用hdmi协议进行数据传输。
63.需要说明的是，在本技术实施例中，不同的外接设备500可以支持不同的传输协议，其中，部分外接设备500所支持的传输协议可以用于控制显示设备200的播放过程，因此这部分传输协议称为自动控制协议。外接设备500可以基于自动控制协议生成协议帧并发送给显示设备200。而对于部分外接设备500所支持的传输协议，仅具有传输作用，并不能直接控制显示设备200的播放过程，因此这种传输协议被称为基础传输协议。外接设备500可以按照基础传输协议向显示设备200发送包含设备类型信息的设备信息帧。
64.外接设备500在运行过程中，可以根据使用情况实时输出视频数据和/或音频数据。外接设备500在不同的使用场景下，所输出的视频信号和音频信号需要与对应场景相适应，从而获得更好的画质效果和音质效果。为此，显示设备200可以内置多种播放模式，不同的播放模式下，可以获得不同画质和音质效果。
65.例如，显示设备200支持切换的播放模式可以包括低延迟模式(low-latency mode，llm)和高画质模式(high image quality mode，hiqm)。对于游戏机等外接设备500，由于游戏画面需要保持良好的流畅性和响应速度，因此在使用显示设备200输出游戏画面时，可以控制显示设备200切换至低延迟模式。在低延迟模式下，显示设备200可以关闭部分画质处理程序，如关闭插帧算法、降噪处理、超分算法等，减少画面处理的时间，降低画面显示延迟。而对于机顶盒等外接设备500，由于相对于游戏画面，影视画面更注重画面质量，并不需要过快的显示响应速度，因此在使用显示设备200播放机顶盒传输的影视画面时，可以控制显示设备200切换至高画质模式，以开启插帧算法、降噪处理、超分算法等全部画质处理程序，获得更好的画面效果。
66.但是，由于外接设备500与显示设备200之间不具有从属关系，因此外接设备500通常无法对显示设备200进行直接控制，导致在实际应用中，需要用户手动切换显示设备200的播放模式。手动切换过程不仅需要用户执行交互动作，而且部分用户并不清楚适用于外接设备500的播放模式，导致出现播放模式切换错误的问题。
67.而对于部分外接设备500，其可以在使用中根据不同的使用需求，处于多种不同的使用场景。如游戏场景、影视场景、即时通讯场景等，这些场景可以在特定的播放模式下表现出更好的效果。但由于需要手动切换显示设备200的播放模式，使得当用户在外接设备
500上变更使用场景时，用户需要再更改显示设备200的播放模式，因此为用户带来了不便。
68.并且，由于显示设备200和外接设备500通常属于不同种类的设备，用户通常无法通过外接设备500直接对显示设备200进行控制。例如，用户在智能电视与游戏设备之间通过hdmi接口实现连接时，游戏设备负责运行游戏应用，并根据用户交互操作形成视频数据和音频数据，而智能电视只能被动获取游戏设备输出的音频数据和视频数据，游戏设备无法直接调整智能电视的播放模式，造成播放模式与使用场景不相符，影响视频、音频效果。
69.为了适应不同的使用场景，在一些实施例中，外接设备500可以支持自动低延迟模式(auto low-latency mode，allm)。自动低延迟模式可以在sink端用户无需手动设置的情况下，由source端根据预设规则自动启动或禁止sink端运行低延时模式。例如，用户在观看电影时接到视频电话，则此时作为source端的外接设备500会自动停止电影播放，并通知sink端显示设备200切换至低延时模式，以保证视频电话的实时互动性能。而在用户接听完视频电话后，source端外接设备500可以恢复电影播放过程，并通知sink端显示设备200退出低延时模式的状态。
70.但目前市面上支持allm协议的外接设备500较少，限制了依赖allm协议的参数自适应功能的应用范围。例如，xbox系列游戏机支持allm协议，而部分其他类型的游戏机并不支持allm协议，导致无法实现在游戏机进入运行游戏的状态时，自动向显示设备200发送用于切换播放模式的控制指令。
71.基于此，在本技术的部分实施例中，如图6所示，显示设备200可以通过检测外接设备500发送的数据流，对外接设备500是否支持allm协议等自动控制协议进行检测，并针对外接设备500所支持的控制协议，切换播放模式。为了实现自动切换播放模式，显示设备200可以包括显示器275、外部装置接口240以及控制器250，外接设备500则包括数据接口510和处理器520。通过在外部装置接口240与数据接口510之间连接hdmi数据线，使外接设备500接入显示设备200。在接入显示设备500后，外接设备500可以向显示设备200发送数据流。其中，数据流包括待播放的视频数据和音频数据。
72.为了便于描述，在本技术实施例中发送端和接收端建立连接关系以后，所传输的视频数据和音频数据统称为媒资数据。显然，针对不同的外接设备500，媒资数据可以是视频数据也可以是音频数据，还可以是视频数据和音频数据的集合。并且在发送的媒资数据形成数据流后，所形成的数据流中除视频数据和音频数据以外，还可以包括控制指令、设备信息等辅助信息，用于实现显示设备200和外接设备500之间的联动控制。
73.为了将这些辅助信息发送给显示设备200，外接设备500可以通过所支持的接口协议将这些辅助信息编辑为辅助信息帧随着数据流一同发送给显示设备200。其中，辅助信息帧可以根据外接设备500所支持的协议不同，呈现为不同的形式。对于支持自动控制协议(如allm协议)的外接设备500，可以将控制指令等辅助信息编辑至协议帧；而对于不支持自动控制协议的外接设备500，可以将设备信息等辅助信息编辑至基于基础传输协议(如hdmi协议)的设备信息帧(source product description，spd)。
74.例如，当接入显示设备200外部装置接口240的外接设备500为xbox系列游戏机时，xbox系列游戏机是支持allm等自动控制协议的外接设备500，因此外接设备500可以直接通过自动控制协议控制显示设备200切换播放模式，即显示设备200可以从数据流中提取使用场景信息，并根据使用场景信息实施播放模式切换。随着用户使用过程，游戏机可以在数据
流中添加使用场景信息，即在运行游戏程序时在数据流中添加使用场景信息为游戏场景，在退出游戏程序时在数据流中添加使用场景信息为非游戏场景。显示设备200可以在检测到使用场景信息为游戏场景时，切换至低延迟模式；而在检测到使用场景信息为非游戏场景时，切换至高画质模式。
75.为了检测外接设备500所支持的控制协议，如图7所示，在一些实施例中，显示设备200可以在接收到外接设备500的数据流后，从数据流中提取设备参数帧数据，并通过遍历设备参数帧数据中的标志位，确定标志位是否包含自动控制协议对应的字段。如果标志位包含自动控制协议对应的字段，标记外接设备支持自动控制协议；如果标志位不包含自动控制协议对应的字段，标记外接设备不支持自动控制协议。
76.对于支持自动控制协议的外接设备500，其在应用中可以根据控制策略向显示设备200发送设备参数帧(或协议帧)。其中，所述协议帧是由外接设备500按照自动控制协议发送的，包含使用场景信息的数据帧。显示设备200可以在协议帧数据中的特定位置读取状态参数，从而根据状态参数确定控制方式。例如，如图8所示，在外接设备500连接显示设备200后，可以从数据流中提取allm协议帧数据。在allm协议帧中，可以通过多个在数据帧中特定位置上的字节位对控制指令等辅助信息进行表示。协议帧是按照约定的allm控制协议所制定生成，可以用于描述外接设备500的设备信息和与数据传输过程相关的其他信息。显示设备200可以读取自动低延迟模式allm状态参数；如果allm状态参数等于1，则代表当前外接设备500处于游戏场景，因此可以控制显示设备200切换播放模式为低延迟模式；如果allm状态参数等于0，则代表当前外接设备500处于非游戏场景，因此可以控制显示设备200切换播放模式为高画质模式。
77.在使用过程中，显示设备200可以通过持续监测数据流中的协议帧数据，使播放模式跟随外接设备500的使用场景实时切换。例如，sink端显示设备200可周期性检测媒资数据，实时解析协议帧中的allm标志位，以通过allm标志位确定当前是否需切换至低延迟模式(low-latency mode，llm)。。当外接设备500通过allm触发sink端显示设备200进入llm后，显示设备200需保持该模式直到source端外接设备500通知sink端显示设备200退出llm。而当source端通知sink端显示设备200退出llm后，sink端显示设备200需恢复进入llm之前的图像模式。
78.在实现播放模式切换以后，显示设备200还可以继续从数据流中提取使用场景信息，并根据使用场景信息确定是否切换播放模式。例如，当sink端显示设备200需提供pq bypass的低延时图像模式时,这一模式与allm下自动切入的llm需表现一致，并且当sink端显示设备200已处于低延时模式时，再次接收hf-vsif切入llm的通知后，不会产生任何可分辨出的视觉与听觉的差异。
79.需要说明的是，当外接设备500通过allm触发llm切换时，sink端显示设备200需临时限制视频信号和音频信号，不直接播放source端外接设备500传递过来的信号，以使控制器250能够在此期间内判断是否需要执行切换。并且，为了实现无感知交互，以获得更好的用户体验，sink端显示设备200若在切换期间可以显示遮挡画面，如黑屏、花屏或者osd遮挡等，但显示的时间在满足切换运行时间的前提下，尽可能的短，如显示时间不超过1s。同时，声音则不得出现任何无关提示音，包括敲击声、点击声或者系统提示音等。
80.对于支持自动控制协议的外接设备500，不同外接设备500对应的使用场景不同。
部分外接设备500可以支持多种使用场景，例如，计算机设备、智能终端等，其在使用中能提供游戏场景、即时通信场景等，这些外接设备500可在使用中切换不同的使用场景，因此称为多模式设备。部分外接设备500仅支持单一使用场景，例如，游戏机、机顶盒、多媒体播放器等，这些外接设备500一般在使用中不切换或极少切换使用场景，因此称为单模式设备。
81.因此，在一些实施例中，在检测到外接设备500连接显示设备200以后，显示设备200可以从数据流中提取外接设备500的设备类型。其中设备类型的检测方式可以通过读取数据流中携带的设备信息帧中的内容获得，例如，可以通过读取设备名称、设备mac地址、设备接口信息等数据，确定外接设备500的设备类型。
82.如果设备类型为单模式设备，将播放模式切换为单模式设备所支持的模式。例如，当检测到外接设备500为多媒体播放器，即单模式设备时，则可以控制将播放模式切换为多媒体播放器对应需要的高画质模式。
83.由于支持多模式的外接设备500可以在使用中，随用户操作切换到不同的使用场景，因此如果设备类型为多模式设备，可以配置扩展协议，使接入显示设备200的外接设备500能够在协议帧数据中发送使用场景信息，从而使显示设备200根据扩展协议切换播放模式。其中，所述扩展协议用于传递外接设备500的使用场景信息。例如，当检测到外接设备500为计算机设备，即多模式设备时，可以通过配置扩展协议，使计算机设备可以在发送的数据流中携带使用场景信息。
84.扩展协议可以根据自动控制协议的数据传输特点，附加定义部分数据字段。例如，可利用hdmi规范中预留的多个bit位表示外接设备500的使用场景信息。对于计算机设备，可以利用hdmi规范中预留的两个bit位，表示使用场景，包括：rsvd1＝0且rsvd0＝0表示游戏场景；rsvd1＝0且rsvd0＝1表示即时通信场景；rsvd1＝1且rsvd0＝0表示办公场景，rsvd1＝1且rsvd0＝1表示运动场景等。
85.相应的，如图9所示，显示设备200可以通过周期性获取协议帧数据，并遍历协议帧数据中多个bit位上的参数值。从而根据多个bit位上的参数值组合，读取当前使用场景信息，最后设置播放模式为与当前使用场景信息相适应的模式。
86.例如，显示设备200可以每隔1s在数据流中提取协议帧数据，并在扩展协议指定的两个bit位上读取参数值，当读取到rsvd1＝0且rsvd0＝0时，则确定当前计算机设备处于游戏场景，而与游戏场景适应的播放模式为低延迟模式，因此可以将显示设备200的播放模式切换至低延迟模式。当读取到rsvd1＝1且rsvd0＝1时，则确定当前计算机设备处于观看球赛等运动场景，与运动场景适应的播放模式为运动补偿模式，因此可以将显示设备200的播放模式切换至运动补偿模式，即开启运动补偿(motion estimation and motion compensation，memc)功能，对传输的媒资画面进行画质处理。
87.如图10所示，在一些实施例中，与当前使用场景信息相适应的模式包括完全低延迟模式和非完全低延迟模式，如果与当前使用场景信息相适应的模式为完全低延迟模式，关闭对数据流的所有画质处理项；如果与当前使用场景信息相适应的模式为非完全低延迟模式，关闭对数据流指定画质处理项以外的所有画质处理项。
88.例如，在将计算机设备通过hdmi接入智能电视后，计算机设备端可以有多种使用场景，包括看电影、玩游戏、看球赛、视频通话、办公等。其中，看电影场景对应完全高画质模式，玩游戏场景则为完全低延时模式。但看球赛时，在追求低延时效果时用户也会在意画面
的流畅度，此时并不能关闭提升画质流畅度的memc功能来降低延时。再比如视频通话时，由于视频通话时的画面清晰度较低，需要通过超分算法(nr)和降噪算法(sr)提升清晰度，因此视频通话场景需要降低延时但不能关闭超分算法与降噪算法。
89.可见，本实施例可以根据不同的模式，采用不同的数据流播放方法，利用allm协议帧的预留标志位，使source端外接设备500在要求低延时场景时可以提供更加详细的画质处理方式，相应的使用场景信息在送达sink端显示设备200后，sink端显示设备200可根据该信息更加细致的调整自身工作参数，以此适应不同场景下的低延时需求。
90.对于不支持自动控制协议的外接设备500，由于这类外接设备500不能通过allm等自动控制协议传输控制指令，因此为了适应不同的使用场景，可以在数据流中提取设备类型，并根据设备类型切换播放模式。例如，hdmi协议中规定了一种描述设备自身信息的源设备描述(source product description，spd)数据帧，与allm协议帧不同，spd数据帧基于基础的hdmi协议生成，可以无需对外接设备500进行额外配置的情况下，向显示设备200发送包括用于描述设备信息的辅助信息。
91.外接设备500可以在传输媒资信息数据的同时，按照预设时间间隔发送spd数据帧。显示设备200则在接收到spd数据帧以后，从spd数据帧中读取特定字节位置上的设备分类，如spd数据帧中的第25个字节(data byte 25)为设备分类，其对应状态值“8”代表“游戏设备”、“9”代表“主机设备”、“10”代表“dvd设备”等。当读取到特定字节位置上的设备分类数值为“8”，代表接入显示设备200的外接设备500为游戏机，而游戏机通常用于进行游戏，因此可以将播放模式切换至低延迟模式。
92.为了识别出设备类型，如图11所示，在一些实施例中，显示设备200可以从数据流中提取设备信息数据帧；并根据设备信息数据帧中指定字节位的数据，获取接入设备类型。例如，支持spd(数据帧)协议的产品较为普及，主流外接设备500均可以送出spd协议帧数据，因此当外接设备500不支持allm功能时，可以通过spd协议帧来获取外接设备500的类型信息。为实现更精确的判断，还可以从spd数据帧中提取其他辅助信息用于判断设备类型，例如制造商信息、型号信息等。再按照用户的使用习惯，游戏类设备主要的使用场景是游戏场景，智能终端设备的主要使用场景则是画面投屏，以上两种场景均要求更低的画面传输延迟效果，即需要低延迟模式；而其他类设备例如机顶盒、dvd等则主要用于观影场景，此时需要高画质模式。
93.需要说明的是，在本实施例中，为了便于描述，将使用习惯上要求更低的画面传输延迟的设备称为第一类设备；将要求更高画面质量的设备称为第二类设备。因此，在获取外接设备500的设备类型后，可以对设备类型进行判断，如果设备类型为第一类设备，设置播放模式为低延迟模式；如果设备类型为第二类设备，设置播放模式为高画质模式。
94.同理，对于其他类型的外接设备500，可以根据使用习惯或自定义策略设定不同设备类型下的播放模式。例如，对于网络摄像头设备，根据用户的使用习惯常用于进行网络通信，因此当检测到外接设备500的设备类型为网络摄像头时，可以将显示设备200的播放模式切换为低延迟且不关闭超分算法与降噪算法的模式下。通过更细致的归类和更多的自定义播放模式，可以实现在外接设备500不支持自动控制协议时，也可以自动调整到相适应的播放场景。
95.在上述实施例中，显示设备200可以通过解析数据流确定外接设备500是否支持自
动控制协议，从而根据外接设备500的自动控制协议支持能力，设定播放方式。在一些实施例中，为了快速获得外接设备500的自动控制协议支持能力，还可以通过存储设备信息的方式，对接入显示设备200的外接设备500支持情况进行保存，并在外接设备500接入显示设备200时，通过匹配存储的信息，确定外接设备500的协议支持情况。
96.例如，显示设备200还包括存储器，存储器中可以存储外接设备500的设备信息表。如下表所示，在设备信息表中，每个外接设备500的设备名称和协议支持情况作为表项进行保存。
[0097][0098][0099]
当检测到外接设备500接入显示设备200时，显示设备200可以自动提取设备信息表，并在设备信息表中匹配当前外接设备500设备名称下的协议支持情况。当通过设备信息表获取当前外接设备500支持allm协议时，按照allm协议切换播放模式；当通过设备信息表确定当前外接设备500不支持allm协议时，则可以通过spd协议帧获取外接设备500的设备类型，从而通过设备类型切换播放模式。
[0100]
对于首次接入显示设备200的外接设备500，由于设备首次接入，在设备信息表中并没有存储当前外接设备500的信息，因此显示设备200无法在设备信息表中匹配到当前外接设备500的设备名称，即无法通过存储的设备信息获取首次接入的外接设备500信息。为此，在一些实施例中，在外接设备500连接显示设备200时，显示设备200还可以对外接设备500是否为首次接入进行判断。
[0101]
如图12所示，外接设备500是否为首次接入的判断，可以通过遍历存储的设备信息表，当遍历结果为设备信息表中不存在当前外接设备500的设备名称，则确定当前外接设备500为首次接入；当遍历结果为设备信息表中存在当前外接设备500的设备名称，则确定当前外接设备500不是首次接入。对于不是首次接入的外接设备500，显示设备200可以直接通过设备信息表中存储的协议支持情况，执行相应的播放模式切换方式。
[0102]
而对于首次接入的外接设备500，显示设备200需要启动协议检测程序，对外接设备500所支持的协议进行检测。显示设备200可以通过提取数据流中携带的设备信息数据帧，并在设备信息数据帧中提取指定标志位上的状态值。例如，allm协议支持情况可作为保留位一直存在于hdmi数据帧中，显示设备200可读取数据帧中allm对应位置的状态值。当allm对应位置上的状态值为0时，确定当前外接设备500不支持allm协议；而通过读取指定标志位置上的状态值为1时，确定当前外接设备500支持allm协议。
[0103]
在确定外接设备500所支持的allm协议后，显示设备200还可以将当前外接设备500的设备名称以及对应的协议支持情况作为表项，存储在设备信息表中，以便此外接设备500在后续再次接入时，可以直接通过设备信息表确定此外接设备500的协议支持情况。
[0104]
在上述实施例中，显示设备200可以通过读取数据帧中的指定标志位状态值，确定外接设备500的协议支持情况。而在部分判断过程中，即使外接设备500不支持自动控制协议，同样会向显示设备200发送标志位为0的数据，这与自动控制协议生效时的0/1状态冲
突，导致显示设备200无法直接判断外接设备500是否真正支持自动控制协议。
[0105]
为了能够更准确的判断当前外接设备500是否支持自动控制协议，还可以通过分析一段时间内的状态值维持情况，确定当前外接设备500是否支持自动控制协议。即如图13所示，在一些实施例中，显示设备200可以先接收外接设备500发送的数据流，由于数据流中可以包括协议帧数据或设备信息帧数据，因此可以从数据流中协议帧数据的指定标志位提取状态值。对于支持自动控制协议的外接设备500，可以通过标志位状态值确定当前的使用场景。
[0106]
例如，当标志位allm的状态值为1时，表示当前外接设备500需要显示设备200切换至低延迟模式，对应外接设备500为游戏设备时，当前的使用场景为游戏场景；同理，当标志位allm的状态值为0时，则表示当前的使用场景为非游戏场景。
[0107]
在提取标志位状态值的同时或之后，显示设备200还对同时刻的显示图像执行场景识别，以通过图像处理等场景识别算法获得当前的使用场景信息。例如，显示设备200可以从数据流中提取同一时刻对应的画面图像帧，并通过图像识别算法，分析显示图像中的图案布局方式，确定当前显示图像为游戏界面，因此识别出的当前使用场景信息为游戏场景。
[0108]
在提取标志位状态值和场景识别后，显示设备200还可以对标志位状态值所指示使用场景与识别出的场景信息进行对比，当二者一致时，即代表当前外接设备500能够正确维护标志位状态值，当前外接设备500支持自动控制协议；而当二者不一致时，则代表当前外接设备500不能够正确维护标志位状态值，当前外接设备500不支持自动控制协议。例如，在allm标志位提取的状态值为0，而通过场景识别检测出当前游戏设备的使用场景是游戏场景，则标志位状态值0对应的使用场景(非游戏场景)与场景识别结果不同，因此可以确定当前外接设备500不支持allm协议。
[0109]
通过图像识别算法与标志位状态值进行对比，可以自动识别出当前外接设备500是否支持自动控制协议，从而可以明确在后续的播放模式切换过程中，是否按照自动控制协议的方式进行切换。即，外接设备500支持自动控制协议时，按照上述实施例中的方式根据使用场景信息切换播放模式；而外接设备500不支持自动控制协议时，则根据设备类型切换播放模式。
[0110]
在上述实施例中，如果单纯的通过对比标志位状态值指示的使用场景与场景识别出的场景信息，也会在部分情况下出现检测错误的问题。例如，当提取allm状态值为0，并且场景识别出当前显示图像对应为游戏场景时，虽然标志位状态值所指示的使用场景与场景信息相同，但可能游戏设备不支持allm协议(即allm＝0)，而恰巧处于非游戏场景，从而检测出错误的结果。
[0111]
因此为了提高自动控制协议支持情况的检测准确率，如图14所示，在一些实施例中，显示设备200还可以分别对多帧显示图像执行场景识别，以获取场景变化规律，并从数据流中提取与多帧显示图像同时刻的标志位状态值，以生成状态值变化规律。再将场景变化规律与状态值变化规律进行对比，当场景变化规律与状态值变化规律相适应时，则确定当前外接设备500能够正确维护标志位状态值，因此可以标记标志位状态值所指示的使用场景与场景信息相同，即当前外接设备500支持自动控制协议。
[0112]
当source端外接设备500在播放视频资源或者停留在主页时，不会通知sink端显
示设备200进入低延时模式，因此allm标志位字段为0，而当source端外接设备500在运行游戏时，需要通知sink端显示设备200进入低延时模式，因此allm标志位字段需要设置为1。基于以上原则，显示设备200可以在外接设备500第一次接入时，自动使能allm协议解析线程，同时通过图像识别、ai场景识别等方式，判断当前的使用场景是在玩游戏还是在播放视频资源，同时记录allm标志位的变化情况。若场景切换信息与参数变化信息相匹配，表示当前外接设备500可以正确维护该标志位，即说明当前外接设备500支持allm功能，否则不支持allm功能。
[0113]
例如，显示设备200通过每隔30s提取显示图像后，分别对多帧显示图像执行场景识别，得到场景变化规律和标志位状态值变化规律如下表：
[0114][0115][0116]
可见，场景变化规律为：“非游戏场景-游戏场景-非游戏场景-游戏场景-游戏场景”。而标志位状态值变化规律为“0-1-0-1-1”。可见，场景变化规律与状态值变化规律相适应，即当前外接设备500支持自动控制协议。
[0117]
同理，显示设备200通过每隔30s提取显示图像后，分别对多帧显示图像执行场景识别，得到场景变化规律和标志位状态值变化规律如下表：
[0118]
序号时间使用场景allm标志位100:00:00非游戏场景0200:00:30游戏场景0300:01:00非游戏场景0400:01:30游戏场景0500:02:00游戏场景0
……………………
[0119]
可见，场景变化规律为：“非游戏场景-游戏场景-非游戏场景-游戏场景-游戏场景”，但标志位状态值变化规律为“0-0-0-0-0”，则场景变化规律与状态值变化规律不相适应，即当前外接设备500不支持自动控制协议。
[0120]
可见，显示设备200可以获取检测周期内的外接设备500的场景切换信息，以及数据流中自动控制协议标志位的参数变化信息。如果场景切换信息与参数变化信息相匹配，则确定当前外接设备500支持自动控制协议，因此可以生成表示外接设备支持自动控制协议的控制协议支持信息，并存储该信息。
[0121]
需要说明的是，由于外接设备500通常不会在短时间内多次切换使用场景，因此为了能够准确的判断外接设备500是否支持自动控制协议，在通过数据流检测外接设备500所支持的控制协议时，可以适当增加多帧图像的提取时间间隔。
[0122]
为了实现场景识别，如图15所示，在一些实施例中，显示设备200可以从数据流中
提取显示图像，并将提取的显示图像输入场景识别模型，以获取场景识别模型输出的场景信息。其中，所述场景识别模型为根据样本图像训练获得的神经网络模型，而样本图像是一种用于训练的图像，包括外接设备500所支持的多个使用场景下的显示图像以及每个显示图像对应的使用场景标签。场景识别模型作为一种分类模型，可以在输入显示图像后，通过模型内部的神经网络算法，计算出该显示图像的分类概率，即该显示图像对应所属的使用场景。
[0123]
其中，神经网络又称为人工神经网络(artificial neural networks，ann)，由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。神经网络可以利用反向传播算法，实现监督式的学习算法。从而在理论上逼近任意函数，利用其强大的非线性映射能力输出分类结果。
[0124]
在执行自动控制协议的检测前，可以在显示设备200中构建一个场景识别模型，场景识别模型可以通过神经网络模型训练获得。即可以先构建初始模型，再将样本图像逐一输入至该初始模型，以获得模型输出结果。再将模型输出结果与标签信息进行对比，确定分类误差，并使用分类无法反向传播调整模型参数。基于此，通过多次输入一定数量的样本图像，可以逐步对模型参数进行调整，以最终获得较高准确率的场景识别模型。
[0125]
在构建场景识别模型后，显示设备200可以将从数据流中提取的显示图像输入到场景识别模型，从而获得场景识别结果。根据与显示设备200连接的外接设备500类型不同，场景识别模型可以输出的识别结果种类也不同。例如，对于游戏设备，场景识别模型可以输出的使用场景信息包括游戏场景和非游戏场景；而对于计算机设备，场景识别模型可以输出的使用场景包括游戏场景、即时通信场景、办公场景以及运动场景等。因此，在执行场景识别时，还可以针对不同类型的外接设备500调用不同的场景识别模型，以获得相适应的场景分类。
[0126]
下面将结合一个具体示例，对显示图像进行场景识别的过程进行描述：
[0127]
对于接入显示设备200的计算机设备，显示设备200或者运营服务器可以在用户使用过程中不断收集发送给显示设备200的图像画面，并对收集的图像画面添加标签，即所属的使用场景。如图片1中的显示画面属于游戏场景，则对图片1添加标签“游戏场景”(或相应的代码)；图片2中的显示画面属于即时通信场景，则为图片2添加标签“即时通信场景”。如此，可以获得一定数量的样本图像，再将样本图像输入初始模型中，经反向传播和重复训练后，可以获得适合计算机设备的场景识别模型。
[0128]
因此，当有计算机设备接入显示设备200时，可以通过调用上述适合计算机设备的场景识别模型，并在发送的数据流中提取多帧显示图像，再将多帧显示图像输入到调用的模型中，即可通过场景识别模型获得每个显示图像对应属于各场景的分类概率。如，图片n对应的使用场景分类概率分别为：游戏场景85％、即时通信场景10％、办公场景2％以及运动场景3％，则确定图片n对应使用场景为游戏场景。
[0129]
显示设备200在对外接设备500是否支持自动控制协议进行检测后，如果外接设备500支持自动控制协议，可以进一步对外接设备500是否支持扩展协议进行检测。即如图16所示，在一些实施例中，显示设备200可以获取协议帧数据中预留标志位上的状态值，从而得到预留标志位上状态值的变化规律。再将预留标志位上状态值的变化规律与通过场景识别获得的场景变化规律进行对比。当两者变化过程相适应时，确定当前外接设备500能够正
确维护预留标志位的状态值，即当前外接设备500支持扩展协议；当变化过程不一致时，则确定当前外接设备500不支持扩展协议。
[0130]
由于外接设备500是否支持扩展协议的前提为当前外接设备500支持自动控制协议，因此对外接设备500，可以在显示设备200检测到自动控制协议标志位状态值为1，或者场景变化规律与状态值变化规律相一致后，进行是否支持扩展协议的判断。
[0131]
例如，当显示设备200检测hdmi数据帧中allm值为1后，再提取两个预留标志位rsvd1和rsvd0上的状态值，并且通过场景识别模型识别数据流中多帧图像对应的使用场景。当通过场景识别确定外接设备500由游戏场景转换到即时通信场景的同时，两个预留标志位的状态值组合从rsvd1＝0，rsvd0＝0变成rsvd1＝0，rsvd0＝1，则确定当前外接设备500能够正确维护两个预留标志位上的状态值，即当前外接设备500支持扩展协议。
[0132]
其中，在提取预留标志位的状态值以后，显示设备200还可以通过场景对照表确定预留标志位状态值对应的使用场景，即显示设备200通过遍历协议帧中多个预留字节位上的状态值，并将多个字节位上的状态值按照设定顺序组合，以生成场景判断值。再从场景对照表中提取与场景判断值相匹配的使用场景表项，即确定使用场景信息。
[0133]
在上述实施例中，显示设备200还可以通过维护设备信息表，实时记录外接设备500的协议支持情况，从而可以通过解析外接设备500发送的数据流，确定外接设备500是否支持自动控制协议。例如，对于所有首次接入显示设备200的外接设备需进行上述过程，并对各个外接设备500的allm支持情况分别记录，使显示设备200可通过外接设备500发送的spd数据帧来区分。
[0134]
基于上述设备信息表，如图17所示，显示设备200还可以在接收到外接设备500发送的数据流后，对外接设备500是否首次接入进行检测，如果外接设备500不是首次接入，则可以从设备信息表中获取外接设备500的自动控制协议支持信息，即无需执行场景识别等相关操作，直接按照设备信息表中记载的支持信息确定当前外接设备500是否支持自动控制协议，并在不同的支持情况下，采用不同的播放模式切换方式。
[0135]
而如果外接设备500是首次接入，则需要按照上述实施例中的方式，执行自动控制协议检测方法，从而确定外接设备500是否支持自动控制协议。为了能够获得使用场景的变化规律，在部分实施例中，显示设备200还可以向外接设备500发送用于切换使用场景的控制指令，以获取多个不同的使用场景信息和标志位状态值。即在外接设备500支持的情况下，显示设备200还可以通过向外接设备500发送用于切换使用场景的控制指令，使外接设备500能够主动切换使用场景，从而使显示设备200能够获取多个不同使用场景下的显示图像。
[0136]
为了维护设备信息表，在一些实施例中，对于首次接入显示设备200的外接设备500，显示设备200还可以在检测完自动控制协议的支持情况后，按照设备信息表的规范，记录设备识别信息以及外接设备500支持的控制协议，并以新增表项的形式将上述信息添加至设备信息表，以便下次外接设备500接入显示设备200时，可以直接通过设备信息表确定其是否支持自动控制协议。
[0137]
需要说明的是，显示设备200通过分析数据流所确定的外接设备500协议支持情况的判断结果可以用于指示外接设备500完全不支持自动控制协议，也可以用于指示外接设备500在当前时刻不支持自动控制协议。例如，由于用户设置原因，导致当前外接设备500的
allm开关处于关闭状态，而在后续接入显示设备200时，用户可能设置allm开关处于开启状态，即使能allm功能。因此，为了使支持自动控制协议的外接设备500尽可能通过自动控制协议控制切换显示设备200的播放模式，对于非首次接入的外接设备500，显示设备200还可以通过周期性检测，以更新存储的设备信息表。
[0138]
在使用设备信息表作为设备协议支持情况判断依据时，还需要考虑外接设备500的开关状态，以避免开关状态影响判断过程。例如，在检测外接设备500是否支持allm协议时，读取到allm对应位置的状态值为1，表示当前外接设备500支持allm协议，但在后续使用中外接设备500被用户设置关闭了allm协议。即虽然设备信息表中记载该外接设备500支持allm协议，但在后续这次接入过程中，由于allm协议开关被关闭，因此此次播放过程无法按照allm协议控制切换播放模式，仍需要使用spd数据帧确定设备类型以切换播放模式。
[0139]
可见，在本实施例中，对于支持自动控制协议的外接设备500，可以根据不同的开关状态执行对应的播放模式切换方式，使显示设备200能够自动对外接设备500的使用场景进行判断，并根据外接设备500的使用场景，调整显示设备200的工作模式，以实现显示设备200的画质效果、音质效果可以与外接设备500的使用场景联动，实现更佳的用户体验。
[0140]
为了使显示设备能够实现上述功能，如图13所示，在本技术的部分实施例中，还提供一种外接设备500包括：数据接口510和处理器520，其中，数据接口510被配置为连接显示设备200；处理器520被配置控制程序，以实现向显示设备200发送数据流，并在外接设备500支持自动控制协议时，检测当前使用场景。再根据使用场景设置数据流中的标志位状态值，最后向显示设备200发送数据流，以使显示设备200根据标志位状态值切换播放模式。
[0141]
由以上技术方案可知，上述实施例中提供的外接设备500可以通过数据接口510与显示设备200连接，并在外接设备500支持自动控制协议时，检测当前使用场景。再按照自动控制协议设置数据流中的标志位状态值，最后将设置了标志位状态值的数据流发送给显示设备200，以使显示设备200可以根据标志位状态值切换播放模式。可见，外接设备500可以控制向显示设备200发送的数据流中携带使用场景信息，便于显示设备200根据使用场景切换播放模式。
[0142]
本技术提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本技术总的构思下的几个示例，并不构成本技术保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本技术方案所扩展出的任何其他实施方式都属于本技术的保护范围。