一种屏幕融合方法、显示设备、终端设备及服务器

1.本技术涉及显示设备技术领域，尤其涉及一种屏幕融合方法、显示设备、终端设备及服务器。


背景技术：

2.在某些应用场景中，电视背景墙上可能会贴设墙壁纸，墙壁纸比如是纯色或者带有图案纹理特征，为提升屏保显示的视觉效果，可以定制并显示与墙壁纸的颜色/图案一致的壁纸图像，这样在用户看来电视背景墙与屏幕壁纸具有融合匹配的效果，即实现了融合屏。
3.用户可使用移动终端拍摄包括电视屏幕及其外围一定背景区域内墙壁纸的目标图像，目标图像上传服务器后，服务器从目标图像中识别墙壁纸的颜色、纹理和图案等特征，定制生成屏幕壁纸，并将屏幕壁纸发送给显示设备进行展示。移动终端在采集目标图像时，电视屏幕上显示图卡界面，在拍摄预览状态下只有图卡完全处于预设的屏幕定位线框内，移动终端才能响应用户操作来拍摄目标图像。通过图卡能较为准确地定位和识别电视的屏幕边框，提升所定制的屏幕壁纸与屏幕外围的墙壁纸之间的纹理匹配融合效果。
4.在研究和实践过程中发现，当墙壁纸为纯色时，通过图卡采集电视屏幕及其外围一定背景区域内墙壁纸的目标图像，能够生成与背景区域融合较好的屏幕壁纸，而当墙壁纸为具有纹理和图案等特征的背景图像时，并不能实现墙壁纸与电视屏幕壁纸较好的融合。


技术实现要素：

5.为解决上述背景技术中存在的问题，本发明提供一种屏幕融合方法、显示设备、终端设备及服务器。
6.第一方面提供的显示设备，包括：
7.显示器，用于显示用户界面；
8.通信器，用于与服务器和终端设备通信连接；
9.控制器，被配置为执行：
10.响应于接收到终端设备发送的指示信息，控制显示器显示屏幕图卡，以使终端设备采集第一目标图像，所述第一目标图像包括所述屏幕图卡及其外围的背景区域图像；所述指示信息是终端设备在接收到用户输入的定制壁纸操作后发送的；
11.所述屏幕图卡用于使服务器根据所述第一目标图像检测和定位显示设备的坐标信息，所述坐标信息为显示设备的屏幕边框的坐标信息；
12.所述显示设备的坐标信息用于使服务器根据所述第一目标图像的背景区域图像提取具有纹理单元的纹理扩展图像，以及，根据所述纹理扩展图像生成对应于所述显示设备屏幕边框尺寸的定制壁纸图像。
13.第二方面提供的终端设备，包括：
14.显示器，用于显示定制壁纸图像的相关界面；
15.图像采集器，用于采集第一目标图像，所述第一目标图像包括显示设备显示的屏幕图卡和所述屏幕图卡外围的背景区域图像；
16.通信器，用于与显示设备通信连接；
17.控制器，被配置为执行：
18.响应于用户输入的定制屏保操作，向显示设备发送指示信息，控制图像采集器采集第一目标图像；所述指示信息用于指示显示设备显示所述屏幕图卡；
19.将所述第一目标图像发送至服务器，以使服务器根据所述第一目标图像内的屏幕图卡检测和定位显示设备的坐标信息，所述坐标信息为显示设备的屏幕边框的坐标信息；
20.使服务器根据所述第一目标图像中的背景区域图像结合所述显示设备的坐标信息提取具有纹理单元的纹理扩展图像，以及，根据所述纹理扩展图像生成对应于所述显示设备屏幕边框尺寸的定制壁纸图像。
21.第三方面提供的服务器，包括：
22.通信器，用于与显示设备和终端设备通信连接；
23.控制器，被配置为执行：
24.接收终端设备发送的第一目标图像，所述第一目标图像包括显示设备显示的屏幕图卡和所述屏幕图卡外围的背景区域图像；
25.根据所述第一目标图像内的屏幕图卡检测和定位显示设备的坐标信息，所述坐标信息为显示设备的屏幕边框的坐标信息；
26.根据所述第一目标图像中的背景区域图像结合所述显示设备的坐标信息提取具有纹理单元的纹理扩展图像，以及，根据所述纹理扩展图像生成对应于所述显示设备屏幕边框尺寸的定制壁纸图像。
27.第四方面提供的服务器中的屏幕融合方法，包括：
28.接收终端设备发送的第一目标图像，所述第一目标图像包括显示设备显示的屏幕图卡和所述屏幕图卡外围的背景区域图像；
29.根据所述第一目标图像内的屏幕图卡检测和定位显示设备的坐标信息，所述坐标信息为显示设备的屏幕边框的坐标信息；
30.根据所述第一目标图像中的背景区域图像结合所述显示设备的坐标信息提取具有纹理单元的纹理扩展图像，以及，根据所述纹理扩展图像生成对应于所述显示设备屏幕边框尺寸的定制壁纸图像。
31.本技术技术方案适用于支持定制融合屏壁纸功能的显示设备，交互涉及显示设备、服务器和终端设备，用户通过终端设备输入定制壁纸操作后，终端向显示设备发送指示信息，显示设备接收到指示信息后显示屏幕图卡，此时终端设备进入拍摄界面，用户通过拍摄预览调整终端位置，并拍摄得到第一目标图像，第一目标图像中包括用于识别屏幕位置区域的屏幕图卡，屏幕图卡外围区域为显示设备所在背景墙局部的背景区域图像。终端将拍摄的第一目标图像上传给服务器，由服务器对第一目标图像进行计算处理，生成与背景墙图样能够融合匹配定制壁纸图像，并将定制壁纸发送给显示设备端。
32.由以上技术方案可知，本技术通过屏幕图卡根据第一目标图像检测定位显示设备的坐标信息，然后根据第一目标图像中的背景区域图像结合显示设备的坐标信息提取具有
纹理单元的纹理扩展图像，进而根据纹理扩展图像生成对应于显示设备屏幕边框尺寸的定制壁纸图像。通过对背景墙纹理单元的提取，并将其在显示设备上显示，实现显示设备与背景墙纹理一致且衔接完整，提升用户定制融合屏壁纸的功能体验。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要访问的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1示出了根据一些实施例的显示设备的使用场景；
35.图2示出了根据一些实施例的控制装置100的硬件配置框图；
36.图3示出了根据一些实施例的显示设备200的硬件配置框图；
37.图4示出了根据一些实施例的显示设备200中软件配置图；
38.图5示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示图；
39.图6中示例性示出了显示设备端壁纸应用的设置页面示意图；
40.图7中示例性示出了显示设备智能定制融合屏壁纸时的教程页面示意图；
41.图8中示例性示出了终端设备定制融合屏壁纸的操作说明页的示意图；
42.图9中示例性示出了显示设备端显示图卡界面的示意图；
43.图10中示例性示出了终端设备显示第一拍摄预览界面的示意图；
44.图11中示例性示出了终端设备显示第二拍摄预览界面的示意图；
45.图12中示例性示出了终端设备拍摄目标图像的示意图；
46.图13中示例性示出了终端设备的目标图像上传界面的示意图；
47.图14中示例性示出了终端设备上传目标图像成功时的界面示意图；
48.图15中示例性示出了终端设备上传目标图像成功时显示设备端的加载界面示意图；
49.图16中示例性示出了显示设备接收到融合屏壁纸图像后设置页面的示意图；
50.图17中示例性示出了显示设备显示融合屏壁纸图像的示意图；
51.图18中示例性示出了服务器执行的屏幕融合方法的流程图；
52.图19中示例性示出了终端设备对hsv图像初步处理后得到的第一目标图像示意图；
53.图20中示例性示出了服务器对第一目标图像进一步净化后得到的图像示意图；
54.图21中示例性示出了服务器对第一目标图像进行边缘检测后的效果图；
55.图22中示例性示出了屏幕边框与边缘线的相对位置关系示意图；
56.图23中示例性示出了矫正算法处理过程示意图；
57.图24中示例性示出了显示设备左侧提取纹理区域位置关系示意图。
具体实施方式
58.为使本技术的目的和实施方式更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申
请一部分实施例，而不是全部的实施例。
59.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
60.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
61.术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
62.术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
63.图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。
64.在一些示例性的实施方式中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。
65.在一些示例性的实施方式中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，ar/vr设备等中的任意一种。
66.在一些示例性的实施方式中，也可以使用智能设备300以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
67.在一些示例性的实施方式中，也可以使用智能设备300和显示设备进行数据的通信。
68.在一些示例性的实施方式中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
69.在一些示例性的实施方式中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
70.在一些示例性的实施方式中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。
71.图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。
72.在一些示例性的实施方式中，通信接口130用于和外部通信，包含wifi芯片，蓝牙模块，nfc或可替代模块中的至少一种。
73.在一些示例性的实施方式中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。
74.图3示出了根据示例性实施例中显示设备200的硬件配置框图。
75.在一些示例性的实施方式中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
76.在一些示例性的实施方式中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，ram，rom，用于输入/输出的第一接口至第n接口。
77.在一些示例性的实施方式中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控ui界面等。
78.在一些示例性的实施方式中，显示器260可为液晶显示器、oled显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。
79.在一些示例性的实施方式中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及epg数据信号。
80.在一些示例性的实施方式中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
81.在一些示例性的实施方式中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
82.在一些示例性的实施方式中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(hdmi)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(cvbs)、usb输入接口(usb)、rgb端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
83.在一些示例性的实施方式中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
84.在一些示例性的实施方式中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示ui对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
85.在一些示例性的实施方式中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、
图像等操作，或者执行与所述图标相对应程序的操作。
86.在一些示例性的实施方式中控制器包括中央处理器(central processing unit，cpu)，视频处理器，音频处理器，图形处理器(graphics processing unit，gpu)，ram random access memory，ram)，rom(read
‑
only memory,rom)，用于输入/输出的第一接口至第n接口，通信总线(bus)等中的至少一种。
87.cpu处理器。用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。cpu处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。
88.在一些示例性的实施方式中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
89.在一些示例性的实施方式中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可显示设备200上显示或播放的信号。
90.在一些示例性的实施方式中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的gui信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出rgb数据信号。
91.在一些示例性的实施方式中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。
92.在一些示例性的实施方式中，用户可在显示器260上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
93.在一些示例性的实施方式中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素中的至少一种。
94.在一些示例性的实施方式中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。
95.在一些示例性的实施方式中，显示设备的系统可以包括内核(kernel)、命令解析
器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(ipc)。内核启动后，再加载shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
96.参见图4，在一些示例性的实施方式中，将系统分为四层，从上至下分别为应用程序(applications)层(简称“应用层”)，应用程序框架(application framework)层(简称“框架层”)，安卓运行时(android runtime)和系统库层(简称“系统运行库层”)，以及内核层。
97.在一些示例性的实施方式中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
98.框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过api接口，可在执行中访问系统中的资源和取得系统的服务。
99.如图4所示，本技术实施例中应用程序框架层包括管理器(managers)，内容提供者(content provider)等，其中管理器包括以下模块中的至少一个：活动管理器(activity manager)用与和系统中正在运行的所有活动进行交互；位置管理器(location manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(package manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(notification manager)用于控制通知消息的显示和清除；窗口管理器(window manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
100.在一些示例性的实施方式中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
101.在一些示例性的实施方式中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的c/c++库以实现框架层要实现的功能。
102.在一些示例性的实施方式中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、wifi驱动、usb驱动、hdmi驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
103.在一些示例性的实施方式中，显示设备启动后可以直接进入预置的视频点播程序的界面，视频点播程序的界面可以如图5中所示，至少包括导航栏510和位于导航栏510下方的内容显示区，内容显示区中显示的内容会随导航栏中被选中控件的变化而变化。应用程序层中的程序可以被集成在视频点播程序中通过导航栏的一个控件进行展示，也可以在导航栏中的应用控件被选中后进行进一步显示。
104.在一些示例性的实施方式中，显示设备启动后可以直接进入上次选择的信号源的显示界面，或者信号源选择界面，其中信号源可以是预置的视频点播程序，还可以是hdmi接口，直播电视接口等中的至少一种，用户选择不同的信号源后，显示器可以显示从不同信号源获得的内容。
105.以上表述介绍了显示设备的硬件/软件架构以及功能实现等内容。在某些应用场景中，显示设备可以安装壁纸应用，用户可以在壁纸应用中设置壁纸的主题和展示效果，既可以设置预置壁纸，还支持根据电视墙智能定制融合屏壁纸，本技术中壁纸可用于屏保、开机图像和主屏幕背景的显示中。
106.在一些示例性的实施方式中，用户打开壁纸应用后，可以进入如图6示例的一种设置页面，该页面支持用户设置定时屏保，比如当定时屏保设定为2分钟，则当显示设备检测到2分钟内无用户操作输入则启动显示屏保，用户还可选择屏保模式，比如画册模式或者电视墙模式，画册模式即为常规的屏保模式，电视墙模式则可以实现屏幕壁纸与墙壁纸的融合匹配。比如当选择电视墙模式时，页面上会显示壁纸序列，壁纸序列一般可包括显示设备的预置壁纸图像(即设备出厂时自带的壁纸)、壁纸应用对应的服务器定期更新下发的壁纸图像(即应用后台推送的壁纸)以及用户智能定制的融合屏壁纸图像。图6中示出的是壁纸序列中仅包括预置壁纸图像的情况，壁纸序列中具有焦点的壁纸图像即处于选中状态，当满足显示屏保的条件时，加载显示当前处于选中状态的壁纸图像。
107.在一些示例性的实施方式中，用户选择电视墙模式时，可以根据当前电视墙的墙壁纸和背景效果来智能定制相匹配的融合屏壁纸图像，壁纸应用的设置页面具有第一壁纸定制控件，即图6中的“ai定制”控件，用户点击该控件即在显示设备端输入了定制壁纸操作(为便于区分，可命名为第一定制壁纸操作)，此时显示设备可跳转至如图7所示教程页面，教程页面中会显示用于引导用户智能定制融合屏壁纸的操作流程和注意事项等信息，本技术中电视墙模式下的智能定制壁纸时需要终端设备的交互配合，用户利用终端设备拍摄包含电视屏幕在内的电视墙照片，并上报给服务器去识别和生成匹配的壁纸图像，这要求显示设备与终端设备连接于同一个wifi网络，由于家居场景中可能设置有多个wifi，教程页面中可以显示显示设备当前连接的wifi，比如tp
‑
link_09f8，方便用户在手机端连接该wifi。用户可通过终端设备对应的目标应用程序来配合智能定制电视墙的壁纸图像，比如打开聚好看应用，通过“我的”—“常用工具”—“电视墙”的操作路径进入融合屏壁纸定制的相关操作界面，从而根据终端设备中的应用操作提示来完成壁纸定制。图7教程页面中可以显示有移动终端中目标应用程序的二维码，用户利用终端设备扫描该二维码，即可安装和使用目标应用程序。本技术中终端设备包括智能手机、平板电脑等移动终端。
108.在一些示例性的实施方式中，用户在查看显示设备显示的教程页面之后，可以扫描二维码安装目标应用程序，如果之前已经安装过目标应用程序，则直接访问定制融合屏壁纸的操作入口，则终端设备跳转到如图8所示的操作说明页。操作说明页中可显示提示信息，比如“手机拍摄电视墙照片并上传，智能识别生成与家居背景匹配的壁纸”，在操作说明页中设置有第二壁纸定制控件，即图8中的“开始定制”，用户点击“开始定制”，即在终端设备端输入了定制壁纸操作(为便于区分，可命名为第二定制壁纸操作)，则终端设备自动启动摄像头的拍摄预览，跳转到拍摄预览界面，同时终端设备还需要向显示设备发送指示信息，显示设备接收到该指示信息后使ui由图7的教程页面切换为显示如图9所示的图卡界
面。
109.图卡界面中全屏显示屏幕图卡，常规的屏幕图卡一般为单一的纯色，在一些示例性的实施方式中，图9示出了本技术显示设备端的一种图卡界面，屏幕图卡可采用多色模式，即屏幕图卡中至少包括第一颜色区域和第二颜色区域，这两个区域的颜色不同，通过颜色差异化对比，能够更加精确的定位和检测显示设备的边框区域。屏幕图卡中各颜色区域使用的颜色不限定，可以根据实际应用进行选取。另外，屏幕图卡中颜色区域的数量、各颜色区域之间的区域占比和相对位置分布都不限定。为便于描述，本技术各实现方式以双色图卡为示例。
110.在一些示例性的实施方式中，根据背景区域的颜色，可以从第一颜色区域和第二颜色区域中匹配出目标颜色区域，以第一颜色区域为绿色，第二颜色区域为蓝色为例。
111.在一些示例性的实施方式中，屏幕图卡除双色之外，还具备其他的一些特征信息，特征信息至少还包括两个颜色区域之间的位置分布和比例信息。第一颜色区域和第二颜色区域之间具有一定的位置分布，比如图9中两个颜色区域呈现为上下分布，即“两行一列”形式。两个颜色区域的位置分布不作限定，比如还可呈现为左右分布，即“一行两列”形式等。为便于后续根据目标颜色区域扩充屏幕边框，两个颜色区域间的位置分布最好不要太复杂，比如采用上下或左右的简化分布。
112.在一些示例性的实施方式中，第一颜色区域和第二颜色区域之间具有一定的比例关系，比如两个颜色区域的面积配比，和/或，同向边缘线段的长度比例等。参照图9示出的位置分布，例如两个颜色区域的面积配比为1:1，由于两个颜色区域为绿上蓝下且都为矩形，并且两个颜色区域在横向上的长度相同，因此两个颜色区域在纵向上的宽度也相同，如果目标颜色区域为第一颜色区域(绿色)，则提取绿色区域的边缘轮廓后，将绿色区域的下边缘线向下扩充相同的宽度，即可定位到屏幕边框的下边缘线，从而得到屏幕边框的整体轮廓；又比如两个颜色区域为绿左蓝右且都为矩形，绿色区域与蓝色区域在横向上的预设长度比例为p，如果目标颜色区域为第二颜色区域(蓝色)，由于两个颜色区域在纵向上的宽度相同，则提取蓝色区域的边缘轮廓后，将蓝色区域的左边缘线向左扩充p*l2的长度，即可定位到屏幕边框的左边缘线，从而得到屏幕边框的整体轮廓，其中l2为蓝色区域的长度，也是蓝色区域上或下边缘线的长度。由此可见，通过屏幕图卡中双色区域间的位置分布和比例关系，即可根据目标颜色区域定位屏幕边框。
113.在一些示例性的实施方式中，用户点击第二壁纸定制控件后，终端设备先显示如图10所示的第一拍摄预览界面，第一拍摄预览界面中包括矩形的定位线框和拍摄控件，定位线框应与显示设备屏幕的长宽比一致，定位线框用于定位屏幕图卡，初始时拍摄控件处于禁止响应状态，这种状态下即便用户点击拍摄控件也无法拍摄目标图像，第一拍摄预览界面中还显示用于引导用户操作的提示信息，比如“请调整手机，确保电视上显示的屏幕图卡正好处于定位线框内”，用户查看到该提示信息后，使终端设备的图像采集器(一般采用后置摄像头)对准电视背景墙和电视屏幕，用户通过调整自身肢体动作，即可动态调整终端摄像头拍摄的方位、角度和与电视屏幕间的距离，使得拍摄预览中屏幕图卡刚好完全位于定位线框内，定位线框的边界线以外则是电视墙局部的背景区域，这部分背景区域会携带有电视墙的颜色、纹理和图案等属性特征，便于后续服务器定制生成匹配的壁纸图像。
114.在一些示例性的实施方式中，当间隔预设时长后，预设时长可以根据实际应用进
行设置，比如为5秒，终端设备显示如图11所示的第二拍摄预览界面，第二拍摄预览界面中引导用户操作的提示信息发生了变化，比如切换为“确保屏幕图卡显示清晰”，使用户获知当屏幕图卡完全位于定位线框内，并且屏幕图卡显示足够清晰，才满足拍摄目标图像的条件。
115.如果屏幕图卡不处于定位线框内或未完整处于定位线框内，则拍摄控件不可用，从而避免用户在未定位好拍摄位置时误触发拍摄控件而导致目标图像采集出现错误。其中，定位线框可设定位于拍摄预览界面的中央，也可设置在拍摄预览界面的其他位置，定位线框在拍摄预览界面中的位置不影响最终融合屏的展示效果。
116.在一些示例性的实施方式中，终端设备可以竖屏模式显示其他页面，当显示拍摄预览界面时，自动调整至横屏模式，以提升目标图像的拍摄效果。
117.在一些示例性的实施方式中，这两种拍摄预览界面中的定位线框被设置为第一预设颜色，第一预设颜色比如为白色，用户观察到定位线框为白色，即可获知屏幕图卡当前未完全处于定位线框内，仍需要继续调整终端摄像头，直至定位线框变色，切换为显示第二预设颜色，第二预设颜色比如为绿色，则说明屏幕图卡已完全调整至处于定位线框内，此时拍摄控件同步变更为可响应状态，用户点击拍摄控件即可拍摄目标图像。该实施例中通过定位线框的颜色，即可使用户直观判断是否满足拍摄条件，避免用户在满足拍摄条件时仍继续调整终端摄像头，提升目标图像的采集效率，简化用户繁琐的操作。
118.在一些示例性的实施方式中，如图12所示，用户将终端设备的摄像头朝向显示设备，显示设备此时显示双色的屏幕图卡，电视屏幕/屏幕图卡的外围则是电视背景墙，电视背景墙可以是纯色或者具有图案、花纹等纹理效果；终端设备此时进入拍摄预览，用户通过操作自身肢体来调整终端的拍摄位置、角度和距离，使得拍摄预览中屏幕图卡刚好完全位于定位线框内。当终端设备识别出屏幕图卡已完全处于定位线框内时，将定位线框切换为第二预设颜色，将拍摄控件变更为可响应状态，可以提示用户点击拍摄控件去拍摄目标图像，比如显示“请点击右侧拍摄按钮”的拍摄提示信息。
119.在一些示例性的实施方式中，在用户点击拍摄控件后，终端设备控制ui显示如图13所示的目标图像上传界面，该界面中显示有第一目标图像、上传控件和重新拍摄控件，第一目标图像中既包括屏幕图卡，也包括在屏幕图卡外围的背景区域。终端设备采集第一目标图像后，若接收到用户点击上传控件的操作，则终端设备将第一目标图像上传给服务器，以使服务器端根据第一目标图像定制融合屏壁纸；若接收到用户点击重新拍摄控件的操作，则不上传本次拍摄的第一目标图像，而是返回拍摄预览界面再次执行前述拍摄流程。
120.在一些示例性的实施方式中，终端设备在采集第一目标图像后，可以不显示图13所示的目标图像上传界面，而是默认直接将第一目标图像上传至服务器。该实施例中用户点击拍摄控件后，终端设备自动将第一目标图像上传给服务器，不支持用户重新拍摄，因此对于屏幕图卡定位和第一目标图像采集的精确性要求更高。
121.在一些示例性的实施方式中，终端设备拍摄并向服务器上传第一目标图像后，如果上传成功，则终端设备切换到如图14所示的界面，该界面中可提示终端设备端定制操作完成的信息，比如“已完成，快去电视端查看定制的壁纸吧”，表明第一目标图像已经上传至服务器，用户点击“完成”，则终端设备结束本次定制融合屏壁纸的流程。由于服务器接收到第一目标图像后，需要对目标图像进行计算处理并生成定制的融合屏壁纸图像，因此显示
设备端此时显示的是如图15所示的等待和加载中的效果，待显示设备端接收到融合屏壁纸图像后，即可成功加载并显示融合屏壁纸图像。
122.在一些示例性的实施方式中，当显示设备接收到服务器生成并发送的融合屏壁纸图像后，存储融合屏壁纸图像，如图16所示，可以将融合屏壁纸图像保存到壁纸序列中，例如保存到壁纸序列的首位或其他序位，同时标记融合屏壁纸图像为选中状态，则当满足显示屏保的条件时，显示设备就会显示当前处于选中状态的融合屏壁纸图像，从而使得定制的融合屏壁纸图像与电视背景墙具有融合一体的效果，若开启了智能信息开关，还需要在融合屏壁纸图像上叠加显示用户预设的智能信息。
123.在一些示例性的实施方式中，壁纸序列可以按照一定的优先级进行排序，比如将用户智能定制的融合屏壁纸图像放在壁纸序列的首位以及靠前的序位，之后分别排列预置壁纸图像和服务器定期更新下发的壁纸图像，即用户智能定制的壁纸优先级最高，其次是预置壁纸和服务器下发的壁纸。壁纸序列的展示顺序不做限定。
124.在一些示例性的实施方式中，用户点击“ai定制”控件，即可定制与电视背景墙匹配的融合屏壁纸图像；如果用户点击壁纸序列中的任意一张壁纸，则切换处于选中状态的焦点，并且显示被点击的壁纸的图像预览。
125.在一些示例性的实施方式中，如果显示设备接收到了融合屏壁纸图像，则如图17所示，在屏幕上显示融合屏壁纸图像，融合屏壁纸图像上还可具有设置控件，比如图17中的“去设置”，用户在融合屏壁纸图像的显示界面上点击设置控件，即可直接进入图16所示的设置页面，便于用户快速切换壁纸图像及其调整壁纸设置中的相关选项。
126.在一些示例性的实施方式中，显示设备可能因为某些异常因素而未接收到服务器发送的融合屏壁纸图像，比如服务器自身未成功生成融合屏壁纸图像，又或者由于网络异常导致融合屏壁纸图像发送失败，则显示设备无法显示当前定制的融合屏壁纸图像，显示设备可显示壁纸图像下载失败的提示信息，比如在显示设备界面中显示“当前网络异常，壁纸图像下载失败，请检查网络后再试”，并在该界面中显示设置网络控件，当用户点击“设置网络”时即可检查和重连网络。网络恢复正常后，如果能够接收到的融合屏壁纸图像，则展示在屏幕界面上，如果仍然无法接收到融合屏壁纸图像，则说明可能是非网络因素导致定制壁纸获取失败，则可以按照前述流程重试，重新进行定制。
127.在一些示例性的实施方式中，由于网络异常等因素，可能导致终端设备向服务器上传目标图像失败，则终端设备可在界面中显示用于提示用户网络异常请重试的信息，比如“网络开小差了，请再拍一次吧”，并且该界面中还设置有重新拍摄控件，用户点击重新拍摄控件，终端设备自动返回至拍摄预览界面，用户可按照前述流程重新拍摄目标图像并上传，直至向服务器成功上传目标图像，终端设备端定制壁纸流程结束。
128.在一些示例性的实施方式中，定制融合屏壁纸图像的相关算法流程不限于在服务器端执行，比如还可是终端设备拍摄完成目标图像后，在本端根据目标图像和算法生成定制壁纸图像(即前述融合屏壁纸图像)，然后将定制壁纸图像发送给显示设备进行显示；或者，终端设备拍摄完成目标图像后，直接将目标图像发送给显示设备，并由显示设备端根据目标图像和算法生成定制壁纸图像并显示。融合屏壁纸图像的定制算法不作限定。
129.前述各实施例主要从ui角度，详细描述了显示设备、终端设备和服务器间通信交互实现智能定制融合屏壁纸的流程，并介绍了双色屏幕图卡的属性特征和作用，由上述内
容可知，目标图像采集的效率和准确性，直接影响着后续服务器的壁纸定制效率以及壁纸与电视背景墙的融合效果。
130.下述内容将从服务器的处理逻辑角度，详细说明融合屏壁纸定制流程中的关键环节，即如何根据特殊设计的双色屏幕图卡，快速、准确地定位显示设备的屏幕边框的位置坐标，以及根据屏幕边框的位置坐标来识别是否满足目标图像的拍摄条件，从而实现电视背景墙纹理提取，以及提高融合屏壁纸的定制效果。
131.参照前述ui交互的说明，图18提供一种屏幕融合方法，所述方法主要是服务器侧执行的，包括如下程序步骤：
132.s1801、接收终端设备发送的第一目标图像，所述第一目标图像包括显示设备显示的屏幕图卡和所述屏幕图卡外围的背景区域图像。
133.请参考附图8，用户在终端设备上点击第二壁纸定制控件时，终端接收到定制壁纸操作，需要向显示设备发送指示信息，显示设备接收到指示信息后，控制显示器显示图9所示的双色屏幕图卡，屏幕图卡包括第一颜色区域和第二颜色区域，两个颜色区域具有不同的颜色，以及具备相关联的位置分布和比例关系，屏幕图卡的这些属性特征都是预先设置好的，显示设备接收到指示信息，即可直接调取屏幕图卡的预设模板进行显示。
134.同时，终端设备切换至显示拍摄预览界面，拍摄预览界面中包括用于定位屏幕边框的定位线框以及用于拍摄目标图像的拍摄控件，当屏幕图卡尚未完全位于定位线框内时，拍摄控件始终为禁止响应状态，即无论用户如何点击拍摄控件，终端设备都无法接收和响应拍摄目标图像的操作。
135.当终端设备识别出屏幕图卡已完全处于定位线框内时，将定位线框切换为第二预设颜色，将拍摄控件变更为可响应状态，用户在终端设备上点击拍摄控件后，终端设备控制ui显示如图13所示的目标图像上传界面，并通过界面上显示的上传控件将拍摄到的第一目标图像上传至服务器，第一目标图像中既包括屏幕图卡，也包括在屏幕图卡外围的背景区域，以使服务器端根据第一目标图像定制融合屏壁纸。
136.s1802、根据所述第一目标图像内的屏幕图卡检测和定位显示设备的坐标信息，所述坐标信息为显示设备的屏幕边框的坐标信息。
137.接收到终端设备发送的第一目标图像后，所述第一目标图像是包括屏幕图卡和背景区域的rgb图像，所述rgb图像是为了定位屏幕边框的坐标信息而生成的，它不是用户触发拍摄控件而采集的目标图像，为便于图像处理计算，可选地，将rgb图像转换为hsv图像。
138.在一些示例性的实施方式中，以第一颜色区域是绿色，第二颜色区域是蓝色为例，在确定目标颜色后，需要在hsv图像中识别目标颜色，以提取出目标颜色区域，在具体实现时可通过inrange算法进行取色，h、s、v三个通道值应同时介于目标颜色在hsv中的最小值和最大值之间，inrange算法可参照现有技术，本技术不再赘述。另外，颜色提取算法不限于本技术的示例。
139.在一些示例性的实施方式中，在提取出目标颜色区域后，对hsv图像进行二值化处理，得到的图像中目标颜色区域呈现为黑色，其他颜色区域呈现为白色，如提取了hsv图像中绿色区域后的结果，得到图19所示的第一图像，第一图像中目标颜色区域转化为黑色，其他区域被转化为白色。
140.基于显示设备的成像原理，其屏幕发光时会向屏幕外围辐散部分光，参照图19，第
一图像中黑色区域的外围就存在着一些零散的黑色点，这些黑色点产生的原因主要为背景区域中存在与屏幕图卡相近的颜色，其次是因显示设备发光映射产生的边缘扩充现象而出现的散点，这些点相当于噪声。这两方面因素都会导致第一图像中非屏幕图卡中的目标颜色区域呈现为黑色，影响屏幕边框定位识别的准确性。因此，在一些示例性的实施方式中，利用基于预设卷积核的先膨胀、后腐蚀过滤算法对第一图像进行处理，首先使用膨胀算法，将图19中噪声点(屏幕图卡外面的黑色噪点)消除，再使用腐蚀算法增强前景特征(屏幕图卡区域，即图19的黑色部分)，最终得到去掉噪声的图20，其中，腐蚀的目的是增强目标区域的特征信息，进一步减少非目标(图19的白色区域)的干扰。图20最终仅有屏幕图卡中匹配出的目标颜色区域(以第一颜色区域为例)被转换为黑色，其他区域均呈现为白色，从而消除了干扰点。
141.在一些示例性的实施方式中，得到第一图像，或者进一步对第一图像进行膨胀腐蚀净化处理后，对第一图像中的黑色区域(即对应于屏幕图卡中的目标颜色区域)进行直线检测，直线检测方法不限定，比如可采用霍夫变换直线检测、canny边缘检测等。如对第一图像中的黑色区域进行canny边缘检测，获取目标颜色区域的边缘轮廓线段，参照图9，由于原目标颜色区域(以第一颜色区域为例)中显示有“按照手机操作指南上传自己的背景”的提示信息，该提示信息所在位置处会检测到边缘线段，并且目标颜色区域也会检测到一个矩形边缘，因此呈现为图21所示的检测结果，图21中包括提示信息和目标颜色区域对应的多条边缘线段。
142.在一些示例性的实施方式中，分别对第一颜色区域和第二颜色区域即蓝色区域和绿色区域对应的轮廓线段，使用检测线段算法获取到所有满足最短长度的线段，后续在筛线中，将所有不符合实际条件的线段进行筛除。满足最短长度的线段，包括采用设置最短长度的线段，如将最短长度的线段设置为10，所有满足长度大于10的线段，都通过检测算法计算之后显示，线段长度不满足的10的则不显示，最短长度线段数值的设定可以根据具体实验数据确定，本技术实施例中不做具体限定，以最终试验结果为准。
143.在一些示例性的实施方式中，采用以下方式对屏幕边框的坐标信息进行粗提取，在获取边缘检测结果后，进一步进行直线检测，直线检测方法不限定，比如可采用霍夫变换、lsd(least significant difference，最小显著性差异法)等，直线检测完成后，即可得到各条边缘线段的坐标信息，所述坐标信息包括每条边缘线段的起点坐标和终点坐标。根据各条边缘线段的坐标信息，构建对应于目标颜色区域的最大外接矩形。在具体实施例中，比如从各条边缘线段的坐标信息中筛选出最小横坐标、最小纵坐标、最大横坐标和最大纵坐标，横坐标即图21中沿x轴方向上的坐标，纵坐标即沿y轴方向上的坐标，通过这种方式可以获取到最大外接矩形的两个对角点，即左上和右下两个方位上的对角点，然后基于矩形属性即可扩展得到唯一的最大外接矩形，并过滤掉了提示信息产生的矩形边缘轮廓，因此所述最大外接矩形即为目标颜色区域实际的边缘轮廓。
144.在一些示例性的实施方式中，最大外接矩形的区域是整张屏幕图卡的其中一个色块，因此可以根据屏幕图卡预置的特征信息，将最大外接矩形对应扩充为完整的屏幕边框。其中，屏幕图卡的特征信息包括第一颜色区域和第二颜色区域之间的位置分布和比例信息，两个颜色区域的位置分布比如采用上下排列或左右排列等形式，比例信息包括屏幕图卡中两个矩形的颜色区域的面积配比，和/或同向(横向或纵向)边缘线段的长度比例。
145.以图21中的最大外接矩形为例，该最大外接矩形是根据屏幕图卡中第一颜色区域得到的，由于第一颜色区域和第二颜色区域为上下分布，因此需要将最大外接矩形向下扩充，查询两个颜色区域的面积匹配或在纵向上的宽度比例，并按比例向下扩充最大外接矩形，以定位整个屏幕边框的下边缘线位置。比如，两个颜色区域的面积比例或宽度比例为1:1，根据最大外接矩形的坐标信息，即可获知最大外接矩形的宽度，以最大外接矩形的下边缘线为起始基准，向下延伸同等宽度的距离即可定位到屏幕边框的下边缘线，即满足y2＝y
j
+w
j
，其中y2为屏幕边框的下边缘线的纵坐标，y
j
为最大外接矩形的下边缘线的纵坐标，w
j
为最大外接矩形在纵向上的宽度，从而得到屏幕边框的粗提取下的坐标信息。
146.在一些示例性的实施方式中，在获取到如图21所示的边缘轮廓线段之后，由于得到的边缘轮廓线段信息仍然是一群线段组合而成的线段群，因此需要对提取到的线段进行筛选，得到符合筛选条件的边缘轮廓线段。
147.在些示例性的实施方式中，将目标颜色区域对应的多条边缘线段，以图22中为例，进行初步上下左右边线的分类。通过多步骤的筛线方式，分别进行以下操作：
148.首先，筛选外部线，即不符合目标颜色区域所在位置的线。根据上述屏幕边框粗提取下的坐标信息，得到目标颜色区域在屏幕图卡中的大致位置、大小和形状关系，筛选掉不符合绿色和蓝色图卡所在位置的线，其中在图卡中绿色和蓝色颜色区域沿垂直方向上下分布，绿色区域在上面，蓝色区域在下面，并且绿色区域和蓝色区域大小相同、形状相同。如，提取到的线段信息明显不处于蓝色或者绿色区域所在的位置，则将该类线段进行筛除。
149.然后，筛选内部线，对边缘线进行初步类型的判断，对处于蓝色或者绿色区域内的线段进行筛除，具体判断方式为，过目标边缘线的中点向边缘线类别对应方向进行延伸，根据是否触碰到颜色区域判断线段类型。如图22所示为边缘线筛选示意图，当对左边缘线进行筛选时，将过左边缘线的中点向左进行延伸，当对右边缘线进行筛选时，将过右边缘线的中点向右进行延伸。若线段为边缘线，包括上边缘线、下边缘线、左边缘线和右边缘线，则不会出现提取的颜色区域，若线段为内部线，那么其中点向外延伸会触碰到提取的颜色区域，通过初步判断，得到边缘线的类型。
150.在一些示例性的实施方式中，过线段中点沿边缘线类别(线段初始归类类别)对应方向进行延伸，例如上边缘线向上延伸，获取长度为l1，宽度为w1的条状区域，判断条状区域中提取颜色的占比b，将b与阈值g进行对比，若b<＝g，则认为该线是边缘线，保留该线；若b>g，则认为该线是内部线，将其筛除。其中，阈值g为试验值，可以根据具体的试验结果确定。
151.最后，筛选离群线，其中，离群线是指，多条边缘线中的某条竖线横坐标与基准线横坐标差值大于设定阈值的线。具体为，请参考附图22，以某个边缘线中线段中最长的线作为基准，若某条线的横坐标大于预设值，则将该线段删除。其中，预设值为试验值，可以根据具体的试验结果确定。
152.以上，通过对目标颜色区域对应的多条边缘线段进行内部线、外部线以及离群线的筛线分析，得到满足筛线要求的线段的集合，进而使用线段拟合算法，分别获得目标颜色区域即绿色和蓝色区域的拟合边缘线，通过拟合后的边缘线相交分别获得四条边缘线的四个交点，从而得到绿色和蓝色区域的顶点坐标。
153.在一些示例性的实施方式中，线段拟合算法通过如下公式计算，通过该种计算方
式能够拟合一条误差最小的完整的直线：
154.h
θ
(x)＝θ0+θ1x1[0155][0156]
式中，θ0,θ1是参数截距和斜率，j(θ)的目的是找到一组直线的参数，使拟合误差最小。在上述公式中，输入满足筛线要求的线段集合中所有点的坐标信息，通过上述公式，从而得出拟合为一条线段的直线，其原理为通过该种计算方式，得出一个使得所有点到该线段距离和最小的线，则认为该线是所有点拟合出的一条线段。对目标颜色区域各个不同方向上包括上、下、左、右的的线段集合分别进行拟合，得到绿色和蓝色区域的拟合边缘线，通过边缘线相交分别获得四条边缘线的四个交点，从而得到绿色和蓝色区域的顶点坐标。
[0157]
在一些示例性的实施方式中，若某一颜色区域边缘线出现空的现象，则认为该颜色区域提取或检测错误。为了防止某一颜色坐标检测误差较大或者出现错误，本实施例中提供一种多方位、立体化的选择算法判定对应颜色的可用性，对于所获得的目标颜色图卡坐标，对其形状、大小、位置关系进行判断。具体方式为：
[0158]
对于拟合得到的绿色区域的四点坐标以及蓝色区域的四点坐标信息所形成的位置区域进行检测，判断蓝色区域坐标以及绿色区域坐标所形成的宽高范围是否位于预设范围之内。该预设范围为根据实际经验值设置的范围。
[0159]
若在预设范围内蓝色区域坐标和绿色区域坐标均检测到，则根据绿色区域的四点坐标以及蓝色区域的四点坐标信息判断是否符合该预设区域中宽、高的限制，两个颜色区域是否相差较远，若满足：
[0160]
判断两个颜色区域左边缘之间的角度差，角度差不超过阈值e则认为两种颜色检测无误，将两种颜色坐标合并为显示设备坐标，阈值e为根据误差范围所限定的经验阈值；
[0161]
若只有绿色区域坐标宽高满足要求，则选择绿色区域坐标扩张为显示设备坐标，若只有蓝色区域坐标宽高满足要求，选用蓝色区域坐标扩张为显示设备坐标。
[0162]
若绿色区域坐标宽高明显较小，则选择蓝色区域坐标扩张为显示设备坐标；若蓝色区域坐标宽高明显较小，则选用绿色区域坐标扩张为显示设备坐标。
[0163]
若在预设范围内只检测到绿色区域坐标，检测不到蓝色区域坐标，则选择绿色区域坐标扩张为显示设备坐标。
[0164]
若在预设范围内只检测到蓝色区域坐标，检测不到绿色区域坐标，则选择蓝色区域坐标扩张为显示设备坐标。
[0165]
若蓝绿色蓝色区域坐标和绿色区域坐标均检测不到，则返回预设电视框坐标，即通过上述屏幕边框的粗提取下所得到的坐标信息。
[0166]
在一些示例性的实施方式中，上述根据某一颜色区域扩张得到显示设备坐标的方法为：利用两个颜色区域的位置关系和大小形状关系在垂线方向上沿斜率进行延伸，得到另一颜色区域。将两颜色区域拼接得到显示设备坐标。
[0167]
在一些示例性的实施方式中，获取到屏幕边框的坐标信息后，存在电视坐标呈梯形的情况，采用矫正算法将屏幕边框的坐标信息所形成的原始图像进行矫正。矫正后的结果如图23所示。
[0168]
在一些示例性的实施方式中，采用矫正算法，比如透视变换矫正的方法，通过以下
公式，
[0169][0170]
其中等式右边的u，v是原始图像中的坐标，x，y是变换后图像中的坐标，可以用下式计算得到：
[0171][0172]
透视变换矩阵图解如下：
[0173][0174]
表示图像线性变换；
[0175]
t2＝[m
13 m
23
]用于产生图像透视变换；
[0176]
t3＝[m
31 m
32
]表示图像平移。
[0177]
因此，给定透视变换对应的四对像素点坐标，即可求得透视变换矩阵；反之，给定透视变换矩阵，即可对图像或像素点坐标完成透视变换。
[0178]
据此，原始图像和矫正后的目标图像中的点对应转换关系如下：
[0179][0180]
在一些示例性的实施方式中，设通过上述屏幕边框坐标信息获取方法所得到的四个顶点坐标分别为左上(x1，y1)、右上(x2，y1)、左下(x1，y2)和右下(x2，y2)。
[0181]
s1803、根据所述第一目标图像中的背景区域图像结合所述显示设备的坐标信息提取具有纹理单元的纹理扩展图像，以及，根据所述纹理扩展图像生成对应于所述显示设备屏幕边框尺寸的定制壁纸图像。
[0182]
在一些示例性的实施方式中，根据第一目标图像获取到屏幕边框的精确坐标信息之后，即显示设备的四个顶点坐标分别为左上(x1，y1)、右上(x2，y1)、左下(x1，y2)和右下(x2，y2)。根据显示设备的四点坐标确定显示设备在第一目标图像中的位置，然后再基于第一目标图像，检测显示设备除过显示设备位置之外水平方向两侧区域中的线条数量，具体的，采用霍夫变换直线检测算法检测第一目标图像中背景区域纹理中的线条。通过将检测到线条之间的关系与纹理类别进行映射，当检测到横线、未检测到竖线，将该纹理分类为横纹纹理；当检测到横线、也检测到竖线，将该纹理分类为格子纹理；当未检测到横线、也未检测到竖线，将该纹理分类为其它纹理。从而将图像背景纹理初步分类为横纹纹理、格子纹理和其它纹理三种纹理类别。
[0183]
以下对背景区域中的纹理特征进行提取。分为两种具体方式：
[0184]
从显示设备左右两侧提取纹理区域，主要适用于横纹纹理和格子纹理的纹理特征提取。
[0185]
在显示设备左右两侧水平延长区域f中选择多个宽度为l的模板区域w直至覆盖f的所有区域，采用以下方法实现遮挡物检测来检测遮挡背景的物体位置，如图24所示，为显示设备左侧提取纹理区域位置关系示意图；
[0186]
计算每一个模板区域w与显示设备左右两侧水平延长区域f中除w外其它图像区域的匹配度g，其中，匹配度表示两个图像区域的相似度；
[0187]
当得到的匹配度g大于某特定阈值a1时，判断模板区域w为背景纹理，否则为遮挡物体；
[0188]
获取所有的背景纹理，在背景纹理中再次选择一个模板区域w，计算模板区域w与背景纹理中其它区域的匹配度，当得到的匹配度g大于某特定阈值a1时提取模板区域与目标匹配区域之间的纹理。
[0189]
若上述方法中未提取到纹理，计算模板区域w与显示设备左方或右方所有图像区域f2的匹配度g2。当得到的匹配度g2大于某特定阈值a2时提取纹理，否则计算模板区域w与显示设备上方所有图像区域f3的匹配度g3，当得到的匹配度g3大于某特定阈值a3时提取纹理。
[0190]
若成功提取到纹理，则该纹理为横纹或格子类别。
[0191]
若仍未提取纹理，则该纹理为无规则类别，提取显示设备正上方匹配度最高的纹理区域。
[0192]
在一些示例性的实施方式中，使用包括但不限于以下公式表示的图像匹配度计算方法：
[0193][0194]
其中，l为模板区域w的宽度，k为模板区域w的高度，其像素点的坐标为(u,v)，图像区域f的像素点坐标为(i,j)，该公式的主要目的是计算模板图像和背景墙图像的相似度，通过相似度进行纹理提取。
[0195]
从显示设备上侧提取纹理，主要适用于其他类别的纹理提取。
[0196]
在显示设备正上方经过遮挡物检测后选择的模板区域w，计算其与显示设备正上方图像区域f1的匹配度g1，当得到的匹配度g1大于某特定阈值b1时提取纹理。
[0197]
若未提取纹理，计算模板区域w与显示设备整个上方图像区域f2的匹配度g2，当得到的匹配度g2大于某特定阈值b2时提取纹理。
[0198]
若仍未提取纹理，则该纹理为无规则类别，提取显示设备正上方匹配度最高的与电视尺寸等大的纹理区域。
[0199]
若成功提取到纹理，则该纹理仍为其它类别。
[0200]
在一些示例性的实施方式中，在对不同类型纹理特征提取完成之后，需要对纹理相关性进行检测并进一步分类。
[0201]
对其它类别提取的纹理，来获取纹理区域中像素的相关性。
[0202]
设图像中任意一点(x,y)以及另一点(x+a,y+b)，该点对的灰度值为(g1,g2)，移动点(x,y)遍历图像，设灰度级为k，则有k2个点对灰度值，将每种灰度值出现次数排列为矩阵
g(i,j)，依据下述公式计算该图像像素的相关性。图像相关性计算公式如下：
[0203][0204]
其中，其中，
[0205]
当纹理图像的相关性大于某特定阈值c时，该纹理为纯色纹理，否则为规则或复杂纹理。
[0206]
在一些示例性的实施方式中，当提取的纹理单元具有纹理周期，将一个纹理单元进行周期性的拼接，获得一个尺寸大于显示设备坐标信息所组成的位置区域的纹理扩展图像。其中，纹理单元由上述方法中给出的模板区域w得出，根据模板区域w向显示设备各个方向上进行匹配，得出背景区域中的纹理单元。
[0207]
当该纹理为横纹时，该纹理是一个左侧与右侧的对应边缘纹理特征呈连续性分布的纹理图像单元，需要将上述方法中提取到的纹理单元进行水平方向的拼接。
[0208]
当该纹理为格子时，与横纹同理，在确保格子竖纹周期正确的前提下，需要将上述方法中提取到的纹理单元进行水平方向的周期性拼接。
[0209]
当该纹理为纯色时，进行平滑的纯色图像生成。
[0210]
当该纹理为规则或复杂时，该纹理是一个左侧与右侧、上侧与下侧的对应边缘纹理特征呈周期性连续分布的纹理图像单元，需要将上述步骤中提取到的纹理单元进行水平、垂直方向的拼接。
[0211]
在一些示例性的实施方式中，纹理单元拼接完成之后，对拼接区域采用图像融合算法，去除拼接痕迹。具体为，通过以下公式表示的图像融合算法以去除拼接痕迹，其中ω
a
与ω
b
为加权系数，且ω
a
+ω
b
＝1，图像a(x,y)与图像b(x,y)为两张图像的重合区域，f(x,y)为去除拼接痕迹后图像。该公式通过加权融合消除图像拼接痕迹，输入是两个要拼接的图像，输出是消除拼接痕迹后的图像。
[0212]
f(x,y)＝ω
a
×
a(x,y)+ω
b
×
b(x,y)。
[0213]
在一些示例性的实施方式中，根据模板区域w与显示设备的相对位置关系，其中，模板区域w与显示设备的相对位置关系根据显示设备坐标信息与模板区域而定。在上述方法中得到的纹理扩展图像中，根据显示设备的坐标信息截取符合显示设备尺寸的填充图像区域，使显示设备内显示的图像纹理与显示设备周围的纹理和谐相容。
[0214]
其中，当纹理为格子纹理时，为了保证格子纹理在垂直方向上的竖纹衔接完整，取显示设备正上方区域中高l1宽为l2的模板区域w2利用匹配度计算公式
[0215][0216]
计算与上一步骤中得到的纹理扩展图像的匹配度，获取匹配度大于阈值g的区域，
检测该纹理的竖纹在纹理扩展图像中的水平位置，结合模板区域w与显示设备的垂直相对位置关系，获取合适的填充图像区域填入显示设备。
[0217]
在上述方法中，涉及到的预设阈值，均是根据试验得出的经验值，根据不同的应用环境进行匹配，本技术不做具体限制，只提供计算方法。
[0218]
需要说明的是，在根据多色(即颜色区域数量大于或等于2)图卡定位到屏幕边框后，屏幕边框与定位线框的相对位置关系的检测方式不限于本技术实施例所述。另外，融合屏壁纸的定制流程不限于本技术ui及相关实施例的描述，在本技术电视屏幕融合、检测机制的基础上，壁纸定制流程中其他环节可以适应性扩展或变化。本技术中显示设备不限于电视，还包括其他可用于融合屏场景中的具有壁纸定制和显示功能的设备。终端设备包括但不限于智能手机、平板电脑等支持壁纸定制和拍照功能的移动终端。另外，本技术中涉及的图像处理算法不限定。当屏幕图卡多于双色时，屏幕融合检测机制与前述双色图卡相似，具体可根据屏幕图卡中颜色区域的数量、颜色、区域占比和相对位置分布等因素，在基于双色图卡的屏幕定位方法的基础上作出适应性调整。
[0219]
本技术通过屏幕图卡根据第一目标图像检测定位显示设备的坐标信息，然后根据第一目标图像中的背景区域图像结合显示设备的坐标信息提取具有纹理单元的纹理扩展图像，进而根据纹理扩展图像生成对应于显示设备屏幕边框尺寸的定制壁纸图像。通过对背景墙纹理单元的提取，并将其在显示设备上显示，实现显示设备与背景墙纹理一致且衔接完整，提升用户定制融合屏壁纸的功能体验。
[0220]
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。具体实现中，本发明还提供一种计算机存储介质，该计算机存储介质可存储有程序。当计算机存储介质位于显示设备或终端设备中时，该程序执行时可包括两端中任一设备的控制器被配置执行的屏幕融合方法涉及的程序步骤。其中，计算机存储介质可为磁碟、光盘、只读存储记忆体(英文：read
‑
only memory，简称rom)或随机存储记忆体(英文：random access memory，简称ram)等。
[0221]
本技术中各单端设备及其配置执行的屏幕融合方法已在ui交互和控制逻辑中列出，各实施例之间相同相似的部分互相参照即可，相关内容不再赘述。另外，本技术中终端设备和显示设备的ui界面仅仅是示例性展示，具体以实际设计和应用为准。
[0222]
最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。
[0223]
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。