一种智能电视的摄像头拍照效果增强方法及显示设备与流程

一种智能电视的摄像头拍照效果增强方法及显示设备
[0001]
本申请要求于2019年08月18日提交中国专利局、申请号为201910762187.1的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
[0002]
本申请涉及显示技术领域，特别涉及一种智能电视的摄像头拍照效果增强方法及显示设备。


背景技术：

[0003]
当前，由于如智能电视的显示设备可以为用户提供诸如音频、视频、图片等的播放画面，受到用户的广泛关注。
[0004]
随着大数据与人工智能的发展，用户对显示设备的功能需求与日俱增。例如，用户想要播放显示画面的同时，呈现多路视频聊天画面；或者，当用户在游戏场景中，实时显示参与者是真实画面；或者，用户在教育类应用程序中，在学习当前画面内容的同时，实时与家长/老师进行远程音视频互动等。
[0005]
因此，亟待提供一种能够实现上述功能的显示设备，以在显示设备上呈现用户的画面。


技术实现要素：

[0006]
基于上述技术问题，本申请的申请目的在于提供一种智能电视的摄像头拍照效果增强方法及显示设备。
[0007]
本申请实施例第一方面示出一种显示设备，包括：
[0008]
摄像头，被配置为：采集图像数据；
[0009]
显示器，被配置为：显示用户界面，和/或所述图像数据；
[0010]
控制器，被配置为：接收到摄像头打开指令后，获取摄像头所获取预览图像中不同补偿值的数个帧图像；根据数个所述帧图像，确定最优补偿值；根据最优补偿值，控制显示器调整亮度。
[0011]
结合第一方面，在第一方面的第一种可能的实现方式中，
[0012]
所述控制器，被配置为按照下述步骤执行所述根据数个帧图像，确定最优补偿值：
[0013]
分别提取每个所述帧图像的特征图像；
[0014]
计算所述特征图像的边缘清晰度；
[0015]
根据所述边缘清晰度，确定最优补偿值。
[0016]
结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，
[0017]
所述控制器，被配置为按照下述步骤执行所述计算所述特征图像的边缘清晰度:
[0018]
将所述特征图像执行灰度化操作，得到灰度特征图像；
[0019]
所述灰度特征图像通过sobel边缘检测，确定边缘清晰度。
[0020]
结合第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，
[0021]
所述控制器，被配置为按照下述步骤执行根据所述边缘清晰度，确定最优补偿值：
[0022]
比较所述边缘清晰度，确定最大边缘清晰度；
[0023]
确定最大边缘清晰度对应帧图像的补偿值为最优补偿值。
[0024]
结合第一方面，在第一方面的第四种可能的实现方式中，
[0025]
所述控制器，被配置按照下述步骤执行控制显示器调整亮度的步骤：
[0026]
控制显示器通过osd层的ui调整亮度。
[0027]
结合第一方面，在第一方面的第五种可能的实现方式中，所述控制器，还被配置为：
[0028]
在接收到拍照指令后，获取拍照后的预览图像，执行所述获取摄像头所获取预览图像中不同补偿值的数个帧图像的步骤。
[0029]
本申请实施例第二方面示出一种智能电视的摄像头拍照效果增强方法，包括：
[0030]
接收到摄像头打开指令后，获取摄像头所获取预览图像中不同补偿值的数个帧图像；
[0031]
根据多个所述帧图像，确定最优补偿值；
[0032]
根据最优补偿值，控制显示器调整亮度。
[0033]
结合第二方面，在第二方面的第一种可能的实现方式中，所述根据数个帧图像，确定最优补偿值的步骤包括：
[0034]
分别提取每个所述帧图像的特征图像；
[0035]
计算所述特征图像的边缘清晰度；
[0036]
根据所述边缘清晰度，确定最优补偿值。
[0037]
结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述计算所述特征图像的边缘清晰度的步骤包括:
[0038]
将所述特征图像执行灰度化操作，得到灰度特征图像；
[0039]
所述灰度特征图像通过sobel边缘检测，确定边缘清晰度。
[0040]
结合第二方面的第一种可能的实现方式，在第二方面的第三种可能的实现方式中，所述根据所述边缘清晰度，确定最优补偿值的步骤包括：
[0041]
比较所述边缘清晰度，确定最大边缘清晰度；
[0042]
确定最大边缘清晰度对应帧图像的补偿值为最优补偿值。
[0043]
由以上实施方式可以看出，本申请实施例示出一种智能电视的摄像头拍照效果增强方法及显示设备，所述方法包括：接收到摄像头打开指令后，获取摄像头所获取预览图像中不同补偿值的数个帧图像；根据数个所述帧图像，确定最优补偿值；根据最优补偿值，控制显示器调整亮度。本申请实施例示出的实施方式中，通过对预览图像中不同补偿值的帧图像分析，确定拍摄效果最佳时对应的帧图像的补偿值，利用该补偿值，控制显示器调整亮度，使智能电视屏幕的亮度适应拍照的要求，解决了现有技术中的由于智能电视的屏幕较大，散发出的光影响摄像头拍照效果的问题。
附图说明
[0044]
为了更清楚地说明本申请实施例或现有技术中的实施方式，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045]
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图；
[0046]
图2中示例性示出了根据实施例中显示设备200的硬件配置框图；
[0047]
图3中示例性示出了根据实施例中控制设备100的硬件配置框图；
[0048]
图4中示例性示出了根据实施例中显示设备200的功能配置示意图；
[0049]
图5a中示例性示出了根据实施例中显示设备200中软件配置示意图；
[0050]
图5b中示例性示出了根据实施例中显示设备200中应用程序的配置示意图；
[0051]
图6中示例性示出了根据实施例中显示设备200中用户界面的示意图；
[0052]
图7为根据一可选实施例示出的一种智能电视的摄像头拍照效果增强方法的流程图；
[0053]
图8为根据又一可选实施例示出的一种智能电视的摄像头拍照效果增强方法的流程图；
[0054]
图9为根据一可选实施例示出的摄像头拍摄的帧图像；
[0055]
图10为从图9中的帧图像中提取的脸部图像；
[0056]
图11为图10中的脸部图像对应的灰度特征图像；
[0057]
图12为根据一可选实施例示出的带有osd层的ui的智能电视屏幕的显示效果图；
[0058]
图13为根据又一可选实施例示出的带有osd层的ui的智能电视屏幕的显示效果图；
[0059]
图14为根据一可选实施例示出的一种智能电视的摄像头拍照效果增强装置的结构示意图。
具体实施方式
[0060]
为使本申请示例性实施例的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
[0061]
基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
[0062]
应当理解，本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
[0063]
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有
清楚地列出的或对于这些产品或设备固有的其它组件。
[0064]
本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
[0065]
本申请中使用的术语“遥控器”，是指电子设备(如本申请中公开的显示设备)的一个组件，通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(rf)信号和/或蓝牙与电子设备连接，也可以包括wifi、无线usb、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
[0066]
本申请中使用的术语“手势”，是指用户通过一种手型的变化或手部运动等动作，用于表达预期想法、动作、目的/或结果的用户行为。
[0067]
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1所示，用户可通过控制装置100来操作显示设备200。
[0068]
其中，控制装置100可以是遥控器100a，包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。
[0069]
控制装置100也可以是智能设备，如移动终端100b、平板电脑、计算机、笔记本电脑等。例如，使用在智能设备上运行的应用程序控制显示设备200。该应用程序可以在与智能设备关联的屏幕上通过直观的用户界面(ui)为用户提供各种控制。
[0070]
示例的，移动终端100b可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。如：可以使移动终端100b与显示设备200建立控制指令协议，将遥控控制键盘同步到移动终端100b上，通过控制移动终端100b上用户界面，实现控制显示设备200的功能。也可以将移动终端100b上显示的音视频内容传输到显示设备200上，实现同步显示功能。
[0071]
如图1所示，显示设备200还与服务器300通过多种通信方式进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器300可以向显示设备200提供各种内容和互动。示例的，显示设备200通过发送和接收信息，以及电子节目指南(epg)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器300可以是一组，也可以是多组，可以是一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。
[0072]
显示设备200，可以是液晶显示器、oled显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上的一些改变。
[0073]
显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能。示例的包括，网络电视、显示设备、互联网协议电视(iptv)等。
[0074]
如图1所述，显示设备上可以连接或设置有摄像头，用于将摄像头拍摄到的画面呈现在本显示设备或其他显示设备的显示界面上，以实现用户之间的交互聊天。具体的，摄像头拍摄到的画面可在显示设备上全屏显示、半屏显示、或者显示任意可选区域。
[0075]
作为一种在一种示例性的实施方式中连接方式，摄像头通过连接板与显示器后壳连接，固定安装在显示器后壳的上侧中部，作为可安装的方式，可以固定安装在显示器后壳的任意位置，能保证其图像采集区域不被后壳遮挡即可，例如，图像采集区域与显示设备的显示朝向相同。
[0076]
作为另一种在一种示例性的实施方式中连接方式，摄像头通过连接板或者其他可想到的连接器可升降的与显示后壳连接，连接器上安装有升降马达，当用户要使用摄像头或者有应用程序要使用摄像头时，再升出显示器之上，当不需要使用摄像头时，其可内嵌到后壳之后，以达到保护摄像头免受损坏。
[0077]
作为一种实施例，本申请所采用的摄像头可以为1600万像素，以达到超高清显示目的。在实际使用中，也可采用比1600万像素更高或更低的摄像头。
[0078]
当显示设备上安装有摄像头以后，显示设备不同应用场景所显示的内容可得到多种不同方式的融合，从而达到传统显示设备无法实现的功能。
[0079]
示例性的，用户可以在边观看视频节目的同时，与至少一位其他用户进行视频聊天。视频节目的呈现可作为背景画面，视频聊天的窗口显示在背景画面之上。形象的，可以称该功能为“边看边聊”。
[0080]
在一种示例性的实施方式中，在“边看边聊”的场景中，在观看直播视频或网络视频的同时，跨终端的进行至少一路的视频聊天。
[0081]
另一些实施例中，用户可以在边进入教育应用学习的同时，与至少一位其他用户进行视频聊天。例如，学生在学习教育应用程序中内容的同时，可实现与老师的远程互动。形象的，可以称该功能为“边学边聊”。
[0082]
另一些实施例中，用户在玩纸牌游戏时，与进入游戏的玩家进行视频聊天。例如，玩家在进入游戏应用参与游戏时，可实现与其他玩家的远程互动。形象的，可以称该功能为“边看边玩”。
[0083]
在一种示例性的实施方式中，游戏场景与视频画面进行融合，将视频画面中人像进行抠图，显示在游戏画面中，提升用户体验。
[0084]
在一种示例性的实施方式中，在体感类游戏中(如打球类、拳击类、跑步类、跳舞类等)，通过摄像头获取人体姿势和动作，肢体检测和追踪、人体骨骼关键点数据的检测，再与游戏中动画进行融合，实现如体育、舞蹈等场景的游戏。
[0085]
另一些实施例中，用户可以在k歌应用中，与至少一位其他用户进行视频和语音的交互。形象的，可以称该功能为“边看边唱”。优选的，当至少一位用户在聊天场景进入该应用时，可多个用户共同完成一首歌的录制。
[0086]
另一些实施例中，用户可在本地打开摄像头获取图片和视频，形象的，可以称该功能为“照镜子”。
[0087]
在另一些示例中，还可以再增加更多功能或减少上述功能。本申请对该显示设备的功能不作具体限定。
[0088]
图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。如图2所示，显示设备200中可以包括调谐解调器220、通信器230、检测器240、外部装置接口250、控制器210、存储器290、用户输入接口、视频处理器260-1、音频处理器260-2、显示器280、音频输出接口272、供电电源。
[0089]
调谐解调器220，通过有线或无线方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，用于从多个无线或有线广播电视信号中解调出用户所选择电视频道的频率中所携带的音视频信号，以及附加信息(例如epg数据信号)。
[0090]
调谐解调器220，可根据用户选择，以及由控制器210控制，响应用户选择的电视频道频率以及该频率所携带的电视信号。
[0091]
调谐解调器220，根据电视信号广播制式不同，可以接收信号的途径有很多种，诸如：地面广播、有线广播、卫星广播或互联网广播等；以及根据调制类型不同，可以数字调制方式，也可以模拟调制方式；以及根据接收电视信号种类不同，可以解调模拟信号和数字信号。
[0092]
在其他一些示例性实施例中，调谐解调器220也可在外置设备中，如外置机顶盒等。这样，机顶盒通过调制解调后输出电视音视频信号，经过外置装置接口250输入至显示设备200中。
[0093]
通信器230是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器230可以包括wifi模块231，蓝牙通信协议模块232，有线以太网通信协议模块233等其他网络通信协议模块或近场通信协议模块。
[0094]
显示设备200可以通过通信器230与外部控制设备或内容提供设备之间建立控制信号和数据信号的连接。例如，通信器可根据控制器的控制接收遥控器100的控制信号。
[0095]
检测器240，是显示设备200用于采集外部环境或与外部交互的信号的组件。检测器240可以包括光接收器242，用于采集环境光线强度的传感器，可以通过采集环境光来自适应显示参数变化等；还可以包括图像采集器241，如相机、摄像头等，可以用于采集外部环境场景，以及用于采集用户的属性或与用户交互手势，可以自适应变化显示参数，也可以识别用户手势，以实现与用户之间互动的功能。
[0096]
在一些示例性的实施方式中，图像采集器241为摄像头，当摄像头处于打开的状态时，可以采集显示设备周围的图像数据，并将采集到的图像数据显示于显示器上。用户可以通过语音、手势或者遥控器等方式触发拍照的指令，从该摄像头中获取其中一帧的数据。以及，用户可以通过语音、手势或者遥控器等方式触发用于录像的指令，从该摄像头中多帧数据。
[0097]
在一些示例性的实施方式中，控制器通过升降动力装置控制摄像头升起或下降的，例如，所述升降动力装置可以为马达。
[0098]
在其他一些示例性实施例中，检测器240，还可包括温度传感器，如通过感测环境温度，显示设备200可自适应调整图像的显示色温。示例性的，当温度偏高的环境时，可调整显示设备200显示图像色温偏冷色调；当温度偏低的环境时，可以调整显示设备200显示图像色温偏暖色调。
[0099]
在其他一些示例性实施例中，检测器240还可包括声音采集器，如麦克风，可以用于接收用户的声音，包括用户控制显示设备200的控制指令的语音信号，或采集环境声音，用于识别环境场景类型，显示设备200可以自适应环境噪声。
[0100]
外部装置接口250，提供控制器210控制显示设备200与外部其他设备间数据传输的组件。外部装置接口可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等的外部设备连接，可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加
信息(例如epg)等数据。
[0101]
其中，外部装置接口250可以包括：高清多媒体接口(hdmi)端子251、复合视频消隐同步(cvbs)端子252、模拟或数字分量端子253、通用串行总线(usb)端子254、红绿蓝(rgb)端子(图中未示出)等任一个或多个。
[0102]
控制器210，通过运行存储在存储器290上的各种软件控制程序(如操作系统和各种应用程序)，来控制显示设备200的工作和响应用户的操作。
[0103]
如图2所示，控制器210包括随机存取存储器ram213、只读存储器rom214、图形处理器216、cpu处理器212、通信接口218、以及通信总线。其中，ram213和rom214以及图形处理器216、cpu处理器212、通信接口218通过总线相连接。
[0104]
rom213，用于存储各种系统启动的指令。如在收到开机信号时，显示设备200电源开始启动，cpu处理器212运行rom中系统启动指令，将存储在存储器290的操作系统拷贝至ram214中，以开始运行启动操作系统。当操作系统启动完成后，cpu处理器212再将存储器290中各种应用程序拷贝至ram214中,然后，开始运行启动各种应用程序。
[0105]
图形处理器216，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，产生基于运算器得到的各种对象，进行渲染的结果显示在显示器280上。
[0106]
cpu处理器212，用于执行存储在存储器290中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。
[0107]
在一些示例性实施例中，cpu处理器212，可以包括多个处理器。多个处理器可包括一个主处理器以及多个或一个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。多个或一个子处理器，用于执行在待机模式等状态下的一种操作。
[0108]
通信接口，可包括第一接口218-1到第n接口218-n。这些接口可以是经由网络被连接到外部设备的网络接口。
[0109]
控制器210可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器280上显示ui对象的用户命令，控制器210便可以执行与由用户命令选择的对象有关的操作。
[0110]
其中，所述对象可以是可选对象中的任何一个，例如超链接或图标。与所选择的对象有关操作，例如：显示连接到超链接页面、文档、图像等操作，或者执行与图标相对应程序的操作。用于选择ui对象用户命令，可以是通过连接到显示设备200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
[0111]
存储器290，包括存储用于驱动和控制显示设备200的各种软件模块。如：存储器290中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等。
[0112]
其中，基础模块是用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块是用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。
[0113]
例如：语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块是用于控制显示器280进行显示图像内容的模块，可以用于播放多媒体图像内容和ui界面等信息。通信模块，是用于与外部设备之间进行控制和数据通信的模块。浏览器模块，是用于执行浏览服务器之间数据通信的模块。服务模块，是用于提供各种服务以及各类应用程序在内的模块。
[0114]
同时，存储器290还用于存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
[0115]
用户输入接口，用于将用户的输入信号发送给控制器210，或者，将从控制器输出的信号传送给用户。示例性的，控制装置(例如移动终端或遥控器)可将用户输入的诸如电源开关信号、频道选择信号、音量调节信号等输入信号发送至用户输入接口，再由用户输入接口转送至控制器；或者，控制装置可接收经控制器处理从用户输入接口输出的音频、视频或数据等输出信号，并且显示接收的输出信号或将接收的输出信号输出为音频或振动形式。
[0116]
在一些实施例中，用户可在显示器280上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
[0117]
视频处理器260-1，用于接收视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频数据处理，可得到直接在显示器280上显示或播放的视频信号。
[0118]
示例的，视频处理器260-1，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
[0119]
其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入mpeg-2,则解复用模块进行解复用成视频信号和音频信号等。
[0120]
视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。
[0121]
图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的gui信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。
[0122]
帧率转换模块，用于对输入视频的帧率进行转换，如将输入的24hz、25hz、30hz、60hz视频的帧率转换为60hz、120hz或240hz的帧率，其中，输入帧率可以与源视频流有关，输出帧率可以与显示器的更新率有关。输入有通常的格式采用如插帧方式实现。
[0123]
显示格式化模块，用于将帧率转换模块输出的信号，改变为符合诸如显示器显示格式的信号，如将帧率转换模块输出的信号进行格式转换以输出rgb数据信号。
[0124]
显示器280，用于接收源自视频处理器260-1输入的图像信号，进行显示视频内容和图像以及菜单操控界面。显示器280包括用于呈现画面的显示器组件以及驱动图像显示的驱动组件。显示视频内容，可以来自调谐解调器220接收的广播信号中的视频，也可以来自通信器或外部设备接口输入的视频内容。显示器220，同时显示显示设备200中产生且用于控制显示设备200的用户操控界面ui。
[0125]
以及，根据显示器280类型不同，还包括用于驱动显示的驱动组件。或者，倘若显示器280为一种投影显示器，还可以包括一种投影装置和投影屏幕。
[0126]
音频处理器260-2，用于接收音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等音频数据处理，得到可以在扬声器272中播放的音频信号。
[0127]
音频输出接口270，用于在控制器210的控制下接收音频处理器260-2输出的音频信号，音频输出接口可包括扬声器272，或输出至外接设备的发生装置的外接音响输出端子274，如：外接音响端子或耳机输出端子等。
[0128]
在其他一些示例性实施例中，视频处理器260-1可以包括一个或多个芯片组成。音频处理器260-2，也可以包括一个或多个芯片组成。
[0129]
以及，在其他一些示例性实施例中，视频处理器260-1和音频处理器260-2，可以为单独的芯片，也可以与控制器210一起集成在一个或多个芯片中。
[0130]
供电电源，用于在控制器210控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部的电源，如在显示设备200中提供外接电源的电源接口。
[0131]
图3中示例性示出了根据示例性实施例中控制装置100的配置框图。如图3所示，控制装置100包括控制器110、通信器130、用户输入/输出接口140、存储器190、供电电源180。
[0132]
图4中示例性示出了根据示例性实施例中显示设备200功能配置示意图。如图4所示，存储器290用于存储操作系统、应用程序、内容和用户数据等，在控制器210控制下执行驱动显示设备200的系统运行以及响应用户的各种操作。存储器290可以包括易失性和/或非易失性存储器。
[0133]
存储器290，具体用于存储驱动显示设备200中控制器210的运行程序，以及存储显示设备200内置各种应用程序，以及用户从外部设备下载的各种应用程序、以及与应用程序相关的各种图形用户界面，以及与图形用户界面相关的各种对象，用户数据信息，以及各种支持应用程序的内部数据。存储器290用于存储操作系统(os)内核、中间件和应用等系统软件，以及存储输入的视频数据和音频数据、及其他用户数据。
[0134]
存储器290，具体用于存储视频处理器260-1和音频处理器260-2、显示器280、通信接口230、调谐解调器220、检测器240、输入/输出接口等驱动程序和相关数据。
[0135]
在一些实施例中，存储器290可以存储软件和/或程序，用于表示操作系统(os)的软件程序包括，例如：内核、中间件、应用编程接口(api)和/或应用程序。示例性的，内核可控制或管理系统资源，或其它程序所实施的功能(如所述中间件、api或应用程序)，以及内核可以提供接口，以允许中间件和api，或应用访问控制器，以实现控制或管理系统资源。
[0136]
示例的，存储器290，包括广播接收模块2901、频道控制模块2902、音量控制模块2903、图像控制模块2904、显示控制模块2905、音频控制模块2906、外部指令识别模块2907、通信控制模块2908、光接收模块2909、电力控制模块2910、操作系统2911、以及其他应用程序2912、浏览器模块等等。控制器210通过运行存储器290中各种软件程序，来执行诸如：广播电视信号接收解调功能、电视频道选择控制功能、音量选择控制功能、图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等其他应用。
[0137]
图5a中示例性示出了根据示例性实施例中显示设备200中软件系统的配置框图。
[0138]
如图5a中所示，操作系统2911，包括用于处理各种基础系统服务和用于实施硬件
相关任务的执行操作软件，充当应用程序和硬件组件之间完成数据处理的媒介。
[0139]
一些实施例中，部分操作系统内核可以包含一系列软件，用以管理显示设备硬件资源，并为其他程序或软件代码提供服务。
[0140]
其他一些实施例中，部分操作系统内核可包含一个或多个设备驱动器，设备驱动器可以是操作系统中的一组软件代码，帮助操作或控制显示设备关联的设备或硬件。驱动器可以包含操作视频、音频和/或其他多媒体组件的代码。示例的，包括显示器、摄像头、flash、wifi和音频驱动器。
[0141]
其中，可访问性模块2911-1，用于修改或访问应用程序，以实现应用程序的可访问性和对其显示内容的可操作性。
[0142]
通信模块2911-2，用于经由相关通信接口和通信网络与其他外设的连接。
[0143]
用户界面模块2911-3，用于提供显示用户界面的对象，以供各应用程序访问，可实现用户可操作性。
[0144]
控制应用程序2911-4，用于控制进程管理，包括运行时间应用程序等。
[0145]
事件传输系统2914，可在操作系统2911内或应用程序2912中实现。一些实施例中，一方面在在操作系统2911内实现，同时在应用程序2912中实现，用于监听各种用户输入事件，将根据各种事件指代响应各类事件或子事件的识别结果，而实施一组或多组预定义的操作的处理程序。
[0146]
其中，事件监听模块2914-1，用于监听用户输入接口输入事件或子事件。
[0147]
事件识别模块2914-1，用于对各种用户输入接口输入各类事件的定义，识别出各种事件或子事件，且将其传输给处理用以执行其相应一组或多组的处理程序。
[0148]
其中，事件或子事件，是指显示设备200中一个或多个传感器检测的输入，以及外界控制设备(如控制装置100等)的输入。如：语音输入各种子事件，手势识别的手势输入子事件，以及控制装置的遥控按键指令输入的子事件等。示例的，遥控器中一个或多个子事件包括多种形式，包括但不限于按键按上/下/左右/、确定键、按键按住等中一个或组合。以及非实体按键的操作，如移动、按住、释放等操作。
[0149]
界面布局管理模块2913，直接或间接接收来自于事件传输系统2914监听到各用户输入事件或子事件，用于更新用户界面的布局，包括但不限于界面中各控件或子控件的位置，以及容器的大小或位置、层级等与界面布局相关各种执行操作。
[0150]
如图5b中所示，应用程序层2912包含可在显示设备200执行的各种应用程序。应用程序可包含但不限于一个或多个应用程序，如：直播电视应用程序、视频点播应用程序、媒体中心应用程序、应用程序中心、游戏应用等。
[0151]
直播电视应用程序，可以通过不同的信号源提供直播电视。例如，直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及，直播电视应用程序可在显示设备200上显示直播电视信号的视频。
[0152]
视频点播应用程序，可以提供来自不同存储源的视频。不同于直播电视应用程序，视频点播提供来自某些存储源的视频显示。例如，视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
[0153]
媒体中心应用程序，可以提供各种多媒体内容播放的应用程序。例如，媒体中心，可以为不同于直播电视或视频点播，用户可通过媒体中心应用程序访问各种图像或音频所
提供服务。
[0154]
应用程序中心，可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序，或某些和计算机系统或其他设备相关但可以在显示设备中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序，将它们储存在本地储存器中，然后在显示设备200上可运行。
[0155]
图6中示例性示出了根据示例性实施例中显示设备200中用户界面的示意图。如图6所示，用户界面包括多个视图显示区，示例的，第一视图显示区201和播放画面202，其中，播放画面包括布局一个或多个不同项目。以及用户界面中还包括指示项目被选择的选择器，可通过用户输入而移动选择器的位置，以改变选择不同的项目。
[0156]
需要说明的是，多个视图显示区可以呈现不同层级的显示画面。如，第一视图显示区可呈现系统层项目内容(如，当前属性等)，第二视图显示区可呈现应用层项目内容(如，网页视频、vod展示、应用程序画面等)。
[0157]
在一种示例性的实施方式中，不同视图显示区的呈现存在优先级区别，优先级不同的视图显示区之间，视图显示区的显示优先级不同。如，系统层的优先级高于应用层的优先级，当用户在应用层使用获取选择器和画面切换时，不遮挡系统层的视图显示区的画面展示；以及，根据用户的选择使应用层的视图显示区的大小和位置发生变化时，系统层的视图显示区的大小和位置不受影响。
[0158]
也可以呈现相同层级的显示画面，此时，选择器可以在第一视图显示区和第二视图显示区之间做切换，以及当第一视图显示区的大小和位置发生变化时，第二视图显示区的大小和位置可随及发生改变。
[0159]
相关技术中，智能电视上可以运行多种应用，其中，带有拍照功能的应用，通过智能电视上内置摄像头，或者智能电视通过usb接口外接摄像头，可以拍摄智能电视周边环境。
[0160]
智能电视的屏幕尺寸相对于移动终端设备的屏幕尺寸大，所以利用摄像头拍照时，智能电视屏幕散发出的光很容易影响摄像头的拍摄对象的亮度，造成拍照效果不好。举例说明：利用智能电视的摄像头拍照时，用户站在摄像头的拍摄范围内拍照，由于智能电视屏幕散发的光会照射在用户身上，这样就会使用户身上的亮度受智能电视屏幕散发的光影响，造成摄像头在拍照时拍照效果不好。所以，如何能使智能电视的摄像头拍照效果较好，成为本领域技术人员亟待解决的问题。
[0161]
为了解决现有技术存在的技术问题，本申请实施例第一方面示出一种智能电视的摄像头拍照效果增强方法，如图7所示，包括：
[0162]
s100、接收到摄像头打开指令后，获取摄像头所获取预览图像中不同补偿值的数个帧图像；
[0163]
在智能电视中，可以通过带有拍照功能的智能电视自有应用或者第三方应用打开摄像头，发送摄像头打开指令。
[0164]
需要说明的是，所述预览图像是在智能电视屏幕亮度不断变化的过程中通过摄像头采集得到的，所述预览图像包括若干帧图像。本申请实施例中，智能电视屏幕亮度不断变化可通过调节屏幕亮度的补偿值实现。
[0165]
在补偿值不断变化的过程中，补偿值的变化频率和摄像头的拍摄频率可能不同，
例如，补偿值0.25s变化一次，摄像头1s拍摄20张帧图像，因此存在一个补偿值下对应多张帧图像的情况发生。例如，1-5张帧图像对应补偿值为0，6-10张帧图像对应补偿值为0.3，11-15张帧图像对应补偿值为0.5，16-20张帧图像对应补偿值为0.8。因此，本申请实施例，在补偿值不断变化的预览图像中，筛选出不同补偿值的数个帧图像，避免重复分析相同补偿值下的预览图像。例如，可以在第1-5张帧图像中选取一张帧图像，第6-10张帧图像中选取一张帧图像，第11-15张帧图像中选取一张帧图像，第16-20张帧图像中选取一张帧图像。
[0166]
s200、根据数个所述帧图像，确定最优补偿值；
[0167]
本申请实施例，通过分析不同补偿值对应的帧图像，确定最优的补偿值，利用最优补偿值，控制显示器调整亮度，使摄像头拍照的效果最佳。
[0168]
在一种示例性的实施方式中，如图8所示，所述根据数个帧图像，确定最优补偿值的步骤包括：
[0169]
s201、分别提取每个所述帧图像的特征图像；
[0170]
所述特征图像是指需要清晰显示的图像，如果特征图像拍摄清晰，说明拍照效果较好。举实例说明，如果用户位于摄像头的拍摄范围内，其中一种情况，用户需要拍摄清楚脸部，所以设置脸部图像为特征图像。图9是摄像头拍摄的帧图像，图10是从图9中的帧图像中提取的脸部图像。当然，特征图像也可以为物品，在此不做限制，另外，特征图像的具体内容的确定过程在此也不做限制。
[0171]
s202、计算所述特征图像的边缘清晰度；
[0172]
本申请实施例中，通过边缘清晰度，衡量拍照效果。边缘清晰度越大，则说明拍照效果越好。
[0173]
在一种示例性的实施方式中，所述计算所述特征图像的边缘清晰度的步骤包括:
[0174]
将所述特征图像执行灰度化操作，得到灰度特征图像；
[0175]
所述灰度特征图像通过sobel边缘检测，确定边缘清晰度。
[0176]
具体的，以脸部图像为例，说明特征图像的边缘清晰度的计算过程，首先将脸部图像执行灰度化操作，如图11所示，图11为图10中的脸部图像对应的灰度特征图像。
[0177]
所述灰度特征图像通过sobel边缘检测，确定边缘清晰度的过程如下：
[0178]
以脸部图像大小为64像素*48像素为例，每个像素对应的灰度值是a。根据sobel边缘检测，64*28维的数组，该数组中的元素与灰度特征图像中每个像素通过卷积之后的像素值对应。
[0179]
a[0][0]＝g00＝sqrt(gx0,0*gx0,0+gy0,0*gy0,0)；
[0180]
…
[0181]
a[63][27]＝g63,27＝sqrt(gx63,27*gx63*27+gy63,27*gy63*27)；
[0182]
其中，sqrt代表开根号；
[0183]
g
x
代表对灰度特征图像x方向上的卷积；
[0184]
g
y
代表对灰度特征图像y方向上的卷积；
[0185]
g代表灰度特征图像中每个像素通过卷积之后的像素值。
[0186]
其中，s代表边缘清晰度，x1＝g00，x2＝g01
…
x
n
＝g63,27；n＝64*48＝3072；m＝(g00+g01+...+g63,27)/3072。
[0187]
本申请实施例中，边缘清晰度s越大，特征图像越清晰，拍照效果越好。
[0188]
s203、根据所述边缘清晰度，确定最优补偿值。
[0189]
在一种示例性的实施方式中，根据所述边缘清晰度，确定最优补偿值包括：
[0190]
比较所述边缘清晰度，确定最大边缘清晰度；
[0191]
确定最大边缘清晰度对应帧图像的补偿值为最优补偿值。
[0192]
需要说明的是，边缘清晰度越大，拍摄效果越好，所以本申请实施例中，比较每张帧图像中特征图像的边缘清晰度，确定最大边缘清晰度对应帧图像的补偿值为最优补偿值。
[0193]
s300、根据最优补偿值，控制显示器调整亮度。
[0194]
为了使摄像头拍照效果最好，所以设定最优补偿值为智能电视屏幕亮度的补偿值。利用最优补偿值，动态控制显示器调整亮度。
[0195]
在一种示例性的实施方式中，所述控制显示器调整亮度的步骤包括：控制显示器通过osd层的ui调整亮度。
[0196]
本申请实施例中，通过利用osd层的方式调整智能电视屏幕亮度，例如，可以将osd层的ui全部显示为灰色，此时智能电视屏幕的亮度被调暗；也可以通过设置osd层的ui部分位置的颜色，其余部分设置为透明，改变智能电视屏幕的亮度。如图12和13所示，图12和图13分别是带有不同补偿值对应的osd层的ui的智能电视屏幕的显示效果图，图9中的帧图像是没有补偿值存在的情况下智能电视屏幕的显示效果。需要说明的是，本申请实施例中智能电视屏幕即为显示器。
[0197]
图12中的圆形图像并不是拍摄对象的图像，而是本申请实施例中的osd层的ui中的图像，该圆形图像的颜色和数量根据最优补偿值确定。图13中的用户身边的近似于白色的大面积图像，也不是拍摄对象的图像，而是本申请实施例中osd层的ui中的图像。另外，本申请实施例在改变osd层ui的部分位置的颜色时，不在特征图像对应的位置上改变，改变的是特征图像周围的颜色，这样不会对用户在屏幕上观看图像造成影响。如图12中，特征图像是脸部图像，因此不在脸部对应的位置设置颜色。
[0198]
本申请实施例，还可以通过调整智能电视背光，调节智能电视屏幕亮度。任何形式的调节屏幕亮度的方法，只要不背离本申请的精神和保护范围均可。
[0199]
在一种示例性的实施方式中，所述方法还包括：在接收到拍照指令后，获取拍照后的预览图像，执行所述获取摄像头所获取预览图像中不同补偿值的数个帧图像的步骤。
[0200]
由于拍摄对象可能在不断变化，在一种场景下，拍摄对象是室内物品时，在室内开灯或关灯，都会造成拍摄对象的亮度发生变化，如果一直使用根据接收到摄像头打开指令后确定的最优补偿值，控制显示器调整亮度，可能会影响拍摄效果。所以，本申请实施例在每次拍照后，重新获取摄像头所获取预览图像中不同补偿值的数个帧图像的步骤。
[0201]
值得注意的是，在接收到拍照指令后，获取的预览图像是在摄像头拍照之后摄像
头所获取的预览图像，该预览图像更能说明当前拍摄对象的特征。本申请实施例，根据重新获取的预览图像中不同补偿值的数个帧图像，对数个帧图像进行分析，确定最新的最优补偿值。根据最新的最优补偿值，控制显示器调整亮度。
[0202]
在一种可能的实现方式，利用深度学习技术，可以快速的确定最优补偿值，使用户在智能电视上拍照时，拍照效果最好。
[0203]
本申请实施例第二方面示出一种显示设备，包括：
[0204]
摄像头，被配置为：采集图像数据；
[0205]
显示器，被配置为：显示用户界面，和/或所述图像数据；
[0206]
控制器，被配置为：接收到摄像头打开指令后，获取摄像头所获取预览图像中不同补偿值的数个帧图像；根据数个所述帧图像，确定最优补偿值；根据最优补偿值，控制显示器调整亮度。
[0207]
需要说明的是，本申请实施例中的控制器可以为图2中的控制器210，另外，本申请实施例中显示设备可以包括多个控制器，多个控制器中的一个或多个均可以配置为接收到摄像头打开指令后，获取摄像头所获取预览图像中不同补偿值的数个帧图像；根据数个所述帧图像，确定最优补偿值；根据最优补偿值，控制显示器调整亮度。
[0208]
在一种示例性的实施方式中，所述控制器，被配置为按照下述步骤执行所述根据数个帧图像，确定最优补偿值：
[0209]
分别提取每个所述帧图像的特征图像；
[0210]
计算所述特征图像的边缘清晰度；
[0211]
根据所述边缘清晰度，确定最优补偿值。
[0212]
在一种示例性的实施方式中，所述控制器，被配置为按照下述步骤执行所述计算所述特征图像的边缘清晰度:
[0213]
将所述特征图像执行灰度化操作，得到灰度特征图像；
[0214]
所述灰度特征图像通过sobel边缘检测，确定边缘清晰度。
[0215]
在一种示例性的实施方式中，所述控制器，被配置为按照下述步骤执行根据所述边缘清晰度，确定最优补偿值：
[0216]
比较所述边缘清晰度，确定最大边缘清晰度；
[0217]
确定最大边缘清晰度对应帧图像的补偿值为最优补偿值。
[0218]
在一种示例性的实施方式中，所述控制器，被配置按照下述步骤执行控制显示器调整亮度的步骤：
[0219]
控制显示器通过osd层的ui调整亮度。
[0220]
在一种示例性的实施方式中，所述控制器，还被配置为：
[0221]
在接收到拍照指令后，获取拍照后的预览图像，执行所述获取摄像头所获取预览图像中不同补偿值的数个帧图像的步骤。
[0222]
本申请实施例第三方面示出一种智能电视的摄像头拍照效果增强装置，如图14所示，包括：
[0223]
获取单元400，用于接收到摄像头打开指令后，获取摄像头所获取预览图像中不同补偿值的数个帧图像；
[0224]
确定单元500，用于根据多个所述帧图像，确定最优补偿值；
[0225]
调整单元600，用于根据最优补偿值，控制显示器调整亮度。
[0226]
在一种示例性的实施方式中，所述确定单元包括：
[0227]
提取单元，用于分别提取每个所述帧图像的特征图像；
[0228]
计算单元，用于计算所述特征图像的边缘清晰度；
[0229]
最优补偿值确定单元，用于根据所述边缘清晰度，确定最优补偿值。
[0230]
在一种示例性的实施方式中，所述计算单元包括:
[0231]
灰度特征图像确定单元，用于将所述特征图像执行灰度化操作，得到灰度特征图像；
[0232]
边缘清晰度确定单元，用于所述灰度特征图像通过sobel边缘检测，确定边缘清晰度。
[0233]
在一种示例性的实施方式中，所述最优补偿值确定单元包括：
[0234]
比较单元，用于比较所述边缘清晰度，确定最大边缘清晰度；
[0235]
最优补偿值确定单元，用于确定最大边缘清晰度对应帧图像的补偿值为最优补偿值。
[0236]
在一种示例性的实施方式中，所述智能电视屏幕的亮度通过osd层的ui调整。
[0237]
在一种示例性的实施方式中，所述装置还包括：重复执行单元，用于在接收到拍照指令后，获取拍照后的预览图像，执行所述获取摄像头所获取预览图像中不同补偿值的数个帧图像的步骤。
[0238]
由以上实施方式可知，本申请实施例示出一种智能电视的摄像头拍照效果增强方法及显示设备，所述方法包括：接收到摄像头打开指令后，获取摄像头所获取预览图像中不同补偿值的数个帧图像；根据数个所述帧图像，确定最优补偿值；根据最优补偿值，控制显示器调整亮度。本申请实施例示出的实施方式中，通过对预览图像中不同补偿值的帧图像分析，确定拍摄效果最佳时对应的帧图像的补偿值，利用该补偿值，控制显示器调整亮度，使智能电视屏幕的亮度适应拍照的要求，解决了现有技术中的由于智能电视的屏幕较大，散发出的光影响摄像头拍照效果的问题。
[0239]
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
[0240]
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。