一种图像处理方法及装置的制造方法

文档序号:10691644阅读:207来源:国知局
一种图像处理方法及装置的制造方法
【专利摘要】本发明实施例公开了一种图像处理方法及装置,涉及显示技术领域,用以解决现有技术中对画面的调整方式不够灵活的问题。该方法包括:将待显示的第一图像分为N个数据块,N≥2;根据观众对所述数据块的关注程度,确定所述第一图像中M个数据块的图像处理方案,1≤M≤N;对所述第一图像中的M个数据块分别采用各自对应的图像处理方案进行图像处理,以得到第二图像。
【专利说明】
-种图像处理方法及装置
技术领域
[0001] 本发明设及显示技术领域,尤其设及一种图像处理方法及装置。
【背景技术】
[0002] 随着视频处理技术的发展和日渐完善,电视机的画面显示效果也逐步改善。特别 是随着超高清电视、曲面电视的兴起,电视机已能很大程度上满足观众的观看需求。
[0003] 现有技术提供了一种图像处理方法,可W根据观众与电视机的距离,自动调整显 示画面的分辨率,从而保证观众在不同的观看距离时,都可W有比较好的视觉效果。但是, 该方法是对整个画面进行统一调整,可见调整方式不够灵活。

【发明内容】

[0004] 本发明的实施例提供一种图像处理方法及装置,用W结合观众对画面不同部分的 关注程度,为至少一部分选择图像处理方案,并按照该图像处理方案对图像中相应的那部 分进行调整,W解决现有技术中对画面的调整方式不够灵活的问题。
[0005] 为达到上述目的,本发明的实施例采用如下技术方案:
[0006] 第一方面,本发明实施例提供了一种图像处理方法,包括:
[0007] 将待显示的第一图像分为N个数据块,N>2;
[000引根据观众对所述数据块的关注程度,确定所述第一图像中Μ个数据块的图像处理 方案,1《Μ《Ν;
[0009]对所述第一图像中的Μ个数据块分别采用各自对应的图像处理方案进行图像处 理,W得到第二图像。
[0010]第二方面,本发明实施例提供了一种图像处理装置,包括:
[0011] 分块单元,用于将待显示的第一图像分为Ν个数据块,Ν>2;
[0012] 确定单元,用于根据观众对所述分块单元划分得到的数据块的关注程度,确定所 述第一图像中Μ个数据块的图像处理方案,1《Μ《Ν;
[0013] 处理单元,用于对所述第一图像中的Μ个数据块分别采用各自对应的、且由所述确 定单元确定的图像处理方案进行图像处理,W得到第二图像。
[0014] 本发明实施例提供了一种图像处理方法及装置,由于现有技术对整个画面进行统 一调整,调整方式不够灵活,所W本发明实施例将待显示的第一图像分为多个数据块,也即 将第一图像划分成了多个部分。之后,根据观众对各个数据块的关注程度,为该第一图像中 的一个或多个数据块确定其相应的图像处理方案;进而可W对运些数据块分别进行图像处 理,W得到新的第二图像。可见,本实施例中的方式是对画面进行分部分图像处理,无需像 现有技术一样对画面整体调节,从而可W增强画面调节的灵活度。进一步的,由于在选择图 像处理方案的过程中,需考虑到观众对各个数据块的关注程度,运样更有利于观看效果。
【附图说明】
[0015] 为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中 所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实 施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可W根据运些附图 获得其他的附图。
[0016] 图1为本发明实施例提供的一种图像处理方法的流程图;
[0017] 图2为本发明实施例提供的通过检测屏幕前是否有观众控制显示画面的流程图;
[0018] 图3为本发明实施例提供的一种将显示屏幕前方的区域划分子区的方法;
[0019] 图4为本发明实施例提供的又一种将显示屏幕前方的区域划分子区的方法;
[0020] 图5为本发明实施例提供的再一种将显示屏幕前方的区域划分子区的方法;
[0021 ]图6为本发明实施例提供的观众的位置信息示意图;
[0022] 图7为本发明实施例提供的一种学习统计的流程图;
[0023] 图8为本发明实施例提供的一种图像处理装置的框图;
[0024] 图9为本发明实施例提供的数据块划分示意图。
【具体实施方式】
[0025] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完 整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于 本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例,都属于本发明保护的范围。
[0026] 为了便于清楚描述本发明实施例的技术方案,在本发明的实施例中,采用了 "第 一"、"第二"等字样对功能和作用基本相同的相同项或相似项进行区分,本领域技术人员可 W理解"第一"、"第二"等字样并不对数量和执行次序进行限定。
[0027] 本发明实施例的工作原理在于,将显示画面分割成多个部分,并结合观众对各部 分的关注程度,为至少一部分选择图像处理方案,并按照该图像处理方案对图像中相应的 那部分进行调整,无需像现有技术一样对画面整体调节,从而可W增强画面调节的灵活度。
[0028] 下面,将详细描述本发明实施例提供的图像处理方法及装置。
[00巧]实施例一、
[0030] 本实施例提供的一种图像处理方法,该方法各步骤的执行主体可W是图像处理装 置,该装置可单独设置,也可W设置于可支持显示的终端设备中,该终端设备可W是电视 机、机顶盒、电视机与机顶盒的一体机、计算机设备的显示器、计算机设备的主机、或包含显 示器和主机的一体计算机设备(例如:一体机电脑等),在此不做限定。如图1所示,该图像处 理方法包括:
[0031] S101 (可选)、图像处理装置开启。
[0032] 具体的,可W是终端设备在收到用户开启指令后,控制开启图像处理装置,之后图 像处理装置开始工作,也即开启了图像处理功能。示例的,用户可W通过已配置的开关(或 按键)来选择打开或关闭此图像处理功能。当然,图像处理装置也可W是终端设备开机时 自行启动。示例的,可W终端设备中的控制模块(例如CPU)在收到用户开启指令后,调用存 储器中用于执行图像处理功能的软件程序,即开启了图像处理装置。
[0033] S102(可选)、检测显示屏幕前的监控区域内是否有观众。
[0034] 由于在现实生活中,有些情况下观众打开电视后,可能会去做其他事情,电视机只 是作为了一个"收音机"的功能存在。因此,本实施例中可W在一定时间内不停地检测监控 区域是否有人。该检测过程可W贯穿于整个电视机的工作过程,而不是单次检测即结束。
[0035] 运里若图像处理装置针对的终端设备不同,则显示屏幕也不同。本领域技术人员 应该理解,若图像处理装置置于电视机、机顶盒或者电视机与机顶盒的一体机中,或者与运 些终端设备中的一个连接,用于对电视画面进行调节,则此处的显示屏幕为电视机的屏幕。 若图像处理装置置于计算机设备的显示器、计算机设备的主机、或包含显示器和主机的一 体计算机设备中,或者与运些终端设备中的一个连接,用于对输入到显示器的数据进行调 节,则此处的显示屏幕为显示器的屏幕。
[0036] 示例的,图像处理装置可与信息采集装置相连(两者也可W为一体结构),此时图 像处理装置可W开启信息采集装置,并且可W由图像处理装置中的检测单元根据信息采集 装置采集到的信息,确定显示屏幕前的监控区域内是否有观众。本领域技术人员应该理解, 此处的监控区域由信息采集装置的安装位置、个数及其采集范围等决定,而本领域技术人 员可W运些因素合理设置信息采集装置,从而对其需要的监控区域进行检测。
[0037] 例如,信息采集装置可W是图像采集装置(一个普通摄像头或红外摄像机,或一组 摄像头等),该图像采集装置例如可W安装在电视机上,图像采集装置可W在开启后,对室 内可观看电视节目的区域进行拍摄,得到该区域的图像,并反馈给图像处理装置,W便图像 处理装置中的检测单元可W对该图像采用对称差分算法等检测方法得知监控区域内是否 有观众。由于在现实场景中,观众的观看位置信息不会频繁变动,因此本着节约资源的考 虑,可W采取每间隔一段时间(例如1秒)来进行一次图像采集,其余时间该图像采集装置可 W关闭。
[0038] 又例如,信息采集装置可W是红外热释电传感器,该红外热释电传感器例如可W 安装在电视机上,在其开启后,将生成的电信号传递给图像处理装置,W便图像处理装置可 W根据该电信号得知在监控区域内是否有观众。
[0039] 若此步骤中检测到监控区域内没有观众,则进行步骤S103;若检测到监控区域内 有观众,则进行步骤S104。
[0040] S103(可选)、在预设的检测时长内,若监控区域内始终没有观众,则关闭显示画 面。
[0041] 此步骤具体为:如果图像处理装置检测到监控区域内无观众,则会在其之后的检 测时长内循环进行步骤S102;若在该检测时长到达时,监控区域内始终没有观众,则为了节 能,可W控制电视机或显示器进入声音播放模式,即仅播放声音且不显示画面的模式。
[0042] 示例的,可参考图2,当图像处理装置中检测单元检测到监控区域内无观众时,贝U 可W给图像处理装置中的控制单元(例如MCtLMicrocontroller化it,微控制单元)传递一 个开始计时的信号,MCU开始计时,并判断统计的时长是否达到预设的检测时长。若达到检 测时长,则发出关闭画面的信号;W控制电机机为例,可W通知TV端切断视频通路,同时保 留音频通路的信号传输;当然也可W直接关闭显示屏幕。若未达到检测时长,则仍由检测单 元检测监控区域是否有观众。
[0043] 若在该检测时长到达前,监控区域内出现观众,则检测单元可W向MCU发出出现观 众的信号,W使MCU退出计时模式,图像处理装置进行步骤S104。
[0044] 在关闭掉显示画面之后,图像处理装置中的检测单元仍在检测监控区域内是否有 观众,当检测到监控区域内重新出现观众时,检测单元可W向MCU发出出现观众的信号,W 使得MCU可发出恢复画面的信号。W控制电机机为例,可W通知TV端恢复视频通路,或者,控 制打开显示屏幕。
[0045] S104(可选)、获取待显示的第一图像的处理系数矩阵。
[0046] 所谓第一图像是指需要在显示屏幕上显示的图像,若按照现有技术,则该第一图 像可直接显示于显示屏幕上,或者,按照【背景技术】可W在改变分辨率后显示在显示屏幕上; 然而,该第一图像作为本实施例中进行图像处理的对象,需分部分处理后再显示。该第一图 像可W是静态图像、也可W是动态图像(例如视频等)。^对电视信号进行图像处理为例, 此步骤中的第一图像可W是从电视信号源接收到的视频流。本领域技术人员应该理解,运 里的图像实际上是由像素点的数据(像素值)构成的。
[0047] 若第一图像包括多帖,则同一处理系数矩阵可W作为其中一帖的处理依据,也可 W作为第一图像中连续n(n大于或等于2)帖的处理依据。通常连续η帖的图像一般不会变化 很大,因而本实施例优选为后者,运样可W不必为每帖图像确定一处理系数矩阵,从而可W 加快处理速度。另外,如果图像处理装置直接检测接收到的视频流中各帖是否相对变化,就 会相对复杂;因而,本实施例中可W对预设帖数的图像确定一处理系数矩阵,预设帖数可W 是根据实际经验而定,在此不做限定;例如,针对视频流中的每30帖图像确定一处理系数矩 阵。当然,本实施例中还可W每隔预设时长确定一次处理系数矩阵,同样的预设时长也可根 据实际经验而定,在此不做限定;例如,图像处理装置可W每隔Is确定一处理系数矩阵,若 显示屏幕的刷新频率为60化,则该处理系数矩阵可用于60帖图像的处理依据。
[0048] 处理系数矩阵包括第一图像中每个像素点的处理系数,像素点的处理系数用于表 征观众对该像素点的关注程度。W下提供Ξ种优选的处理系数矩阵的获取方案。
[0049] 方案 1、
[0050] 由于观众位置的不同,决定了观众对显示屏幕不同区域关注程度不同,例如:图6 中的观众A位于显示屏幕前方的左侧,则该观众A就会更关注显示屏幕右侧的区域;因此,此 方案中的处理系数矩阵可W根据当前在显示屏幕前的各个观众所在的位置分析得到。
[0051] 具体的,此步骤包括:
[0052] (1)检测各个观众的位置信息。
[0053] 其中,观众的位置信息用于表示该观众所在位置相对于显示屏幕中屯、位置的偏离 信息。示例的,参考图6,此处的偏离信息可W是观众所在位置相对于显示屏幕中屯、位置(中 线)的角度Θ,为了表示观众在左侧还是在右侧,该角度Θ可W有正负。由于本实施例中无需 获取非常精确的偏离信息,为了降低计算复杂度,因此本实施例中优选的,将显示屏幕前方 的区域按照任一位置相对于屏幕中屯、位置的偏离程度分为至少两个子区,例如:参考图3, 将显示屏幕前方的区域按照任一位置相对于显示屏幕中屯、位置的角度e划分至少两个子 区,图3中W6个子区(用al~a6表示)为例,此时,本实施例获取的任一观众的位置信息可W 是该观众所在的子区信息(al~a6中一个的子区号)。
[0054] 示例的,参考图6,此处的偏离信息可W是观众所在位置相对于显示屏幕中屯、位 置、在沿着横对称轴(横对称轴为显示屏幕上与人眼连线近似平行的对称轴)方向上的距离 dl,为了表示观众在左侧还是在右侧,该距离dl可W有正负。同样的,为了降低计算复杂度, 本实施例优选的,将显示屏幕前方的区域按照任一位置相对于屏幕中屯、位置、在沿着横对 称轴方向上的距离分为至少两个子区,图4中W6个子区(用bl~b6表示)为例,本实施例获 取的任一观众的位置信息可W是该观众所在的子区信息(bl~b6中一个的子区号)。
[0055] 进一步为了使得位置信息不仅可W反映出观众相对于显示屏幕在左右方向上的 偏移程度,还可W反映出观众距离显示屏幕的远近,本实施例优选的,观众的位置信息还用 于表示该观众所在位置相对于显示屏幕的距离信息。
[0056] 具体的,该距离信息可W参考图6,是观众所在位置相对于显示屏幕中屯、位置的距 离d2,还可W是观众所在位置到显示屏幕所在平面的距离d2'。由此可知,该位置信息可W 包括:偏移信息(角度目或距离dl)、W及距离信息d2/d2'。本实施例中优选的,可W将显示屏 幕前方的区域按照任一位置相对于屏幕中屯、位置的偏离程度(图示中W角度Θ为例,当然也 可W是距离dl)、W及该位置相对于显示屏幕的距离(图示中Wd2为例,当然也可W是距离 d2')划分为阵列排布的子区,例如,图5中将显示屏幕前方的区域划分为18个子区,用cl~ cl8表示,本实施例获取的任一观众的位置信息可W是该观众所在的子区信息(cl~c6中的 一个子区号)。
[0057] (2)结合所述各个观众的位置信息,确定观众中屯、的位置信息。
[005引可选的,若位置信息为上述的角度Θ/距离dl,或者进一步包含距离d2,则可W将各 个观众的位置信息求取平均值,得到观众中屯、的位置信息。
[0059] 优选的,位置信息为上述的子区,本实施例中W图5划分的子区为例。此步骤可W 包括:
[0060] 首先,查询所述各个观众的位置信息所对应的权重值,其中,一位置信息对应的权 重值用于表征该位置信息的观看效果。
[0061] 示例的,参考图5屏幕前方的区域划分成cl~cl8,共18个子区。本实施例中,可W 预先设定每个子区对应的权重值,例如可W预先设置子区号与权重值的对应关系,该对应 关系可采用映射表的形式存储。从而,当通过步骤(1)得知一观众的子区号之后,就可W从 映射表中查找到其对应的权重值。
[0062] 需要说明的是,本实施例中每个子区对应多大的权重值,本领域技术人员可W根 据实际经验而定,通常而言,若观众位于显示屏幕的最佳观看位置(图5中的点Q),该最佳观 看位置所在的子区(cl5和cl6)对应的权重值最大;并且,对于距离d2相同的各子区(例如: c7-cl2)而言,越靠中屯、的权重值越大;对于角度Θ相同的各子区(例如c2、c8、cl4)而言,贝U 运些子区中与显示屏幕的最佳观看位置距离d2相同的子区,其权重值最大,且其他子区越 靠近该权重值最大的子区则权重值越大。
[0063] 进一步需要说明的是,若观众位于相邻两子区的分界线上,则该观众的位置信息 可W是相邻两子区中任一个的子区号,如图5中的点Q既可W是cl5子区内的点,也可W是 cl6子区内的点。示例的,假设cl~cl8依次的权重值0.7,0.8,0.9,0.9,0.8,0.7,0.8,0.9, 1.0,1.0,0.9,0.8,0.9,1.0,1.1,1.1,1.0,0.9( W下的计算W运组权重值为例),运些值需 要根据实际情况最终确定。又如,cl~cl8的权重值也可W依次为0.4,0.6,0.9,0.9,0.6, 0.4,0.6,0.8,1.1,1.1,0.8,0.6,0.8,1.0,1.3,1.3,1.0,0.8。因此只要是满足实际情况规 律的一组权重值都是本实施例要保护的内容)。其中,一位置信息对应的权重值用于表征该 位置信息的观看效果,权重值越大,观看效果越好,那么可知cl5和cl6位置的观看效果最 好。
[0064] 其次,根据各个观众的权重值,求取平均权重值。
[0065] 可选的,不考虑是否存在操作遥控器的观众。结合图5和图6,若观众A位于c2子区, 观众B位于cl5子区,观众C位于cl 1子区,则此时平均权重值可W是(1 * 0.8+1 * 1.1 + 1 * 0.9)/3^0.933^0.9。
[0066] 进一步的,需要更加重视操作遥控器的观众的对整个显示屏幕的观看效果,因此 优选的,若各个观众包括操作遥控器的观众,那么根据各个观众的权重值,求取平均权重值 时将操作遥控器的观众的权重值的2倍与剩余观众的权重值之和除W操作遥控器的观众的 人数的2倍与剩余观众的人数之和,得到平均权重值,其中,剩余观众为各个观众中除了操 作遥控器的观众之外的观众。例如:观众B为操作遥控器的观众,那么平均权重值是(1 * 0.8 +2 大 1.1+1 * 0.9)/4 = 0.975^1.0。
[0067] 又如(图中未表示):若c2子区有1个观众,cll子区有2个观众,cl4子区有1人观众, 其中,cll子区中的2个观众中有一个观众是操作遥控器的,则cll子区相当于有3个观众。那 么观众的平均权重值为(1 * 0.8+3 * 0.9+1 * 1.0)/5 = 0.9。
[0068] 再次,查询该平均权重值对应的位置信息作为观众中屯、的位置信息。
[0069] 若得到的平均权重值存在于映射表中,则直接从该映射表中查询该平均权重值对 应的位置信息即可。需要说明的是,若查找到的位置信息不止一个,则可选的,从运些位置 信息中任选一个作为观众中屯、的位置信息。优选的,可W从运些位置信息中确定对应观众 个数最多的位置信息作为观众中屯、的位置信息;举例而言,若c2子区有1个观众,cll子区有 2个观众(其中,有一个观众是操作遥控器的),cl4子区有1人观众,则平均权重值为0.9,则 查询平均权重值0.9对应的位置信息有〇3、〇4、〇8、(313、(:11和(318共6个子区,由于(311子区相 当于有3个观众,因此可W取cll子区作为观众的中屯、位置,若有出现两个可选子区的观众 数相同,则可任选一个。
[0070] 若得到的平均权重值不存在映射表中,则可W先从映射表中找到与该平均权重值 最接近的一个权重值作为优选权重值,再从该映射表中查询该优选权重值对应的位置信息 即可,具体方法可W参考上面的描述。
[0071] (3)根据观众中屯、的位置信息,生成第一处理系数矩阵。
[0072] 具体的,可W预先设定好位置信息与第一处理系数矩阵的对应关系,那么当得知 观众中屯、的位置信息后,就可W通过该对应关系找到观众中屯、的位置信息所对应的第一处 理系数矩阵。二者的对应关系可W是本领域技术人员根据经验得到的,又或者,可W是让 多个观众处于同一子区观看同一个显示画面,各个观众可W反馈对该显示画面不同部分的 关注程度,之后,设计人员可W根据位于该子区内各观众的反馈情况设置该子区对应的第 一处理系数矩阵。
[0073] 例如:结合图5分成了 18个子区,每个子区可W对应一个第一处理系数矩阵,若观 众中屯、的位置信息为cll,则可找到cll对应的第一处理系数矩阵。
[0074] 当然,也可W根据预先设置的由位置信息生成第一处理系数矩阵的规则,得到观 众中屯、的位置信息对应的第一处理系数矩阵。该规则的输入为位置信息,输出为第一处理 系数矩阵。且该规则的设定可W是本领域技术人员根据观众在不同子区时,对显示屏幕上 各像素点的关注程度而定。
[0075] 示例的,可W由计算出的观众中屯、的位置信息,来指导显示屏幕中屯、像素点及其 周围像素点的处理系数。本实施例中,处理系数为大于或等于0的整数,且一像素点的处理 系数越大,表明观众对该像素点的关注程度越大。一般认为,中屯、像素点无论对于每个位置 的观众而言,均是最关注的像素点,因此该中屯、像素点的处理系数可W设置为0。中屯、像素 点其周围像素点的处理系数,依赖于观众中屯、的位置信息。具体的,若观众中屯、位置在显示 屏幕中屯、位置的左方,由于视角的关系,可能更会关注显示屏幕右侧的画面,那么可W对中 屯、像素点右侧的像素点赋W相对较小的处理系数(即与中屯、像素点关系更密切),对左侧的 像素点赋W相对较大的处理系数。反之,若观众中屯、位置在显示屏幕中屯、位置的右方,也可 W参考该原则得到各个像素点的处理系数。
[0076] 示例的,步骤(2)中的优选实施方案中已经算出观众的中屯、位置为cll子区,参考 图5可知,cll子区在显示屏幕的右方,由于视角的关系,观众更会关注显示屏幕左侧的画 面,进而得到如下所示的第一处理系数矩阵,如下表1所示。表1中仅是为了表明位置和处理 系数大小的关系,仅给出了示例的矩阵局部,其他像素点的处理系数本领域技术人员可W 根据需要而设定。
[0077] 表 1 [007引 LUU/VJ 万菜 2、
[0080] 本方案中,可W根据观众感兴趣的图像内容来获得待显示画面的第二处理系数矩 阵,具体如下:
[0081] (1)确定第一图像中的至少一个第一像素点。
[0082] 其中,第一像素点为该第一图像中观众感兴趣的像素点。此处需要说明的是,运里 观众感兴趣的像素点可W是指当前显示屏幕前方的观众感兴趣的像素点,也可W是预先统 计得到的观众(不一定是当前观看显示屏幕的观众)普遍感兴趣的像素点。
[0083] 第一像素点的确定,可W通过学习的方式,例如神经网络的学习方式而确定;也可 W是根据观众的观看习惯等进行统计计算,然后确定观众感兴趣的像素点。
[0084] 此步骤要得到观众感兴趣的像素点,而运些像素点应属于观众感兴趣的图像内 容。观众感兴趣的图像内容往往是图像中的细节信息、运动信息(例如可W包括由相邻两帖 图像所确定的运动主体的轮廓)、相邻两帖图像中发生突变的图像信息(该信息可W通过计 算图像的梯度信息来求取)、前景信息等。其中,图像的梯度信息是指把图像看成二维离散 函数时,运个二维离散函数的求导,即:G(x,y)=dx(i,j)+dy(i,j);dx(i,j) = I(i+l,j)-I (i,j);dy(i,j) = I(i,j+1 )-1 (i,j)。其中,I是图像的像素点的值,(i,j)为像素点的坐标。
[0085] 基于此,本实施例优选的,此步骤可W包括:
[0086] 首先,确定观众感兴趣的图像内容。
[0087] 示例的,当前观众可W向终端设备输入其感兴趣的图像内容的关键字,如人物、运 动、前景等关键字,相应的,终端设备(具体可w是图像处理装置)获取了观众感兴趣的图像 内容。示例的,也可W是电视机在出厂前在图像处理装置中根据广大观众的普遍感兴趣的 内容而预先设置好的。当然,其他合理的确定观众感兴趣的图像内容的方法也适用本实施 例,在此不再寶述。
[0088] 其次,分析第一图像,将该第一图像中与观众感兴趣的图像内容匹配度最高的像 素点作为第一像素点。具体的,可W是将第一图像中匹配观众感兴趣的图像内容个数最多 的像素点作为第一像素点,一个像素点匹配的图像内容个数越多,则表示该像素点与观众 感兴趣的图像内容匹配程度越大。
[0089] 例如,观众根据自己的需要向终端设备输入其感兴趣的图像内容的关键字是人 物、运动、前景,那么图像处理装置可W对第一图像进行分析得到哪些像素点属于人物,哪 些像素点在运动主体的轮廓W内,哪些像素点在前景区域内,本实施例可W将Ξ个条件都 满足(即既属于人物、又在运动主体的轮廓W内、也在前景区域内)的像素点作为第一像素 点。若不存在运类像素点,则可W将满足其中任意两个条件的像素点作为第一像素点;也可 W是将满足特定两个条件(例如:人物、运动、前景运Ξ个优先级依次降低,则此时特定两个 条件为优先级最高的两个)的像素点作为第一像素点。依次类推,若不存在运类像素点,贝U 可W将满足其中任一个条件的像素点、或者将满足优先级最高的一个条件的像素点作为第 一像素点。
[0090] 优选的,可W用W下的方法来确定观众感兴趣的图像内容匹配度最高的像素点作 为第一像素点。具体的,若观众感兴趣的图像内容只有一种,例如人物,则此时图像处理装 置可W分析得到第一图像中属于该图像内容的像素点,并将运些像素点作为第一像素点。 更进一步的,图像处理装置可W将运些像素点标记为P(P为数值),那么所有被标记为P的像 素点即可作为第一像素点。另外,若观众感兴趣的图像内容多种(两种W上),例如人物、前 景,则此时图像处理装置可W分析得到第一图像中各个像素点与各图像内容的匹配程度, 若像素点匹配程度越高,则为该像素点标记的值就可W越大。当然,也可W反之,像素点匹 配程度越高,则为该像素点标记的值就可W越小。示例的,假设观众向终端设备输入其感兴 趣的图像内容的关键字是人物、运动、前景,参考图7所示的流程图,图像处理装置对第一 图像进行分析和统计,其具体过程包括:针对输入的第一图像提取其前景信息,根据该前景 信息将位于前景区域的像素点标记为X(例如1)。继续分析第一图像的前景区域中是否有人 物,若前景区域中有人物,则已标记为X的像素点中属于人物的像素点重新标记为X+P(例如 P为1,那么X+P为2)。如果已标记为X+P的像素点在运动主体的轮廓内(即人物在运动),则将 该类像素点重新标记为X+化(即为3);如果人物没有运动,则将人物信息的像素点保持原有 标记(2)。若前景区域中没有人物,但有其他运动主体,则将在该运动主体轮廓内的像素点 标记为x+P(2);若前景区域中没有人物信息,也没有其他运动主体,则像素点的标记保存不 变(为1)。如图7中所示标记序号越大,说明该像素点的关注度相应地越高。图像处理装置选 择图像中标记序号最大的像素点作为第一图像的第一像素点。
[0091] (2)计算各个第二像素点和该第二像素点最接近的第一像素点之间的距离,W得 到待显示画面的第二处理系数矩阵。
[0092] 其中,待显示的第一图像中除第一像素点之外的像素点为第二像素点。
[0093] 具体的,第二像素点与第一像素点之间的距离用于表示第二像素点与第一像素点 之间的关联关系的远近。在本发明实施例中可w用欧式距离、城区距离或棋盘距离等来计 算各个第二像素点和该第二像素点最接近的第一像素点之间的距离。
[0094]需要说明的是,第二像素点最接近的第一像素点所谓的最接近即为在几何距离上 距离最近的点,假如与第二像素点最接近的第一像素点有两个或两个W上,那么只计算该 第二像素点与其中任一个第一像素点之间的距离。
[00%]示例的,W城区距离为例来计算各个第二像素点和该第二像素点最接近的第一像 素点之间的距离为例。已知图像中两像素点p(x,y)和q(s,t)的城区距离的计算公式如下:
[0096] D(p,q) = I X-S I + I y-t I。
[0097] 其中,像素点q(s,t)作为中屯、点,到q(s,t)的城区距离小于或等于某一值r的像素 点p(x,y),可形成中屯、在像素点q(s,t)、且对角线为化的菱形。因而可W求得的各个第二 像素点p(x,y)和与其最接近的第一像素点q(s,t)之间的距离,得到待显示画面的第二处理 系数矩阵如下表2所示。表2中仅是为了表明位置和处理系数大小的关系,仅给出了示例的 矩阵局部,其他像素点的处理系数本领域技术人员可W根据城区距离计算得到。
[0098] 表 2
[0099]
[0100] 方案 3、
[0101] 本方案可W将前两个方案融合得到新的处理系数矩阵。具体的,可W还包括:将第 二处理系数矩阵与第一处理系数矩阵中,同一像素点的处理系数进行融合处理,W得到第 Ξ处理系数矩阵。
[0102] 具体的,本领域技术人员应该理解:运里的融合处理是指将同一像素点在第二处 理系数矩阵中的处理系数、和第一处理系数矩阵中的处理系数,处理得到一既可反映因观 众位置信息,又可W反映观众所感兴趣的图像内容的处理系数。
[0103] 进行融合处理的方法包括:将第二处理系数矩阵与第一处理系数矩阵中同一像素 点的处理系数相乘得到第Ξ处理系数矩阵,或者,将第二处理系数矩阵与第一处理系数矩 阵中同一像素点的处理系数相加得到第Ξ处理系数矩阵;也可W对第二处理系数矩阵与第 一处理系数矩阵分别定义权重,采用加权结合的方式来确定第Ξ处理系数矩阵。加权结合 的方式具体指:假设第一处理系数矩阵为A,设置其权重值为m,第二处理系数矩阵为B,设置 其权重值为n,第Ξ处理系数矩阵为C,那么可W运用公式C=mA+nB得到第Ξ处理系数矩阵。 当然也可W是其他的融合方式,运里不在一一举例说明。
[0104] 示例的,本发明实施例是利用将第二处理系数矩阵与第一处理系数矩阵中同一像 素点的处理系数相乘得到第Ξ处理系数矩阵,具体如下表所示。需要说明,为了最简单最直 观地理解,采取了第一处理系数矩阵的中屯、像素点和第二处理系数矩阵中的第一像素点是 重合的情况(实际情况可能不重合,运里不再寶述)。得到的第Ξ处理系数矩阵可W参考下 表3。表3中仅是为了表明位置和处理系数大小的关系,仅给出了示例的矩阵局部,其他像素 点的处理系数本领域技术人员可w根据相乘的融合方式得到。
[0105] 表3
[0106]
[0107] S105、将待显示的第一图像分为N个数据块,N>2。 ' '
[0108] 可选的,此步骤可W为:将第一图像中处理系数属于同一预设的系数区间、且位置 相邻的像素点划分为同一数据块,其中,预设的系数区间至少有两个。
[0109] 示例的,如图9所示,将表3所示的第Ξ处理系数矩阵局部中的处理系数,按照[0, 4 )、[ 4,6 ]两个区间分为数据块1和数据块2。
[0110] 可选的,此步骤也可W为:按照预先设置的分块规格,将第一图像分为N个数据块。
[0111] 示例的,可W按照预先设置的分块规格,将第一图像分成固定的8 *8或者16* 16 的数据块,优选的,此时各个数据块的大小相同。
[0112] S106、根据观众对数据块的关注程度,确定第一图像中Μ个数据块的图像处理方 案,1《Μ《Ν,优选的1《Μ<Ν。
[0113] 其中,观众对数据块的关注程度由该数据块对应的各像素点的处理系数得到。
[0114] 示例的,参考图9,将表3分成了两个数据块,由于数据块的划分由处理系数区间决 定,而处理系数区间表明了观众对数据块的关注程度。于是可知观众对数据块1的关注程度 大于对数据块2的关注程度。
[0115] 示例的,将第一图像分成固定的8 *8的数据块。计算每个数据块的所有像素点对 应处理系数矩阵中的处理系数的平均值或总和,得到一个8* 8的新的处理系数矩阵。新的 处理系数矩阵中不同的处理系数代表了观众对数据块的关注程度的不同。
[0116] 本实施例中,此步骤可选为,若观众对任意两个数据块的关注程度不同,则可为运 两个数据块选择不同的图像处理方案。优选为,本实施例中对各个数据块中,观众的关注程 度最高的Μ个数据块选择图像处理方案,其他Ν-Μ个数据块不进行数据处理;其中,为运Μ个 数据块选择的图像处理方案可W是不同的,在本实施例中为了简化处理过程,优选的为运Μ 个数据块选择相同的图像处理方案。进一步优选的,由于要对关注度较高的数据块做图像 处理,因此,运里可W选择优化显示质量的图像处理方案。上述的图像处理方案可W包括: 锐化处理、图像插值、图像增强、色彩擅染、动态scaler等图像处理方法中的一种或几种。
[0117] S107、对第一图像中的Μ个数据块分别采用各自对应的图像处理方案进行图像处 理,W得到第二图像。
[0118] 优选的,第一图像可W为经整屏图像处理(即目前普遍采用的显示图像处理)后的 图像,运样能够在现有图像处理的基础上,采用本实施例提供的分块处理方法,可进一步提 升显示效果。
[0119] 此步骤可W为:采用选择的图像处理方案对第一图像中的Μ个数据块进行处理,举 例而言,可W对第一图像中的Μ个关注度最高的数据块进行图像增强处理。
[0120] 进一步优选的,在分块进行图像处理后,为了使显示的图像与整幅画面更好地融 合而不会出现类似block(-块一块)的效果,对进行分块进行图像处理(图像增强处理)之 后的整幅图像,可再进行去block处理,例如:采用Luma de-mura(亮度不均匀修复)、color de-mura(色度不均匀修改)等的至少一种方案进行图像处理,得到第二图像,此时可W使整 幅图像看起来更加舒适。
[0121] 将经过处理的第二图像输出到显示电路中,同时返回开始下一次的图像处理。
[0122] 本发明实施例提供了一种图像处理方法及装置,结合观众对画面不同部分的关 注程度,为至少一部分选择图像处理方案,并按照该图像处理方案对图像中相应的那部分 进行调整,无需像现有技术一样对画面整体调节,从而可W增强画面调节的灵活度。
[0123] 实施例二、
[0124] 本发明实施例提供了一种图像处理装置,该装置可W是软件或硬件,其中各个功 能模块的实现可W参考上述实施例,在此不再寶述。如图8所示,该装置包括:
[0125] 分块单元81,用于将待显示的第一图像分为N个数据块,N>2;
[0126] 确定单元82,用于根据观众对所述分块单元81划分出的数据块的关注程度,确定 所述第一图像中Μ个数据块的图像处理方案,
[0127] 处理单元83,用于对所述第一图像中的Μ个数据块分别采用各自对应的、且由所述 确定单元82确定的图像处理方案进行图像处理,W得到第二图像。
[0128] 可选的,该装置还可W包括:获取单元84具体用于,获取所述第一图像的处理系数 矩阵,所述处理系数矩阵包括:所述第一图像中每个像素点的处理系数,所述像素点的处理 系数用于表征观众对该像素点的关注程度;所述观众对所述数据块的关注程度由所述数据 块对应的各所述像素点的处理系数得到。
[0129] 所述分块单元81具体用于,将所述第一图像中处理系数属于同一预设的系数区 间、且位置相邻的像素点划分为同一数据块,其中,预设的系数区间至少有两个。
[0130] 或者,所述分块单元81具体用于,按照预先设置的分块规格,将所述第一图像分为 Ν个数据块。
[0131] 可选的,获取单元84包括,检测子单元841,用于检测各个观众的位置信息,所述观 众的位置信息用于表示该观众所在位置相对于显示屏幕中屯、位置的偏离信息;第一确定子 单元842,用于结合所述各个观众的位置信息,确定观众中屯、的位置信息;生成子单元843, 用于根据所述观众中屯、的位置信息,生成第一处理系数矩阵。
[0132] 可选的,检测子单元841,所述观众的位置信息还用于表示该观众所在位置相对 于显示屏幕的距离信息。
[0133] 可选的,第一确定子单元842,具体用于查询所述各个观众的位置信息所对应的权 重值,其中,一位置信息对应的权重值用于表征该位置信息的观看效果;根据所述各个观众 的权重值,求取平均权重值;查询所述平均权重值对应的位置信息作为所述观众中屯、的位 置信息。
[0134] 可选的,第一确定子单元842,若所述各个观众包括操作遥控器的观众;根据所述 各个观众的权重值,求取平均权重值;将所述操作遥控器的观众的权重值的2倍与剩余观众 的权重值之和除W所述操作遥控器的观众的人数的2倍与剩余观众的人数之和,得到平均 权重值,所述剩余观众为所述各个观众中除了所述操作遥控器的观众之外的观众。
[0135] 或者,获取单元84包括,第二确定子单元844,用于确定所述第一图像中的至少一 个第一像素点,所述第一像素点为所述第一图像中观众感兴趣的像素点,所述第一图像中 除所述第一像素点之外的像素点为第二像素点;计算子单元845,用于计算各个所述第二像 素点和该第二像素点最接近的所述第一像素点之间的距离,W得到第二处理系数矩阵。
[0136] 可选的,第二确定子单元844,具体用于确定观众感兴趣的图像内容;分析所述第 一图像,将所述第一图像中与所述观众感兴趣的图像内容匹配度最高的像素点作为第一像 素点。
[0137] 或者,获取单元84还包括,融合子单元846,用于将所述第二处理系数矩阵与第一 处理系数矩阵中,同一像素点的处理系数进行融合处理,W得到第Ξ处理系数矩阵。
[0138] 可选的,该装置还可W包括:检测单元85,用于检测显示屏幕前的监控区域内是否 有观众。
[0139] 关闭单元86,用于在预设的检测时长内,若所述监控区域内始终没有观众,则关闭 显不画面。
[0140] 需要说明的是,本实施例中的各单元可W为单独设立的处理器,也可W集成在图 像处理装置的某一个处理器中实现,此外,也可程序代码的形式存储于图像处理装置 的存储器中,由图像处理装置的某一个处理器调用并执行W上各个单元的功能。运里所述 的处理器可W是一个中央处理器(英文全称:Cen化al Processing Unit,英文简称:CPU), 或者是特定集成电路(英文全称:Application Specific Integrated Circuit,英文简 称:ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路。
[0141] 本发明实施例提供了一种图像处理方法及装置,结合观众对画面不同部分的关注 程度,为至少一部分选择图像处理方案,并按照该图像处理方案对图像中相应的那部分进 行调整,无需像现有技术一样对画面整体调节,从而可W增强画面调节的灵活度。
[0142] 在本申请所提供的几个实施例中,应该理解到,所掲露的系统,装置和方法,可W 通过其它的方式实现。例如,W上所描述的装置实施例仅仅是示意性的,例如,所述单元的 划分,仅仅为一种逻辑功能划分,实际实现时可W有另外的划分方式,例如多个单元或组件 可W结合或者可W集成到另一个系统,或一些特征可W忽略,或不执行。另一点,所显示或 讨论的相互之间的禪合或直接禪合或通信连接可W是通过一些接口,装置或单元的间接禪 合或通信连接,可W是电性,机械或其它的形式。
[0143] 所述作为分离部件说明的单元可W是或者也可W不是物理上分开的,作为单元显 示的部件可W是或者也可W不是物理单元,即可W位于一个地方,或者也可W分布到多个 网络单元上。可W根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目 的。
[0144] 另外,在本发明各个实施例中的各功能单元可W集成在一个处理单元中,也可W 是各个单元单独物理包括,也可W两个或两个W上单元集成在一个单元中。上述集成的单 元既可W采用硬件的形式实现,也可W采用硬件加软件功能单元的形式实现。
[0145] 上述W软件功能单元的形式实现的集成的单元,可W存储在一个计算机可读取存 储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用W使得一台计算机 设备(可W是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的部 分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称 ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可W存储 程序代码的介质。
[0146]最后应说明的是:W上实施例仅用W说明本发明的技术方案,而非对其限制;尽管 参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可 W对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换; 而运些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和 范围。
【主权项】
1. 一种图像处理方法,其特征在于,包括: 将待显示的第一图像分为N个数据块,2; 根据观众对所述数据块的关注程度,确定所述第一图像中Μ个数据块的图像处理方案, l^M^N; 对所述第一图像中的Μ个数据块分别采用各自对应的图像处理方案进行图像处理,以 得到第二图像。2. 根据权利要求1所述的方法,其特征在于,所述方法还包括:获取所述第一图像的处 理系数矩阵,所述处理系数矩阵包括:所述第一图像中每个像素点的处理系数,所述像素点 的处理系数用于表征观众对该像素点的关注程度; 所述观众对所述数据块的关注程度由所述数据块对应的各所述像素点的处理系数得 到。3. 根据权利要求2所述的方法,其特征在于,所述将待显示的第一图像分为Ν个数据块 包括: 将所述第一图像中处理系数属于同一预设的系数区间、且位置相邻的像素点划分为同 一数据块,其中,预设的系数区间至少有两个。4. 根据权利要求2所述的方法,其特征在于,所述获取所述第一图像的处理系数矩阵包 括: 检测各个观众的位置信息,所述观众的位置信息用于表示该观众所在位置相对于显示 屏幕中心位置的偏离信息; 结合所述各个观众的位置信息,确定观众中心的位置信息; 根据所述观众中心的位置信息,生成第一处理系数矩阵。5. 根据权利要求4所述的方法,其特征在于,所述观众的位置信息还用于表示该观众所 在位置相对于显示屏幕的距离信息。6. 根据权利要求4或5所述的方法,其特征在于,所述结合所述各个观众的位置信息,确 定观众中心的位置信息包括: 查询所述各个观众的位置信息所对应的权重值,其中,一位置信息对应的权重值用于 表征该位置信息的观看效果; 根据所述各个观众的权重值,求取平均权重值; 查询所述平均权重值对应的位置信息作为所述观众中心的位置信息。7. 根据权利要求6所述的方法,其特征在于,若所述各个观众包括操作遥控器的观众; 根据所述各个观众的权重值,求取平均权重值; 将所述操作遥控器的观众的权重值的2倍与剩余观众的权重值之和除以所述操作遥控 器的观众的人数的2倍与剩余观众的人数之和,得到平均权重值,所述剩余观众为所述各个 观众中除了所述操作遥控器的观众之外的观众。8. 根据权利要求2或4所述的方法,其特征在于,所述获取所述第一图像的处理系数矩 阵包括: 确定所述第一图像中的至少一个第一像素点,所述第一像素点为所述第一图像中观众 感兴趣的像素点,所述第一图像中除所述第一像素点之外的像素点为第二像素点; 计算各个所述第二像素点和该第二像素点最接近的所述第一像素点之间的距离,以得 到第二处理系数矩阵。9. 根据权利要求8所述的方法,其特征在于,所述确定所述第一图像中的至少一个第一 像素点包括: 确定观众感兴趣的图像内容; 分析所述第一图像,将所述第一图像中与所述观众感兴趣的图像内容匹配度最高的像 素点作为第一像素点。10. 根据权利要求8所述的方法,其特征在于,所述获取所述第一图像的处理系数矩阵 还包括: 将所述第二处理系数矩阵与第一处理系数矩阵中,同一像素点的处理系数进行融合处 理,以得到第三处理系数矩阵。11. 一种图像处理装置,其特征在于,包括: 分块单元,用于将待显示的第一图像分为N个数据块,N>2; 确定单元,用于根据观众对所述分块单元划分得到的数据块的关注程度,确定所述第 一图像中Μ个数据块的图像处理方案,N; 处理单元,用于对所述第一图像中的Μ个数据块分别采用各自对应的、且由所述确定单 元确定的图像处理方案进行图像处理,以得到第二图像。
【文档编号】H04N21/442GK106060658SQ201610369604
【公开日】2016年10月26日
【申请日】2016年5月27日
【发明人】刘西富, 曾小光, 王金童, 陈世雷
【申请人】青岛海信电器股份有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1