本发明涉及图像处理技术领域,尤其是涉及一种字体调节方法、装置及系统。
背景技术:
显示设备是日常生活中人机交互界面的硬件载体,诸如手机屏幕、可穿戴设备屏幕和商场的显示屏幕。现有的显示设备上通常会显示有文字,文字的大小粗细等字体会由用户根据需求进行调节。用户在进行字体调节时,大多采用诸如按钮调节、滑动条调节或设置字体等级等方式,通常这种字体调节方式均需要用户在感受到字体观看不舒适的情况下,才会按照显示设备预设的调节方式手动调节字体,这样手动调节字体的方式操作繁琐,用户体验较差。
技术实现要素:
有鉴于此,本发明的目的在于提供一种字体调节方法、装置及系统,能够自动调节字体,无需用户手动调节,有效提升了用户体验。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种字体调节方法,包括:获取目标对象的脸部图像;采集所述脸部图像的深度信息;基于所述深度信息对指定文字的字体进行调节,所述字体包括文字的大小、粗细和颜色中的一种或多种。
进一步,所述采集所述脸部图像的深度信息的步骤,包括:通过深度传感器采集所述脸部图像中各像素点的深度值;将所述脸部图像中各像素点的深度值确定为脸部图像的深度信息。
进一步,所述基于所述深度信息对指定文字的字体进行调节的步骤,包括:基于所述脸部图像中各像素点的深度值,计算所述脸部图像的深度平均值;从预设的关联表中查找与所述深度平均值对应的字体;其中,所述关联表中存储有深度平均值与字体的对应关系;根据查找到的字体对指定文字进行字体调节。
进一步,所述基于所述脸部图像中各像素点的深度值,计算所述脸部图像的深度平均值的步骤,包括:对所述脸部图像中各像素点的深度值进行均值计算,将得到的平均值确定为所述脸部图像的深度平均值。
进一步,所述基于所述脸部图像中各像素点的深度值,计算所述脸部图像的深度平均值的步骤,包括:对所述脸部图像中位于眼部区域的各像素点的深度值进行均值计算,将得到的平均值确定为所述脸部图像的深度平均值。
进一步,所述基于所述脸部图像中各像素点的深度值,计算所述脸部图像的深度平均值的步骤,包括:对所述脸部图像中各像素点的深度值进行均值计算,得到第一平均值;对所述脸部图像中位于眼部区域的各像素点的深度值进行均值计算,得到第二平均值;根据所述第一平均值和所述第二平均值生成所述脸部图像的深度平均值。
进一步,所述对所述脸部图像中各像素点的深度值进行均值计算,得到第一平均值的步骤,包括:根据第一均值计算公式对所述脸部图像中各像素点的深度值进行均值计算,得到第一平均值;其中,所述第一均值计算公式为:
其中,
进一步,所述根据所述第一平均值和所述第二平均值生成所述脸部图像的深度平均值的步骤,包括:根据所述第一平均值、所述第二平均值和第二均值计算公式生成所述脸部图像的深度平均值;其中,所述第二均值计算公式为:
其中,
进一步,所述关联表的设置方法包括:采用字体级别计算公式确定深度平均值与字体的对应关系;其中,所述字体级别计算公式为:
其中,l为字体的级别,所述级别包括文字的大小级别、粗细级别和颜色级别中的一种或多种;
第二方面,本发明实施例还提供一种字体调节装置,所述装置包括:图像获取模块,用于获取目标对象的脸部图像;深度信息采集模块,用于采集所述脸部图像的深度信息;字体调节模块,用于基于所述深度信息对指定文字的字体进行调节,所述字体包括文字的大小、粗细和颜色中的一种或多种。
第三方面,本发明实施例提供了一种字体调节系统,所述系统包括:图像采集装置、处理器和存储装置;所述图像采集装置,用于采集目标对象的脸部图像;所述存储装置上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。
本发明实施例提供了一种字体调节方法、装置及系统,能够首先获取目标对象的脸部图像,采集脸部图像的深度信息,然后基于深度信息对指定文字的字体(大小、粗细和颜色中的一种或多种)进行调节。由于目标对象(如,用户)的脸部与用于执行字体调节方法的电子设备之间的距离是与深度信息相关的,因此这种根据深度信息调节字体的方式,不仅可以较好的满足用户需求,而且无需用户手动调节,有效提升了用户体验。
本发明的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种电子设备的结构示意图;
图2示出了本发明实施例所提供的一种字体调节方法流程图;
图3示出了本发明实施例所提供的一种深度图像示意图;
图4示出了本发明实施例所提供的一种人脸关键点标注示意图;
图5示出了本发明实施例所提供的一种tof传感器的工作原理示意图;
图6示出了本发明实施例所提供的一种字体调节装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有的手动调节字体的方式操作繁琐,用户体验较差,本发明实施例提供的一种字体调节方法、装置及系统,该技术可以应用于智能手机、平板电脑、可穿戴设备、计算机和广告屏等智能终端上,为便于理解,以下对本发明实施例进行详细介绍。
实施例一:
首先,参照图1来描述用于实现本发明实施例的字体调节方法、装置及系统的示例电子设备100。
如图1所示的一种电子设备的结构示意图,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地,用于实现根据本发明实施例的一种字体调节方法、装置及系统的示例电子设备可以被实现为诸如智能手机、平板电脑、可穿戴设备、计算机和广告屏等智能终端上。
实施例二:
参照图2所示的一种字体调节方法的流程图,该方法可应用于上一实施例提供的电子设备,该方法具体包括如下步骤:
步骤s202,获取目标对象的脸部图像。
在本实施例中,可以通过诸如图像传感器等图像采集装置采集目标对象的脸部图像;其中,目标对象可以为人。该脸部图像可以是图像采集装置直接拍摄得到的仅包含脸部区域的图像,也可以是从图像采集装置拍摄的目标对象的完整原始图像上截取的脸部区域的图像。
步骤s204,采集脸部图像的深度信息。
在一可选实施方式中,深度信息可以基于与脸部图像对应的脸部深度图像来获取。为便于理解,可参照图3所示的深度图像示意图,象征性示意出一种能够表征深度信息的图像。深度图像也可称为距离图像,是指将从电子设备到目标对象(也即人)上的各点的距离(深度)作为像素深度值的图像,灰度可理解为黑白图像中像素点的颜色深度。由图3中可见,与原始图像对应的深度图像中,位于不同距离处的像素点对应的像素灰度值不同,诸如可以体现为距离越远颜色越浅。当然也可以采用不同深浅程度的红绿蓝颜色来体现具有不同距离信息的深度图像。在具体实施时,可以首先采集与脸部图像对应的脸部深度图像;然后通过估计图像深度的方法将脸部深度图像经过坐标转换计算出脸部图像的深度信息。其中,估计图像深度的方法包括诸如双目立体视觉方法、tof(timeofflight,飞行时间)方法、结构光方法和激光扫描方法等。
步骤s206,基于深度信息对指定文字的字体进行调节,字体包括文字的大小、粗细和颜色中的一种或多种。其中,指定文字包括上述电子设备的显示界面上所展示文字等。
在实际应用中,为了向目标对象提供舒适的视觉体验,可以通过表征目标对象与电子设备之间距离远近的深度信息来控制指定文字的字体进行变化。目标对象与电子设备之间距离越远,指定文字的字体越大、越粗和/或颜色越深,目标对象与电子设备之间距离越近,指定文字的字体越小、越细和/或颜色越浅,让目标对象在各个距离范围内观看电子设备的显示界面达到一致性效果。
本发明实施例提供的字体调节方法,能够首先获取目标对象的脸部图像,采集脸部图像的深度信息,然后基于深度信息对指定文字的字体(大小、粗细和颜色中的一种或多种)进行调节。由于目标对象(如,用户)的脸部与用于执行字体调节方法的电子设备之间的距离是与深度信息相关的,因此这种根据深度信息调节字体的方式,不仅可以较好的满足用户需求,而且无需用户手动调节,有效提升了用户体验。
在一可选实施方式中,上述获取目标对象的脸部图像的过程可以参照如下步骤一和步骤二执行:
步骤一,通过图像传感器采集预览帧图像。
在本实施例中,可以首先通过响应字体调节指令来启动图像传感器,再通过图像传感器采集目标对象的预览帧图像。上述字体调节指令可以是用户通过屏幕触摸、按键操作或者语音操作等方式向电子设备输入的字体调节请求信息,诸如开启预设的“字体调节”功能按钮。当响应字体调节指令时,电子设备可以开启诸如rgb传感器等图像传感器,令图像传感器采集目标对象的预览帧图像。
步骤二,检测预览帧图像是否包含有目标对象的脸部。
在具体实施时,可以首先将预览帧图像输入至经训练得到的人脸检测模型(诸如resnet34等)中。然后通过人脸检测模型对预览帧图像进行人脸检测,判断预览帧图像中是否存在人脸;如果否,结束图像检测;如果是,输出预览帧图像上的脸部区域的位置参数以及脸部区域中人眼关键点的位置参数。其中,脸部区域的位置参数可以表示为rect(x0,y0,width0,height0),(x0,y0)表示脸部区域指定点的坐标,诸如脸部区域的左上顶点坐标和脸部区域的中心点坐标,width0和height0分别表示脸部区域的宽度值和高度值;人眼关键点可以由一个像素点表示,该人眼关键点位置参数表示为{(xl,yl),(xr,yr)},(xl,yl)为左眼关键点的像素点位置,(xr,yr)为右眼关键点的像素点位置;或者人眼关键点也可以由眼部区域表示,该人眼关键点位置参数可以表示为rect{(xl,yl,width1,height1),(xr,yr,width2,height2)},以rect{(xl,yl,width1,height1)为例作如下说明:(xl,yl)表示左眼部区域指定点的坐标,诸如左眼部区域的左上顶点坐标和左眼部区域的中心点坐标,width1和height1分别表示左眼部区域的宽度值和高度值。最后根据脸部区域的位置参数确定目标对象的脸部图像。
上述人脸检测模型可通过如下步骤1)至步骤5)所示的训练方法获取:
步骤1):采集指定数量(如10万张)的脸部图像,将脸部图像存储于数据库中。
步骤2):对脸部图像进行人脸关键点精准标注,其中,参照如图4所示的人脸关键点标注示意图,人脸关键点包括诸如眼睛轮廓点、鼻子轮廓点、上嘴唇轮廓点和下嘴唇轮廓点等。
步骤3):将标注的人脸关键点按一定比例划分为训练集、验证集和测试集。
步骤4):对训练集进行模型训练,同时用验证集对训练过程中的中间结果进行验证,实时调整训练参数,当训练精度和验证精度都达到一定阈值时,停止训练得到训练后的人脸检测模型。
步骤5):用测试集对上一步骤得到的人脸检测模型进行测试,衡量该人脸检测模型的性能和能力。
本实施例给出了一种采集脸部图像的深度信息的具体实施方式,包括:通过深度传感器采集脸部图像中各像素点的深度值;将脸部图像中各像素点的深度值确定为脸部图像的深度信息。在具体实现时,脸部图像的深度信息也可以根据脸部图像不同区域而进一步划分,诸如:由脸部图像整个区域内的像素点的深度值构成全局深度信息,由脸部图像眼部区域内的像素点的深度值构成眼部深度信息等。
基于上述检测预览帧图像是否包含有目标对象的脸部的步骤,本实施例可以在判断预览帧图像中存在人脸后再开启深度传感器;这样可以降低硬件资源占用率;该深度传感器可以包括tof传感器。为便于理解,可参照如下具体步骤(1)和(2):
(1)基于字体调节指令并获取目标对象的脸部图像后启动tof传感器。其中,tof传感器可以内嵌于电子设备内部。
(2)通过tof传感器采集脸部图像的深度图像,通过深度图像获取深度信息。参照如图5所示的tof传感器的工作原理示意图,tof传感器中的主逻辑模块发送脉冲触发光源发出经调制的红外光,发射的红外光线遇到目标对象(也即人)后反射回到光电探测器,光电探测器通过计算光线发射和反射时间差或相位差计算目标对象与tof传感器之间的距离,并将该距离转换为脸部图像的深度信息。在实际应用中,tof传感器所采集到的可以是脸部图像所在预览帧图像全局的深度信息,在本实施例中仅应用脸部图像所对应的局部的深度信息即可。
基于上述深度信息,本实施例给出了对指定文字的字体进行调节的具体实现过程,可参考如下步骤a和步骤b:
步骤a,基于脸部图像中各像素点的深度值,计算脸部图像的深度平均值。
计算脸部图像的深度平均值的方式有多种,诸如以下三种方式:
方式一:对脸部图像中各像素点的深度值进行均值计算,将得到的平均值确定为脸部图像的深度平均值;在具体实现时可以基于脸部图像的位置参数rect(x0,y0,width0,height0)并根据如公式(1)所示的第一均值计算公式对脸部图像中各像素点xi,yi的深度值dxi,yi进行均值计算,得到脸部图像的深度平均值;其中,假设(x0,y0)表示脸部区域的左下顶点坐标,那么xi的范围为(x0,x0+width0),yi的范围为(y0,y0+height0)。
其中,
方式二:对脸部图像中位于眼部区域的各像素点的深度值进行均值计算,将得到的平均值确定为脸部图像的深度平均值。
在具体实现时可以首先分别计算脸部图像中左眼各像素点的深度均值
接下来根据公式(2)计算双眼的眼部区域的各像素点的深度均值:
其中,
方式三:首先参照方式一对脸部图像中各像素点的深度值进行均值计算,得到第一平均值
然后参照方式二对脸部图像中位于眼部区域的各像素点的深度值进行均值计算,得到第二平均值
最后根据第一平均值和第二平均值生成脸部图像的深度平均值。在具体实现方式中可根据第一平均值
其中,
当然,以上三种方式仅为对脸部图像的深度平均值的确定方式的示例性说明,不应理解为限制。
步骤b,基于通过上述任一种方式确定的脸部图像的深度平均值,从预设的关联表中查找与深度平均值对应的字体;其中,关联表中存储有深度平均值与字体的对应关系。该对应关系主要体现为:深度平均值越大,对应的字体越突出(或,越明显),也即在实际应用中表现为目标对象与电子设备之间距离越远,则字体越大、越粗和/或颜色越深;为了便于对字体进行调节,可以采用如下字体级别计算公式(4)设置关联报表,也即确定深度平均值
其中,l为与深度平均值
由公式(4)确定的对应关系中,每个深度平均值
步骤c,根据查找到的字体对指定文字进行字体调节。参考步骤b中用字体的级别表示不同的字体,本实施例中查找到的即为字体的级别,根据查找到的字体的级别对指定文字的大小、粗细和颜色中的一种或多种进行调节。
此外,为了保证在未开启字体调节功能的情况下,依然能够保证目标对象处于较佳的视觉舒适度,可以设置字体的初始值或者检测目标对象对字体的使用习惯。
其中,上述设置字体的初始值可以理解为:基于字体的级别设定目标对象在一个固定距离观看电子设备的显示界面时的最舒适的级别,诸如人观看电脑时,在人脸距离电脑显示界面为45cm时字体的级别为三级看上去最舒适,那么就将三级字体作为电脑显示界面上字体显示的初始值。
检测目标对象对字体的使用习惯可以理解为:采集指定次数(如50次)的字体调节结果,对字体调节结果进行统计,将使用频率最高的字体调节结果确定为目标对象的习惯使用字体。
综上所述,上述实施例提供的字体调节方法,能够基于采集到的脸部图像的深度信息对指定文字的字体(大小、粗细和颜色中的一种或多种)进行调节。由于目标对象(如,用户)的脸部与用于执行字体调节方法的电子设备之间的距离是与深度信息相关的,这种根据深度信息调节字体的方式,不仅可以较好的满足用户需求,而且无需用户手动调节,有效提升了用户体验。
实施例三:
对于实施例二中所提供的字体调节方法,本发明实施例提供了一种字体调节装置,参见如图6所示的一种字体调节装置的结构框图,该装置包括:
图像获取模块602,用于获取目标对象的脸部图像。
深度信息采集模块604,用于采集脸部图像的深度信息。
字体调节模块606,用于基于深度信息对指定文字的字体进行调节,字体包括文字的大小、粗细和颜色中的一种或多种。
本发明实施例提供的上述字体调节装置,能够首先获取目标对象的脸部图像,采集脸部图像的深度信息,然后基于深度信息对指定文字的字体(大小、粗细和颜色中的一种或多种)进行调节。由于目标对象(如,用户)的脸部与用于执行字体调节方法的电子设备之间的距离是与深度信息相关的,因此这种根据深度信息调节字体的方式,不仅可以较好的满足用户需求,而且无需用户手动调节,有效提升了用户体验。
在一实施方式中,上述深度信息采集模块604还用于:通过深度传感器采集脸部图像中各像素点的深度值;将脸部图像中各像素点的深度值确定为脸部图像的深度信息。
在一实施方式中,上述字体调节模块606还用于:基于脸部图像中各像素点的深度值,计算脸部图像的深度平均值;从预设的关联表中查找与深度平均值对应的字体;其中,关联表中存储有深度平均值与字体的对应关系;根据查找到的字体对指定文字进行字体调节。
在一实施方式中,上述字体调节模块606还用于:对脸部图像中各像素点的深度值进行均值计算,将得到的平均值确定为脸部图像的深度平均值。
在一实施方式中,上述字体调节模块606还用于:对脸部图像中位于眼部区域的各像素点的深度值进行均值计算,将得到的平均值确定为脸部图像的深度平均值。
在一实施方式中,上述字体调节模块606还用于:对脸部图像中各像素点的深度值进行均值计算,得到第一平均值;对脸部图像中位于眼部区域的各像素点的深度值进行均值计算,得到第二平均值;根据第一平均值和第二平均值生成脸部图像的深度平均值。
在一实施方式中,上述字体调节模块606还用于:根据第一均值计算公式对脸部图像中各像素点的深度值进行均值计算,得到第一平均值;其中,第一均值计算公式为:
其中,
在一实施方式中,上述字体调节模块606还用于:根据第一平均值、第二平均值和第二均值计算公式生成脸部图像的深度平均值;其中,第二均值计算公式为:
其中,
在一实施方式中,上述字体调节模块606还用于:采用字体级别计算公式确定深度平均值与字体的对应关系;其中,字体级别计算公式为:
其中,l为字体的级别,级别包括文字的大小级别、粗细级别和颜色级别中的一种或多种;
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例二相同,为简要描述,本实施例部分未提及之处,可参考前述实施例二中相应内容。
实施例四:
基于前述实施例,本实施例给出了一种字体调节系统,该系统包括:图像采集装置、处理器和存储装置;图像采集装置,用于采集目标对象的脸部图像;存储装置上存储有计算机程序,计算机程序在被处理器运行时执行如实施例二所述的方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
进一步,本实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理设备运行时执行上述实施例二提供的任一项方法的步骤。
本发明实施例所提供的一种字体调节方法、装置及系统的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。