针对改进的可用性的智能手持设备中的自适应文本字体和图像调节的制作方法

针对改进的可用性的智能手持设备中的自适应文本字体和图像调节的制作方法
【专利摘要】系统和操作系统的方法可涉及：从系统的前向摄像机获得图像，以及对图像实施面部距离分析。此外，可以至少部分基于面部距离分析来修改与所述系统相关联的显示内容的可视化特性。
【专利说明】针对改进的可用性的智能手持设备中的自适应文本字体和图像调节
【技术领域】
[0001]实施例总体上涉及消费类电子设备的显示可用性。更具体而言，实施例涉及针对改进的可用性的设备中的自适应显示调节。
【背景技术】
[0002]个人可能会在一整天中在各种状况下使用手持设备，其中手持设备显示器和用户眼睛之间的距离可能会变化。为了舒适地观看显示内容，用户可能需要在整个设置屏幕上浏览，戴上眼镜，按下按钮和/或手动操纵显示器(例如，在触摸屏设备的情况下)。从用户的角度来讲，这些活动可能对设备的可用性有负面影响。
【专利附图】

【附图说明】
[0003]通过阅读以下说明书和所附权利要求，并参考以下附图，本发明实施例的各种优点对于本领域的技术人员而言将变得清楚，在附图中:
[0004]图1是根据实施例的具有前向摄像机和后向摄像机的手持设备的示例的方框图；
[0005]图2是根据实施例的面部距离分析的示例的方框图；
[0006]图3A和3B是根据实施例的相对面部特征测量的不例的图不；
[0007]图4A是根据实施例的实施校准的方法的示例的流程图；
[0008]图4B是根据实施例的实施实时面部距离分析的方法的示例的流程图；
[0009]图5是根据实施例的文本可视化特性修改的示例的方框图；以及
[0010]图6是根据实施例的移动平台的示例的方框图。
【具体实施方式】
[0011]实施例可以包括移动平台，该移动平台具有用于获得图像的前向摄像机，用于输出显示内容的显示器，以及用于对图像实施面部距离分析的逻辑。该逻辑还可以至少部分基于面部距离分析来修改显示内容的可视化特性。
[0012]实施例还可以包括具有用于从移动平台的前向摄像机获得图像并对图像实施面部距离分析的逻辑的设备。该逻辑还可以至少部分基于面部距离分析来修改与移动平台相关联的显示内容的可视化特性。
[0013]其他实施例可以包括非暂态计算机可读存储介质，该介质具有一组指令，该组指令如果由处理器执行，则使移动平台从移动平台的前向摄像机获得图像。该指令还可以使移动平台对图像实施面部距离分析，并至少部分基于面部距离分析来修改与移动平台相关联的显示内容的可视化特性。
[0014]现在转到图1，示出了手持设备10。图示的手持设备10具有后向摄像机12，后向摄像机12被配置成拍摄用户14感兴趣的各种主题的照片和/或视频。手持设备10还可以包括显示器16，显示器16被配置成根据其上安装的软件应用和/或手持设备10的其他功能，输出显示内容，该显示内容可以包括文本、图像和其他内容。实际上,显示内容可以容易包括由后向摄像机12拍摄的图像和/或视频以及通过网络连接(例如视频会议馈送)获得的图像和/或视频。如将要更详细论述的，手持设备10也可以是例如膝上型计算机、移动互联网设备(MID)、智能平板、个人数字助理(PDA)、无线智能电话、媒体播放机、成像设备等的另一种移动平台，或者是例如智能电视(TV)、液晶显示器(LCD)面板、桌面个人计算机(PC)、服务器、工作站等的固定平台。
[0015]在图示的示例中，手持设备10还包括前向摄像机18，前向摄像机18也可以被配置为拍摄图像和视频并在显示器16上显示拍摄的内容。具体而言，可以在与其他个人的视频会议会话期间使用前向摄像机18为用户14记录。如将要更详细论述的，可以使用由前向摄像机18拍摄的用户14的图像来实时调整经由显示器16输出的显示内容，以使内容更容易被用户14阅读。
[0016]图2展示了可以实施对移动设备10的校准，以确定校准面部距离20以及用于校准图像21的一种或多种校准显示设置，其中可以相对于校准面部距离20进行后继的实时面部距离确定。如将要更详细论述的，校准面部距离20可以代表用户和手持设备10之间的距离，或者面部特征距离，例如在校准期间用户头部的宽度/高度、用户眼睛的宽度/直径或用户眼睛之间的距离。此外，可以根据环境以像素、英寸、厘米等为单位测量距离。
[0017]可以使用实时面部距离确定来修改文本可视化特性(例如文本高度、字体等)以及其他可视化特性(例如显示强度、显示内容的量等)。例如，校准面部距离20可能与对于处于该距离20处的用户而言舒适的特定文字尺寸相关联(例如14磅大小)，其中在判定了为用户拍摄的后续实时拍摄的图像22对应于比校准图像21时用户相距移动设备10的距离更远的特定距离24时，可以成比例地增大显示内容的文本尺寸，以确保其仍然能够被用户看到。此外，可以增大显示强度(例如背光亮度)以改善可视性，可以降低所示的显示内容的量以考虑被更大文本占据的额外屏幕区域，等等。
[0018]类似地，如果判定面部距离确定和校准面部距离20表明用户距显示器16更近，则可以减小文本尺寸，可以降低显示强度，可以增加所示显示内容的量等等。也可以酌情即时调节其他可视化特性。实际上，移动设备10也可以检测图像中的眼睛佩戴物，并在存在眼睛佩戴物时任选地忽视和/或进一步调整可视化特性的修改。例如，可以针对有和没有眼睛佩戴物的用户校准手持设备10，从而可以基于用户是否佩戴眼镜来维持和选择性地读取两组校准显示设置。因此，从用户的角度，图示的方式可以提供显著更多的设备可用性。实际上，其中能够自动降低显示强度的状况可能实现手持设备10的更少的功耗和更长的电池寿命。
[0019]现在转到图3A和3B，示出了可用于针对后继实时图像22相对于校准图像21做出面部距离确定的面部特征的类型。例如，相对面部宽度(例如X对X’的比例)、面部高度(例如y对y’的比例)、面部面积(例如面部占据的像素图的百分比)、眼间距(例如眼睛之间的距离)等和/或其组合都可被用来确定面部距离。于是，如果针对校准图像21的面部宽度(X)为100个像素，而针对实时图像22的面部宽度(X’ )为50个像素，则X对X’的比例会是2.0。使用哪个面部特征的决策可以基于计算复杂性，以便减少处理开销并提高速度。就此而言，使用摄像机进行面部距离分析可以实现通过其他距离检测方案(例如基于红外线(IR)的方案或基于超声波的方案)可能无法辨别的面部特征的提取。此外，图示的方法能够从有限量的信息，例如面部轮廓和/或眼睛中心实现操作，因此可以消除对完整面部识别及其关联处理开销的任何需求。此外，这种流水线式的面部距离分析方式能够允许更高容限的摄像机不对准(例如，在摄像机不直接指向用户面部时)。
[0020]图4A示出了实施校准的方法26。可以利用诸如专用集成电路(ASIC)、互补金属氧化物半导体(CMOS)或晶体管-晶体管逻辑(TTL)技术的电路技术或其任何组合，在固定功能的逻辑硬件中，在可执行软件中将该方法26实现为一组逻辑指令，该组逻辑指令被存储于机器可读介质或计算机可读介质中，机器可读介质或计算机可读介质是例如随机存取存储器(RAM)、只读存储器(ROM)、可编程序ROM (PROM)、固件、闪速存储器等。例如，可以以一种或多种编程语言的任何组合来编写用于执行方法26中所示操作的计算机程序代码，该编程语言包括面向对象的编程语言(例如Java、Smal I talk、C++等)以及常规过程化编程语言(例如“C”编程语言或类似的编程语言)。
[0021]处理框27用于判断具有前向摄像机的系统是否处于固定设置模式中。如果是这样的话，图示的框28输出具有固定设置(例如固定字体尺寸、显示强度和/或显示内容的量)的显示内容。然后可以在框29处提示用户将系统定位在从观看角度看舒适的距离。于是，在手持设备的情况下，用户可以将设备移动到距用户眼睛一定距离处。另一方面，在诸如智能电视的固定平台的情况下，用户可以坐或站在距固定平台的显示器舒适的观看距离处。框30可以用于在该舒适距离处拍摄用户的校准图像，其中图示的框31在校准图像上实施面部距离分析。例如，面部距离分析可能涉及确定一个或多个校准面部距离，例如用户眼睛之间的距离、用户面部的宽度、用户面部的高度、用户面部的二维面积、用户眼睛的宽度等。可以在框32将面部距离分析的结果连同显示内容的固定设置一起存储到适当的存储位置，用于在实时处理所拍摄图像期间的稍后检索。
[0022]如果在框27处判定系统未处于固定设置模式中，图示的方式用于在校准期间使用可变设置模式。具体而言，框33可以用于输出具有可变设置的显示内容，可变设置例如是可变的字体尺寸、显示强度和/或显示内容的量。相应地，可以在框34处提示用户将系统定位在任意距离并选择从观看角度看舒适的显示设置。于是，在手持设备的情况下，用户可以将设备定位于距用户眼睛任意距离处，并选择最舒适的字体尺寸、显示强度、显示内容的量等。框35可以用于拍摄用户的校准图像，其中图示的框37对校准图像实施面部距离分析。如已经指示的，面部距离分析可能涉及确定一个或多个校准面部距离，其中可以在框39处存储面部距离分析的结果和选择的可变设置，供以后检索。
[0023]图4B示出了基于实时面部距离分析来调整文本尺寸的方法36。可以利用诸如ASIC、CMOS或TTL技术或其任意组合的电路技术，在固定功能逻辑硬件(例如摄像机管线)中，将方法36在可执行软件中实现为一组逻辑指令，该组逻辑指令存储于机器可读介质或计算机可读介质中，机器可读介质或计算机可读介质例如是RAM、R0M、PR0M、固件、闪速存储器等。处理框38用于利用移动平台的前向摄像机拍摄实时图像。根据各种考虑，例如电池寿命、屏幕更新率、用户偏好等，图像拍摄频率可以是固定的或可编程的。可以在框40处对实时图像实施面部距离分析，其中图示框42相对于校准面部距离做出面部距离确定。如上所讨论的，相对面部距离确定可以考虑到诸如面部宽度、面部高度、面部面积、眼间距等面部特征。
[0024]图示的框44判断面部距离确定和校准面部距离是否表明用户已经移动远离移动平台的显示器(例如，相对于校准面部距离)。例如，实时图像中识别的眼间距可能小于校准眼间距，或者实时图像中识别的面部宽度可能小于校准面部宽度。如果是这样的话，可以推断，显示内容对用户来说观看起来更困难，因此框46相对于校准文本尺寸增大显示内容的文本尺寸。
[0025]例如，图5示出了具有显示器16的手持设备10，显示器16 —开始以第一文本尺寸输出图像内容56和文本内容58。在判定用户远离显示器16时，手持设备10自动增大文本尺寸，使得文本内容58’更大。在图示的示例中，图像内容56保持相同，但也可以根据环境增加图像内容56。增加量可以是成比例的，使得例如，如果校准图像21 (图3A)与实时图像22(图3B)的面部宽度比为X:X’，可以将文本尺寸增加相同比例。于是，在相对面部宽度比为2.0 (即100个像素对50个像素)的以上示例中，可以从校准设置将文本尺寸加倍(例如，从14磅增大到28磅)。
[0026]现在返回到图4B，另一方面，如果在框48根据面部距离确定和校准面部距离判定用户距移动平台的显示器更近，则框50相对于校准文本尺寸减小显示内容的文本尺寸，因为可能推断出，显示内容对于用户来说看起来更不难。此外，可以在各个层次上量化文本尺寸修改，以便控制文本尺寸修改的灵敏度和频率。也可以进行其他调节，例如显示强度调节和显示内容调节。例如，呼叫者识别(ID)闪屏可以适于在更接近处显示更多细节，在距用户眼睛更远距离处仅以大字体显示呼叫者的姓氏。
[0027]图示的框52用于判断是否遇到调节的用户超驰。可以通过文本的手工调节(例如触摸屏交互)或其他机制来检测用户超驰。此外，可能在图像拍摄和/或面部距离分析之前遇到用户超驰。如果已经遇到超驰，框54可以用于消除和/或忽视文本尺寸修改。此外，如果在图像中检测到眼睛佩戴物(或者如果用户手动选择了操作的“眼睛佩戴物模式”)，则可以调节和/或完全忽视面部距离分析或文本可视化特性修改。如果面部距离分析表明用户相对于校准面部距离既未移动得更接近也未更远离显示器，则图示的方法能够确保文本尺寸保持在校准状态。
[0028]图6示出了系统60，系统60具有配置成输出显示内容的显示器70，配置成拍摄系统60的用户的图像的后向摄像机62和前向摄像机64。该系统60可以容易被已经论述的手持设备10 (图1、2和5)替代。因此，图示的系统60可以是移动平台的部分，移动平台例如是膝上型计算机、MID、智能平板、PDA、无线智能电话、媒体播放机、成像设备等，或其任意组合。系统60也可以是固定平台的部分，固定平台例如是智能TV、LCD面板、桌面PC、服务器、工作站等，或其任意组合。在诸如具有网页浏览器的智能TV或LCD面板的特定平台的情况下，系统60可以不包括后向摄像机62。具体而言，系统60可以包括处理器66，处理器66如上所讨论的被配置成执行逻辑68以从前向摄像机64获得图像，对图像实施面部距离分析，并至少部分基于面部距离分析来修改显示内容的一个或多个可视化特性。
[0029]逻辑68可以被嵌入处理器66中，作为指令集从存储设备中被检索，存储设备例如是系统存储器72、大容量存储器74 (例如硬盘驱动器/HDD、光盘、闪速存储器)、其他存储介质，或其任意组合。系统存储器72可以包括例如动态随机存取存储器(DRAM)，其被配置为例如双列直插存储模块(DMM)、小外形DMM (SODMM)等的存储器模块。系统60还可以包括网络控制器76，网络控制器76可以提供用于各种目的的离平台无线通信功能，各种目的例如是蜂窝电话(例如W-CDMA (UMTS)、CDMA2000 (IS-856/IS-2000)等)、W1-Fi (例如IEEE802.11，2007版，LAN/MAN无线局域网)、低速率无线PAN (例如，IEEE802.15.4-2006，LR-ffPAN), Bluetooth (例如 IEEE802.15.1-2005、无线个人区域网)、WiMax(例如IEEE802.16-2004,LAN/MAN宽带无线LANS)、全球定位系统(GPS)、扩展频谱(例如900MHz)和其他射频(RF)电话目的。网络控制器76还可以提供离平台的有线通信(例如RS-232 (电子工业联盟/EIA)、以太网(例如IEEE802.3-2005、LAN/MAN CSMA/CD存取方法)、电力线通信(例如X10、IEEE P1675)、USB (例如通用串行总线2.0规范)、数字用户线路(DSL)、电缆调制解调器、Tl连接)等功能。于是，可以经由网络控制器76获得显示内容。
[0030]因此，可以利用用户面部测量的基线或预设知识来从用户的角度改善设备的可用性。此外，使用基于摄像机的距离检测使得能够提取面部特征，提取面部特征在较长距离上实现了更鲁棒的显示操作。
[0031]本文描述的实施例适用于所有类型的半导体集成电路(“1C”)芯片。这些IC芯片的示例包括，但不限于处理器、控制器、芯片组部件、可编程序逻辑阵列(PLA)、存储器芯片、网络芯片等。此外，在一些附图中，利用线条代表信号导体线。一些线条可以是不同的以表示更多组成的信号通路，具有数字标记以表示组成的信号通路的数量和/或在一端或多端具有箭头以表示主要信息流方向。不过，这不应被认为是限制性方式。相反，可以结合一个或多个示范性实施例使用这种附加细节以便于更容易理解电路。任何表现的信号线，无论是否有附加信息，都实际可以包括可以在多个方向行进的一个或多个信号，并且可以利用任何适当类型的信号方案实现，例如利用差分对、光纤线路和/或单端线路实现的数字或模拟线路。
[0032]可能已经给出了示例的尺寸/模型/值/范围，尽管本发明的实施例不限于此。随着制造技术(例如光刻)随着时间而成熟，预计可以制造出更小尺寸的器件。此外，为了例示和论述的简单性，可以在附图中示出或不示出公知的通往IC芯片和其他部件的电源/地连接，并且从而不使本发明实施例的某些方面模糊不清。此外，可能以方框图形式示出布置，以免使本发明的实施例模糊不清，而且还鉴于相对于实施这种方框图布置的具体细节高度取决于要实施实施例的平台，即这样的具体细节应当在本领域技术人员视界之内。在阐述具体细节(例如电路)以便描述本发明的示例实施例时，对于本领域的技术人员而言应当清楚的是，可以在不利用这些具体细节或利用这些具体细节的变化来实践本发明的实施例。于是将描述视为例示性的而非限制性的。
[0033]这里可以使用术语“耦合”表示所讨论的部件之间的任何类型的直接的或间接的关系，并可以应用于电的、机械的、流体的、光学的、电磁的、机电的或其他的连接。此外，这里可以使用术语“第一”、“第二”等，仅仅为了便于论述，并除非另有陈述，不表示任何特定的时间或时序的意义。
[0034]本领域的技术人员从以上描述将认识到，可以通过多种形式实施本发明实施例的各种技术。因此，尽管已经结合其特定示例描述了本发明的实施例，但本发明实施例的真正范围不应如此受限，因为在研究附图、说明书和所附权利要求的基础上，其他修改对于技术从业者而言将变得显而易见。
【权利要求】
1.一种系统，包括: 用于获得图像的前向摄像机； 用于输出显示内容的显示器；以及 逻辑，其用于 对所述图像实施面部距离分析，并且 至少部分基于所述面部距离分析来修改所述显示内容的可视化特性。
2.根据权利要求1所述的系统，其中，所述逻辑用于 识别所述图像中的一个或多个面部特征，以及 至少部分基于所述一个或多个面部特征做出面部距离确定。
3.根据权利要求2所述的系统，其中，所述逻辑用于: 实施对所述系统的校准，以获得校准面部距离，以及 将所述校准面部距离和一个或多个校准显示设置存储到存储单元，其中，相对于所述校准面部距离做出所述面部距离确定。
4.根据权利要求2所述的系统，其中，所述逻辑用于如果所述面部距离确定和校准面部距离表明用户更远离所述显示器，则增大所述显示内容的文本尺寸。
5.根据权利要求2所述的系统，其中，所述逻辑用于如果所述面部距离确定和校准面部距离表明用户更接近所述显示器，则减小所述显示内容的文本尺寸。
6.根据权利要求2所述的系统，其中，所述一个或多个面部特征包括面部宽度、面部高度、面部面积、眼睛宽度和眼间距中的至少一个。
7.根据权利要求1所述的系统，其中，所述逻辑用于至少部分基于所述面部距离分析来修改所述显示内容的量。
8.根据权利要求1所述的系统，其中，所述逻辑用于至少部分基于所述面部距离分析来修改与所述系统相关联的显示强度。
9.根据权利要求1所述的系统，其中，所述逻辑用于 检测所述图像中的眼睛佩戴物，以及 响应于检测到所述眼睛佩戴物来调节可视化特性修改。
10.根据权利要求1所述的系统，其中，所述逻辑用于 接收用户超驰，以及 响应于所述用户超驰取消所述可视化特性修改。
11.一种装置，包括: 逻辑，其用于 获得与系统的前向摄像机相关联的图像， 对所述图像实施面部距离分析，以及 至少部分基于所述面部距离分析来修改与所述系统相关联的显示内容的可视化特性。
12.根据权利要求11所述的装置，其中，所述逻辑用于 识别所述图像中的一个或多个面部特征，以及 至少部分基于所述一个或多个面部特征来做出面部距离确定。
13.根据权利要求12所述的装置，其中，所述逻辑用于: 实施对所述系统的校准，以获得校准面部距离，以及将所述校准面部距离和一个或多个校准显示设置存储到存储单元，其中，相对于所述校准面部距离做出所述面部距离确定。
14.根据权利要求12所述的装置，其中，所述逻辑用于如果所述面部距离确定和校准面部距离表明用户更远离所述显示器，则增大所述显示内容的文本尺寸。
15.根据权利要求12所述的装置，其中，所述逻辑用于如果所述面部距离确定和校准面部距离表明用户更接近所述显示器，则减小所述显示内容的文本尺寸。
16.根据权利要求12所述的装置，其中，所述一个或多个面部特征包括面部宽度、面部高度、面部面积、眼睛宽度和眼间距中的至少一个。
17.根据权利要求11所述的装置，其中，所述逻辑用于至少部分基于所述面部距离分析来修改所述显示内容的量。
18.根据权利要求11所述的装置，其中，所述逻辑用于至少部分基于所述面部距离分析来修改与所述系统相关联的显示强度。
19.根据权利要求11所述的装置，其中，所述逻辑用于 检测所述图像中的眼睛佩戴物，以及 响应于检测到所述眼睛佩戴物来调节可视化特性修改。
20.根据权利要求11所述的装置，其中，所述逻辑用于 接收用户超驰，以及 响应于所述用户超驰取消所述可视`化特性修改。
【文档编号】H04N5/225GK103733605SQ201280038178
【公开日】2014年4月16日 申请日期:2012年6月30日 优先权日:2011年7月1日
【发明者】Y·I·克里蒙, D·I·珀斯纳 申请人:英特尔公司