本申请要求2017年2月7日递交的韩国专利申请no.10-2017-0017010的优先权，将其内容作为参考合并在此。
本公开涉及提供与用户身体有关的皮肤信息的技术。更具体地说，本公开涉及一种用于基于从电子设备发射的红外线和由显示器的至少一部分区域的光发射来捕获用户身体的至少一部分、分析所捕获的图像并立即提供用户皮肤信息的电子设备。
背景技术：
随着对皮肤管理的兴趣或要求的增加，已经提出了能够测量用户身体自身的一部分的皮肤状态以获得皮肤信息的各种类型的设备。然而，用户可能对他或她的皮肤状态的精确确定有限制，或可能不知道根据确定的结果而请求的正确对应信息。在这种情况下，在皮肤测量设备的操作中可能效率较低，并且对皮肤测量设备的使用也可能相应地减少。因此，需要一种能够更精确地诊断用户皮肤状态并容易获得相关信息的皮肤测量设备。
提出以上信息作为背景信息仅仅是为了辅助理解本公开。并未确定和断言上述任何内容是否可应用作关于本公开的现有技术。
技术实现要素：
本公开的各个方面是为了至少解决上述问题和/或缺点，并且至少提供以下描述的优点。因此，本公开的方面在于提供一种用于基于从电子设备发射的红外线和由显示器的至少一部分区域的光发射来捕获用户身体的至少一部分、分析所捕获的图像并立即提供用户皮肤信息的电子设备。
根据本公开的一个方面，提供了一种电子设备。所述电子设备包括：图像捕获设备，被配置为基于被配置为发射规定波段的电磁波的光源设备、第一照相机以及被配置为检测所述电磁波的第二照相机，来捕获用户身体的至少一部分；存储器，被配置为存储所述图像捕获设备的捕获图像；显示器，被配置为基于驱动至少一个像素，在至少一个区域发射规定颜色的光；至少一个处理器，被配置为与所述图像捕获设备、所述存储器和所述显示器电连接。
根据本公开的一个实施例，所述至少一个处理器可以被配置为控制以驱动所述图像捕获设备处于其中所述显示器的至少一个区域发射规定颜色的光的状态，以通过所述第一照相机获得第一捕获图像并通过所述第二照相机获得第二捕获图像，并执行所述第一捕获图像和第二捕获图像的配准(registration)以生成第三图像。
根据本公开的各种实施例，所述电子设备可以通过自拍的相对简单操作来获得与用户身体的至少一部分有关的即时直观的皮肤信息。
根据本公开的各种实施例，所述电子设备可以通过与至少一个外部设备共享用户的皮肤信息，来基于皮肤信息构建诸如远程医疗服务或产品推荐服务的平台。
此外，可以提供通过本公开直接或间接理解的多种效果。
根据结合附图公开了本公开各种实施例的以下详细描述，本公开的其他方面、优点和突出特征对于本领域技术人员将变得清楚明白。
附图说明
根据结合附图的以下描述，本公开的特定实施例的上述和其它方面、特征以及优点将更清楚，在附图中：
图1示出了根据本公开实施例的电子设备的操作；
图2是示出了根据本公开实施例的电子设备的配置的框图；
图3示出了根据本公开实施例的基于电子设备的表面发射进行自拍；
图4是示出了根据本公开实施例的基于用户身体的吸收率的波谱；
图5a是示出了根据本公开实施例的伴随第一应用的执行的第一用户界面；
图5b是示出了根据本公开实施例的伴随第二应用的执行的第二用户界面；
图5c是示出了根据本公开实施例的伴随第二应用的执行的第三用户界面；
图6a是示出了根据本公开实施例的在电子设备中提供皮肤信息的方法的流程图；
图6b是根据本公开实施例的与在电子设备中提供皮肤信息相关联的服务平台；
图7示出了根据本公开的实施例的网络环境中的电子设备；
图8是示出了根据本公开实施例的电子设备的框图；以及
图9是示出了根据本公开实施例的程序模块的框图；
应注意，在整个附图中，相似的附图标记用于描述相同或相似的元件、特征和结构。
具体实施方式
提供以下参考附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各实施例。以下描述包括各种具体细节以帮助理解，但这些具体细节应被视为仅仅是示例性的。因此，本领域普通技术人员将认识到：在不脱离本公开的范围的情况下，可以对本文所述的各种实施例进行各种改变和修改。另外，为了清楚和简洁起见，可以省略对已知功能和结构的描述。
以下描述和权利要求中使用的术语和词语不限于其书面含义，而是仅仅被发明人用来实现对本公开清楚一致的理解。因此，对于本领域技术人员来说应当清楚明白的是，提供本公开的各种实施例的以下描述以仅用于说明的目的，而不是用于限制由所附权利要求及其等同物限定的本公开的目的。
应当理解的是，除非上下文中另有清楚指示，否则单数形式“一”、“一个”和“所述”包括复数指示物。因此，例如，对“组件表面”的引用包括对这样的表面中的一个或多个的引用。
术语“大体上”意味着所记载的特征、参数或者值不需要精确实现，而是可以出现包括诸如公差、测量误差、测量精度限制及本领域技术人员已知的其他因素在内的偏差或变化，该偏差或变化可以以不妨碍该特征预期所要提供的效果的量来出现。
文中使用的术语“包括”、“包含”和“具有”、或“可以包括”、或“可以包含”和“可以具有”表示所公开的功能、操作或元件的存在，但是不排除其他功能、操作或元件。
例如，表述“a或b”或“a和/或b中至少一项”可以包括：a、b、或a和b两者。例如，表述“a或b”或“a和/或b中至少一项”可以表示：(1)至少一个a，(2)至少一个b，或(3)至少一个a和至少一个b二者。
文中使用的诸如“第1”、“第2”、“第一”、“第二”等术语可以用于修饰本公开的各种实施例中的各种不同元件，但并非意在限制所述元件。例如，“第一用户设备”和“第二用户设备”可以表示不同的用户设备，而与顺序或重要性无关。例如，在不脱离本公开范围的情况下，第一组件可称为第二组件，反之亦然。
在本公开的各种实施例中，应认识到：当将组件(例如，第一组件)称作“与...(可操作性地或通信地)耦接/被(可操作性地或通信地)耦接到”或“连接到”另一组件(例如，第二组件)时，该组件可以直接连接到该另一组件，或可以通过其他组件(例如，第三组件)连接。在本公开的各种实施例中，应认识到：当将组件(例如，第一组件)称作“直接连接到”或“直接访问”另一组件(例如，第二组件)时，在该组件(例如，第一组件)和该另一组件(例如，第二组件)之间不存在其他组件(例如，第三组件)。
在本公开的各种实施例中使用的措辞“(被)配置为”根据情形可以与例如“适合于”、“具有...的能力”、“(被)设计为”、“适于”、“用于”、或“能够”交换使用。就硬件而言，术语“(被)配置为”并不一定意味着“(被)专门设计为”。相反，在一些情形下表述“(被)配置为..的设备”可以指示该设备和另一设备或一部分“能够...”。例如，表述“被配置为执行a、b和c的处理器”可以指示用于执行对应操作的专用处理器(例如，嵌入式处理器)、或者用于通过执行存储在存储设备中的至少一个软件程序来执行对应操作的通用处理器(例如中央处理单元(cpu)或应用处理器(ap))。
在本公开的各种实施例中使用的术语用于描述本公开的特定实施例，而并不旨在限制其它实施例的范围。除非在上下文中具有明显不同的含义，否则单数形式的术语可以包括复数形式。否则，本文使用的所有术语可以具有与本领域技术人员通常所理解的含义相同的含义。通常，应将词典中定义的术语理解为与相关技术的语境含义具有相同含义，除非这里另有说明，否者不应该不同地对其进行理解，或将其理解为过于正式的含义。在任意情况下，即使在本说明书中定义的术语也不应被解释为排除本公开的实施例。
根据本公开各种实施例的电子设备可以包括以下至少一种：智能电话、平板个人计算机(pc)、移动电话、视频电话、电子书阅读器、台式pc、膝上型pc、上网本计算机、工作站、服务器、个人数字助理(pda)、便携式多媒体播放器(pmp)、运动画面专家组1或2(mpeg-1或mpeg-2)音频层3(mp3)播放器、移动医疗设备、照相机或可穿戴设备。可穿戴设备可以包括以下至少一种：饰品类型设备(例如，手表、戒指、手环、脚环、项链、眼镜、隐形眼镜或头戴式设备(hmd))、衣料或服饰集成类型设备(例如，电子衣服)、身体附着类型设备(例如，皮肤贴或纹身)或生物植入类型设备(例如，可植入电路)。
在本公开的一些实施例中，电子设备可以是家用电器。智能家电可以包括以下至少一种：例如，电视(tv)、数字视频多功能盘(dvd)播放器、音频设备、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家用自动控制面板、安全控制面板、tv盒(例如，samsunghomesynctm、appletvtm或googletvtm)、游戏机(例如，xboxtm和playstationtm)、电子词典、电子钥匙、录像机和电子相框。
在本公开的其他各种实施例中，电子设备可以包括以下中的至少一个：各种医疗装备(例如，各种便携医疗测量设备(例如，血糖测量设备、心率测量设备、血压测量设备、体温测量设备等)、磁共振造影(mra)机、磁共振成像(mri)机、计算机断层(ct)扫描仪、扫描仪、超声设备等)、导航设备、全球导航卫星系统(gnss)、事件数据记录器(edr)、飞行数据记录器(fdr)、车载娱乐设备、船用电子装备(例如，导航系统、陀螺仪等)、航空装备、安全装备、车辆音响主机、工业或家用机器人、自动取款机(atm)、零售店的收款机(pos)设备或者物联网(iot)设备(例如，灯泡、各种传感器、电表或燃气表、洒水设备、火警报警器、自动调温器、街灯、烤面包机、锻炼装备、热水壶、加热器、锅炉等)。
根据本公开的各种实施例，电子设备可以包括以下至少一种：家具或建筑物/结构的一部分、电子公告板、电子签名接收设备、投影仪或测量仪器(例如，水表、电表、燃气表或无线电波计量表等)。电子设备可以是上述设备中的一种或多种组合。根据本公开各种实施例的电子设备可以是柔性设备。此外，根据本公开实施例的电子设备不限于上述设备，并且可以包括根据新技术发展的新型电子设备。
在下文中，将参考附图来描述根据本公开的各种实施例的电子设备。本文使用的术语“用户”可以指代使用电子设备的人，或者可以指代使用电子设备的设备(例如，人工智能电子设备)。
图1示出了根据本公开实施例的电子设备的操作。
参考图1，电子设备100可以将光源模块121、传感器模块123、第一照相机125(例如，前置照相机)或第二照相机127(例如，虹膜照相机)中的至少一个安装在它的前表面的至少一部分区域上。光源模块121、传感器模块123、第一照相机125和/或第二照相机127可以定位成在电子设备100上以规定距离彼此间隔开。
在本公开的实施例中，光源模块121可以包括发射规定波长的电磁波(例如，红外线)的有机发光二极管(oled)或激光二极管(ld)中的至少一个。传感器模块123可以包括例如照明传感器或接近传感器中的至少一个，并且可以感测电子设备100周围的区域的亮度或物体的接近度中的至少一个，从而向控制器(或电子设备100的处理器)发送与感测结果有关的信息。第一照相机125可以相对于电子设备100捕获第一方向(例如，电子设备100的正面)的视频或图像。如果从光源模块121发射的电磁波被任何物体(或主体)反射，则第二照相机127可以检测或接收被反射的电磁波。
在本公开的实施例中，如果用户在执行规定应用(例如，照相机应用)的执行屏幕上选择了规定的图像捕获模式，则电子设备100可以基于光源模块121、第一照相机125或第二照相机127中的至少一个执行特定操作。例如，电子设备100可以基于光源模块121、第一照相机125或第二照相机127中的至少一个来拍摄用户的自拍(例如，捕获针对用户身体的至少一部分的图像)。在该操作中，电子设备100可以基于自拍图像分析用户的皮肤状态，并且可以提供分析后的信息。
在本公开的实施例中，对规定的图像捕获模式的激活可能涉及控制电子设备100的另一元件的功能。例如，如果激活规定的图像捕获模式，则可以输出能够控制显示器的表面发射功能的用户界面(或执行规定应用的另一执行屏幕)。例如，表面发射可以意味着基于用户控制或规定的调度信息，与显示器的屏幕区域相对应的多个像素在规定时间期间发射规定波段的光。用户可以向在用户界面上显示的对象(例如，选择窗口、轻击按钮等)提供输入(或触摸)以没置与显示器的表面发射相关联的规定波段的光。例如，用户可以设置显示器使得显示器用第一波段的光(例如，红色波段的光、绿色波段的光或蓝色波段的光)执行表面发射，或可以设置显示器使得第一至第三波段的光(例如，红色波段的光、绿色波段的光和蓝色波段的光)中的至少两个具有规定的时间差(例如，在0.5秒至1秒的范围内的时间差)并执行表面发射。替代地，用户可以将显示器设置为发出将第一至第三波段的光混合的第四波段的光(例如，白色波段的光)。例如，如果显示器利用第四波段的光执行表面发射，则电子设备100可以从通过使用电子设备100中包括的滤色器接收的光中仅提取规定波段的光。
在本公开的实施例中，如果用户完成针对显示器的表面发射的设置，则可以驱动第一照相机125，并且可以在显示器的屏幕区域上显示用户身体的至少一部分。在该操作中，可以在显示器的屏幕区域上显示用作用户身体的特定区域(例如，面部)的聚焦向导的对象(或轮廓)。替代地，如果第一照相机125与用户身体之间的距离大于规定距离范围，则电子设备100可以输出用作通知的反馈(例如，振动、通知声音、消息等)。此后，如果用于指示执行图像捕获的用户输入被提供给电子设备100上的输入接口(例如，物理键按钮)，或当经过与图像捕获相关联地设置的计时器时，显示器可以用由用户设置的特定波段的光执行表面发射，且可以以所述光的颜色显示屏幕区域。
根据显示器的表面发射，光源模块121、第一照相机125或第二照相机127中的至少一个可以开始相应功能操作。例如，光源模块121可以在规定方向(例如，电子设备100的正面)上发射红外线。第二照相机127可以接收从位于电子设备100前方的用户身体的一个区域反射的红外线，并且可以基于所述红外线生成第一图像。此外，第一照相机125可以基于特定波段的光而根据显示器的表面发射来接收从用户反射的规定波段的光，并且可以生成第二图像。在本公开的实施例中，如果由于显示器的表面发射而引起的规定波段的光被设置为多个光，则可以响应于多个表面发射而由每个特定波段的光生成第二图像作为多个图像。
生成的第一图像和生成的第二图像可以存储在电子设备100上的规定区域(例如，存储器)中。在本公开的实施例中，第一图像和第二图像可以在相同或相似的时间生成，或可以在光源模块121、第一照相机125和第二照相机127中以与规定的操作顺序相对应的时间生成，这样引起每个图像的生成。
如果第一照相机125和第二照相机127的图像捕获结束，则可以释放显示器的表面发射。替代地，如果特定波段的光被设置为与显示器的表面发射相关的多个光，且如果根据第一表面发射的第一照相机125和第二照相机127的第一图像捕获结束，则可以释放第一表面发射并且在在规定时间(例如，多个光之间的设定时间差)期间的暂停之后开始第二表面发射。第一照相机125和第二照相机127可以根据第二表面发射的开始来执行第二图像捕获。
在本公开的实施例中，电子设备100的控制器(或处理器)可以通过执行对第一照相机125和第二照相机127的多个捕获图像的配准来生成单独的图像(以下称为“配准图像”)。控制器可以对配准图像执行一系列分析处理，以获得与用户身体的至少一个捕获区域有关的皮肤信息。控制器可以将皮肤信息存储在存储器区域中，并且可以将存储的皮肤信息传输到与电子设备100构建网络的外部设备，或可以将所存储的皮肤信息输出到显示器的屏幕区域上。
下文中，将描述与获得或提供皮肤信息以及电子设备100的元件的功能操作相关联的各种实施例，其中所述功能操作支持所述各种实施例。
图2是示出了根据本公开实施例的电子设备的配置的框图。
参考图2，电子设备100可以包括通信单元110(或通信模块)、图像捕获单元120(或图像捕获模块，或传感器模块和照相机模块)、存储单元130(或存储器)、控制器140(或处理器)以及显示单元150(或显示器)。在本公开的各种实施例中，电子设备100可以省略上述元件中的至少一个，或还可以包括其他元件。例如，电子设备100还可以包括用于向电子设备701的元件提供驱动电力的电源设备(例如，电池)，其中下面将参照图7描述所述元件。
通信单元110可以与至少一个外部设备300构建网络200，并且可以与至少一个外部设备300电连接或通信连接。通信单元110可以与至少一个外部设备300建立符合限定协议的有线通信或无线通信，并且可以基于有线通信或无线通信来接入网络200，从而将用户的皮肤信息传输给外部设备300。例如，如上所述，通信单元110可以将通过自拍图像获得的与用户身体的至少一部分有关的皮肤信息发送给与医疗机构、化妆品公司(美容公司)或在线/离线购物中心公司相关联的外部设备300。在该操作中，通信单元110可以响应于用户控制仅传输至少一部分的皮肤信息。此外，通信单元110可以例如向外部设备300传输与由控制器140生成的皮肤信息所映射的化身有关的信息。在本公开的实施例中，通信单元110可以从外部设备300接收与皮肤信息相对应的反馈信息、推荐美容产品信息等。
图像捕获单元120可以响应于用户控制或规定调度信息来捕获电子设备100周围的区域或与电子设备100相邻的对象。例如，图像捕获单元120可以拍摄位于电子设备100前方的用户的自拍，以生成针对用户身体的至少一个区域的捕获图像。这样，图像捕获单元120可以包括光源模块121(例如，包括红外(ir)led或irld中的至少一个)、传感器模块123(例如，包括照明传感器)、第一照相机125(例如，前置照相机)或第二照相机127(例如，虹膜照相机)。在本公开的实施例中，可以根据由用户在相关应用(例如，照相机应用程序)上选择的规定图像捕获模式的激活而开始驱动光源模块121、第一照相机125或第二照相机127的至少一部分。以上参考图1描述了元件的功能操作，并且可以省略重复的描述。
在本公开的各种实施例中，图像捕获单元120还可以包括除了这些元件之外的第三照相机(例如，后表面)。第一照相机125、第二照相机127和第三照相机可以位于电子设备100上以捕获不同的区域或至少部分重叠的区域。例如，第一照相机125和/或第二照相机127可以位于电子设备100的前表面的一个区域上，且第三照相机可以位于电子设备100的后表面的一个区域上。
存储单元130可以存储与电子设备100的功能操作相关联的指令或数据。例如，存储单元130可以存储由图像捕获单元120生成的至少一个图像和与该图像相关联的分析信息，或可以存储通过与外部设备300的交互而接收的至少一个信息(例如，与皮肤信息相对应的反馈信息、推荐美容产品信息等)。此外，存储单元130可以存储用于控制以驱动图像捕获单元120的应用程序(例如，照相机应用)或至少一个应用程序(例如，图库应用、健康管理服务应用等)以支持响应于用户控制来显示图像和皮肤信息。在本公开的实施例中，可以结合上述显示单元150的表面发射，在存储单元130中构建特定波段的光(或信号)与根据所述光的图像颜色之间的映射数据库或索引。在本公开的各种实施例中，存储单元130可以包括基于规定信号或路线可访问的安全区域(例如，信任区域)。存储单元130可以存储例如用户个人信息，诸如通过在安全区域中自拍而生成的图像。
控制器140可以与电子设备100的其他元件电连接或可操作地连接，并且可以对所述元件执行控制、通信、算术运算或数据处理。例如，控制器140可以基于图像处理来对由第一照相机125和第二照相机127捕获的图像执行配准，并且可以分析配准图像，从而提供相关的皮肤信息。在本公开的实施例中，结合处理提供皮肤信息附带的一系列处理，控制器140可以包括图像捕获处理模块141、设备控制模块143或图像处理模块145中的至少一个。
图像捕获处理模块141可以检测例如在执行规定应用(例如，照相机应用)的执行屏幕上生成的用户针对规定的图像捕获模式的选择事件，并且可以输出能够设置显示单元150的表面发射功能的用户界面。设备控制模块143可以进行控制以响应于完成对表面发射功能的设置而驱动光源模块121、第一照相机125或第二照相机127中的至少一个。图像处理模块145可以通过执行对第一照相机125和第二照相机127的多个图像的配准来生成配准图像。在本公开的实施例中，图像处理模块145可以基于多个图像之间的特征点映射来生成配准图像。这样，图像处理模块145可以基于诸如边缘检测滤波器或主动轮廓模型的图像处理，在每个图像上提取例如针对用户身体的至少一个区域的轮廓。图像处理模块145可以识别轮廓的内部区域中的至少一个特征点，并且可以通过执行对多个图像的配准来生成配准图像，使得每个图像上彼此对应的特征点彼此相同。
在本公开的实施例中，图像处理模块145可以参考在存储单元130中构建的数据库或索引，来确定与配准图像的每个像素的颜色相对应的指定波段的光。图像处理模块145可以基于配准图像的每个像素上区别示出的图像颜色来确定用户的皮肤状态，其中所述图像颜色取决于当基于显示单元150的表面发射和光源模块121的红外线发射捕获用户时用户身体的吸收程度。在本公开的实施例中，图像捕获处理模块141可以通过执行规定应用(例如，图库应用或健康管理服务应用)的执行屏幕或规定的用户界面来输出与所确定的皮肤状态相关联的信息。如果用户输入(例如，触摸)被提供给执行屏幕或用户界面中的规定区域，则设备控制模块143可以控制通信单元110或存储单元130中的至少一个向外部设备300发送执行屏幕或用户界面上的信息。
显示单元150可以显示各种内容(例如，文本、图像、视频、图标、符号等)。例如，显示单元150可以以预览形式输出通过第一照相机125或第二照相机127的图像捕获操作生成的图像。替代地，显示单元150可以响应于用户控制或规定的调度信息而输出执行应用的执行屏幕，并可以在执行屏幕上显示关于图像的分析信息(例如，皮肤信息)。在本公开的各种实施例中，如果经由通信单元110从外部设备300接收特定信息(例如，与皮肤相关联的医疗处理信息、美容产品信息等)，则显示单元150可以输出包括特定信息的内容。
图3示出了根据本公开实施例的基于电子设备的表面发射来进行自拍。
参考图3，可以响应于当执行规定应用(例如，照相机应用)时对用户在执行屏幕上选择的规定图像捕获模式的激活，触发显示单元150的表面辐射性能以及光源模块121、第一照相机125或第二照相机127中的至少一个的功能操作。这样，与设置图2的图像捕获单元120的图像捕获模式相关联的至少一个对象(例如，轻击按钮)可以被包括在执行应用程序的执行屏幕上。例如，与激活美颜图像捕获模式、全景图像捕获模式或连续图像捕获模式中的至少一个相关联的对象可以被包括在执行屏幕上。在本公开的实施例中，如果通过用户控制来激活美颜图像捕获模式(例如，通过图像捕获提供皮肤状态信息的模式)，则执行屏幕可以被转换为与设置显示单元150的表面发射相关联的另一执行屏幕或用户界面。替代地，如果除了美颜图像捕获模式之外的图像捕获模式(例如，全景图像捕获模式或连续图像捕获模式)被激活，则可以通过第一照相机125或第三照相机(例如，后置照相机)中的至少一个来执行图像捕获。在本公开的实施例中，如果在转换后的其他执行屏幕或转换后的用户界面上完成表面发射的设置，则可以通过对第一照相机125的驱动来将用户身体的至少一部分显示在显示单元150的屏幕区域上。
这样，参考图3，如果用户指示采取自拍(例如，如果他或她向与照相机的图像拍摄相关联的输入界面提供输入)，则显示单元150可以通过图2的控制器140的控制来执行表面发光。在该操作中，控制器140可以基于用户结合设置表面发射选择的特定波段的光(或光学信号)来控制在显示单元150中包括的多个像素。例如，控制器140可以向在显示单元150的多个像素的每一个中包括的至少一个器件(例如，红色、绿色、蓝色(rgb)设备)供应与所选的规定波段的光的灰度相对应的电压，以控制设备的发光。在本公开的各种实施例中，控制器140还可以针对除了用户所选的特定波段的光(下文中，成为“第一光”)之外的单独波段的光(例如，白色波段的光)执行对显示单元150的像素控制。这样，控制器140可以通过参考由与第一光相对应的表面发射和与第二光相对应的表面发射中的每一个捕获图像的差异图像，排除当驱动图2的图像捕获单元120时干扰用户所选的波段的光的环境光。替代地，控制器140可以根据基于第一光的表面发射的捕获土建以及在没有发射显示单元150的多个像素的状态下捕获的图像之间的差异图像，来相对于捕获图像排除环境光的干扰。
因此，如果显示单元150的多个像素由控制器140控制，则可以以对应于规定波段的光的颜色显示显示单元150的屏幕区域，所述颜色取决于多个像素的每一个中包括的至少一个器件的光发射。在这种情况下，图像捕获单元120的光源模块121、第一照相机125或第二照相机127中的至少一个可以开始功能操作并且可以捕获用户身体的至少一部分以生成基于红外线的第一图像和/或基于表面发射的第二图像。
图4是示出了根据本公开实施例的基于用户身体的吸收率的波谱。
参考图4，根据本公开的实施例，图2的控制器140可以通过对由图2的第一照相机125和第二照相机127捕获的多个图像执行配准来生成配准图像，并且可以基于配准图像来确定用户的皮肤状态。这样，可以根据取决于图2的显示单元150的表面发射的特定波段的光被吸收到物体(或用户身体的一部分)的程度而改变与配准图像上的多个像素中的每一个相对应的颜色。控制器140可以参考规定波段的光(或信号)与图像颜色之间的映射数据库或索引，来确定与配准图像的多个像素中的每一个的颜色相对应的特定波段的光，其中在图2的存储单元130中构建所述映射数据库或索引。控制器140可以针对与配准图像的多个像素中的每一个相对应的所确定的特定波段的光，生成波谱。
参考图4，随着配准图像的多个像素中的每一个的颜色(或与多个像素中的每一个相对应的特定波段的光)变化，控制器140产生的第一像素的第一波谱20以及由控制器140生成的第二像素的第二波谱30可以具有不同的梯度或面积。在本公开的一个实施方案中，梯度可以是指黑色素指数。可以确定与配准图像上的对应像素相对应的用户身体的区域随着梯度更加锐利而具有更高的黑色素指数。此外，该区域可以是指红斑指数。可以确定与配准图像上的对应像素相对应的用户身体的区域随着面积更宽而具有更高的红斑指数。这样，控制器140可以相对于配准图像的每个像素来识别与相应像素的颜色相对应的特定波段的光，并且可以分析针对所识别的特定波段的光的波谱，从而针对与每个像素相对应的用户身体的区域获得黑色素指数或红斑程度的信息。在本公开的实施例中，控制器140可以将配准图像的每个像素的颜色与规定的肤色指数进行比较，并且可以收集针对每个像素的肤色信息(例如，将多个肤色信息进行平均或提取多个肤色信息中的权重信息)，以获得与用户身体的一个区域有关的肤色信息。
图5a是示出了根据本公开实施例的伴随第一应用的执行的第一用户界面。
图5b是示出了根据本公开实施例的伴随第二应用的执行的第二用户界面。
图5c是示出了根据本公开实施例的伴随第二应用的执行的第三用户界面。
在本公开的实施例中，可以由图2的控制器140的图像处理模块145执行针对基于图2的显示单元150的表面发射捕获的图像的至少一个区域的校正(例如，美白效果、瑕疵去除效果等)。可以通过规定的第一应用程序(例如，图库应用程序)的操作来支持基于表面发射的图像和校正图像的每一个的显示(或输出)。例如，可以在执行第一应用的执行屏幕上包括用于通过转换(相互配合)到与第一应用不同的第二应用中来支持基于表面发射的图像的第一对象以及用于支持经由执行第一应用的另一执行屏幕输出校正图像的第二对象。
参考图5a，如果在第一对象上提供用户输入(例如，触摸)，则可以将执行第一应用的执行屏幕转换为执行单独第二应用(例如，健康管理服务应用(s健康))的执行屏幕50。可以在执行第二应用的执行屏幕50上包括用户身体的至少一部分的基于表面发射的图像。这样，基于表面发射的捕获图像可以是用户个人信息，并且可以被存储在图2的存储单元130的安全区域中。因此，在本公开的各种实施例中，当第一应用被转换为第二应用时(或当在第一对象上提供用户输入时)，控制器140可以执行规定用户认证(例如，虹膜认证、指纹认证、模式认证或口令认证)，并且可以仅在满足用户认证的情况下输出执行第二应用的执行屏幕50。
在本公开的实施例中，如果在规定时间期间或更长时间内用户设置基于表面发射的图像的一个区域(例如，脸颊、前额、鼻子、下巴等)上，则可以显示包括与该区域有关的皮肤信息在内的第三对象51，其中在执行屏幕50上显示所述基于表面发射的图像。在该操作中，控制器140可以在上述配准图像包括的像素中识别与在基于表面发射的图像上提供的用户输入区域相对应的像素，并可以从存储单元130读取所识别的像素的皮肤信息，以生成第三对象51。在本公开的各种实施例中，可以连同第三对象51一起显示先前生成的配准图像的缩略图。用户可以通过基于表面发射的图像和缩略图通过所述图像来面对自从过去的皮肤变化。
在本公开的实施例中，还可以在执行第二应用的执行屏幕50上显示用于支持显示或输出与第三对象51包括的皮肤信息相关联的各种信息的至少一个对象53、55和/或57。如果在第四对象53上提供了用户输入，则控制器140可以读取并显示从图2的外部设备300(例如，化妆品公司服务器、购物中心公司服务器等)接收的和存储在存储单元130中的与用户皮肤信息相对应的化妆品信息。替代地，在本公开的各种实施例中，可以将与各种皮肤状态相对应的化妆品信息构建为电子设备100的存储单元130中的数据库。如果在第四对象53上提供了用户输入，则控制器140可以获得并显示在化妆品数据库上的与该用户相对应的化妆品信息。
根据本公开的实施例，在第五对象55上提供用户输入可以用于输出从规定的外部设备300(例如，医疗机构服务器)提供的与比较和分析用户的遗传信息相关联的比较分析信息以及通过配准图像确定的用户的皮肤信息。比较分析信息可以包括例如易受用户遗传信息影响的皮肤问题信息、与皮肤问题信息有关的皮肤管理信息等。在本公开的一个实施例中，用户可以基于通过第五对象55输出的比较分析信息，当他或她随后自拍以后测量皮肤状态时考虑设置表面发射。例如，用户可以考虑选择与设置表面发射相关联的特定波段的光，依次设置多个波段的光的表面发射，或组合多个波段的光来测量易受到用户遗传信息影响的皮肤问题。替代地，当基于比较分析信息稍后预约医疗机构时，用户可以反映有关的或感兴趣的项目。根据本公开的实施例，第六对象57可以支持显示针对用户的皮肤状态的累积数据。用户可以参照累积数据来监测皮肤状态变化的数值。在本公开的实施例中，可以响应于用户控制，将由第五对象55或第六对象57显示的信息发送到外部设备300(例如，医疗机构服务器、购物中心公司服务器或化妆品公司服务器)。因此，用户可以请求操作外部设备300的机构或公司提供调查表、推荐化妆品产品或提供与皮肤状态有关的反馈。
参照图5b和图5c，用户可以在第二对象上提供输入(例如，触摸)以支持在执行第一应用(例如，图库应用)的执行屏幕上输出校正图像。在这种情况下，执行第一应用的执行屏幕可以被转换为包括第一应用的校正图像的另一执行屏幕60。用户可以通过另一执行屏幕60上包括的第一菜单(例如，“编辑”菜单)来对显示的校正图像执行附加校正。例如，用户可以基于从电子设备100提供的用户皮肤信息来执行去除红斑或黑色素的校正或改变肤色的校正。替代地，用户可以通过在另一执行屏幕60中包括的第二菜单(例如，“共享”菜单)将校正图像传输或上传到外部设备(或外部服务器)(例如，社交网络服务服务器等)。
在本公开的实施例中，另一执行屏幕60可以包括用于支持以各种方式操作所显示的校正图像的第三菜单(例如，“查看更多”菜单)。如果在第三菜单上提供用户输入，则可以显示规定的菜单窗口61(例如，用于支持左转、右转、详细信息、皮肤信息、背景屏幕设置或幻灯片放映中的至少一个的菜单窗口)。在本公开的实施例中，如果用户在规定的菜单窗口61上选择皮肤信息类别63并且向校正图像的一个区域提供输入(例如，触摸)，则可以在所述另一执行屏幕60的至少一个区域上输出包括用户输入的区域周围的皮肤信息的界面65。在本公开的实施例中，可以基于显示的校正图像的可见性，将包括皮肤信息的界面65表示为规定显示效果(例如，半透明效果)。
根据各种实施例的电子设备可以包括：图像捕获设备，该图像捕获设备包括：被配置为发射规定波段的电磁波的光源设备、第一照相机以及被配置为检测电磁波并且基于所发射的电磁波捕获用户身体的至少一部分的图像的第二照相机；存储器，被配置为存储由图像捕获设备捕获的图像；显示器，被配置为基于驱动至少一个像素从至少一个区域发射规定颜色的光；以及至少一个处理器，与图像捕获设备、存储器和显示器电连接。
根据本公开的各种实施例，所述至少一个处理器可以控制以驱动所述显示器从所述至少一个区域发射规定颜色的光，控制以当显示器发射规定颜色的光时驱动所述图像捕获设备获得第一照相机的第一捕获图像和第二照相机的第二捕获图像，并对第一捕获图像和第二捕获图像执行配准以生成第三图像。
根据本公开的各种实施例，所述至少一个处理器可以针对与特定波段的光相对应的图像颜色构建数据库，并可以参考该数据库确定与第三图像的每个像素的颜色相对应的特定波段的光。
根据本公开的各种实施例，所述至少一个处理器可以生成针对与第三图像的特定像素相对应的特定波段的光的光谱，并且可以基于所述光谱确定针对与所述特定像素相对应的用户身体的一个区域的皮肤状态。
根据本公开的各种实施例，所述至少一个处理器可以基于光谱的梯度来确定用户身体的一个区域的黑色素指数，并且可以基于光谱的面积来确定针对用户身体的一个区域的红斑指数。
根据本公开的各种实施例，所述至少一个处理器可以收集与第三图像的每个像素有关的颜色信息，并且可以确定与第三图像相对应的用户身体的一个区域的肤色。
根据本公开的各种实施例，所述至少一个处理器可以输出第一用户界面，所述第一用户界面包括第一捕获图像或将规定效果分配给第一捕获图像的校正图像。
根据本公开的各种实施例，如果在第一捕获图像或校正图像的一个区域上发生用户输入事件，则所述至少一个处理器可以从第三图像的至少一个像素中识别与第一捕获图像或校正图像上的用户输入区域相对应的像素，并且可以输出和与所识别的像素相对应的用户身体的一个区域有关的皮肤信息。
根据本公开的各种实施例，电子设备还可以包括被配置为与至少一个规定外部设备进行通信的通信设备。
根据本公开的各种实施例，所述至少一个处理器可以控制以驱动通信设备将皮肤信息传输到至少一个规定的外部设备，并且可以控制以驱动通信设备从所述至少一个规定的外部设备接收与该皮肤信息相对应的至少一个信息。
根据本公开的各种实施例，如果发生激活与经由图像捕获确定皮肤状态相关联的规定图像捕获模式的事件，则至少一个处理器可以输出能够结合显示器的光发射设置至少一个特定波段的光的第二用户界面。
根据本公开的各种实施例，如果显示器的至少一个区域发射具有规定波段的光，则所述至少一个处理器可以控制以驱动光源设备、第一照相机和第二照相机中的至少一个。
图6a是示出了根据本公开实施例的在电子设备中提供皮肤信息的方法的流程图。
参考图6a，在操作601中，电子设备(例如，图2的电子设备100)的控制器(例如，图2的控制器140)(或处理器)可以确定由在执行特定应用(例如，照相机应用)的执行屏幕上的用户输入选择的图像捕获模式。这样，可以在执行应用程序的执行屏幕上包括与设置电子设备的图像捕获单元(例如，图2的图像捕获单元120)(或图像捕获模块)的图像捕获模式相关联的至少一个对象(例如，轻击按钮)。例如，与激活美颜图像捕获模式、全景图像捕获模式或连续图像捕获模式中的至少一个相关联的对象可以被包括在执行屏幕上。
在本公开的实施例中，如果用户输入激活了全景图像捕获模式或连续图像捕获模式之一，则在操作603中，控制器可以控制以驱动位于电子设备的前表面上的第一照相机(例如，图2的第一照相机125)或位于电子设备的后表面上的第三照相机(未示出)中的至少一个来捕获电子设备周围的区域。
替代地，如果在操作601中激活了与经由图像捕获确定用户皮肤状态相关联的美颜图像捕获模式，则在操作605中，控制器可以将执行该应用的执行屏幕转换为另一执行屏幕或用于支持控制电子设备的显示单元(例如，图2的显示单元150)(或显示器)的表面发射的相关用户界面。在本公开的实施例中，用户可以在另一执行屏幕或用户界面上设置与显示单元的表面发射相关联的特定波段的光。例如，用户可以设置显示单元使得显示单元用第一波段的光(例如，红色波段的光、绿色波段的光或蓝色波段的光)执行表面发射，且可以设置显示单元使得第一至第三波段的光(例如，红色波段的光、绿色波段的光和蓝色波段的光)中的至少两个具有规定的时间差(例如，在0.5秒至1秒的范围内的时间差)并执行表面发射。如果完成了对显示单元的表面发射的设置(对规定波段的光的设置)，则控制器可以进行控制以开始驱动第一照相机。因此，可以在显示单元的屏幕区域上显示用户身体的至少一部分。在本公开的实施例中，如果将用于指示执行第一照相机的图像捕获的用户输入提供给电子设备上的输入接口(例如，物理键按钮)，或如果经过了结合图像捕获设置的定时，则显示单元的屏幕区域可以用设定的规定波段的光执行表面发射并且可以显示为所述光的颜色。
在操作607中，响应于显示单元的表面发射，控制器可以控制在图像捕获单元中包括的光源模块(例如，图2的光源模块121)、第一照相机或第一照相机(例如，图2的第二照相机127)中的至少一个的功能操作。在这种情况下，光源模块可以例如将红外线发射到电子设备的前方，并且可以接收或检测从位于电子设备前方的用户身体的一个区域反射的红外线，以基于用户身体的一个区域上的红外线生成第一图像。此外，取决于显示单元基于规定波段的光的表面发射，第一照相机可以接收从用户身体的一个区域反射的规定波段的光，以基于表面发射来生成第二图像。在本公开的实施例中，如果由于显示单元的表面发射而引起的规定波段的光被设置为多个光，则可以响应于多个表面发射而由每个特定波段的光生成第二图像作为多个图像。
在操作609中，控制器可以通过规定的图像处理来执行第一图像和至少一个第二图像的配准。作为配准的示例，控制器可以从第一图像和至少一个第二图像中的每一个提取用户身体的至少一个区域的轮廓，并且可以识别轮廓的内部区域上的至少一个特征点。控制器可以执行第一图像和至少一个第二图像的配准，使得在第一图像和至少一个第二图像上彼此对应的特征点彼此相同。
在操作611中，控制器可以通过配准生成第三图像，并且可以针对第三图像执行一系列分析处理。控制器可以基于分析结果获得和与第三图像相对应的用户身体的一个区域有关的皮肤信息。例如，控制器可以根据第三图像的每个像素的颜色与规定的肤色指数进行比较，并且可以收集与每个像素有关的肤色信息(例如，将多个肤色信息进行平均或提取多个肤色信息中的权重信息)，以获得与用户身体的一个区域有关的肤色信息。替代地，控制器可以基于第三图像获得与用户身体的至少一个区域有关的黑色素指数或红斑指数的信息。因此，控制器可以参考在存储单元(例如，图2的存储单元130)(或存储器)中构建的数据库来确定与第三图像的每个像素的颜色相对应的规定波段的光并且可以生成针对为每个像素确定的规定波段的光的波谱。在本公开的实施例中，控制器可以基于针对特定像素生成的波谱的梯度来确定与特定像素对应的用户身体的区域的黑色素指数。例如，控制器可以确定当波谱的梯度更加锐利时，用户身体的区域具有较高的黑色素指数。替代地，控制器可以基于针对特定像素生成的波谱的面积来确定与特定像素对应的用户身体的区域的红斑指数。控制器可以确定当面积更宽时，用户身体的区域具有较高的红斑程度。控制器可以响应于在执行特定应用(例如，图库应用或健康管理服务应用)的执行屏幕上执行的用户输入来输出所获得的或确定的与用户身体的一个区域有关的皮肤信息(例如，肤色信息、黑色素指数信息或红斑指数信息)。
根据各种实施例的用于在电子设备中提供皮肤信息的方法可以包括：基于被配置为发射规定波段的电磁波的光源设备、第一照相机以及被配置为检测电磁波的第二照相机，捕获用户身体的至少一部分的图像；基于驱动显示器的至少一个像素，从电子设备的显示器的至少一个区域发出规定颜色的光；当以规定颜色发光时，控制驱动图像捕获设备以由第一照相机获得第一捕获图像并由第二照相机获得第二捕获图像；以及对第一捕获图像和第二捕获图像执行配准以生成第三图像。
根据本公开的各种实施例，所述方法还可以包括针对与特定波段的光相对应的图像颜色构建数据库，并参考该数据库确定与第三图像的每个像素的颜色相对应的特定波段的光。
根据本公开的各种实施例，所述确定规定波段的光可以包括生成针对与第三图像的特定像素相对应的特定波段的光的光谱，并且基于所述光谱确定针对与所述特定像素相对应的用户身体的一个区域的皮肤状态。
根据本公开的各种实施例，所述确定皮肤状态可以包括基于光谱的梯度来确定用户身体的一个区域的黑色素指数，并且可以基于光谱的面积来确定针对用户身体的一个区域的红斑指数。
根据本公开的各种实施例，所述生成第三图像可以包括：收集与第三图像的每个像素有关的颜色信息，以及确定与第三图像相对应的用户身体的一个区域的肤色。
根据本公开的各种实施例，所述方法还可以包括输出第一用户界面，所述第一用户界面包括第一捕获图像或将规定效果分配给第一捕获图像的校正图像。
根据本公开的各种实施例，所述输出第一用户界面可以包括：如果在第一捕获图像或校正图像的一个区域上发生用户输入事件，则从第三图像的至少一个像素中识别与第一捕获图像或校正图像上的用户输入区域相对应的像素，并且输出和与所识别的像素相对应的用户身体的一个区域有关的皮肤信息。
根据本公开的各种实施例，所述方法还可以与至少一个规定外部设备进行通信。
根据本公开的各种实施例，所述通信可以包括将皮肤信息传输到至少一个规定的外部设备，并且从所述至少一个规定的外部设备接收与该皮肤信息相对应的至少一个信息。
根据本公开的各种实施例，所述方法还可以包括：如果发生激活与经由图像捕获确定皮肤状态相关联的规定图像捕获模式的事件，则输出能够结合显示器的光发射设置至少一个特定波段的光的第二用户界面。
根据本公开的各种实施例，第二用户界面的输出可以包括：如果显示器的至少一个区域发射具有规定波段的光，则控制以驱动光源设备、第一照相机和第二照相机中的至少一个。
图6b是根据本公开实施例的与在电子设备中提供皮肤信息相关联的服务平台。
参考图6b，在操作615中，控制器(例如，图2的控制器140)(或处理器)可以识别位于电子设备(例如，图2的电子设备100)前面的用户身体的一个区域(例如，面部)。例如，如果激活与驱动图像捕获单元(例如，图2的图像捕获单元120)(或图像捕获模块)相关联的规定图像捕获模式(例如，与确定用户皮肤状态相关联的美颜图像捕获模式)，并且如果完成对与显示单元(例如，图2的显示单元150)(或显示器)的表面发射相关联的规定波段的光的设置，则控制器可以识别用户身体。因此，控制器可以进行控制以驱动第一照相机(例如，图2的第一照相机125)(例如，前置照相机)在显示单元的屏幕区域上显示用户身体的一个区域。在该操作中，控制器可以在屏幕区域上输出用作用户身体的特定区域(例如，面部)的聚焦向导的对象(或轮廓)。在本公开的实施例中，控制器可以确定用户身体的一个区域是否对应于该对象。如果用户身体的一个区域以规定的阈值比率或更大比率对应于该对象，则控制器可以将用户身体的所述一个区域识别为面部。替代地，控制器可以通过提取在屏幕区域上显示的用户身体的一个区域的至少一个特征点并且将提取的特征点与先前存储的用户面部上的特征点进行映射来识别用户面部。替代地，控制器可以通过控制以驱动图像捕获单元的光源模块(例如，图2的光源模块121)(例如，irled或irld)和第二照相机(例如，图2的第二照相机127)并识别用户的虹膜，来识别用户面部。
如果完成对用户身体的至少一个区域的识别，则可以执行操作617、619或621中的至少一个。可以同时或以规定的顺序执行操作617、619或621中的至少一个。例如，在在操作621中执行了显示单元基于特定波段的光的表面发射之后，可以通过驱动光源模块、第一照相机和第二照相机来开始操作617和619以生成第一图像(例如，基于红外线的图像)和第二图像(例如，基于表面发射的图像)。
如果生成了第一图像和第二图像，则在操作623中，控制器可以执行一系列处理(例如，图6a的操作609和611)以生成对第一图像和第二图像进行配准的第三图像，并可以基于第三图像获得与所捕获的用户身体的一个区域有关的皮肤信息。
在操作625中，控制器可以将皮肤信息存储在存储单元(例如，图2的存储单元130)(或存储器)的一个区域中，并且可以响应于用户控制来读取存储的皮肤信息，以通过规定的应用程序(例如，图库应用和/或健康管理服务应用)提供所获得的皮肤信息。
替代地，在操作627、629或631中的至少一个中，控制器可以响应于用户控制或规定的调度信息而将皮肤信息传输到与电子设备构建网络的至少一个外部设备(例如，医疗机构服务器、化妆品公司服务器、美容公司服务器、在线/离线购物中心公司服务器等)。在该操作中，控制器可以根据用户控制而仅将皮肤信息的至少一部分传输到至少一个外部设备。在本公开的一个实施例中，基于将所述皮肤信息发送到外部设备，用户可以访问操作所述外部设备的机构或公司，或可以请求该机构或公司远程提供调查表，或可以请求该机构或公司推荐与所传送的皮肤信息相对应的美容产品。因此，控制器可以接收从该机构或公司提供的与所述请求相关联的反馈信息或产品信息，并且可以根据用户控制来输出反馈信息或产品信息。
图7示出了根据本公开实施例的网络环境中的电子设备。
参考图7，将参考图7来描述根据本公开各种实施例的网络环境700中的电子设备701。电子设备701可以包括总线710、处理器720、存储器730、输入/输出接口750、显示器760和通信接口770。在本公开的各种实施例中，可以省略上述元件中的至少一个或可以向电子设备701添加另一元件。
总线710可以包括用于将上述元件710至770彼此连接并在上述元件之间传送通信(例如，控制消息和/或数据)的电路。
处理器720可以包括cpu、应用处理器(ap)或通信处理器(cp)中的至少一个。处理器720可以执行与电子设备701的其他元件中的至少一个的通信和/或控制相关的操作或数据处理。
存储器730可以包括易失性存储器和/或非易失性存储器。存储器730可以存储与电子设备701的其他元件中的至少一个相关的指令或数据。根据本公开的实施例，存储器730可以存储软件和/或程序740。程序740可以包括例如内核741、中间件743、应用编程接口(api)745和/或应用程序(或应用)747。内核741、中间件743或api745的至少一部分可以被称为操作系统(os)。
内核741可以控制或管理用于执行其它程序(例如，中间件743、api745或应用程序747)的操作或功能的系统资源(例如，总线710、处理器720、存储器730等)。此外，内核741可以提供接口，该接口允许中间件743、api745或应用程序747访问电子设备701的各个部件以便控制或管理系统资源。
中间件743可以起到中介的作用，使得api745或应用程序747与内核741通信和/或交换数据。
此外，中间件743可以根据优先级来处理从应用程序747接收到的一个或多个任务请求。例如，中间件743可以向至少一个应用程序747分配使用电子设备701的系统资源(例如，总线710、处理器720、存储器730等)的优先级。例如，中间件743可根据向至少一个应用分配的优先级来处理一个或更多个任务请求，从而对该一个或更多个任务请求执行调度或负载均衡。
作为允许应用程序747控制由内核741或中间件743提供的功能的接口，api745可以包括例如至少一个接口或功能(例如，指令)，以进行文件控制、窗口控制、图像处理、字符控制等。
输入/输出接口750可以用于向电子设备701的其他部件传送从用户或其他外部设备输入的指令或数据。此外，输入/输出接口750可以向用户或其他外部设备输出从电子设备701的其他部件接收到的指令或数据。
显示器760可以包括例如液晶显示器(lcd)、发光二极管(led)显示器、有机发光二极管(oled)显示器、微机电系统(mems)显示器、或电子纸显示器。显示器760可以向用户呈现各种内容(例如，文本、图像、视频、图标、符号等)。显示器760可以包括触摸屏，并可以接收来自电子笔或用户身体部位的触摸、手势、接近或悬停输入。
通信接口770可以设置电子设备701和外部设备(例如，第一外部电子设备702、第二外部电子设备704或服务器706)之间的通信。例如，通信接口770可以经由无线通信或有线通信与网络762相连，以便与外部设备(例如，第二外部电子设备704或服务器706)进行通信。
无线通信例如可以使用以下至少一项蜂窝通信协议：例如，长期演进(let)、lte-高级(lte-a)、码分多址(cdma)、宽带cdma(wcdma)、通用移动电信系统(umts)、无线宽带(wibro)或全球移动通信系统(gsm)。无线通信可以包括例如短距离通信764。短距离通信可以包括无线保真(wi-fi)、蓝牙、近场通信(nfc)、磁条传输(mst)或gnss中的至少一个。
mst可以根据传输数据产生脉冲，所述脉冲可以产生电磁信号。电子设备701可以将电磁信号发射至诸如pos(销售点)设备之类的读取设备。pos设备可以通过使用mst读取器来检测磁信号，并且通过将检测到的电磁信号转换为电信号来恢复数据。
根据使用区域或带宽，gnss可以包括例如以下至少一项：全球定位系统(gps)、全球导航卫星系统(glonass)、北斗导航卫星系统(下文中，“北斗”)、或伽利略(欧洲全球卫星导航系统)。在下文中，术语“gps”和“gnss”可以互换使用。有线通信可以包括以下各项中的至少一个：通用串行总线(usb)、高清多媒体接口(hdmi)、推荐标准232(rs-232)、普通老式电话业务(pots)等。网络762可以包括电信网络中的至少一个，例如，计算机网络(例如，局域网(lan)或广域网(wan))、互联网或电话网络。
第一外部电子设备702和第二外部电子设备704的类型可以与电子设备701的类型相同或不同。根据本公开的实施例，服务器706可以包括具有一个或多个服务器的组。在电子设备701中执行的操作的一部分或全部可以在一个或多个其他电子设备(例如，第一外部电子设备702、第二外部电子设备704或服务器706)中执行。当电子设备701自动地或者响应于请求而应该执行特定功能或服务时，代替其自身执行所述功能或服务或者在其自身执行所述功能或服务之外，电子设备701可以向另一设备(例如，第一外部电子设备702、第二外部电子设备704或服务器706)请求与所述功能或服务相关的至少一部分功能。该另一电子设备(例如，第一外部电子设备702、第二外部电子设备704或服务器706)可以执行所请求的功能或附加功能，并可以向电子设备701传输执行的结果。电子设备701可以使用自己接收的结果，或附加地处理接收到的结果，以提供所请求的功能或服务。为此目的，可以使用例如云计算技术、分布式计算技术或客户端-服务器计算技术。
图8是示出了根据本公开实施例的电子设备的框图。
参考图8，电子设备801可以包括例如图7所示的电子设备701的整体或一部分。电子设备801可以包括一个或多个处理器810(例如，应用处理器(ap))、通信模块820、订户标识模块(sim)829、存储器830、安全模块836、传感器模块840、输入设备850、显示器860、接口870、音频模块880、照相机模块891、电源管理模块895、电池896、指示器897和电机898。
处理器810可以驱动例如操作系统(0s)或应用程序，以控制与其相连的多个硬件或软件组件，并可以处理和计算各种数据。例如，处理器810可以用片上系统(soc)来实现。根据本公开的实施例，处理器810可以包括图形处理单元(gpu)(未示出)和/或图像信号处理器(未示出)。处理器810可以包括图8所示的组件中的至少一些(例如，蜂窝模块821)。处理器810可以将从至少一个其它组件(例如，非易失性存储器)接收的命令或数据加载到易失性存储器中以处理数据，并且将各种数据存储在非易失性存储器中。
通信模块820可以具有与图7的通信接口770相同或相似的配置。通信模块820可以包括例如蜂窝模块821、wi-fi模块822、蓝牙(bt)模块823、全球导航卫星系统(gnss)模块824(例如，gps模块、glonass模块、北斗模块、或伽利略模块)、近场通信(nfc)模块825、mst模块826、和射频(rf)模块827。
蜂窝模块821可以通过通信网络来提供例如语音呼叫服务、视频呼叫服务、文本消息服务、或互联网服务等。根据本公开的实施例，蜂窝模块821可以使用sim829(例如，sim卡)在通信网络中标识和认证电子设备801。根据本公开的实施例，蜂窝模块821可以执行可由处理器810提供的功能中的至少一部分。根据本公开的实施例，蜂窝模块821可以包括cp。
wi-fi模块822、bt模块823、gnss模块824、nfc模块825或mst模块826可以包括例如用于对通过对应模块发送和接收的数据进行处理的处理器。根据本公开的各种实施例，蜂窝模块821、wi-fi模块822、bt模块823、gnss模块824、nfc模块825或mst模块826中的至少一些(例如，两个或更多个)可以被包括在一个集成芯片(tc)或一个ic封装中。
rf模块827可以发送和接收例如通信信号(例如，rf信号)。尽管未示出，rf模块827可以包括例如收发机、功率放大模块(pam)、频率滤波器或低噪声放大器(lna)或天线等。根据本公开的另一实施例，蜂窝模块821、wi-fi模块822、蓝牙模块823、gnss模块824、nfc模块825或mst模块826中的至少一个可以通过单独的rf模块来发送和接收rf信号。
例如，sim829可以包括例如包含sim和/或嵌入式sim的卡。sim829可以包括唯一标识信息(例如，集成电路卡标识符(iccid))或者订户信息(例如，国际移动订户身份(imsi))。
存储器830(例如，图7的存储器730)可包括例如嵌入式存储器832或者外部存储器834。嵌入式存储器832可以包括以下至少一项：例如，易失性存储器(例如，动态随机访问存储器(dram)、静态ram(sram)、同步动态ram(sdram)等)或非易失性存储器(例如，一次性可编程只读存储器(otprom)、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、掩模rom、闪存rom、闪存(例如，nand闪存或nor闪存等)、硬盘驱动器或固态驱动器(ssd))。
外部存储器834可以包括闪存驱动器，例如紧凑型闪存(cf)、安全数字(sd)、微型sd、迷你型sd、极限数字(xd)、多媒体卡(mmc)或存储棒等。外部存储器834可以通过各种接口与电子设备801操作地和/或物理地相连。
安全模块836可以是比存储器830具有相对更高安全级别的模块，并且可以是存储安全数据且确保受保护执行环境的电路。安全模块836可以用单独的电路来实现，并且可以包括单独的处理器。安全模块836可以包括例如存在于可移除智能芯片或可移除sd卡中或嵌入在电子设备801的固定芯片中的嵌入式安全元件(ese)。此外，安全模块836可以由与电子设备801的os不同的os来驱动。例如，安全模块836可以基于java卡开放平台(.jcop)os来操作。
传感器模块840可以测量例如物理量或可以检测电子设备801的操作状态，并将测量或检测到的信息转换为电信号。传感器模块840可以包括例如以下至少一项：手势传感器840a、陀螺仪传感器840b、气压传感器840c、磁传感器840d、加速度传感器840e、握力传感器840f、接近传感器840g、颜色传感器840h(例如，红、绿、蓝(rgb)传感器)、生物特征传感器840i、温度/湿度传感器840j、照度传感器840k或紫外线(uv)传感器840m。附加地或替代地，传感器模块840还可以包括例如电子鼻传感器(未示出)、肌电图(emg)传感器(未示出)、脑电图(eeg)传感器(未示出)、心电图(ecg)传感器(未示出)、ir传感器(未示出)、虹膜传感器(未示出)和/或指纹传感器(未示出)等。传感器模块840还可以包括用于控制其中包括的至少一个或多个传感器的控制电路。根据本公开的各种实施例，电子设备801还可以包括被配置为控制传感器模块840的处理器(作为处理器810的一部分，或者独立于处理器810)。当处理器810处于睡眠状态时，电子设备801可以控制传感器模块840。
输入设备850可以包括例如触摸面板852、(数字)笔传感器854、按键856或超声输入设备858。触摸面板852可以使用例如电容型、电阻型、红外型、或超声型中的至少一种。此外，触摸面板852还可以包括控制电路。触摸面板852还可以包括触觉层，并可以向用户提供触觉反应。
(数字)笔传感器854可以是例如触摸面板852的一部分，或可以包括用于识别的单独片。按键856可以包括例如物理按钮、光学键或键区。超声输入设备858可以允许电子设备801使用麦克风(例如，麦克风888)来检测声波以及通过生成超声信号的输入工具来验证数据。
显示器860(例如，图7的显示器760)可以包括面板862、全息设备864或投影仪866。面板862可以包括与显示器760相同或相似的配置。面板862可以被实现为例如柔性、透明或可穿戴的。面板862和触摸面板852可以集成为一个模块。全息设备864可以使用光的干涉在空中示出立体图像。投影仪866可以将光投影到屏幕上以便显示图像。屏幕可以位于例如电子设备801内部或外部。根据本公开实施例，显示器860还可以包括用于控制面板862、全息设备864、或投影仪866的控制电路。
所述接口870可以包括例如hdmi872、usb874、光学接口876或d-超小型878。例如，接口870可以包括在图7所示的通信接口770中。附加地或替代地，接口870可以包括例如移动高清链路(mhl)接口、sd卡/mmc接口或红外数据协会(irda)标准接口。
音频模块880可以双向转换声音和电信号。音频模块880的至少一部分组件可被包括在例如图7所示的输入和输出接口750(或用户接口)中。音频模块880可以处理通过例如扬声器882、听筒884、耳机886或麦克风888等输入或输出的声音信息。
照相机模块891可以是捕获静止图像和运动图像的设备。根据本公开的实施例，照相机模块891可以包括一个或多个图像传感器(未示出)(例如，正面传感器或背面传感器)、镜头(未示出)、图像信号处理器(isp)(未示出)或闪光灯(未示出)(例如，led或氙灯)。
电力管理模块895可以管理例如电子设备801的电力。根据本公开的实施例，尽管未示出，电源管理模块895可以包括电源管理集成电路(pmic)、充电ic或电池或燃料表。pmic可以具有有线充电方法和/或无线充电方法。无线充电方法可以包括例如磁共振方法、磁感应方法或电磁方法等。还可以提供用于无线充电的附加电路，例如线圈回路、共振电路或整流器等。电池量表可以测量例如电池896的剩余容量以及对电池896充电时电池的电压、电流或温度。电池896可以包括例如可再充电电池或太阳能电池。
指示器897可以显示电子设备801或其一部分(例如，处理器810)的特定状态，例如引导状态、消息状态或充电状态等。电机898可以将电信号转换成机械振动，并且可以产生振动或触觉效果等。尽管未示出，电子设备801可以包括支持移动tv的处理单元(例如，gpu)。用于支持移动tv的处理单元可以根据诸如数字多媒体广播(dmb)标准、数字视频广播(dvb)标准或mediaflotm等标准来处理媒体数据。
根据本公开各种实施例的电子设备的上述元件中的每个元件可以配置有一个或多个组件，并且对应元件的名称可以根据电子设备的类型而改变。根据本公开多种实施例的电子设备可以包括上述元件中的至少一个元件，可以从该电子设备中省略一些元件，或可以在该电子设备中进一步添加其他附加元件。此外，根据本公开各种实施例的电子设备的一些元件可以彼此组合以形成一个整体，从而可以按照与组合之前实质上相同的方式执行相应部件的功能。
图9是示出了根据本公开实施例的程序模块的框图；
参考图9，根据本公开的实施例，程序模块910(例如，图7的程序740)可以包括用于控制与电子设备(例如，图7的电子设备701)相关的资源的操作系统(os)和/或在os上执行的各种应用(例如，图7的应用程序747)。0s可以是例如android、i0s、windows、symbian、tizen、bada等。
程序模块910可以包括内核920、中间件930、api960和/或应用970。程序模块910的至少一部分可以预先加载在电子设备上，或可以从外部电子设备(例如，图7的第一外部电子设备702、第二外部电子设备704或服务器706等)下载。
内核920(例如，图7的内核741)可以包括例如系统资源管理器921和/或设备驱动器923。系统资源管理器921可以对系统资源进行控制、指派或采集等。根据本公开的实施例，系统资源管理器921可以包括进程管理单元、存储器管理单元或文件系统管理单元等。设备驱动器923可以包括例如显示器驱动器、照相机驱动器、bt驱动器、共享存储器驱动器、usb驱动器、键盘驱动器、wi-fi驱动器、音频驱动器或进程间通信(ipc)驱动器。
中间件930(例如，图7的中间件743)可以提供例如应用970通常需要的功能，并且可以通过api960向应用970提供各种功能，使得应用970有效率地使用电子设备内的有限系统资源。根据本公开的实施例，中间件930(例如中间件743)可包括以下至少一项：运行时间库935、应用管理器941、窗口管理器942、多媒体管理器943、资源管理器944、电源管理器945、数据库管理器946、包管理器947、连接性管理器948、通知管理器949、位置管理器950、图形管理器951、安全管理器952或支付管理器954。
运行时间库935可以包括例如由编译器使用的库模块，以便在执行应用970的同时通过编程语言来添加新的功能。运行时间库935可以执行与输入和输出管理、存储器管理或算术功能有关的功能。
应用管理器941可以管理例如至少一个应用970的生命周期。窗口管理器942可以管理电子设备的屏幕上使用的图形用户界面(gui)资源。多媒体管理器943可以确定用于再现各种媒体文件所使用的格式，并且可以通过使用与相应格式相对应的编解码器来对媒体文件进行编码或解码。资源管理器944可以管理至少一个应用970的源代码，并且可以管理存储器或存储空间的资源等。
电源管理器945可以和例如基本输入/输出系统(bios)等一起操作，可以管理电池或电源，并可以提供用于电子设备的操作的电源信息。数据库管理器946可以生成、搜索、或改变要在至少一个应用970中使用的数据库。分组管理器947可以管理对以分组文件类型分发的应用的安装或更新。
连接管理器948可以管理例如无线连接，例如wi-fi连接或bt连接等。通知管理器949可以按照不会干扰用户的方式来显示或通知事件，例如到达消息、约会和接近通知。位置管理器950可以管理电子设备的位置信息。图形管理器951可管理要被提供给用户的图形效果或与图形效果相关的用户界面(ui)。安全管理器952可以提供用于系统安全或用户认证等所使用的全部安全功能。根据本公开的实施例，当电子设备(例如，图7的电子设备701)具有电话功能时，中间件930还可以包括电话管理器(未示出)，用于管理电子设备的语音通信功能或视频通信功能。
中间件930可以包括中间件模块，所述中间件模块配置上述组件的各种功能的组合。中间件930可以提供根据每种os的类型而被专门化的模块，以便提供差异化的功能。此外，中间件930可以动态地删除现有组件中的一些，或可以添加新组件。
api960(例如，图7的api745)可以是例如api编程函数的集合，并且可以根据os而具有不同的组件。例如，在android或ios的情况下，可以根据平台提供一个api集合。在tizen的情况下，可以根据平台提供两个或更多api集合。
应用970(例如，图7的应用程序747)可以包括以下一个或多个应用：例如，主页应用971、拨号盘应用972、短消息服务/多媒体消息服务(sms/mms)973、即时消息(im)应用974、浏览器应用975、照相机应用976、闹钟应用977、联系人应用978、语音拨号应用979、电子邮件应用980、日历应用981、媒体播放器应用982、相册应用983、时钟应用984、支付应用985、保健应用(例如，测量锻炼量或血糖的应用等)或环境信息应用(例如，用于提供气压信息、湿度信息或温度信息的应用等)等。
根据本公开的实施例，应用970可以包括用于在电子设备(例如，图7的电子设备701)和外部电子设备(例如，第一外部电子设备702或第二外部电子设备704)之间交换信息的应用(在下文中，为了更好地理解和易于描述，称为“信息交换应用”)。例如，信息交换应用可以包括用于向外部电子设备发送特定信息的通知中继应用或用于管理外部电子设备的设备管理应用。
例如，通知中继应用可以包括向外部电子设备(例如，第一外部电子设备702或第二外部电子设备704)发送电子设备的其他应用(例如，sms/mms应用、电子邮件应用、保健应用或环境信息应用等)所产生的通知信息的功能。此外，通知中继应用可以例如从外部电子设备接收通知信息，并可以将接收到的通知信息提供给电子设备的用户。
设备管理应用可以管理(例如，安装、删除或更新)例如与该电子设备通信的外部电子设备(例如，第一外部电子设备702或第二外部电子设备704)的至少一个功能(例如，接通/断开外部电子设备本身(或一部分组件)的功能、或调整显示器的亮度(或分辨率)的功能)、在外部电子设备中操作的应用、或从外部电子设备提供的服务(例如，呼叫服务或消息服务)。
根据本公开的实施例，应用970可以包括根据外部电子设备(例如，第一外部电子设备702或第二外部电子设备704)的属性而预设的应用(例如，移动医疗设备的健康卡应用)。根据本公开的实施例，应用970可以包括从外部电子设备(例如，服务器706、第一外部电子设备702或第二外部电子设备704)接收到的应用。根据本公开的实施例，应用970可以包括预加载的应用或可以从服务器下载的第三方应用。根据本公开各种实施例的程序模块910的组件名称可以根据os的类型而改变。
根据本公开各种实施例，程序模块910的至少一部分可以实现为软件、固件、硬件或其中的至少两个或更多个组合。程序模块910的至少一部分可以由例如处理器(例如，处理器810)来实现(例如，执行)。程序模块910的至少一部分可以包括例如用于执行一个或多个功能的模块、程序、例程、指令集、进程等。
本文使用的术语“模块”可以表示例如包括硬件、软件和固件之一或其组合在内的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”互换使用。“模块”可以是集成组件的最小单元或可以是其一部分。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。可以用机械方式或电子方式来实现“模块”。例如，“模块”可以包括用于执行已知的或将来开发的一些操作的专用集成电路(asic)芯片、现场可编程门阵列(fpga)和可编程逻辑器件中的至少一种。
根据本公开多种实施例的设备(例如，其模块或功能)或方法(例如，操作)的至少一部分可以实现为以程序模块形式存储在计算机可读存储介质中的指令。当通过处理器(例如，处理器720)执行所述指令时，处理器可以执行与所述指令相对应的功能。例如，计算机可读存储介质可以是存储器730。
本公开的某些方面还可以体现为非暂时性计算机可读记录介质上的计算机可读代码。非暂时性计算机可读记录介质是能够存储随后可由计算机系统读取的数据的任何数据存储设备。非暂时性计算机可读记录介质的示例包括只读存储器(rom)、随机存取存储器(ram)、压缩盘rom(cd-rom)、磁带、软盘和光学数据存储设备。非暂时计算机可读记录介质也可以分布在联网的计算机系统上，使得按照分布式方式存储和执行计算机可读代码。此外，用于实现本公开的功能程序、代码和代码段能够容易地被本公开所属领域的编程技术人员解译。
在这点上，应注意，如上所述的本公开的各种实施例通常在一定程度上涉及输入数据处理和输出数据生成。这种输入数据处理和输出数据生成可以用硬件或与硬件组合的软件来实现。例如，可以在移动设备或类似或相关电路中采用特定的电子组件，以实现与上述本公开的各种实施例相关联的功能。替代地，根据所存储的指令操作的一个或多个处理器可以实现与上述本公开的各种实施例相关联的功能。如果是这种情况，则这种指令可被存储在一个或多个非暂时性处理器可读介质上在本公开的范围内。处理器可读介质的示例包括rom、ram、cd-rom、磁带、软盘和光学数据存储设备。处理器可读介质还可以分布在联网的计算机系统上，使得按照分布方式存储和执行指令。此外，用于实现本公开的功能计算机程序、指令和指令段能够容易地被本公开所属领域的编程技术人员解译。
根据本公开各种实施例的模块或程序模块可以包括上述元件中的至少一个元件，并且可以省略一些元件，或可以添加其他额外的元件。由根据本公开各种实施例的模块、程序模块或其他部件执行的操作可以按照顺序、并行、迭代或启发式的方式执行。另外，一些操作可以按不同顺序执行，或可以被省略，或可以增加其他操作。
虽然参考本公开各实施例示出并描述了本公开，但是本领域技术人员将理解：在不脱离由所附权利要求及其等同物限定的本公开的范围的前提下，可以进行形式和细节上的各种改变。