用于识别外部对象的电子设备及其操作方法与流程

[0001]
本公开涉及用于基于相关信息识别外部对象的电子设备及其操作方法。


背景技术：

[0002]
随着信息和通信技术以及半导体技术的发展，电子设备已经发展成为以用户为中心根据空间和对象提供各种服务的多功能设备。例如，基于无线通信服务，电子设备可以提供各种服务，诸如产品购买和管理服务、用于各种外部电子设备的控制和管理服务以及用户特定的信息提供和管理服务。
[0003]
最近，随着用于提供识别通过相机获取的图像中包括的对象的功能的视觉系统已经发展，通过使用该功能，电子设备被用于更多不同领域。例如，电子设备可以基于通过相机获取的图像来识别对象，并且提供与所识别的对象相关的各种服务。
[0004]
以上信息作为背景信息呈现仅仅是为了帮助对本公开的理解。对于上述任何内容是否可用作关于本公开的现有技术，没有做出任何确定，也没有做出断言。


技术实现要素：

[0005]
通常，在对象识别功能中，仅使用包括在图像中的对象信息来检测和识别对象，但是在识别精度和可识别的对象类型方面存在限制，并且需要提高各种对象的识别精度的方法。
[0006]
本公开的各方面旨在至少解决上述问题和/或缺点，并且至少提供下述优点。因此，本公开的一个方面提供一种电子设备及其操作方法，以通过利用各种相关信息来提高外部对象的识别精度。
[0007]
另外的方面将在下面的描述中部分阐述，并且部分将从描述中显而易见，或者可以通过实施所呈现的实施例来了解。
[0008]
根据本公开的一个方面，提供一种电子设备。电子设备包括：被配置为存储对象列表和对象图像学习数据的存储器，以及可操作地连接到存储器的至少一个处理器，其中，至少一个处理器被配置为：获取包括特定对象的图像，基于用户购买历史信息更新对象列表，基于更新的对象列表收集与对象相关的图像数据以更新对象图像学习数据，基于更新的对象列表和更新的对象图像学习数据学习对象分类模型，并且通过学习的对象分类模型识别特定对象。
[0009]
根据本公开的一个方面，提供一种操作电子设备的方法。该方法包括：获取包括特定对象的图像，基于用户购买历史信息更新对象列表，基于更新的对象列表收集与对象相关的图像数据以更新对象图像学习数据，基于更新的对象列表和更新的对象图像学习数据学习对象分类模型，并且通过学习的对象分类模型识别特定对象。
[0010]
根据各种实施例，电子设备可以获取关于外部对象的图像信息和相关信息，并且基于所获得的信息提高外部对象的识别率。
[0011]
根据各种实施例，电子设备可以获取用于外部对象识别的相关信息，以添加学习
数据并学习对象分类模型，从而提高外部对象的图像识别性能。
[0012]
根据各种实施例，电子设备可以基于外部对象所处的位置，通过获取用于外部对象识别的相关信息来适当地限制要比较的对象的范围，从而节省用于外部对象识别的资源和时间。
[0013]
根据各种实施例，电子设备可以用少量资源快速且准确地识别外部对象，从而立即提供与外部对象相关联的各种用户服务。
[0014]
本公开的其他方面、优点和显著特征对于本领域技术人员来说将从以下结合附图公开了本公开的各种实施例的详细描述中变得显而易见。
附图说明
[0015]
从下面结合附图的描述中，本公开的某些实施例的上述和其他方面、特征、和优点将变得更加明显，其中:
[0016]
图1是根据本公开的实施例的网络环境中的电子设备的框图；
[0017]
图2是根据本公开的实施例的电子设备的功能框图；
[0018]
图3是示出根据本公开的实施例的用于识别电子设备中的外部对象的操作的流程图；
[0019]
图4是示出根据本公开的实施例的用于识别电子设备中的外部对象的操作的另一流程图；
[0020]
图5是示出根据本公开的实施例的用于识别(identify)电子设备中的外部对象的操作的流程图；
[0021]
图6是示出根据本公开的实施例的更新用于识别电子设备中的外部对象的对象分类模型的操作的流程图；
[0022]
图7a是根据本公开的实施例的用于描述根据电子设备的外部对象识别的服务提供操作的图；
[0023]
图7b是根据本公开的实施例的用于描述根据电子设备的外部对象识别的服务提供操作的图；和
[0024]
图7c是根据本公开的实施例的用于描述根据电子设备的外部对象识别的服务提供操作的图。
[0025]
贯穿附图，应当注意，类似的附图标记用于描述相同或相似的元件、特征和结构。
具体实施方式
[0026]
提供参考附图的以下描述是为了帮助全面理解由权利要求及其等同物限定的本公开的各种实施例。它包括有助于理解的各种具体细节，但这些仅仅是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。此外，为了清楚和简明起见，可以省略对众所周知的功能和结构的描述。
[0027]
在以下描述和权利要求中使用的术语和词语不限于文献意义，而是仅由发明人使用，以使得能够清楚和一致地理解本公开。因此，对于本领域技术人员来说，很明显，以下对本公开的各种实施例的描述仅仅是为了说明的目的而提供的，而不是为了限制由所附权利
要求及其等同物所限定的本公开。
[0028]
应当理解，单数形式的“一”、“一个”和“该”包括复数指代物，除非上下文另有明确指示。因此，例如，对“部件表面”的引用包括对一个或多个这样的表面的引用。
[0029]
图1是示出根据本公开的实施例的网络环境100中的电子装置101的框图。
[0030]
参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190(例如，通信电路或收发器)、用户识别模块(sim)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
[0031]
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(cpu)或应用处理器(ap))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(gpu)、图像信号处理器(isp)、传感器中枢处理器或通信处理器(cp))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
[0032]
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
[0033]
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
[0034]
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(os)142、中间件144或应用146。
[0035]
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的另一部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或
数字笔(例如，手写笔)。
[0036]
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
[0037]
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
[0038]
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
[0039]
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(ir)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
[0040]
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(hdmi)、通用串行总线(usb)接口、安全数字(sd)卡接口或音频接口。
[0041]
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如hdmi连接器、usb连接器、sd卡连接器或音频连接器(例如，耳机连接器)。
[0042]
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
[0043]
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
[0044]
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(pmic)的至少部分。
[0045]
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
[0046]
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(ap))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(gnss)通信模块)或有线通信模块194(例如，局域网(lan)通信模块或电力线通信(plc)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(wi-fi)直连或红外数据协会(irda))或第二网络199(例如，长距离通信网
络，诸如蜂窝网络、互联网、或计算机网络(例如，lan或广域网(wan)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(imsi))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
[0047]
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(pcb))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(rfic))可附加地形成为天线模块197的一部分。
[0048]
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(gpio)、串行外设接口(spi)或移动工业处理器接口(mipi))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
[0049]
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
[0050]
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
[0051]
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“a或b”、“a和b中的至少一个”、“a或b中的至少一个”、“a、b或c”、“a、b和c中的至
少一个”以及“a、b或c中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
[0052]
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(asic)的形式来实现模块。
[0053]
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性存储介质”是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。例如，“非暂时性存储介质”可以包括临时存储数据的缓存器。
[0054]
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(cd-rom))的形式来发布计算机程序产品，或者可经由应用商店(例如，play storetm)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品(例如，可下载应用)中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
[0055]
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
[0056]
图2是根据本公开的实施例的电子设备的功能框图。这种电子设备的功能配置可以被包括在图1所示的电子设备101中。
[0057]
参考图2，电子设备101可以包括存储器130、相机模块180和对象识别模块200。
[0058]
根据各种实施例，对象识别模块200可以表示与通过处理获取的图像以获得图像信息并基于图像信息提取对象区域来识别对象相关的功能处理模块的示例。在各种实施例中，对象识别模块200可以作为硬件模块被包括在包括处理电路的处理器(例如，图1的处理器120)中，或者作为软件模块被包括。
[0059]
根据各种实施例，存储器130可以存储控制电子设备101的对象识别操作的指令、控制命令代码、控制数据或相关数据。
[0060]
根据各种实施例，存储器130可以包括域对象列表(domainobject list)131、购买记录(历史)133和/或学习数据135作为数据库。
[0061]
例如，存储器130的域对象列表131可以包括用于分类多个对象的域信息，以及域信息中包括的多个对象类型中的每一个的对象名称列表。域信息可以被用于基于根据各种标准分类的各种地点(诸如住宅或公司)，来将多个对象分类到不同的域中。如果需要的话，对于某些域，可以根据各种标准，例如，对象功能或使用目的，将域信息重新分类为多个子域。例如，域对象列表131可以被分类为包括被包括在类型信息中的多个对象类型中的至少一些的子类型。例如，域对象列表131可以将详细地点(诸如起居室、房间、厨房或浴室)分类作为住宅域(例如，根据基于分类的域信息的地点的域当中的“住宅”项)的子域，并且可以将对象类型(诸如电子设备、家具、工具等)进行分类，其可以被包括在子域(诸如，例如厨房)中。冰箱、微波炉、咖啡机等可以被包括作为电子设备类型，而餐桌、椅子、架子等可被包括作为家具类型。
[0062]
例如，存储器130的购买记录(历史)133可以包括根据每个用户的实际产品的购买历史的购买产品信息和/或关于产品的相关信息。此外，购买记录(历史)133可以包括根据用户的网络搜索历史的预期购买产品和/或关于产品的相关信息。
[0063]
例如，存储在购买记录(历史)133中的产品信息和/或产品相关信息可以从电子设备101、或存在于相应空间中的其他电子设备、或由用户使用的其他电子设备(例如，图1的电子设备102或104)获取。例如，存储在购买记录(历史)133中的产品信息和/或关于产品的相关信息可以从包括产品搜索网站(诸如亚马逊、阿里巴巴或淘宝)的外部设备(例如，图1的电子设备102或104或服务器108)获取。
[0064]
根据各种实施例，每当出现购买或网络搜索记录时，对象识别模块200可以例如从包括产品搜索网站的外部设备获取产品信息和/或关于产品的相关信息。
[0065]
根据各种实施例，每当出现购买历史时，对象识别模块200可以通过例如来自包括产品搜索网站的外部设备的推送提醒(alarm)来接收相应的购买和产品信息和/或关于产品的相关信息。
[0066]
根据各种实施例，对象识别模块200可以例如检查购买历史或产品搜索是否每隔预定时段发生(例如，每两天一次)，并且如果是，则可以从包括产品搜索网站的外部设备获得产品信息和/或关于产品的相关信息。
[0067]
例如，存储器130的学习数据135可以包括，基于域对象列表131，识别对象所需的各种图像数据和相关数据。例如，学习数据135可以从学习数据管理服务器108被获得并被
存储在存储器130中。例如，学习数据135可以包括学习数据，该学习数据包括各种信息，诸如用于对特定域(诸如，地点)进行分类的对象图像。
[0068]
例如，学习数据135可以包括属于每个域的每个对象类型的类型信息。类型信息可以是基于多个对象的公共点(common point)生成的信息，其可以被分类为公共类型。例如，学习数据135可以包括关于属于每个域的每个对象类型的关键点(key-point)的信息。关键点信息可以是通过图像处理获得的信息。例如，对应于每种类型的对象可以对应于包括公共特征拐角点(corner point)的形状。学习数据135可以存储关于每种类型的特征形状的信息作为关键点信息。
[0069]
根据各种实施例，对象识别模块200可以包括图像处理模块210、对象提取模块220、域选择模块230、对象分类模块240和/或学习数据管理模块250。
[0070]
根据各种实施例，图像处理模块210可以处理例如包括从例如相机模块180或外部设备(未示出)获得的对象的原始图像并且输出已经被预处理(诸如镜头失真补偿或噪声去除)的图像信息以提高图像识别率。
[0071]
根据各种实施例，对象提取模块220可以分析图像信息并识别以提取对象(或对象区域)。例如，对象提取模块220可以输出由来自图像信息的相似特征点组成的区域作为对象区域。例如，对象提取模块220可以使用各种识别算法(诸如标量不变特征变换(sift)算法和加速鲁棒特征(surf)算法)来提取边缘、拐角和轮廓的特征点。这仅仅是示例，本公开的实施例不限于此，并且可以参考结合各种已知技术来识别对象。例如，对象提取模块220可以通过根据从对象反射的信号生成点云(point cloud)来识别对象，该点云是以体素(voxel)形式定义对象的点的集合。
[0072]
根据各种实施例，域选择模块230可以选择用于对象分类的域，并从存储器130的域对象列表131加载相应域的对象列表。例如，域选择模块230可以基于电子设备101的位置标识，选择电子设备101所位于的特定空间(诸如住宅或公司)作为用于对象分类的域。为此，域选择模块230可以使用例如与电子设备101通信的各种接入提供商(ap)(诸如，无线保真(wifi)中继器)的标识信息，用于位置标识的位置标识信息(诸如，全球定位系统(gps)信息)，以及用于基于位置标识的各种标识符来识别位置的各种应用。可选地或补充地，域选择模块230可以从包括对象的图像中提取能够识别地点的其他对象信息或其他地点相关信息，并基于此选择域。
[0073]
根据各种实施例，对象分类模块240可以基于学习数据135来识别对象。例如，基于由域选择模块230选择的域中包括的对象列表，对象分类模块240可以使用学习数据135输出与从对象提取模块220提取的对象或对象区域相对应的对象的名称。例如，对象分类模块240可以基于由域选择模块230选择的域中包括的对象列表，将对象信息(诸如由对象提取模块220提取的对象或对象区域的图像信息或特征点信息)与存储在学习数据135中的数据进行比较，搜索对应于域对象列表的数据，确定匹配对象信息的数据，并且输出对应于该数据的对象名称。为此，例如，对象分类模块240可以针对存储在学习数据135中的每个特征点信息计算指示与所提取的对象的特征点信息的相似度的相似度，并且可以检查超过参考相似度的至少一个特征点信息。为此，对象分类模块240可以包括人工智能模块和/或高级图像识别框架(air框架)。对象分类模块240可以基于作为对象信息的对象区域的特征点来分析对象区域，计算分析信息，并由此计算关键词或元数据。
[0074]
根据各种实施例，当对象分类模块240不能通过分析和/或匹配来识别与超过参考相似度的对象信息相对应的对象时，对象分类模块240可以通过购买记录(历史)133来更新域对象列表131。
[0075]
根据各种实施例，对象分类模块240可以根据域对象列表131的更新通过学习数据管理模块250来更新学习数据。
[0076]
根据各种实施例，基于使用更新的域对象列表131选择的域的对象列表，对象分类模块240可以使用更新的学习数据再次执行对象识别操作。
[0077]
根据各种实施例，当必要时(诸如当对象识别失败时)，对象分类模块240可以输出用于引导用户通过输入设备(例如，图1的输入设备150)进行输入的信息，以例如通过例如显示设备(例如，图1的显示设备160)接收对象名称。
[0078]
根据各种实施例，对象分类模块240可以向外部服务器108发送对象相关信息(诸如基于购买记录(历史)133的对象名称)，并且可以通过从外部服务器108下载通过添加与基于购买记录(历史)133的对象相关的学习数据所更新的学习数据来更新学习数据135。
[0079]
根据各种实施例，域选择模块230或对象分类模块240可以基于包括根据购买历史的产品购买信息和/或产品搜索信息的用户购买活动信息，检查购买记录(历史)133并更新域对象列表131。
[0080]
根据各种实施例，学习数据管理模块250可以获取对象信息(诸如与购买记录(历史)133相对应的对象的图像)，并且通过添加到学习数据135来更新该学习数据135，并且对象分类模块240可以基于更新的域对象列表131和更新的学习数据135来分类对象。对象图像可以包括例如用于商品销售的高分辨率图像，并且可以例如通过诸如亚马逊、阿里巴巴或淘宝的产品搜索网站获得。
[0081]
根据各种实施例，电子设备(例如，图1和图2的电子设备101)可以包括存储对象列表和对象图像学习数据的存储器(例如，图1和图2的存储器130)，以及可操作地连接到存储器的处理器(例如，图1和图2中的处理器120和/或200)。
[0082]
根据各种实施例，处理器可以获取包括特定对象的图像，基于用户购买历史信息更新对象列表，基于更新的对象列表收集与对象相关的图像数据以更新对象图像学习数据，基于更新的对象列表和更新的对象图像学习数据学习对象分类模型，并且通过学习的对象分类模型识别特定对象。
[0083]
根据各种实施例，处理器可以从通过购买或搜索特定产品而生成的信息中获取用户购买历史信息。
[0084]
根据各种实施例，处理器可以从用于购买或搜索特定产品的应用获取用户购买历史信息。
[0085]
根据各种实施例，电子设备还可以包括可操作地连接到处理器的通信模块(例如，图1的通信模块190)。
[0086]
根据各种实施例，处理器可以基于用户购买历史信息，通过通信模块从与特定产品的购买或搜索相关的网站获取图像数据。
[0087]
根据各种实施例，基于通过搜索或购买特定产品而生成的信息，处理器可以通过通信模块获取与特定产品相似的产品的相似图像数据作为图像数据。
[0088]
根据各种实施例，处理器可以基于通过搜索或购买特定产品而生成的信息来获取
对象相关管理信息，并且基于对象相关管理信息来提供对象相关管理服务。
[0089]
根据各种实施例，处理器可以基于对象列表尝试识别特定对象，当尝试失败时更新对象列表，基于更新的对象列表初级学习对象分类模型，并且通过初级学习的对象分类模型识别特定对象。
[0090]
根据各种实施例，当初级学习对象分类模型对特定对象的识别失败时，处理器可以基于用户购买历史信息通过通信模块从外部设备获取与对象相关的图像数据，并且使用通过添加获取的图像数据所更新的学习数据对初级(primarily)学习对象分类模型执行二级(secondary)学习。
[0091]
根据各种实施例，处理器可以通过二级学习的对象分类模型识别特定对象，并且当通过二级学习的对象分类模型识别特定对象失败时，可以从用户获取与对象相关的信息。
[0092]
根据各种实施例，处理器可以获取特定对象所在的地点信息，并且可以通过基于地点信息限制对象列表来识别对象列表中的特定对象。
[0093]
图3是示出根据本公开的实施例的用于识别电子设备中的外部对象的操作的流程图。
[0094]
根据各种实施例，图3所示的操作可以由电子设备(例如，图1的电子设备101)的处理器(例如，图1的处理器120或图2的对象识别模块200，以下称为“处理器”)来执行。
[0095]
参考图3，根据各种实施例，在操作311中，处理器可以获取需要识别的对象信息和对象相关信息。
[0096]
例如，对象信息可以包括关于对象的图像信息或者包括对象的图像。例如，对象可以包括人、对象或背景。此外，对象图像信息可以包括例如从包括对象的图像信息中提取的关于对象或对象区域的图像信息。基于来自包括对象的图像的对象的位置坐标，对象区域可以意味着例如由与其他对象(例如，背景)分离的边界组成的区域。包括对象的图像信息可以通过例如图像传感器(例如，图1或2的相机模块180)获取，或者可以从通过有线或无线连接到电子设备101的外部设备(例如，图1的电子设备102或104)接收。
[0097]
例如，对象相关信息可以包括关于对象所处地点的信息。关于对象所处位置的信息可以是根据各种标准分类的各种预定义位置中的一个，诸如住宅或公司。关于对象所处的地点的信息可以包括例如作为上层域(upper domain)的特定地点和作为下层域(lower domain)的特定地点的详细地点。位置信息可以例如通过使用与电子设备101通信的各种接入提供商(ap)的标识信息(诸如wi-fi中继器)、用于位置标识的位置标识信息(诸如，全球定位系统(gps)信息)和用于基于用于位置标识的各种标识符来识别位置的各种应用来获取。可选地或补充地，可以通过从包含对象的图像中提取能够识别该地点的其他对象信息或其他与地点相关的信息来识别关于该地点的信息，并且基于此，使用存储在存储器(例如，图1或图2的存储器130)中的学习数据(例如，图2的学习数据135)。
[0098]
根据各种实施例，在操作313，处理器可以基于对象信息和/或对象相关信息选择用于识别对象的对象列表。
[0099]
例如，对象列表可以包括与对象相关的域中包括的对象的列表。对象列表可以包括与对象所处地点相对应的域中包括的对象的列表。
[0100]
根据各种实施例，与对象所处地点相对应的域中包括的对象列表可以是例如针对
该地点预先注册的对象的预配置的对象列表。
[0101]
根据各种实施例，与对象所处地点相对应的域中包括的对象列表可以包括通过诸如例如环境识别过程的一般对象识别过程在该地点预先注册的对象的列表。此外，对象列表还可以包括除了一般对象识别过程之外或对一般对象识别过程的辅助进行的、在该地点通过用户的请求而被识别或修改的对象列表。
[0102]
根据各种实施例，在操作315中，处理器可以基于分类模型来识别与对象信息相对应的对象。在这种情况下，与对象信息相对应的对象可以被识别为(多个)所选域对象列表中的任何一个。分类模型可以是用于使用存储在存储器130中的学习数据135学习的对象识别的学习模型。可以使用电子设备101中的学习数据135通过学习(诸如深度学习)来建立分类模型。在分类模型中，学习数据135的收集和对象识别学习可以由外部服务器(例如，图1的服务器108)执行。在这种情况下，电子设备101可以从外部服务器108接收学习数据135和分类模型，并将它们存储在存储器130中。
[0103]
根据各种实施例，当上述学习数据需要更新时，处理器可以更新学习数据，并且响应于更新学习数据来更新分类模型。例如，当处理器跟踪与对应于域的地点相关的用户产品购买历史或网络搜索历史并获取相关信息时，处理器可以从购买历史或网络搜索记录中提取对象信息或对象相关信息(诸如产品信息和/或购买或搜索信息)，并将其添加到域对象列表中。处理器可以每隔预定时段或者每当特定购买历史或网络搜索记录出现时执行域对象列表的更新。
[0104]
处理器可以基于更新的域对象列表更新学习数据，并相应地重新学习分类模型。因此，在操作315中，基于更新的分类模型，处理器可以输出更新的域对象列表中包括的对象中的特定对象的名称作为与所获得的对象信息相对应的对象。
[0105]
根据各种实施例，用于对象识别的目标对象的范围被限制为所选择的域中的对象的列表，从而可以减少在现有的深度学习模型中出现对象或对应于该对象的产品本身的错误识别的问题，该问题是由应用通用名称而不限制对象名称引起的，并且因此可以提高对象识别率。
[0106]
根据各种实施例，处理器可以向外部服务器108发送对象信息和/或对象相关信息，并且服务器108可以基于分类模型来识别对应于对象信息的对象，并且将所识别的对象名称发送到电子设备101。在这种情况下，处理器可以将对象图像或包括对象的图像作为对象信息发送到服务器108用于分析。此外，除了图像之外，处理器还可以将诸如对象所处的位置的信息作为对象相关信息发送到服务器108。
[0107]
图4是示出根据本公开的实施例的用于识别电子设备中的外部对象的操作的另一流程图。
[0108]
根据各种实施例，图4所示的操作可以由电子设备(例如，图1的电子设备101)的处理器(例如，图1的处理器120或图2的对象识别模块200，以下称为“处理器”)来执行。
[0109]
参考图4，根据各种实施例，在操作411中，处理器可以获取包括需要识别的对象的图像。对象可以同时包括例如人、对象或背景。
[0110]
包括对象的图像信息可以通过例如图像传感器(例如，图1的相机模块180)获取，或者可以从通过有线或无线连接到电子设备101的外部设备(例如，图1的电子设备102或104)接收。
[0111]
根据各种实施例，在操作413中，处理器可以获取关于对象所处的地点的信息。关于对象所处的地点的信息可以是根据各种标准分类的各种预定义位置中的一个，诸如住宅或公司。关于地点的信息可以基于其他对象信息或其他能够从包含对象的图像中识别地点的地点相关信息的提取来识别。例如，关于地点的信息可以根据预定的参考信息来识别，诸如特定家具(例如，床或水槽)的存在或特定家具的数量(例如，桌子的数量是4或更多)。例如，对于从包括对象的图像中提取的所有对象，可以使用存储在存储器中的学习数据(例如，图2的存储器130的学习数据135)来识别关于地点的信息。
[0112]
根据各种实施例，在操作415中，处理器可以从包括对象的图像中提取目标对象或对象区域。基于来自包括对象的图像的对象的位置坐标，对象区域可以意味着例如由与其他对象(例如，背景)分离的边界组成的区域。
[0113]
根据各种实施例，在操作417，处理器可以基于地点信息选择用于识别提取的对象的对象列表。
[0114]
例如，所选择的对象列表可以包括与对象存在的地点相对应的域中包括的对象的列表。例如，与对象所处的地点相对应的域的对象列表可以是由在对象当前存在的特定地点预先注册的对象组成的列表。例如，与对象所处的地点相对应的域的对象列表可以包括通过诸如例如环境识别过程的一般对象识别过程预先注册的对象的列表。此外，域的对象列表还可以包括除了一般对象识别过程之外或对一般对象识别过程补充进行的、在该地点通过用户的请求而被识别或修改的对象列表。
[0115]
根据各种实施例，在操作419中，处理器可以基于用于对象识别的分类模型来识别与对象信息相对应的对象。在这种情况下，与对象信息相对应的对象可以被识别为(多个)所选域对象列表中的任何一个。
[0116]
根据各种实施例，作为根据分类模型将学习数据与对象信息进行比较的结果，处理器可以例如通过显示设备(例如，图1的显示设备160)来提供对象与所识别的对象名称的相似性(例如，60％、80％或85％)。此外，处理器可以引起用户对对象特定结果和相似性的反馈。
[0117]
分类模型可以是用于使用存储在存储器130中的学习数据135学习的对象识别的学习模型。可以使用电子设备101中的学习数据135通过学习(诸如深度学习)来建立分类模型。或者，在分类模型中，学习数据135的收集和对象识别学习过程可以由外部服务器(例如，图1的服务器108)执行。在这种情况下，电子设备101可以从外部服务器108接收学习数据135和分类模型，并将它们存储在存储器130中。
[0118]
根据各种实施例，当对应于域对象列表中的对象信息的对象识别失败时，基于分类模型，处理器可以确定对象不存在于域对象列表中，并且通过收集除了包括对象的图像之外的与对象相关的信息来更新域对象列表。关于对象的信息可以从例如与对应于域的地点相关联的用户(例如，居民、雇员或注册人)的购买历史或网络搜索记录中获得。
[0119]
图5是示出根据本公开的实施例的用于识别和识别电子设备中的外部对象的操作的流程图。
[0120]
根据各种实施例，图5中示出的操作用于更详细地描述图4的操作419，并且可以由电子设备(例如，图1的电子设备101)的处理器(例如，图1的处理器120或图2的对象识别模块200，以下称为“处理器”)来执行。
[0121]
根据各种实施例，对于包括对象的图像，处理器可以基于该对象所处的位置或者被分类到该对象所处的域中的对象的列表所处的位置，通过使用预先构建的学习数据根据图像对象分类模型来识别对象。
[0122]
参考图5，根据各种实施例，在操作511中，当对象识别失败时，处理器可以获取对象相关信息。例如，当对象识别失败时，处理器可以确定需要被更新的域对象列表。因此，例如，对于对象所处地点的域，处理器可以从根据与相应地点相关的用户的各种对象之间的相关性生成的信息中获取对象信息或对象相关信息，例如，特定对象的购买历史或网络搜索记录。
[0123]
例如，当域被选择为“住宅”时，可以基于作为该住宅的居民的第一用户的购买历史或网络搜索记录来获取对象信息或对象相关信息。也就是说，如果第一用户通过网络搜索在电子设备中搜索咖啡机，或者甚至购买了咖啡机，则相应的产品有可能被新引入到域“住宅”并且对应于当前要识别的对象。因此，处理器可以通过将相应的产品添加到域对象列表来提高对象的识别率。处理器可以包括各种产品信息，诸如产品名称、产品类型、制造商、尺寸、识别和相应产品的图像，和/或相关购买信息(诸如来自例如电子设备(诸如第一用户的智能手机)的搜索或购买日期)。
[0124]
根据各种实施例，在操作513，处理器可以将基于获得的对象相关信息识别的对象添加到域的对象列表。
[0125]
在上面的示例中，处理器可以将咖啡机添加到域的对象列表中。
[0126]
根据各种实施例，在操作515，处理器可以获取关于添加到域的对象列表的对象的图像信息，并更新学习数据。
[0127]
根据各种实施例，处理器可以基于购买历史或搜索历史，根据产品信息来获取高分辨率图像信息，诸如商品销售的图像或广告图像，并将其添加为学习数据。添加的对象的图像信息可以例如从将对象作为产品销售的各种网站(例如，亚马逊、阿里巴巴或淘宝)获得。此外，处理器可以基于购买历史，根据产品信息以及对应于相同对象名称的各种产品的图像来获取图像，并将它们添加为学习数据。
[0128]
在操作517中，处理器可以基于更新的域对象列表和更新的学习数据来学习和更新对象分类模型。
[0129]
根据各种实施例，在操作519，处理器可以基于更新的域对象列表和更新的学习数据，根据分类模型执行对象识别操作。在这种情况下，例如，当根据图像对象分类模型使用学习数据来比较从包括对象的图像中提取的对象区域，相似性大于或等于预定参考值(例如，95％或更多)时，处理器可以确定对象被识别从而识别对象。另一方面，即使当相似性大于或等于预定参考值时，处理器也可以确定对象识别已经失败，例如，当取决于来自用户的反馈存在负反馈时。此外，即使当相似性小于或等于预定义的参考值时，当存在取决于例如用户反馈的正反馈时，处理器也可以确定对象识别成功。
[0130]
图6是示出根据本公开的实施例的更新用于识别电子设备中的外部对象的对象分类模型的操作的流程图。
[0131]
根据各种实施例，图6中示出的操作用于更详细地描述图5的对象分类模型的更新操作，并且可以由电子设备(例如，图1的电子设备101)的处理器(例如，图1的处理器120或图2的对象识别模块200，以下称为“处理器”)来执行。
[0132]
参考图6，根据各种实施例，在操作611，处理器可以基于更新的域的对象列表获取对象的图像，将其添加到学习数据，并执行分类模型的初级学习。对象的图像可以例如由电子设备101或通过有线/无线本地连接的(例如，住宅网络或有线/无线局域网)外部设备(例如，图1的电子设备102或104)获取，以被电子设备101接收。
[0133]
根据各种实施例，学习数据可以被预配置为包括能够辨别域对象列表中的每个对象的特征的样本图像，或者预配置的学习数据可以从服务器108接收并存储在电子设备101的存储器(例如，图1或图2的存储器130)中。
[0134]
根据各种实施例，在操作613，处理器可以确定对象是否被识别。处理器可以通过例如根据分类模型确定学习数据中包括的图像之间的相似性或差异程度并确定最相似的图像来识别对象。作为相似性确定的结果，当相似性小于参考值时，处理器可以确定不存在相似图像。处理器可以应用，例如，元学习(meta learning)技术以提高图像识别率。
[0135]
根据各种实施例，当在操作613中确定对象未被识别时，在操作615中,处理器可以收集用于更新分类模型的对象数据。
[0136]
例如，处理器可以从购买或搜索网站提取或接收高分辨率图像，诸如产品销售图像和各种产品信息(诸如产品名称和对象的制造商)，并且根据基于域的购买历史或网络搜索记录获得的对象信息或对象相关信息(例如特定位置的住宅的居民或注册的用户)，将它们收集为对象数据。可以将收集的对象数据添加到学习数据中。
[0137]
根据各种实施例，在操作617，处理器可以基于更新的域对象列表，使用添加的学习数据对分类模型执行二级学习。
[0138]
根据各种实施例，在操作619中，处理器可以基于二级学习的分类模型，使用由新添加的对象更新的域的对象列表来执行对象识别操作，从而确定对象是否被识别。
[0139]
根据各种实施例，当基于二级学习的分类模型对象识别失败时，在操作621中，处理器可以收集用于更新分类模型的相似数据。
[0140]
根据各种实施例，相似数据可以包括，例如，使用对象相关信息(诸如根据对象的购买历史或网络搜索历史获得的产品信息)通过基于关键词的搜索进行的网络爬行收集的相关图像。此外，处理器可以生成扩展数据，并且通过将诸如旋转、黑白、反转或倾斜的图像处理技术应用于例如额外获得的相似数据，将其添加为学习数据。
[0141]
根据各种实施例，在操作623中，处理器可以基于添加的域对象列表，使用收集的和/或生成的数据被添加到其中的学习数据，对分类模型执行三级(tertiary)学习。
[0142]
根据各种实施例，在操作625，处理器可以基于三级学习的分类模型，使用由新添加的对象更新的域的对象列表来执行对象识别操作，从而确定对象是否被识别。
[0143]
根据各种实施例，当根据三级学习的分类模型对象的识别失败时，在操作627，处理器可以通过电子设备101询问用户来获取对象名称。
[0144]
根据各种实施例，处理器可以输出指引(guide)，该指引请求用户通过电子设备101的显示设备(例如，图1的显示设备160)输入对象名称。
[0145]
根据各种实施例，在操作629，处理器可以基于获取的对象名称收集对象数据。对象数据可以包括使用所获得的对象名称通过基于关键词的搜索进行网络爬行而收集的相关图像。
[0146]
根据各种实施例，在操作631中，处理器可以将收集的对象数据添加为学习数据，
并基于添加的学习数据对分类模型执行四级(quaternary)学习。
[0147]
根据各种实施例，在操作633中，处理器可以基于以四级学习的分类模型，使用由新添加的对象更新的域的对象列表来执行对象识别操作，从而确定对象是否被识别。
[0148]
根据各种实施例，当在操作633中确定对象被识别时，在操作635中，处理器可以将更新的学习数据存储在电子设备101的存储器(例如，图1或图2的存储器130)中。
[0149]
图7a是根据本公开的实施例的用于描述根据电子设备的外部对象识别的服务提供操作的图。
[0150]
图7b是根据本公开的实施例的用于描述根据电子设备的外部对象识别的服务提供操作的图。
[0151]
图7c是根据本公开的实施例的用于描述根据电子设备的外部对象识别的服务提供操作的图。
[0152]
图7a至图7c所示的操作可以由电子设备(例如，图1的电子设备101)的处理器(例如，图1的处理器120或图2的对象识别模块200，以下称为“处理器”)来执行。
[0153]
参考图7a，例如，处理器可以从电子设备101或外部设备(例如，图1的电子设备102或104)的相机模块(例如，图1或图2的相机模块180)获取包括对象711作为对象信息的图像。
[0154]
例如，对象图像可以包括关于对象的各种图像信息。对象信息可以包括例如对象相关信息，诸如产品名称(例如，c饮料)和/或产品管理信息，诸如保质期。对象图像还可以包括背景图像或对象所处的地点的周围环境，或者另一个对象。同时，处理器可以通过识别例如来自从对象图像提取的对象或对象区域的文本信息来估计对象名称。
[0155]
根据各种实施例，处理器可以从对象图像提取对象或对象区域，并且从对象区域提取对象的特征点信息。
[0156]
根据各种实施例，处理器可以从对象图像中提取关于对象所处的位置的信息。例如，可以从对象图像中识别对象所处的地点，例如，在冰箱搁板上。在这种情况下，处理器可以选择冰箱作为子域。此外，处理器可以通过分析在获取对象图像之前或之后获取的其他图像来提取能够估计上层域(例如，“厨房”或“住宅”)的信息。
[0157]
根据各种实施例，处理器可以使用例如与电子设备101通信的各种接入提供商(ap)(诸如，wifi中继器)的标识信息，用于位置标识的位置标识信息(诸如，全球定位系统(gps)信息)，以及用于基于位置标识的各种标识符来识别位置的各种应用来获取电子设备101所处的位置。
[0158]
根据各种实施例，处理器可以基于对象信息和/或对象相关信息来选择用于识别对象的域，例如，作为住宅。处理器可以将用于识别对象的域选择为作为上层域的“住宅”和作为下层域的“冰箱”。
[0159]
根据各种实施例，处理器可以基于为对象识别选择的域的对象列表，使用对象图像根据分类模型来识别对象。
[0160]
根据各种实施例，包括在域中的对象列表可以包括例如针对该域预先学习的或注册的对象的预先配置的对象列表。域的对象列表可以包括例如通过对象识别过程预先识别和注册的对象列表。此外，域的对象列表还可以包括通过对在域中注册的用户的请求来识别或修改的对象列表。例如，域的对象列表可以包括诸如在“冰箱”中的各种饮料、食品、食
品容器等的对象的列表作为针对上层域“住宅”的下层域。
[0161]
根据各种实施例，当基于域对象列表不能识别对象时，处理器可以跟踪相关人员(诸如，域的居民或注册的用户)的购买历史或网络搜索记录，获取产品相关信息，从中提取对象信息，并将其添加到域对象列表。处理器可以跟踪购买历史或网络搜索历史，并在每次相关人员的购买历史或网络搜索记录出现时或每隔预定时间段获取产品相关信息，即使没有出现不能识别对象的情况。由此，可以提取对象信息并将其添加到域对象列表中。
[0162]
根据各种实施例，处理器可以通过获得与响应于域对象列表更新而添加的对象列表相对应的图像数据和/或对象相关信息来更新用于识别对象的学习数据。
[0163]
处理器可以基于更新的域对象列表来更新学习数据，并且对分类模型执行学习以相应地识别对象。因此，处理器可以基于更新的分类模型，输出更新的域对象列表中包括的对象中的特定对象的名称(例如，软饮料)作为与获得的对象信息相对应的对象。
[0164]
此外，处理器可以输出与输出对象信息相对应的对象管理信息。对象管理信息可以包括例如诸如对象的制造商、产品名称、保质期、购买日期、购买网站、卡路里和营养信息的信息。
[0165]
根据各种实施例，处理器可以基于对象信息和/或对象管理信息向用户提供基于对象的服务。例如，当对象的到期日临近时，处理器可以通过电子设备101向用户提供关于对象的到期日的信息。
[0166]
此外，例如，当对象被提供给用户并被消费，并且不再在对象的位置被识别时，处理器可以基于对象信息和/或对象管理信息，通过电子设备101提供用于询问用户对对象重新排序的引导信息。
[0167]
根据各种实施例，处理器可以为例如包括在上层域“住宅”中的下层域“冰箱”配置单独的域对象列表更新场景。例如，每当新物品被引入“冰箱”和/或被泄露(leak)时，处理器可以单独管理“冰箱”的对象的列表，获取对象信息(诸如物品被放置在“冰箱”中的位置、产品的产品类型和产品名称)以及对象相关信息(诸如购买日期、购买网站、卡路里、营养信息)或对象管理信息，以更新对象列表，并基于此提供上述服务。
[0168]
参考图7b，例如，处理器可以从电子设备101的相机模块180或外部设备获取包括对象713的图像作为对象信息。
[0169]
根据各种实施例，对象图像可以包括特定产品图像，例如智能手机。
[0170]
根据各种实施例，处理器可以从对象图像提取对象或对象区域，并且从对象区域提取对象的特征点信息。
[0171]
根据各种实施例，处理器可以从对象图像中提取关于对象所处的位置的信息。例如，当另一个对象位于对象图像的背景中时，可以从另一个对象中提取能够推断该对象所处的地点的信息。此外，处理器可以分析在获取对象图像之前或之后获取的另一图像，并且从包括在另一图像中的另一对象(例如，边桌)的一部分识别对象所处的地点，例如卧室。在这种情况下，处理器可以基于对象的位置选择域“住宅”作为对应于对象的域。
[0172]
根据各种实施例，处理器可以使用例如与电子设备101通信的各种接入提供商(ap)(诸如，wifi中继器)的标识信息，用于位置标识的位置标识信息(诸如，全球定位系统(gps)信息)，以及用于基于位置标识的各种标识符来识别位置的各种应用来获取电子设备101所处的位置。
[0173]
根据各种实施例，处理器可以基于所选择的域“住宅”加载该域的对象列表，并且使用对象图像根据分类模型来识别对象。
[0174]
根据各种实施例，包括在域中的对象列表可以包括例如通常可以包括在域中的对象，并且可以与利用与其对应的学习数据学习的分类模型一起例如从服务器(例如，图1的服务器108)预先接收，例如，并且存储在存储器130中。此外，处理器可以在域中通过对象识别过程预识别和学习域对象列表中的域的对象和学习数据，或者通过用户的注册过程更新该对象。
[0175]
根据各种实施例，当对象首次在域中被识别时，当存在用户对任何相关服务的请求时，或者当与对象相关的购买历史或搜索历史出现时，处理器可以检查域对象列表，并且通过收集对象相关信息来更新域对象列表。
[0176]
根据各种实施例，例如，处理器可以检查购买历史或搜索历史，并通过电子设备101的各种应用信息，诸如网络浏览器、通讯(messenger)应用、文本消息应用和支付应用，获得对象相关信息，诸如购买产品类型、产品名称、产品制造商、购买或搜索日期以及购买价格。例如，处理器可能会通过支付应用程序，在购买或搜索三星电子于2019年5月3日制造的智能手机galaxy s10产品时进行检查。
[0177]
根据各种实施例，处理器可以从购买信息或搜索信息获取相关产品的图像数据和/或产品相关信息，并更新用于识别对象的学习数据。为此，处理器可以例如通过三星电子的产品促销网站、购买或搜索galaxy s10产品的在线销售网站、用于一般产品销售的网站(诸如亚马逊)、或一般搜索网站(诸如谷歌)来获取高分辨率图像，诸如用于产品的销售的图像。处理器可以通过将获取的图像添加到学习数据中，并通过学习分类模型来更新获取的图像。
[0178]
此外，处理器可以根据购买历史基于产品信息收集与产品信息相关的产品相关信息。例如，产品相关信息可以包括销售该产品的各个网站的价格信息、关于该产品的系列产品的信息或者关于该产品的附件相关(accessory-related)信息。
[0179]
根据各种实施例，处理器可以基于产品相关信息向用户提供基于产品或对象的服务。当诸如系列产品发布、折扣事件或对象的相关附件发布的事件发生时，处理器可以向用户提供引导信息。
[0180]
参考图7c，例如，处理器可以从电子设备101或外部设备的相机模块180获取包括对象715的图像作为对象信息。
[0181]
根据各种实施例，对象图像可以包括特定电子设备(例如，空气净化器)的产品图像。
[0182]
根据各种实施例，处理器可以从对象图像提取对象或对象区域，并且从对象区域提取对象的特征点信息。
[0183]
根据各种实施例，处理器可以从对象图像中提取关于对象所处的位置的信息。例如，当另一对象(例如，壁挂式电视(tv))的一部分被包括在对象图像的背景中时，能够推断该对象所处的地点的信息(例如，客厅)可以从该另一对象中提取。在这种情况下，处理器可以基于对象的位置选择“住宅”域作为域。
[0184]
根据各种实施例，处理器可以使用基于用于上述位置标识的各种标识符来识别位置的各种应用来获取和预选电子设备101所处的位置。
[0185]
根据各种实施例，处理器可以基于所选择的域“住宅”加载该域的对象列表，并且使用对象图像根据分类模型来识别对象。
[0186]
根据各种实施例，当对象首次在域中被识别时，当存在用户对与对象相关的任何相关服务的请求时，或者当出现与对象相关的购买历史或搜索历史时，处理器可以检查域对象列表并收集对象相关信息以更新域对象列表。
[0187]
根据各种实施例，例如，处理器可以检查购买历史或搜索历史，并通过电子设备101的各种应用信息，诸如网络浏览器、通讯(messenger)应用、文本消息应用和支付应用，获得对象相关信息，诸如购买产品类型、产品名称、产品制造商、购买或搜索日期以及购买价格。例如，处理器可能会在购买或搜索三星电子于2019年5月8日制造的空气净化器蓝天(blue sky)时进行检查。
[0188]
根据各种实施例，处理器可以从购买信息或搜索信息获取相关产品的图像数据和/或产品相关信息，并更新用于识别对象的学习数据。为此，处理器可以例如通过三星电子的产品促销网站、购买或搜索蓝天空气净化器产品的在线销售网站、用于一般产品销售的网站(诸如亚马逊)、或一般搜索网站(诸如谷歌)来获取高分辨率图像，诸如用于产品的销售的图像。处理器可以通过将获取的图像添加到学习数据中，并通过学习分类模型来更新获取的图像。
[0189]
此外，处理器可以根据购买历史或搜索历史基于产品信息收集与产品信息相关的产品相关信息。例如，产品相关信息可以包括各种信息，诸如销售产品的各种网站的价格信息，或更换周期，或者关于更换部件(诸如产品的过滤器)的价格信息。
[0190]
根据各种实施例，处理器可以基于产品相关信息向用户提供基于产品或对象的服务。处理器可以向用户提供各种管理信息，诸如对象的a/s到期日期、过滤器更换时间、过滤器购买价格和/或销售网站信息。
[0191]
尽管已经参照本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的范围的情况下，可以在形式和细节上进行各种改变。