以增强现实提供线下产品的线上销售信息的装置及方法与流程

本申请要求于2017年7月5日在韩国知识产权局提交的韩国专利申请第10-2017-0085661号的优先权，该韩国专利申请的全部内容通过引用并入本文。

本公开内容涉及以增强现实提供线下产品的线上销售信息的装置和方法。

背景技术：

这部分中的描述仅提供本公开内容的实施方式的背景信息，并且不旨在指定本公开内容的现有技术。

作为虚拟现实领域的增强现实是一种计算机图形技术，其将计算机生成的虚拟对象与真实世界环境相结合，以使虚拟对象看起来像真实世界环境中存在的真实对象。

增强现实允许通过基于真实世界对虚拟对象进行合成来以难以在真实世界或虚拟环境中实现的形式加强补充信息。

合成真实世界环境和虚拟对象的这种增强现实技术允许用户在观看虚拟对象的同时参考真实世界环境，并且提高信息和沉浸(immersive)感知的效用。例如，智能电话的用户可以在要以三维图像显示的用户周围的图片上添加附近商店的位置、商店的电话号码等。

增强现实可以应用于各种类型的服务，并且用户对基于增强现实的各种服务的需求在爆炸性地增长。因此，有必要开发更加用户友好并且能够满足用户需求的服务功能。

另一方面，当用户恰好对在商店中陈列的或由另一人穿戴或携带的特定产品感兴趣并且想要知道关于该产品的更详细的信息时，用户通常必须通过输入产品的所有线索信息来搜索该产品。这是因为在尚未做出产品的购买决定的状态下彻底查看商店中陈列的产品或者向产品的所有者询问关于产品的信息是不易的。

技术实现要素：

为了解决上述问题，提供了一种方法和装置，用于允许用户仅通过捕获产品的图像来以增强现实直观地查看诸如产品价格的产品信息，并且如果用户打算购买该产品，允许用户接收订购页面或购物车页面。

另外方面的一部分将在下面的描述中进行阐述，并且一部分将从描述中变得明显，或者可以通过所呈现的示例性实施方式的实践来获知。

根据本公开内容的实施方式，一种用于基于增强现实提供产品销售信息的系统可以包括终端设备和产品信息提供服务器。终端设备可以具有无线通信功能和相机功能。此外，终端设备可以被配置成：根据用户操纵来激活相机功能以捕获线下产品的线下产品图像，将线下产品图像发送到产品信息提供服务器以请求线上产品销售信息，从产品信息提供服务器接收线上产品销售信息，以增强现实输出线上产品销售信息连同线下产品图像。产品信息提供服务器可以被配置成：从终端设备接收线下产品图像，通过分析所接收的线下产品图像来提取线下产品信息，从电子商务服务器搜索与所提取的线下产品信息对应的线上产品销售信息，并且将线上产品销售信息提供给终端设备。

当产品信息提供服务器在提供线上产品销售信息之后从终端设备接收到用户对线上产品销售信息中指示的线上销售产品的选择时，产品信息提供服务器可以与电子商务服务器协作向终端设备提供所选择的线上销售产品的产品购买页面或购物车页面。

根据本公开内容的实施方式，一种产品信息提供服务器可以包括服务通信单元、服务搜索单元和服务控制器。服务通信单元可以被配置成通过通信网络向至少一个终端设备和至少一个电子商务服务器发送数据以及从至少一个终端设备和至少一个电子商务服务器接收数据。服务搜索单元可以被配置成通过分析线下产品的线下产品图像来提取线下产品信息并且获取与所提取的线下产品信息对应的线上产品销售信息。服务控制器可以被配置成：当通过服务通信单元从终端设备接收到线下产品图像时，控制服务搜索单元来执行基于图像的搜索以找到与线下产品对应的线上销售产品；并且向终端设备提供由服务搜索单元获取的线上产品销售信息。

当服务控制器在提供线上产品销售信息之后从终端设备接收到用户对线上产品销售信息中指示的线上销售产品的选择时，服务控制器可以与电子商务服务器协作向终端设备提供线上销售产品的产品购买页面或购物车页面。服务搜索单元可以提取以下中的至少一个作为线下产品信息：线下产品图像的特征信息、线下产品图像中包含的商标信息、线下产品的价格信息以及线下产品的颜色信息。

产品信息提供服务器还可以包括服务存储单元，该服务存储单元被配置成存储由一个或更多个电子商务服务器通过通信网络销售的一个或更多个线上销售产品的图像的特征信息。服务搜索单元可以通过将存储在服务存储单元中的线上销售产品的图像的特征信息与线下产品图像进行比较来搜索与线下产品相同或相似的至少一个线上销售产品，并且从电子商务服务器获取所提取的线上销售产品的销售信息。

根据本公开内容的实施方式，一种终端设备可以包括通信单元、相机单元、输入单元和控制器。通信单元可以被配置成通过通信网络发送和接收数据。相机单元可以被配置成响应于控制命令而拍摄捕获的图像。输入单元可以被配置成接收用户命令。控制器可以被配置成：响应于用户命令而激活相机单元以拍摄线下产品的线下产品图像，通过通信单元将线下产品图像发送到产品信息提供服务器，通过通信单元从产品信息提供服务器接收与线下产品图像对应的线上产品销售信息，并且以增强现实输出线上产品销售信息连同线下产品图像。

当以增强现实输出线上销售产品的销售信息时，控制器可以在包含线下产品图像的捕获的图像中基于线下产品图像来排列线上销售产品的销售信息。除了线上销售产品和线上销售产品的销售信息之外，还可以输出允许用户选择线上销售产品的销售信息中的一个项目的用户界面。当通过用户界面选择线上销售产品的销售信息中的项目时，控制器可以将选择信息发送到产品信息提供服务器，并且接收和显示所选择的线上销售产品的产品购买页面或购物车页面。

根据本公开内容的实施方式，一种在能够由终端设备通过通信网络访问的产品信息提供服务器中基于增强现实提供产品销售信息的方法可以包括：从终端设备接收线下产品的线下产品图像；通过分析所接收的线下产品图像来提取线下产品信息；从至少一个电子商务服务器获取与所提取的线下产品信息对应的线上产品销售信息；以及将所获取的线上产品销售信息提供给终端设备，使得终端设备以增强现实输出线上产品销售信息连同线下产品图像。

根据本公开内容的实施方式，一种在能够通过通信网络访问产品信息提供服务器的终端设备中基于增强现实提供产品销售信息的方法可以包括：根据用户命令来激活相机功能以拍摄线下产品的线下产品图像；将线下产品图像发送到产品信息提供服务器；从产品信息提供服务器接收与线下产品图像对应的线上产品销售信息；以及以增强现实输出线上产品销售信息连同线下产品图像。

该方法还可以包括：除了线上销售产品和线上销售产品的销售信息之外，在输出操作中还提供允许用户选择线上销售产品的销售信息中的一个项目的用户界面，并且当用户通过用户界面选择线上销售产品的销售信息中的项目时，将选择信息发送到产品信息提供服务器；以及从产品信息提供服务器接收并且显示所选择的线上销售产品的产品购买页面或购物车页面。

根据本公开内容的实施方式，提供了一种存储有程序的非暂态计算机可读存储介质。当由处理器执行时，该程序使处理器执行基于增强现实提供线上产品销售信息的方法。

根据本公开内容的实施方式，提供了一种存储在非暂态计算机可读存储介质中的程序。当由处理器执行时，该程序使处理器执行基于增强现实提供线上产品销售信息的方法。

本公开内容允许用户仅通过捕获线下产品的图像来获取详细的产品信息。由于以增强现实将与线下产品相同或相似的产品的信息连同所捕获的线下产品的图像一起输出，因此用户可以将线下产品与线上销售产品直观地进行比较。

此外，用户可以通过在以增强现实提供产品信息的屏幕上选择与线上销售产品对应的项目来接收用于购买线上销售产品的订购页面或购物车页面。

根据本文提供的描述，其他应用领域将变得明显。应该理解的是，这些描述和具体示例仅旨在用于说明的目的，而不旨在限制本公开内容的范围。

附图说明

为了可以很好地理解本公开内容，现在将参照附图描述通过示例给出的本公开内容的各种形式，在附图中：

图1是根据本公开内容的实施方式的用于基于增强现实提供产品销售信息的系统的示意性框图；

图2是示出根据本公开内容的实施方式的基于增强现实提供产品销售信息的方法的流程图；

图3是根据本公开内容的实施方式的产品信息提供服务器的框图；

图4是示出根据本公开内容的实施方式的产品信息提供服务器的操作的流程图；

图5是根据本公开内容的实施方式的用于基于增强现实提供产品销售信息的终端设备的框图；

图6是示出根据本公开内容的实施方式的用于基于增强现实提供产品销售信息的终端设备的操作的流程图；

图7a和图7b是要基于增强现实提供其线上销售信息的线下真实世界中的示例性产品图像；

图8a和图8b是根据本公开内容的实施方式的基于增强现实提供产品销售信息的示例性屏幕截图；

图9是根据本公开内容的实施方式的在选择线上购物商场之后提供的页面的示例性屏幕截图；以及

图10是示出根据本公开内容的实施方式的用于基于增强现实提供产品销售信息的设备的操作环境的框图。

本文描述的附图仅用于说明目的，而不旨在以任何方式限制本公开内容的范围。

具体实施方式

为了更清楚地理解本公开内容的特征和优点，将参照附图详细描述本公开内容。

在以下描述和附图中，为了简单起见，将省略可能使本公开内容的主题模糊的公知功能或配置的详细描述。要注意，在整个附图中，相同的部件由相同的附图标记表示。

包括用于描述本说明书中的各种元件的诸如“第一”和“第二”的序数的术语可以仅用于将一个元件与另一元件区分开，但是这些术语不限制元件的结构。

应该注意，在本说明书和附图中描述的本公开内容的实施方式仅是对本公开内容的说明，而不旨在限制本公开内容的范围。对于本领域技术人员明显的是，除了本文公开的实施方式之外，还可以基于本公开内容的技术构思进行其他修改。

在以下描述和附图中使用的术语和词语不一定要以普通意义或词典来解释，并且可以在本文中被适当地限定成用作用于以尽可能最好的方式描述本公开内容的术语。这些术语和词语应该被解释为与本公开内容的技术构思一致的含义和概念。

当元件被称为“连接”或“耦接”至另一元件时，意味着元件在逻辑上或物理上连接或者元件可以连接至其他元件。换句话说，要理解，尽管元件可以直接连接或耦接至另一元件，但是在它们之间可以存在其他元件，或者元件可以间接连接或耦接至其他元件。

本文使用的术语仅用于描述特定实施方式的目的，而不旨在限制本公开内容。除非上下文另外明确指出，否则单数形式包括复数指示物。此外，表达“～包括”、“～包含”、“～构造”、“～配置”不被解释为配备有本说明书中描述的所有部件、处理步骤或操作，而是可以不包括部件、处理步骤或操作中的一些，并且还可以并入附加元件。

除非上下文另外明确指出或者与在描述本公开内容的上下文中特别是在所附权利要求书的上下文中的内容明显矛盾，否则可以在包括单数含义和复数含义的意义上使用冠词“一(a)”、“一(an)”、“该(the)”、“一个(one)”及其等同物。

在下文中，参照附图来描述根据本公开内容的实施方式的基于增强现实提供产品销售信息的系统和方法。

图1是根据本公开内容的实施方式的用于基于增强现实提供产品销售信息的系统的示意性框图。用于基于增强现实提供产品销售信息的系统可以包括网络100、终端设备300、产品信息提供服务器400和电子商务服务器500。附图标记200表示要根据本公开内容线上提供其信息的线下真实世界中存在的产品(在下文中称为“线下产品”)。

使得能够在终端设备300、产品信息提供服务器400和电子商务服务器500之间进行数据传输的网络100可以用作传输介质，通过该传输介质终端设备300向产品信息提供服务器400发送由终端设备300的相机拍摄的产品外观图像，并且从产品信息提供服务器400接收终端设备300请求的产品信息。网络100的类型不限于特定的类型。

例如，网络100可以包括无线网络，例如无线局域网(wlan)、wi-fi、无线宽带因特网(wibro)、全球互通微波接入(wimax)和高速下行分组接入(hsdpa)。然而，本公开内容不限于此，并且网络100可以包括有线网络，例如以太网、诸如非对称数字用户线路(adsl)和极高比特率数字用户线路(vdsl)的数字用户线路(xdsl)、混合光纤同轴电缆(hfc)、光纤到路边(fttc)和光纤入户(ftth)。

此外，网络100可以包括移动通信网络，该移动通信网络包括多个接入网络(未示出)和连接多个接入网络的核心网络(未示出)。允许终端设备300连接至核心网络以进行无线通信的接入网络可以包括：多个基站例如传统基站(bs)、基站收发信台(bts)、节点b(或nodeb)、演进型节点b(enodeb)以及多个基站控制器例如传统基站控制器(bsc)和无线电网络控制器(rnc)。同时，可以在基站中整体实现的数字信号处理单元和无线电信号处理单元可以重新组织成数字单元(du)和无线电单元(ru)，使得多个ru中的每一个被设置在多个区域中的相应区域中，并且多个ru连接至集中式du。

执行用于移动通信服务例如移动性控制和终端设备之间的切换的主功能的核心网络执行电路交换或分组交换操作，并且管理和控制移动通信网络中的分组流。此外，核心网络管理频率间移动性，并且可以在接入网络和核心网络与另一网络例如因特网中发挥互通业务的作用。核心网络还可以包括以下中的至少一个：服务网关(sgw)、分组数据网络(pdn)网关、移动交换中心(msc)、归属位置寄存器(hlr)、移动管理(mme)、和归属用户服务器(hss)。

此外，根据本公开内容的网络100可以包括因特网。因特网是指允许根据tcp/ip协议进行信息交换的开放网络或公共网络。

终端设备300、产品信息提供服务器400和电子商务服务器500可以通过网络100彼此交互操作以提供基于本公开内容的增强现实提供产品销售信息的服务。

在本公开内容中，产品200与由用户捕获其图像的实际产品对应，该用户希望将该图像与线上销售产品信息进行比较。此外，产品200可以用作用于向获取产品信息以存储在产品信息提供服务器400中的服务提供商收集产品信息的源。

例如，产品200可以是街道上的其他人穿戴或携带的产品，或者可以是线下商店中陈列的产品。

产品200可以独自存在，但是例如在该产品陈列在线下商店中的情况下可以包括标签。

终端设备300可以包括用于拍摄产品200的相机。

此外，终端装置300可以存储并执行由产品信息提供服务器400提供的应用程序，以向产品信息提供服务器400发送所捕获的产品图像，并且从产品信息提供服务器400请求关于产品的信息。

此外，终端设备300可以包括显示屏，以通过显示屏以增强现实输出由产品信息提供服务器400提供的产品200的线上销售信息。

终端设备300可以以各种形式实现。

优选地，终端设备300能够进行无线通信并且配备有相机。然而，终端设备300不限于此，而是可以是诸如以下的各种终端中的一个：智能电话、便携式终端、移动终端、个人数字助理(pda)、便携式多媒体播放器(pmp)终端、远程信息处理终端、导航终端、个人计算机(pc)、笔记本计算机、触屏平板pc、平板pc、超极本、可穿戴设备例如智能手表和智能眼镜、头戴式显示器(hmd)、wibro终端、因特网协议电视(iptv)终端、智能tv，数字广播接收器终端、音频-视频导航(avn)终端、音频/视频(a/v)系统以及柔性终端。

尽管考虑到数字设备的融合趋势不可能枚举所有类型的终端设备300，但是可以使用与上述设备单元等效的任何设备单元作为终端设备300。此外，能够通过网络100与产品信息提供服务器400通信的任何设备单元可以用作根据本公开内容的终端设备300。另外，终端设备300可以是当前可用的设备以及可以在将来开发并且具有通信能力的任何其他设备。尽管图1中仅示出了单个终端设备300，但是在系统中可以存在与产品信息提供服务器400通信的多个终端设备300。

产品信息提供服务器400根据终端设备300的请求获取产品200的线上销售信息以提供给终端设备300，产品200的线上销售信息表示在与网络100连接的一个或更多个电子商务服务器500处的销售信息。

在终端设备300的用户通过捕获线下物理世界中存在的产品200的图像来请求信息之前，产品信息提供服务器400可以预先获取产品200的线上销售信息并且将线上销售信息存储到数据库中。产品信息提供服务器400可以基于产品的图像将产品200的详细信息连同其相似产品存储在数据库中，使得当终端设备300的用户通过捕获线下物理世界中存在的产品200的图像来请求信息时，产品信息提供服务器400可以向终端设备300提供所存储的信息。为此目的，产品信息提供服务器400可以在数据库中存储包括以下的产品的详细信息：二维图像或三维图像、制造或生产信息、价格、尺寸、颜色、材料、用户手册、历史信息、平均递送时间、产品的库存量等。

此外，产品信息提供服务器400可以将从电子商务服务器500获取的产品信息发送到终端设备300，而不存储到数据库中。

产品信息提供服务器400可以与例如在线上购物商场系统或开放市场系统中操作的商务服务器整体实现。可替选地，产品信息提供服务器400可以以执行与线上购物商场服务器相关联的上述功能的单独服务器的形式来提供。另外，信息提供服务器400可以分发执行以上功能的应用程序。

根据本公开内容，应用程序可以是适用于执行产品购买过程的产品购买应用。

可以从在终端设备300和信息提供服务器400之间调解对应用的下载的服务器(例如应用商店服务器)下载应用程序。当适用于实现上述目的的应用程序被创建并且要被分发时，信息提供服务器400可以将应用程序登记在应用商店服务器(未示出)中，并且终端设备300可以通过网络100从应用商店服务器下载应用程序。

电子商务服务器500是通过网络100销售由产品信息提供服务器400向终端200提供其信息的产品200的设备，并且可以是促成卖方和消费者之间的交易的开放市场系统、由卖方组织的线上购物商场或联合购买社交商务系统的商务服务器。

由产品信息提供服务器400提供给终端设备300的产品信息可以包括关于销售产品200的线上购物商场的信息和购物商场之间的价格比较信息。当终端设备300的用户选择并且访问某个线上购物商场时，电子商务服务器500可以向终端设备300提供包含产品200的详细描述的页面，并且然后向终端设备300提供用于订购产品的页面或购物车页面。

以下将详细描述终端装置300和产品信息提供服务器400的配置和操作。安装在根据本公开内容的实施方式的每个设备中的处理器可以执行用于执行根据本公开内容的方法的程序指令。处理器可以是单线程处理器。然而，可替选地，处理器可以是多线程处理器。由处理器执行的程序指令可以存储在存储器或存储设备中。

图2是示出根据本公开内容的实施方式的基于增强现实提供产品销售信息的方法的流程图。

参照图2，终端设备300可以安装并执行用于根据本公开内容基于增强现实提供线上产品销售信息的应用程序(s301，s302)。

可以由产品信息提供服务器400分发的应用程序可以通过与电子商务服务器500执行交易来便于终端设备300的用户使用电子商务服务。应用程序可以执行产品购买过程，其可以再次包括产品搜索过程、产品选择过程以及订购和支付过程。

在执行应用的同时，可以响应于用户的选择输入来激活终端设备300的相机(s303)。可替选地，可以根据应用程序的设置，在执行应用程序的同时自动激活相机。

终端设备300的用户可以通过使用其相机被激活的终端设备300来捕获线下产品的图像(s304)。在此，捕获线下产品的图像可以包括放置终端设备300使得线下产品200位于相机的预定框内的过程，并且可以包括按下相机的拍摄按钮的过程。此时，可以在激活的相机上显示单独的引导线以便于将线下产品200定位在相机的框内，并且用户可以移动终端设备300，使得线下产品200连同引导线一起安全地驻留在框内。

在通过这样的过程捕获线下产品200的图像之后，终端设备300可以将线下产品200的图像发送到产品信息提供服务器400，使得产品信息提供服务器400可以识别线下产品(s305)。对线下产品的识别可以包括识别线下产品的产品图像本身或附在线下产品上的商标的操作。此外，对线下产品的识别可以包括在商店中陈列的产品的情况下识别附在线下产品上的标签的操作。

终端设备300可以通过发送线下产品的图像来从产品信息提供服务器400请求与线下产品对应的线上产品销售信息。

随后，产品信息提供服务器400可以分析从终端设备300接收的产品图像，识别线下产品，并提取线下产品信息(s306，s307)。在此，通过线下产品的图像分析识别线下产品可以包括以下中的至少一个：线下产品的图像特征信息的提取，附在产品上的商标的检测，以及附在产品上的标签的检测。检测到的信息可以用作产品信息。

产品信息提供服务器400可以构建线上销售和线下销售的各种产品的数据库。在构建数据库时，能够获取线下产品的三维几何形状、长度、形状或颜色的透视型头戴式显示器(hmd)或三维扫描仪可以用于获取关于产品的信息。所获取的产品信息可以包括产品的图像、尺寸、颜色或材料。

之后，已经从终端设备300接收到产品信息提供请求的产品信息提供服务器400可以通过基于所提取的产品信息在数据库中搜索与线下产品相同或相似的产品的详细信息来识别图像中的线下产品。

在此，产品信息提供服务器400可以使用图像匹配技术或近似重复图像检测(ndid)技术来搜索与线下产品相同或相似的产品。

详细地，图像匹配技术是指用于从被比较的两个图像中自动提取共轭点的坐标的算法。基于区域的图像匹配方法可以是最典型的图像匹配技术。基于区域的图像匹配方法中的相关系数图像匹配方法是使用两个图像的灰度的相似度来找到共轭点的最基本方法。与具有像素单元精度的现有图像匹配方法相比，允许子像素单元精度的匹配结果的最小二乘图像匹配方法在匹配点的位置存在于两个或三个像素内时显示出良好的结果。因此，在使用相关系数方法之后，使用最小二乘法来获得更高的精度。

基于特征的图像匹配使用点、线或平面特征来匹配两个图像。使用特征点的特征点匹配方法通过使用诸如forstner和moravec的算子来提取特征点，并且通过使用特征点作为种子点来执行相关系数匹配。特征线匹配方法从图像中提取各种边界，并基于所提取的边界来执行图像匹配。诸如拉普拉斯高斯(log)算子的微分算子被用作提取边界的方法。同时，平面特征匹配方法通过从图像中提取多边形来执行图像匹配。

关系匹配方法找到图像或结构之间的最佳对应关系。最常见的关系匹配方法使用树结构。根据这些方法，从图像中提取诸如点、线和平面图的特征，将这些特征分类为树结构，并存储在数据库中。如果在一个图像中选择了特征，则从数据库中检索另一个图像中的相应特征的位置。

可以通过使用数字地图、图像或照片或分析模型来生成数字高程模型(dem)。在使用数字地图生成数字高程模型时，可以使用比例为1/5,000或1/1,000的数字地图来提取顶点，并且在顶点之间执行插值。通常，该方法是制作数字高程模型的最容易的方式之一，并在一定程度上保证了精度。使用图像或照片生成数字高程模型是通过图像匹配生成数字高程模型，但是可以仅针对交叠区域获得数字高程模型。通过分析方法生成数字高程模型是通过收集三维坐标并借助分析模型在坐标之间插入点来生成数字高程模型。

近似重复图像检测技术被设计为扫描大量数字图像并聚类(cluster)扫描的图像。然后，用户可以通过重复检测特征自动去除重复图像。通常，近似重复图像检测技术还可以包括将特征确定功能应用于多个图像的操作—其中特征由几何形状定义，并且其中如果至少两个图像的特征的特定比率与定义特征的几何形状的特征相匹配，则多个图像中的至少两个由重复匹配来表征。

该方法通常包括分析被比较的图像的内容并为每个图像生成颜色和纹理直方图描述符数据。然后，可以基于颜色和纹理直方图描述符数据来比较图像，以确定图像是否近似重复图像。还可以基于颜色和纹理直方图描述符数据为每个图像生成基于内容的图像签名数据。然后可以比较图像签名数据以确定相应图像是否与重复图像近似。

当完成与线下产品相同或相似的产品的识别时，产品信息提供服务器400可以获取关于所识别的产品的信息。为此，产品信息提供服务器400可以提取在线上购物商场中销售的产品的图像的特征并且将它们预先存储在数据库中。此外，产品信息提供服务器400可以包括用于在接收到线下产品的图像时提取线下产品的图像的特征并且在数据库中搜索与线下产品相同或相似的图像的系统。

在产品信息提供服务器400不具有用于存储线上销售产品的图像的数据库或者找不到与线下产品相同或相似的图像的情况下，产品信息提供服务器400可以请求电子商务服务器500搜索与线下产品相同的产品的销售信息(s308)。

产品信息提供服务器400可以将在操作s308中在数据库中找到的或从电子商务服务器500接收到的线上产品销售信息发送到终端设备300(s309)。产品销售信息可以包括产品的名称、颜色和尺寸、线上购物商场销售信息、产品价格、库存量等。

之后，终端设备300可以从产品信息提供服务器400接收线上产品销售信息，并通过与捕获的线下产品的图像组合以增强现实输出线上产品销售信息(s310)。以增强现实输出的线上产品销售信息可以包括关于产品的详细信息以及销售产品的线上购物商场的列表。

此时，终端设备300的用户可以输入线上销售产品的期望价格、颜色或尺寸，从而仅选择性地显示大量产品中的期望产品的信息。

接下来，终端设备300的用户可以选择购物商场列表中的任何项目以检查关于产品的更详细信息或购买产品(s311)。如果用户选择购物商场列表中的一个项目，则终端设备300可以显示产品的详细信息页面或用户可以订购产品的订购页面或购物车页面(s312)。

如上所述，本公开内容的实施方式允许终端设备300的用户通过直观地捕获线下产品的图像来接收与线下产品相同或相似的产品的信息，而无需输入线下产品的规格，并且以增强现实输出线上销售产品信息，以便用户可以方便地检查线下产品的真实内容。

图3是根据本公开内容的实施方式的产品信息提供服务器400的框图。

参照图3，根据本公开内容的实施方式的产品信息提供服务器400包括服务通信单元410、服务搜索单元420、服务控制器430和服务存储单元440。

应当注意，图3示意性地示出了根据本公开内容的产品信息提供服务器400的基本部件和必要部件，并且产品信息提供服务器400还可以根据需要包括除图3中所示的部件之外的其他部件。

服务通信单元410、服务搜索单元420、服务控制器430、服务存储单元440可以由计算机软件、固件、硬件或这些中的一个或更多个的组合来实现。

例如，通过网络100与终端设备300和电子商务服务器500通信的服务通信单元410使得能够与例如线上购物商场系统的链接服务器接口，并且可以支持根据本公开内容提供产品信息所需的信息的发送和接收。

网络100可以是采用无线通信方案的无线网络，例如无线局域网(wlan)、wi-fi、无线宽带因特网(wibro)、全球互通微波接入(wimax)和高速下行分组接入(hsdpa)。然而，本公开内容不限于此，并且网络100可以是采用以下通信方案的有线网络：例如以太网、诸如非对称数字用户线路(adsl)和极高比特率数字用户线路(vdsl)的数字用户线路(xdsl)、混合光纤同轴电缆(hfc)、光纤到路边(fttc)和光纤入户(ftth)。

然而，本公开内容不限于此，而是可以基于已经可用或可能在将来开发的另一通信方案来实现网络100。

服务搜索单元420分析从终端设备300接收的产品图像，以获取诸如产品图像的特征信息、产品图像中包括的商标信息、线下产品的价格和线下产品的颜色的产品信息中的至少一个。在此，服务搜索单元420可以执行图像匹配或近似重复图像检测(ndid)技术以获取产品信息。同时，服务搜索单元420可以收集通过网络100在电子商务服务器500处销售的线上销售产品的图像的特征信息，以存储在服务存储单元440中。

服务存储单元440存储通过网络100在电子商务服务器500处销售的至少一个线上销售产品的图像的特征信息。在此，服务搜索单元420可以通过将线下产品的图像的特征信息与线上销售产品的图像的特征信息进行比较来搜索与线下产品相同或相似的线上销售产品，并且从电子商务服务器500中提取产品的线上销售信息。

服务控制器430执行产品信息提供服务器400的整体控制，并且可以包括操作系统和处理器设备，该处理器设备被配置成：分析从终端设备300接收的线下产品的图像的特征信息并且检索与线下产品相同或相似的线上销售产品。

服务控制器430可以控制以下的整个过程：分析从终端设备300接收的线下产品的捕获的图像，提取线下产品的图像的特征信息，搜索与所提取的信息对应的至少一个线上销售产品，以及从电子商务服务器500请求所提取的产品的信息。

此外，当终端设备300的用户打算接收关于产品的详细信息或购买产品时，服务控制器430可以请求相应的购物商场为终端设备300提供包含产品的详细信息的页面或订购产品的页面或购物车页面。另外，在识别线下产品之后，服务控制器430可以从数据库中检索所识别产品的详细信息，包括二维或三维图像、制造或生产信息、价格、尺寸、颜色、材料、用户手册、历史信息、平均递送时间、产品的库存量等，以发送到终端设备300。可替选地，服务控制器430可以从电子商务服务器500接收所识别的产品的信息以提供至终端设备300。

图4是示出根据本公开内容的实施方式的产品信息提供服务器400的操作的流程图。

可以通过下述对产品信息提供服务器400的操作的描述更容易地理解根据本公开内容的基于增强现实提供产品销售信息的服务，该服务由产品信息提供服务器400在电子商务服务器500的支持下来提供。

参照图4，产品信息提供服务器400检查是否从终端设备300接收到对由终端设备300捕获的线下产品的产品销售信息的请求(s401)。

当从终端设备300接收到请求时，产品信息提供服务器400接收由终端设备300捕获的线下产品的图像(s402)，并且分析所接收的图像以提取产品信息(s403)。

此时，除了产品图像本身以外，还可以提取附在线下产品上的商标。此外，在线下产品陈列在线下商店中的情况下，可以另外提取和分析附在线下产品上的标签。

可以在图像的分析中利用图像匹配技术或近似重复图像检测(ndid)技术。

为此，产品信息提供服务器400可以提取在线上购物商场中销售的产品的图像的特性并且将它们预先存储在数据库中。此外，产品信息提供服务器400可以包括用于在接收到线下产品的图像时提取线下产品的图像的特性并且在数据库中搜索与线下产品相同或相似的图像的系统。

所提取的产品信息可以包括产品的详细信息，如产品的名称、商标、制造商、产品编号、颜色和尺寸。

随后，产品信息提供服务器400可以从数据库中检索与在操作s403中提取的线下产品相同或相似的线上销售产品的信息。在产品信息提供服务器400不具有用于存储线上销售产品的图像的数据库或者不能找到与线下产品相同或相似的线上销售产品的情况下，产品信息提供服务器400可以请求电子商务服务器500搜索与线下产品相同或相似的线上销售产品。

此后，产品信息提供服务器400可以请求电子商务服务器500提供检索到的线上销售产品的销售信息，并且从电子商务服务器500接收该信息(s404)。

接下来，在操作s404中获取的与线下产品相同或相似的检索到的线上销售产品的销售信息被提供至终端设备300(s405)。线上销售产品的销售信息可以包括产品的名称、制造商、产品编号、颜色和尺寸以及销售该产品的线上购物商场的列表。

图5是根据本公开内容的实施方式的用于基于增强现实来提供产品销售信息的终端设备300的框图。

参照图5，终端设备300可以包括通信单元310、相机单元320、输入单元330、输出单元340、存储单元350和控制器360。

应该注意，图5示意性地示出了根据本公开内容的终端设备300的基本部件，并且根据需要，终端设备300还可以包括除了图3所示的部件以外的其他部件。

通信单元310通过网络100向外部设备发送数据并且从外部设备接收数据。具体地，通信单元310通过网络100与产品信息提供服务器400进行通信，以发送线下产品的捕获的图像以及从线下产品的捕获的图像中提取的产品信息，并且发送和接收根据本公开内容提供产品销售信息所需的其他数据。

通信单元310可以包括无线通信模块(未示出)和有线通信模块(未示出)中的至少一个。

无线通信模块——其使得能够通过采用无线通信方案的网络进行数据传输——可以包括移动通信模块、无线lan通信模块和无线个人区域网(pan)中的至少一个，使得终端设备300可以通过这些模块中的至少一个将数据发送到产品信息提供服务器400。

有线通信模块——其使得能够通过有线信道进行数据传输——可以通过有线信道访问网络100，以将数据发送到产品信息提供服务器400。

相机单元320可以包括前置相机和后置相机。相机单元320可以由用户或应用程序激活，以便用户捕获线下产品图像。

此时，为了可以容易地识别产品的轮廓或商标，可以在激活的相机上显示引导线，以便于将轮廓或商标定位在相机的框内。因此，用户可以移动终端设备300，使得轮廓或商标连同引导标记一起安全地驻留在框内。

输入单元330响应于用户的触摸输入或操纵输入而生成用户输入信号。

例如，输入单元330可以接收：用于激活或操作相机单元以捕获线下产品图像的输入，用于通过使用终端设备300从产品信息提供服务器400接收的产品销售信息来访问某个线上购物商场的输入，以及用于根据用户指定的标准过滤接收到的信息的输入。

输入单元330可以由各种输入设备来实现。例如，输入单元330可以包括键输入设备、触摸输入设备、姿势输入设备和语音输入设备中的至少一个。键输入设备可以包括具有多个键的小键盘或键盘，并且当用户操纵键时生成与多个键中的每个键对应的信号。触摸输入设备可以是通过感测用户对特定部分的触摸来识别输入操作的触摸板、触摸屏或触摸传感器。姿势输入设备可以包括以下中的至少一个：地磁传感器、加速度传感器、相机、高度计、陀螺仪传感器和接近传感器，以检测和识别用户的预定移动或姿势(如终端设备的摇晃或移动、对终端设备的靠近、眨眼等)作为特定输入信号。

输出单元340可以在控制器360的控制下在终端设备300的操作期间输出一系列操作状态和操作结果。具体地，根据本公开内容，输出单元340以增强现实输出与由用户捕获的线下产品图像对应的产品信息，使得用户可以真实地感知产品信息。

输出单元340可以由诸如液晶显示器(lcd)、薄膜晶体管lcd(tft-lcd)、发光二极管(led)、有机发光二极管(oled)、有源矩阵有机发光二极管(amoled)、柔性显示器或三维显示器的显示设备来实现。

此外，输出单元340可以包括音频输出单元。音频输出单元可以输出包括在由控制器360处理的信号中的音频信息。音频输出单元可以包括接收器、扬声器和蜂鸣器，以输出由控制器360生成的引导声音。

输入单元330和输出单元340可以合并到可以执行输入和输出功能两者的单个触摸面板屏幕中。

通过上述配置，终端设备300可以从产品信息提供服务器400接收产品信息，以增强现实向用户提供信息。在该操作期间，终端设备300可以将线下产品的捕获的图像以及从产品信息提供服务器400接收的数据存储在存储单元350中。

作为用于存储数据的设备的存储单元350包括主存储器设备和辅助存储设备，并且存储终端设备300的功能操作所需的应用程序和运行程序所需的数据。存储单元350可以包括程序区和数据区。

具体地，根据本公开内容的存储单元350可以存储由产品信息提供服务器400分发并从应用商店服务器(未示出)下载的应用程序。此外，存储单元350还可以存储用于分析产品图像的程序。

存储单元350可以包括诸如随机存取存储器(ram)、只读存储器(rom)、硬盘(hdd)、闪速存储器、压缩盘只读存储器(cd-rom)和数字通用光盘(dvd)的存储介质以及诸如网络存取存储(nas)的其他存储介质。

控制器360可以是执行操作系统和终端设备300的每个配置的处理器设备。

控制器360控制终端设备300的整体操作，包括执行存储在存储单元350中的应用程序，以向用户提供从产品信息提供服务器400接收的产品销售信息。

具体地，控制器360可以控制以下过程：将从信息提供服务器400接收的线上产品销售信息与线下产品的捕获的图像进行组合，以增强现实进行输出。

此外，当从相机单元320接收到线下产品的捕获的图像时，控制器360控制以下过程：通过应用程序将对与线下产品相同或相似的线上销售产品的信息的请求发送到产品信息提供服务器400。

由控制器360执行的根据本公开内容的应用可以从产品信息提供服务器400接收与线下产品对应的线上销售产品的列表，并且输出线上销售产品的列表以促使用户选择列表中的某个项目。

控制器360可以根据用户的指令来执行以增强现实输出的图像的改变，如图像的旋转和修改。

控制器360可以包括可以通过总线彼此连接的ram、rom、cpu和gpu。cpu可以访问存储单元350以读出存储在存储单元350中的操作系统并引导(boot)终端设备300，并且使用存储在存储单元350中的程序、内容和数据执行各种操作。

图6是示出根据本公开内容的实施方式的基于增强现实提供产品销售信息的终端设备300的操作的流程图。

参照图6，终端设备300根据用户的操纵来捕获线下产品的图像(s321)。此时，可以通过预先安装在终端设备300中的应用程序来操作相机单元320。被捕获的线下产品可以是街道上的其他人穿戴或携带的产品，或者可以是在线下商店中陈列的产品。

随后，终端设备300通过网络100将线下产品的捕获的图像发送到产品信息提供服务器400，并且请求关于与线下产品相同或相似的线上销售产品的信息(s322)。

产品信息提供服务器400可以使用图像匹配技术或近似重复图像检测(ndid)技术来检索与线下产品相同或相似的线上销售产品。产品信息提供服务器400可以通过将从终端设备300接收的捕获的图像与从数据库检索的或从电子商务服务器500接收的产品信息进行比较来确定线上销售产品。

然后，终端设备300从产品信息提供服务器400接收与线下产品相同或相似的线上销售产品的销售信息(s323)。来自产品信息提供服务器400的产品销售信息可以包括产品的价格和颜色以及销售该产品的线上购物商场和公开市场的列表。此时，用户可以指定关于期望产品的价格、颜色和尺寸的条件，以缩小产品销售信息的搜索结果。

终端设备300可以实时地将所接收的信息与线下产品的捕获的图像进行组合，以增强现实进行输出。终端设备300可以将线下产品的图像和线上销售产品的图像布置成彼此靠近，使得用户可以直观地比较图像并且在做出购买决定时利用产品销售信息。

当用户需要关于产品的更详细信息或者希望购买产品时，用户可以操纵终端设备300以选择产品销售信息中的购物商场列表中的项目。

如果用户在产品销售信息中的购物商场列表中选择某个项目(s325)，则终端设备300可以连接至产品的详细信息页面或订购/购物车页面，在订购/购物车页面上用户可以在操作相应的线上购物商场的电子商务服务器500中订购产品(s326)。

为此，以增强现实提供的信息可以包括用于连接至每个线上购物商场的相应页面的超链接。

图7a和图7b是要基于增强现实提供其线上销售信息的示例性线下产品图像。

图7a是用户通过使用终端设备300的相机单元320捕获的街道上的另一个人穿戴的产品的图像。

此时，单独引导线301可以显示在激活的相机上，使得用户可以将产品定位在相机的某个框内。用户可以移动终端设备100，使得产品连同引导线一起安全地驻留在框内。

可以为产品以及附在产品上的商标设置引导线301。

图7b是用户通过使用终端设备300的相机单元320捕获的陈列在线下商店中的产品的图像。如上所述，终端设备300可以为产品本身和产品的商标提供引导线。此外，终端设备300还可以为附在产品上的标签提供引导线，以便于识别标签。

图8a和图8b是根据本公开内容的实施方式的基于增强现实来提供产品销售信息的示例性屏幕截图。

参照图8a，可以将产品信息与由终端设备300的用户捕获的线下产品图像进行组合，从而以增强现实进行显示。

此时提供的信息可以包括产品名称、产品颜色、产品尺寸以及销售产品的线上购物商场的列表。如果用户需要关于产品的更多信息或者想要购买产品，则用户可以选择列表中的线上购物商场中的一个。

参照图8b，可以以增强现实提供与线下产品种类相同的产品的列表，即，与线下产品相同或相似的产品。此外，可以分析附在产品上的商标，并且可以以增强现实提供同一商标或品牌的产品的列表。此外，用户可以为期望的产品指定更多的条件，以缩小列表中包含的产品。

图9是根据本公开内容的实施方式的在选择线上购物商场之后提供的页面的示例性屏幕截图。

参照图9，终端设备300的用户可以从自产品信息提供服务器400接收的产品销售信息中选择销售产品的线上购物商场中的任何一个，以接收详细产品信息页面或用户可以订购产品的订购/购物车页面。

详细产品信息页面可以由产品信息提供服务器400基于存储在其数据库中的信息来提供。可替选地，详细产品信息页面可以由与相应的线上购物商场相关联的电子商务服务器500来提供。

图10是示出根据本公开内容的实施方式的用于基于增强现实提供产品销售信息的设备的操作环境的框图。

图10和以下描述旨在提供可以实现本公开内容的合适计算环境的简要和一般描述。尽管并非必需，但是可以与计算机可执行指令诸如可以由计算机系统执行的程序模块联系地描述本公开内容。通常，程序模块包括适用于执行特定任务或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。计算机可执行指令、相关联的数据结构和程序模块例示了用于实施本文所描述的过程的程序代码装置。

参照图10，适用于实现本公开内容的示例性计算系统可以包括处理单元11、系统存储器12以及将包括系统存储器12的各种系统部件连接至处理单元11的系统总线10。

处理单元11能够执行被设计成实现本公开内容的特征的计算机可执行指令。

系统总线10可以是包括本地总线、外部总线和存储器总线的若干类型的总线架构中的任何一个。可替选地，系统总线10可以是采用存储器控制器的总线架构中的任何一个。系统存储器12包括只读存储器(rom)12a以及随机存取存储器12b。基本输入/输出系统(bios)13a通常可以存储在rom12a中，基本输入/输出系统(bios)13a包括基本例程，在系统启动时基本例程帮助在计算系统内的部件之间进行信息传输。

计算系统可以包括存储设备。例如，计算系统可以包括从硬盘中读取信息或者将信息写入硬盘的硬盘驱动器15、从磁盘中读取信息或者将信息写入磁盘的磁盘驱动器16、以及从光盘中读取信息或者将信息写入光盘的光盘驱动器17，如cd-rom和其他光学介质。硬盘驱动器15、磁盘驱动器16和光盘驱动器17可以分别通过硬盘驱动器接口18、磁盘驱动器接口19和光盘驱动器接口20与系统总线10连接。

此外，计算系统还可以包括外部存储器21作为一种存储设备。外部存储器21可以通过输入/输出(i/o)接口24连接至系统总线10。

上述驱动器和可以由驱动器访问的计算机可读介质允许计算机可执行指令、数据结构、程序模块和其他数据的非易失性存储。虽然本文中描述的示例性环境示出了硬盘15、磁盘16和光盘17，但是还可以使用用于存储数据的其他类型的计算机可读介质，如磁带、闪存卡、dvd、伯努利磁带、ram以及rom。

可以将包括可以由处理单元11加载并且执行的一个或更多个程序模块并且包括操作系统13b、一个或更多个应用程序13c、其他程序模块13d和程序数据13e的程序代码装置存储在硬盘15、磁盘16、光盘17、rom12a或ram12b中。

此外，计算系统可以通过输入设备22诸如键盘、定点设备、麦克风、操纵杆、游戏垫和扫描器接收来自用户的命令和信息。这些输入设备22可以经由与系统总线10连接的i/o接口24连接至处理单元11。i/o接口24可以在逻辑上表示各种接口中的至少一个或组合，例如串行端口接口、ps/2接口、并行端口接口、usb接口、电气和电子工程师协会(ieee)1394接口(即火线接口)和其他接口。

此外，计算系统还可以包括诸如监视器和液晶显示器(lcd)的显示设备26，以及诸如扬声器和麦克风的音频设备27。显示设备26和音频设备27可以通过视频/音频接口25连接至系统总线10。例如，可以将其他外围设备(未示出)例如扬声器和打印机连接至计算系统。视频/音频接口25可以包括高清晰度多媒体接口(hdmi)和图形设备接口(gdi)。

计算系统可以连接至网络例如办公室广域网(wan)或企业wan、家庭网络、内联网和/或因特网。计算系统可以与外部源例如远程计算机系统、远程应用和/或远程数据库交换数据。

为此，计算系统可以包括用于从外部源接收数据和/或向外部源发送数据的网络接口28。

计算系统可以通过网络接口28将信息发送到远程设备并且从远程设备接收信息。例如，在计算系统是指终端设备300的情况下，计算系统可以通过网络接口28与产品信息提供服务器400通信。另一方面，在计算系统是指产品信息提供服务器400的情况下，计算系统可以通过网络接口28与终端设备300交换信息。网络接口28可以表示网络接口卡或诸如网络驱动器接口规范(ndis)堆栈的等效软件、等效硬件和/或软件和硬件的逻辑组合。

类似地，计算系统可以通过i/o接口24向外部源发送数据并且从外部源接收数据。i/o接口24可以连接至诸如标准调制解调器、电缆调制解调器和数字用户线路(dsl)调制解调器的调制解调器23。计算系统可以通过调制解调器23向外部源发送数据并且从外部源接收数据。

虽然图10示出了适用于本公开内容的操作环境，但是必要时本公开内容的原理可以适用于能够通过适当修改实现本公开内容的原理的任何其他系统。图10中示出的环境仅是说明性的并且甚至不表示可以实现本公开内容的原理的各种环境的小部分。

此外，可以在与计算系统相关的计算机可读介质中存储并且访问在执行根据本公开内容的程序期间生成的各种信息。例如，可以将这些程序模块的一部分和关联的程序数据的一部分包括在操作系统13b、应用程序13c、程序模块13d和/或程序数据13e中以被存储在系统存储器12中。

此外，当大容量存储设备例如硬盘与计算系统连接时，可以将这样的程序模块和相关程序数据存储在大容量存储设备中。在联网环境中，可以将与本公开内容关联的程序模块或其部分存储在经由i/o接口24和调制解调器23或网络接口25连接的远程计算机系统(例如，与终端设备300的计算系统相关的系统存储器，或诸如大容量存储设备的远程存储器设备)中。可以在如上所述的分布式环境中进行这样的模块的执行。

根据本公开内容，当用户希望获取特定产品的信息时，用户可以简单地通过捕获特定产品的图像而不是输入产品的所有线索信息来接收从与特定产品相同或相似的产品中搜索到的产品信息。此外，由于以增强现实提供产品信息，因此用户可以以更沉浸的形式接收产品信息。

虽然本说明书包含许多具体的实现细节，但是应当理解，它们不应被解释为对任何公开内容或权利要求的范围的限制，而是作为可以特定于特定公开内容的特定实施方式的特征的描述。关于独立的实施方式的上下文描述的特定特征可以在单个实施方式中以组合的方式实现。相反地，在单个实施方式的上下文中描述的各种特征也可以在其他实施方式中单独实现或者以任何合适的子组合的方式实现。此外，尽管许多特征可以被描述为以特定组合进行操作并且可以初始描述为如所要求保护的，但是在一些情况下可以将来自所要求保护的组合的一个或更多个特征从该组合中排除，并且可以由子组合或子组合的变型来替换所要求保护的组合。

类似地，尽管在附图中以特定顺序描述了操作，但是不应当理解成这样的操作需要以所示的特定顺序或顺序的次序执行以实现期望的结果或者应当执行所有描述的操作。在某些情况下，多任务和并行处理可以是有利的。此外，上述实施方式中的各种系统部件的分离不应被理解为在所有实施方式中都需要这样的分离，并且以上描述的程序部件和系统通常可以一起集成到单个软件产品中或封装到多功能软件产品中。

尽管本文已经描述了本主题的特定实施方式，但是其他实施方式也在所附权利要求书的范围内。例如，权利要求书中限定的操作可以以不同的顺序执行以仍然实现期望的结果。举例来说，附图中所示的过程不一定需要特别示出的顺序或顺序的次序来实现期望的结果。在某些实现中，多任务和并行处理可以是有利的。

以上阐述的描述公开了本公开内容的最佳模式，并且提供该描述以说明本公开内容并且使得本领域技术人员能够制造并且使用本公开内容。书面描述并非旨在将本公开内容限制于所呈现的特定术语。因此，尽管已经参考上述示例详细描述了本公开内容，但是本领域技术人员将能够在不偏离本公开内容的范围的情况下对示例进行适应、修改和变化。

本公开内容的描述在本质上仅是示例性的，并且因此不偏离本公开内容的实质的变型旨在落入本公开内容的范围内。不能认为这样的变型偏离本公开内容的精神和范围。