基于增强现实技术的点单方法、系统及设备与流程

本发明涉及增强现实应用技术领域，尤其涉及一种基于增强现实技术的点单方法、系统及设备。

背景技术：

增强现实(Augmented Reality，AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，例如视觉信息或者触觉等，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。

目前增强现实技术的应用，主要表现为在现实生活中虚拟出一些物体，比如，虚拟出一个高楼模型，供设计师设计使用等，而将增强现实技术应用于生活的场景却很少见到，例如在餐厅进行点单。

技术实现要素：

鉴于以上内容，有必要提出一种基于增强现实技术的点单方法、系统及设备，其可以将菜单上的平面图像或者具体的食材等以丰富的多媒体形式向顾客显示，使得顾客可以查看该食物的具体做法，刺激顾客的食欲，提高顾客点单的趣味性。

一种基于增强现实技术的点单方法，应用于增强现实设备中，所述增强现实设备包括相机，所述方法包括：

激活所述相机对当前对象进行拍摄并生成相应的图像；

识别所生成的图像并得到相应的食物信息；

调用与所述食物信息相关联的烹饪视频；及

播放所述烹饪视频，以供用户选择是否点单。

根据本发明的一个优选实施例，所述方法还包括：

预先存储数据库，所述数据库中存储有所述食物信息及相关联的烹饪视频，所述食物信息包括：食物名称、食物口味及客户评价。

根据本发明的一个优选实施例，当所述数据库预先存储有多个与所述图像相对应的所述食物信息，且每一个食物信息都对应有一个烹饪视频时，所述方法还包括：

提供对应的多个选项，并接收用户确认的选项所对应的食物信息。

根据本发明的一个优选实施例，所述方法还包括：

预先设置拍摄条件；

当所述拍摄条件满足时，激活所述相机拍摄并生成图像。

根据本发明的一个优选实施例，所述方法还包括：

接收用户对所述食物信息的客户评价；

根据所述客户评价，将对应的食物信息按照所述客户评价进行排序显示。

一种基于增强现实技术的点单系统，应用于增强现实设备中，所述增强现实设备包括相机，所述系统包括：

拍摄模块，用于激活所述相机对当前对象进行拍摄并生成相应的图像；

识别模块，用于识别所生成的图像并得到相应的食物信息；

调用模块，用于调用与所述食物信息相关联的烹饪视频；及

显示模块，用于播放所述烹饪视频，以供用户选择是否点单。

根据本发明的一个优选实施例，所述系统还包括：

存储模块，用于预先存储数据库，所述数据库中存储有所述食物信息及相关联的烹饪视频，所述食物信息包括：食物名称、食物口味及客户评价。

根据本发明的一个优选实施例，当所述数据库预先存储有多个与所述图像相对应的所述食物信息，且每一个食物信息都对应有一个烹饪视频时，所述系统还包括：

设置模块，用于提供对应的多个选项，并接收用户确认的选项所对应的食物信息。

根据本发明的一个优选实施例，

所述设置模块还用于，预先设置拍摄条件；

所述拍摄模块还用于，当所述拍摄条件满足时，激活所述相机拍摄并生成图像。

根据本发明的一个优选实施例，所述系统还包括：

接收模块，用于接收用户对所述食物信息的客户评价；及

所述显示模块，还用于根据所述客户评价，将对应的食物信息按照所述客户评价进行排序显示。

一种增强现实设备，用于点单，所述设备包括：

相机、显示器、存储器和处理器，

所述存储器，用于存储程序代码；

所述处理器，执行所述程序代码，用于控制所述相机对当前对象进行拍摄并生成相应的图像，激活所述相机，识别所生成的图像并得到相应的食物信息，调用与所述食物信息相关联的烹饪视频，及控制所述显示器播放所述烹饪视频，以供用户选择是否点单。

相较于现有技术，使用本发明所述的基于增强现实技术的点单方法、系统及设备，其可以将菜单上的平面图像或者食材等以丰富的多媒体形式向顾客显示，使得顾客可以查看该食物的具体做法，刺激顾客的食欲，增强了顾客点单的趣味性，同时提高了店家的信誉度体验。

附图说明

图1是本发明基于增强现实技术的点单方法的较佳实施例的流程图。

图2是本发明实现基于增强现实技术的点单方法的较佳实施例的增强现实设备的结构示意图。

图3是本发明基于增强现实技术的点单系统功能模块图。

主要元件符号说明

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图和具体实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。此外，应当理解，本文所描述的具体实施例，仅用以解释本发明，并不用于限定本发明。

基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1所示，是本发明基于增强现实技术的点单方法较佳实施例的流程图。所述较佳实施例中的方法由增强现实设备所执行。

根据不同的需求，该图所示流程图中的执行顺序可以改变，某些步骤可以省略。

S21，所述增强现实设备激活相机对当前对象进行拍摄并生成相应的图像。

在本实施例中，所述增强现实设备上至少包括相机。所述增强现实设备可以是AR眼镜，也可以是其他类似于智能手机或者平板电脑等的AR设备。如果所述增强现实设备是AR眼镜，则用户可以直接佩戴在眼睛上，如果所述增强现实设备是类似于智能手机或者平板电脑等的AR设备，则用户可以直接握在手里或者支撑在支撑架上。本实施例对所述增强显示设备的具体形状不做限制，任何具有所述相机的AR设备都可适用于本发明。

所述相机，用于捕获用户前方的对象信息，并对所述对象进行拍摄以生成相应的图像。在本实施例中，所述相机可以是高分辨率的摄像头，随时随地记录周围场景。所述对象信息可以是现实生活中的食材，也可以是菜单上或者宣传册上的二维图像。

S22，所述增强现实设备识别所生成的图像并得到相应的食物信息。

在本实施例中，所述增强现实设备还至少包括处理器，所述处理器与所述相机通讯连接，用于接收所述相机获取的图像，对所述图像进行识别并得到与所述图像相对应的食物信息。

所述处理器对所生成的图像进行识别的方法可以为：统计模式识别、结构模式识别或者模糊模式识别等。

具体地，所述处理器接收到所述图像时，可以先对所述图像进行预处理调整图像的清晰度，所述预处理可以包括：做对比度以及亮度的调整，及/或通过色温参数Gamma表调整图像的色温参数水平。然后对经过预处理后的图像进行特征提取，例如采用线性变化的方法、局部性保持特征提取方法或者二维模式特征提取方法提取所述图像的特征。最后将提取出来的特征与所述增强现实设备中预先存储的食物特征进行匹配从而得到所述食物信息。

所述食物信息包括：食物名称、食物口味及客户评价等。所述食物口味是指烹饪出来的食物是酸、甜、麻辣、辛辣等，所述客户评价是指其他客户对该食物的感觉或者描述。

S23，所述增强现实设备调用与所述食物信息相关联的烹饪视频。

在本实施例中，所述增强现实设备预先存储有数据库，所述数据库中存储有所述食物信息及相关联的烹饪视频。所述烹饪视频是店家事先录制好的经典烹饪做法。

S24，所述增强现实设备播放所述烹饪视频，以供用户选择是否点单。

在本实施例中，所述增强现实设备还至少包括显示器，用于提供用户界面，所述增强现实设备将所述烹饪视频在所述用户界面上进行显示，使用户能够身临其境的感受到与所观看到的食物相关的整个烹饪过程及最后烹饪出来的食物。所述显示器可以是智能镜片，也可以是触摸显示屏。

进一步的，在其他实施方式中，当所述增强现实设备中预先存储有多个与所述图像相对应的所述食物信息，且每一个食物信息都对应有一个烹饪视频时，所述方法还包括：所述增强现实设备提供给用户多个对应的选项，并接收用户确认的选项所对应的食物信息。用户可以通过触摸所述显示器上的选项子菜单来选择所需要了解的食物信息。所述显示器接收用户的触摸选项，并将与所述触摸选项相对应的烹饪视频显示给用户。

举例而言，当用户看到一只螃蟹，所述增强现实设备的相机获取螃蟹图像，并经过识别后得到与螃蟹相关联的食物信息，如清蒸大闸蟹、香辣炒蟹、咖喱花蟹、蒜蓉豆豉美味蟹等多种食物名称，当用户选择咖喱花蟹选项时，所述增强现实设备将咖喱花蟹的烹饪视频、食物口味及客户评价显示在所述显示器上供用户观看。

进一步的，在其他实施方式中，在所述增强现实设备对当前对象进行拍摄并生成相应的图像之前，所述方法还可以包括：预先设置拍摄条件，当所述拍摄条件满足时，激活所述相机拍摄并生成图像。所述拍摄条件可以是用户直视所述食物的时长超过预设时长(例如，5秒钟)。如此可以避免用户在挑选食物的过程中，所述增强现实设备不停的拍摄图像，造成对所述增强现实设备资源的浪费。

进一步地，在其他实施方式中，所述方法还可以包括：接收用户对所述食物信息的客户评价，并根据所述客户评价，将对应的食物信息按照所述客户评价进行排序显示。用户可以根据排序选择最佳的食物。

所述客户评价可以是用户给定的分数(0-100分)，还可以是“好”“一般”“不怎么样”等预先设置的选择项。所述增强现实设备可以所述食物信息按照用户给定的分数由高到低进行排序显示，或者按照用户给定的分数由低到高进行排序显示。在其他实施例中，所述现实设备还可以根据预先设置的选择项，将评价为“好”选择项所对应的食物信息优先显示，将评价为“不怎么样”选择项所对应的食物信息最后显示。

如图2所示，本发明实现基于增强现实技术的点单方法及系统的较佳实施例的增强现实设备的结构示意图。如该结构示意图所示，所述增强现实设备1包括：相机11、处理器12、存储器13、及显示器14及通信总线15。应该了解，所述增强现实设备1也可以包括其他硬件或者软件部件，而并不限制于上述列举的部件。例如所述增强现实设备还可以包括内部电源，所述内部电源的方式可以为外接交流电源或直流电源或内置充电蓄电池等。

在一个实施例中，所述增强现实设备可以是AR眼镜，也可以是其他类似于智能手机或者平板电脑等的AR设备。如果所述增强现实设备是AR眼镜，则用户可以直接佩戴在眼睛上，如果所述增强现实设备是类似于智能手机或者平板电脑等的AR设备，则用户可以直接握在手里或者支撑在支撑架上。本实施例对所述增强显示设备的具体形状不做限制，任何具有所述相机的AR设备都可适用于本发明。

在一个实施例中，相机11，用于捕获食物信息，并对所述食物进行拍摄生成相应的图像。所述相机11可以是高分辨率的摄像头，随时随地记录周围场景。

在一个实施例中，处理器12称中央处理器(Central Processing Unit，CPU)，是一块超大规模的集成电路，是所述增强现实设备1的运算核心(Core)和控制核心(Control Unit)。所述处理器12的功能主要是解释程序指令以及处理一种基于增强现实技术的点单方法及系统中的数据。

在一个实施例中，所述存储器13被设置为存储第一控制系统10的程序代码和各种数据，并在所述增强现实设备1运行过程中实现高速、自动地完成程序或数据的存取。进一步地，所述存储器13可以是集成电路中没有实物形式的具有存储功能的电路，如RAM(Random-Access Memory，随机存取存储设备)、FIFO(First In First Out，)等。或者，所述存储器13也可以是具有实物形式的存储设备，如内存条、TF卡(Trans-flash Card)等等。

在一个实施例中，所述显示器14，用于提供用户界面，所述增强现实设备将所述烹饪视频在所述用户界面上进行显示，使用户能够身临其境的感受到与所观看到的食物相关的整个烹饪过程及最后烹饪出来的食物。所述显示器14可以是智能镜片，也可以是触摸显示屏。

在一个实施例中，所述通信总线15被设置为实现处理器12、存储器13以及显示器14等之间的连接通信。

上述图2详细介绍了本发明的增强现实设备硬件结构，下面结合第3图，对实现基于增强现实技术的点单方法的软件系统的功能模块进行介绍。

参阅图3所示，是本发明基于增强现实技术的点单系统30较佳实施例中的功能模块图。

本实施例中，所述基于增强现实技术的点单系统30根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：拍摄模块301、识别模块302、调用模块303、存储模块304、显示模块305、设置模块306及接收模块307。本发明所称的模块是指一种能够被处理器12所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器13中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

所述拍摄模块301，用于激活所述相机对当前对象进行拍摄并生成相应的图像。

在本实施例中，所述增强现实设备上至少包括相机。所述增强现实设备可以是AR眼镜，也可以是其他类似于智能手机或者平板电脑等的AR设备。如果所述增强现实设备是AR眼镜，则用户可以直接佩戴在眼睛上，如果所述增强现实设备是类似于智能手机或者平板电脑等的AR设备，则用户可以直接握在手里或者支撑在支撑架上。本实施例对所述增强显示设备的具体形状不做限制，任何具有所述相机的AR设备都可适用于本发明。

在本实施例中，所述相机可以是高分辨率的摄像头，随时随地记录周围场景。所述食物信息可以是现实生活中的食材，也可以是菜单上或者宣传册上的二维图像。

所述识别模块302，用于识别所生成的图像并得到相应的食物信息。

在本实施例中，所述识别模块302与所述拍摄模块301通讯连接，用于接收所述拍摄模块301获取的图像，对所述图像进行识别并得到与所述图像相对应的食物信息。

所述识别模块302对所生成的图像进行识别的方法可以为：统计模式识别、结构模式识别或者模糊模式识别等。

具体地，所述识别模块302接收到所述图像时，可以先对所述图像进行预处理调整图像的清晰度，所述预处理可以包括：做对比度以及亮度的调整，及/或通过色温参数Gamma表调整图像的色温参数水平。然后对经过预处理后的图像进行特征提取，例如采用线性变化的方法、局部性保持特征提取方法或者二维模式特征提取方法提取所述图像的特征。最后将提取出来的特征与所述增强现实设备中预先存储的食物特征进行匹配从而得到所述食物信息。

所述食物信息包括：食物名称、食物口味及客户评价等。所述食物口味是指烹饪出来的食物是酸、甜、麻辣、辛辣等，所述客户评价是指其他客户对该食物的感觉或者描述。

所述调用模块303，用于调用与所述食物信息相关联的烹饪视频。

在本实施例中，所述存储模块304预先存储有数据库，所述数据库中存储有所述食物信息及相关联的烹饪视频。所述烹饪视频是店家事先录制好的经典烹饪做法。

所述显示模块305，用于播放所述烹饪视频，以供用户选择是否点单。

在本实施例中，所述增强现实设备还至少包括显示器，用于提供用户界面，所述显示模块305将所述烹饪视频在所述用户界面上进行显示，使用户能够身临其境的感受到与所观看到的食物相关的整个烹饪过程及最后烹饪出来的食物。所述显示器可以是智能镜片，也可以是触摸显示屏。

进一步的，在其他实施方式中，当所述存储模块304预先存储有多个与所述图像相对应的所述食物信息，且每一个食物信息都对应有一个烹饪视频时，所述基于增强现实技术的点单系统30还包括：设置模块306，用于提供给用户多个对应的选项，并接收用户确认的选项所对应的食物信息。用户可以通过触摸所述显示器上的选项子菜单来选择所需要了解的食物信息。所述显示模块305接收用户的触摸选项，并将与所述触摸选项相对应的烹饪视频显示给用户。

举例而言，当用户看到一只螃蟹，所述拍摄模块301获取螃蟹图像，所述识别模块302经过识别后得到与螃蟹相关联的食物信息，如清蒸大闸蟹、香辣炒蟹、咖喱花蟹、蒜蓉豆豉美味蟹等多种食物名称，当用户选择咖喱花蟹选项时，所述显示模块305将咖喱花蟹的烹饪视频、食物口味及客户评价显示在所述显示器上供用户观看。

进一步的，设置模块306还可以用于：预先设置拍摄条件，当所述拍摄条件满足时，激活所述相机拍摄并生成图像。所述拍摄条件可以是用户直视所述食物的时长超过预设时长(例如，5秒钟)。如此可以避免用户在挑选食物的过程中，所述增强现实设备不停的拍摄图像，造成对所述增强现实设备资源的浪费。

进一步地，在其他实施方式中，所述基于增强现实技术的点单系统30还可以包括接收模块307：用于接收用户对所述食物信息的客户评价。所述显示模块305根据所述客户评价，将对应的食物信息按照所述客户评价进行排序显示。用户可以根据排序选择最佳的食物。

所述客户评价可以是用户给定的分数(0-100分)，还可以是“好”“一般”“不怎么样”等预先设置的选择项。所述显示模块305可以将所述食物信息按照用户给定的分数由高到低进行排序显示，或者按照用户给定的分数由低到高进行排序显示。在其他实施例中，所述显示模块305还可以根据预先设置的选择项，将评价为“好”选择项所对应的食物信息优先显示，将评价为“不怎么样”选择项所对应的食物信息最后显示。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。

结合图2，在本发明的一个实施例中，所述处理器12可执行所述增强现实设备1中的操作系统以及安装的各类应用程序(如所述的基于增强现实技术的点单系统30)、程序代码等，例如，上述的各个模块，包括所述拍摄模块301、识别模块302、调用模块303、存储模块304、显示模块305、设置模块306及接收模块307等。

所述存储器13中存储有程序代码，且所述处理器12可调用所述存储器13中存储的程序代码以执行相关的功能。例如，图3中所述的各个模块(例如，拍摄模块301、识别模块302、调用模块303、存储模块304、显示模块305、设置模块306及接收模块307等)是存储在所述存储器13中的程序代码，并由所述处理器12所执行，从而实现所述各个模块的功能以提高用户点单的兴趣。

在本发明的一个实施例中，所述存储器13存储多个指令，所述多个指令被所述处理器12所执行以实现基于增强现实技术的点单的方法。具体而言，所述处理器12对所述多个指令的执行包括：

激活所述相机对当前对象进行拍摄并生成相应的图像；

识别所生成的图像并得到相应的食物信息；

调用与所述食物信息相关联的烹饪视频；及

播放所述烹饪视频，以供用户选择是否点单。

根据本发明的一个优选实施例，所述处理器12进一步执行：

预先存储数据库，所述数据库中存储有所述食物信息及相关联的烹饪视频，所述食物信息包括：食物名称、食物口味及客户评价。

根据本发明的一个优选实施例，当所述数据库预先存储有多个与所述图像相对应的所述食物信息，且每一个食物信息都对应有一个烹饪视频时，所述处理器12进一步执行：

提供给用户多个对应的选项，并接收用户确认的选项所对应的食物信息。

根据本发明的一个优选实施例，所述方法还包括：

预先设置拍摄条件；

当所述拍摄条件满足时，激活所述相机拍摄并生成图像。

根据本发明的一个优选实施例，所述处理器12进一步执行：

接收用户对所述食物信息的客户评价；

根据所述客户评价，将对应的食物信息按照所述客户评价进行排序显示。

具体地，所述处理器12对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理器中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。