商场室内导航地图建立方法、系统、设备及存储介质与流程

本发明涉及室内导航，具体地，涉及一种商场室内导航地图建立方法、系统、设备及存储介质。

背景技术：

随着商业经济的快速发展，人民生活水平的提高，城市品牌形象的树立，在人民生活的聚集区，都会存在百货商场，如沃尔玛、家乐福等。

在百货商场中经常使用价格标签对商品进行标记。价格标签上标注有条形码和文字信息。文字信息中包括商品价格和促销信息等。条形码为将宽度不等的多个黑条和空白，按照一定的编码规则排列，用以表达一组信息的图形标识符。常见的条形码是由反射率相差很大的黑条和白条排成的平行线图案。条形码可以标出物品的生产国、制造厂家、商品名称、生产日期、图书分类号、邮件起止地点、类别、日期等许多信息，因而在商品流通、图书管理、邮政管理、银行系统等许多领域都得到广泛的应用。

百货商场一般都进行种类繁多商品的展示和售卖。当消费者想到需找时，经常需要不断走动巡视进行目标商品的寻找，费时费力，特别是在寻找小件商品时，更是困难。因此如果能够对商场的目标商品进行导航需找，将会带来极大的便利。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种商场室内导航地图建立方法、系统、设备及存储介质。

根据本发明提供的商场室内导航地图建立方法，用于通过图像自动采集车进行商场室内地图的构建，包括如下步骤：

步骤s1：通过图像自动采集车在所述商场内进行自动移动初建所述商场的室内全局地图，并在室内全局地图中确定出所述商场内每一货架位置；

步骤s2：通过所述室内全局地图控制所述图像自动采集车移动进行每一货架的货架图像采集，并将多张所述货架图像拼接以在对应的所述货架位置生成货架模型；

步骤s3：将所述货架模型上的每一商品区域识别出，进而实现对每一商品区域对应商品信息的标注。

优选地，所述图像自动采集车包括即时定位与地图构建装置、车体、支架以及相机；所述支架设置在所述车体上且沿竖直方向延伸；所述车体带动所述支架移动；

所述相机通过安装件可拆卸的连接所述支架；多个所述相机沿所述支架的高度依次排列；

所述即时定位与地图构建装置设置在所述车体上，用于控制所述图像自动采集车进行运行以建立所述室内全局地图。

优选地，还包括如下步骤：

步骤s4：通过预设的价签检测模型对每一所述货架图像上的价格标签进行单元检测，识别所述图像上的多个价格标签区域；

步骤s5：读取每一所述价格标签区域的条形码并识别每一所述价格标签区域的数字生成价格信息；

步骤s6：根据所述条形码序列查询预设的商品数据库确定对应的设置价格，判断所述价格信息与设置价格是否相一致，并在不一致时发出报警信号。

优选地，所述步骤s2包括如下步骤：

步骤s201：控制所述图像自动采集车在每一所述货架的前侧按设定的运行规则移动，所述运行规则设定为当所述图像自动采集车运行预设定距离后保持预设定时间静止；

步骤s202：通过所述图像自动采集车的摄像装置采集每一货架的货架图像，并保证在时间顺序上连续的两张货架图像之间具有重叠区域；

步骤s203：将所述货架图像按照采集的时间顺序依次进行拼接生成所述货架模型。

优选地，所述步骤s3包括如下步骤：

步骤s301：对所述货架模型上的每一所述货架图像上进行单元检测，识别出所述货架模型上的多个商品图像区域；

步骤s302：对每一所述货架图像进行价格标签检测，识别所述图像上的多个价格标签区域；

步骤s303：识别出每一所述价格标签区域的文字生成所述商品信息，进而确定每一价格标签区域的商品信息对应的商品图像区域；

步骤s304：将每一所述商品区域与所述商品信息相对应后存入商品信息数据库。

优选地，所述步骤s3包括如下步骤：

步骤s3031：在每一所述货架图像上，多个所述商品区域依次横向排列形成一商品区域行列，多个所述价格标签区域依次横向排列形成一价格标签区域行列，所述商品区域列的上侧或/和下侧至少排列一价格标签区域行列；

步骤s3032：计算每一所述价格标签区域的中心点与相邻的所述商品区域的中心点的距离，确定距离每一所述价格标签区域的中心点最小的商品区域；

步骤s3033：将所述价格标签区域与距离该价格标签区域的中心点最小的商品区域相对应。

优选地，所述商品图像自动采集车的使用方法包括如下步骤：

步骤m1：根据所述商场中货架层数安装相对应数量的相机，并将每一所述相机的高度调整为与所述货架中对应层的高度相一致；

步骤m2：控制所述图像自动采集车在所述室内全局地图中每一所述货架的前侧按设定的所述运行规则移动；

步骤m3：当所述商品图像自动采集车移动至一货架前侧时，多个所述相机朝向所述货架的多层上的商品，进行图像采集生成若干张所述货架图像。

根据本发明提供的商场室内导航地图建立系统，其特征在于，用于实现权利要求1至7中任一项所述的商场室内导航地图建立方法，其特征在于，包括：

室内全局地图建立模块，用于控制所述图像自动采集车在所述商场内进行自动移动初建所述商场的室内全局地图，并在室内全局地图中确定出所述商场内每一货架位置；

货架模型建立模块，用于通过所述室内全局地图控制所述图像自动采集车移动进行每一货架的货架图像采集，并将多张所述货架图像拼接以在对应的所述货架位置生成货架模型；

商品识别模块，用于将所述货架模型上的每一商品区域识别出，进而实现对每一商品区域对应商品信息的标注。

根据本发明提供的商场室内导航地图建立设备，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行所述商场室内导航地图建立方法的步骤。

根据本发明提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述商场室内导航地图建立方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

本发明中通过装有即时定位与地图构建装置的图像自动采集车进行自动巡航实现场的室内全局地图的初建，进而通过室内全局地图控制所述图像自动采集车移动进行每一货架的货架图像采集，在所述室内全局地图中生成货架模型并在货架模型标注出每一商品，实现室内全局地图的建立完成，从而实现在所述室内全局地图中输入一商品名称时即可能够确定所述该商品在所述室内全局地图的位置，实现该商品位置的快速寻找。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明中商场室内导航地图建立方法的步骤流程图；

图2为本发明中商品图像自动采集车的结构示意图；

图3为本发明变形例中通过商品图像自动采集车进行价格核查的步骤流程图；

图4为本发明中采集货架图像生成所述货架模型的步骤流程图；

图5为本发明中对商品信息数据库进行更新的步骤流程图；

图6为本发明中将价格标签区域商品区域匹配对应的步骤流程图；

图7为本发明中商品图像自动采集车的使用方法的步骤流程图；

图8为本发明中商场室内导航地图建立系统的步骤流程图；

图9为本发明中商场室内导航地图建立设备的结构示意图；以及

图10为本发明中计算机可读存储介质的结构示意图。

图中：

1为车体；

2为支架；

3为相机。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

随着移动互联网的发展，当用户想要出行时，都会在移动端的地图上属于目的地，进行路线的查找和导航。但是现在的地图仅能够应用于室外，无法进行室内的导航，如商场的导航，且也没有能够拥有室内导航的地图。本发明提供的商场室内导航地图建立方法，能够进行室内全局地图的建立，进而实现商场内的导航，便于商场内商品的寻找。

图1为本发明中商场室内导航地图建立方法的步骤流程图，如图1所示，本发明提供的商场室内导航地图建立方法，用于通过图像自动采集车进行商场室内地图的构建，其特征在于，包括如下步骤：

步骤s1：通过图像自动采集车在所述商场内进行自动移动初建所述商场的室内全局地图，并在室内全局地图中确定出所述商场内每一货架位置；

步骤s2：通过所述室内全局地图控制所述图像自动采集车移动进行每一货架的货架图像采集，并将多张所述货架图像拼接以在对应的所述货架位置生成货架模型；

步骤s3：将所述货架模型上的每一商品区域识别出，进而实现对每一商品区域对应商品信息的标注。

在本实施例中，本发明中通过装有即时定位与地图构建装置的图像自动采集车进行自动巡航实现场的室内全局地图的初建，进而通过室内全局地图控制所述图像自动采集车移动进行每一货架的货架图像采集，在所述室内全局地图中生成货架模型并在货架模型标注出每一商品，实现室内全局地图的建立完成，从而实现在所述室内全局地图中输入一商品名称时即可能够确定所述该商品在所述室内全局地图的位置，实现该商品位置的快速寻找。

图2为本发明中商品图像自动采集车的结构示意图，如图2所示，所述图像自动采集车包括即时定位与地图构建装置、车体、支架以及相机；所述支架设置在所述车体上且沿竖直方向延伸；所述车体带动所述支架移动；

所述相机通过安装件可拆卸的连接所述支架；多个所述相机沿所述支架的高度依次排列；

所述即时定位与地图构建装置设置在所述车体上，用于控制所述图像自动采集车进行运行以建立所述室内全局地图。

在本实施例中，所述即时定位与地图构建装置采用slam装置，具体为基于商品图像自动采集车自主导航的实际需求，利用单个rgb-d摄像机，解决了slam中的定位和建图的问题，成功构建出2d导航地图。

在本实施例中，所述安装件可以采用固定板件和螺栓配合组成。

图3为本发明变形例中通过商品图像自动采集车进行价格核查的步骤流程图，如图3所示，本发明提供的商场室内导航地图建立方法，还包括如下步骤：

步骤s4：通过预设的价签检测模型对每一所述货架图像上的价格标签进行单元检测，识别所述图像上的多个价格标签区域；

步骤s5：读取每一所述价格标签区域的条形码并识别每一所述价格标签区域的数字生成价格信息；

步骤s6：根据所述条形码序列查询预设的商品数据库确定对应的设置价格，判断所述价格信息与设置价格是否相一致，并在不一致时发出报警信号。

在本实施例中，本发明可以用于促销商品的价格核查，因为当需要对部分商品进行促销时，一般先对商品数据库中需要促销的商品增加促销信息，再将该促销信息打印出的促销信息卡片，由人工粘贴在价格标签上，因此经常出现促销信息卡片粘贴错误的问题，给商场的促销带来极大的不便，导致促销信息卡片粘贴错误的商品出现大量积压的情况，因此本发明可以通过条形码序列查询预设的商品数据库确定对应的设置价格，并将该价格与在价格标签区域通过ocr技术识别出的价格信息相比较，判断判断所述价格信息与设置价格是否相一致，并在不一致时发出报警信号，以体现工作人员进行价格标签的更换。

在本实施例中，在识别出每一所述价格标签区域的数字生成价格信息时，由于价格信息的字号一般更大，可以将条形码等区域的数字排除掉，即根据数字在图像上的占用面积，筛选出价格标签区域的价格信息。

图4为本发明中采集货架图像生成所述货架模型的步骤流程图，所述步骤s2包括如下步骤：

步骤s201：控制所述图像自动采集车在每一所述货架的前侧按设定的运行规则移动，所述运行规则设定为当所述图像自动采集车运行预设定距离后保持预设定时间静止；

步骤s202：通过所述图像自动采集车的摄像装置采集每一货架的货架图像，并保证在时间顺序上连续的两张货架图像之间具有重叠区域；

步骤s203：将所述货架图像按照采集的时间顺序依次进行拼接生成所述货架模型。

在本实施例中，将在时间顺序上连续的两张货架图像采用特征点匹配的方法进行拼接；

所述运行规则可以设定为当所述图像自动采集车运行50厘米后保持3秒至5秒的静止，以保证摄像装置有时间进行图像的采集。

图5为本发明中对商品信息数据库进行更新的步骤流程图，如图5所示，所述步骤s3包括如下步骤：

步骤s301：对所述货架模型上的每一所述货架图像上进行单元检测，识别出所述货架模型上的多个商品图像区域；

步骤s302：对每一所述货架图像进行价格标签检测，识别所述图像上的多个价格标签区域；

步骤s303：识别出每一所述价格标签区域的文字生成所述商品信息，进而确定每一价格标签区域的商品信息对应的商品图像区域；

步骤s304：将每一所述商品区域与所述商品信息相对应后存入商品信息数据库。

在本实施例中，每一所述货架图像上具有多个在货架上依次排列的商品以及贴在所述商品下侧且贴在货架上的条形码标签。该条形码标签上至少具有一条形码和价格、产品名称、产品型号等文字信息。所述价格标签区域便是该条形码标签在所述图像上的区域，所述商品区域便是商品在所述图像上的区域。

图6为本发明中将价格标签区域商品区域匹配对应的步骤流程图，如图6所示，所述步骤s3包括如下步骤：

步骤s3031：在每一所述货架图像上，多个所述商品区域依次横向排列形成一商品区域行列，多个所述价格标签区域依次横向排列形成一价格标签区域行列，所述商品区域列的上侧或/和下侧至少排列一价格标签区域行列；

步骤s3032：计算每一所述价格标签区域的中心点与相邻的所述商品区域的中心点的距离，确定距离每一所述价格标签区域的中心点最小的商品区域；

步骤s3033：将所述价格标签区域与距离该价格标签区域的中心点最小的商品区域相对应。

在本实施例中，一般价格标签区域与对应的商品区域相靠近，因此可以通过计算该价格标签区域与几个商品区域的距离，距离所述价格标签区域最近的商品区域，一般为该价格标签区域对应的商品区域，即该价格标签与商品相对应。此外还可以识别商品区域上的文字信息，如商品名称，与价格标签上的文字信息相比对，进一步确认价格表圈区域与商品区域的对应关系。在本实施例中，通过orc识别算法识别价格标签区域和商品区域的文字信息。在本实施例中，识别出每一所述价格标签区域的条形码，具体可以采用图像识别的技术进行识别，也可以通过多种条形码的训练对象训练条形码识别模块，通过所述条形码识别模块识别出所述条形码。

图7为本发明中商品图像自动采集车的使用方法的步骤流程图，如图7所示，所述商品图像自动采集车的使用方法包括如下步骤：

步骤m1：根据所述商场中货架层数安装相对应数量的相机，并将每一所述相机的高度调整为与所述货架中对应层的高度相一致；

步骤m2：控制所述图像自动采集车在所述室内全局地图中每一所述货架的前侧按设定的所述运行规则移动；

步骤m3：当所述商品图像自动采集车移动至一货架前侧时，多个所述相机朝向所述货架的多层上的商品，进行图像采集生成若干张所述货架图像。

即当使用本发明中的商品图像自动采集车时，商品图像自动采集车在一商城内按照室内全局地图沿每一货架的前侧行走一遍，即可实现对所有货架上的商品图像的采集。

图8为本发明中商场室内导航地图建立系统的步骤流程图，如图8所示，本发明提供的商场室内导航地图建立系统，用于实现所述的商场室内导航地图建立方法，包括：

室内全局地图建立模块，用于控制所述图像自动采集车在所述商场内进行自动移动初建所述商场的室内全局地图，并在室内全局地图中确定出所述商场内每一货架位置；

货架模型建立模块，用于通过所述室内全局地图控制所述图像自动采集车移动进行每一货架的货架图像采集，并将多张所述货架图像拼接以在对应的所述货架位置生成货架模型；

商品识别模块，用于将所述货架模型上的每一商品区域识别出，进而实现对每一商品区域对应商品信息的标注。

本发明实施例中还提供一种商场室内导航地图建立设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行商场室内导航地图建立的步骤。

如上，该实施例中通过装有即时定位与地图构建装置的图像自动采集车进行自动巡航实现场的室内全局地图的初建，进而通过室内全局地图控制所述图像自动采集车移动进行每一货架的货架图像采集，在所述室内全局地图中生成货架模型并在货架模型标注出每一商品，实现室内全局地图的建立完成，从而实现在所述室内全局地图中输入一商品名称时即可能够确定所述该商品在所述室内全局地图的位置，实现该商品位置的快速寻找。。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图9是本发明中无商场室内导航地图建立设备的结构示意图。下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图9中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。

本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的图像拼接方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

如上所示，该实施例的计算机可读存储介质的程序在执行时，通过装有即时定位与地图构建装置的图像自动采集车进行自动巡航实现场的室内全局地图的初建，进而通过室内全局地图控制所述图像自动采集车移动进行每一货架的货架图像采集，在所述室内全局地图中生成货架模型并在货架模型标注出每一商品，实现室内全局地图的建立完成，从而实现在所述室内全局地图中输入一商品名称时即可能够确定所述该商品在所述室内全局地图的位置，实现该商品位置的快速寻找。

图10是本发明的计算机可读存储介质的结构示意图。参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

在本实施例中，本发明中通过装有即时定位与地图构建装置的图像自动采集车进行自动巡航实现场的室内全局地图的初建，进而通过室内全局地图控制所述图像自动采集车移动进行每一货架的货架图像采集，在所述室内全局地图中生成货架模型并在货架模型标注出每一商品，实现室内全局地图的建立完成，从而实现在所述室内全局地图中输入一商品名称时即可能够确定所述该商品在所述室内全局地图的位置，实现该商品位置的快速寻找。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。