物品跟随方法和行李箱与流程

本发明涉及智能箱包领域，具体而言，涉及一种物品跟随方法和行李箱。

背景技术：

传统行李箱(拉杆箱)为居民出行、差旅途中行李携带提供了便利，是不可或缺的日常消费品。一般来说，行李箱主要由箱体、拉杆、万向轮等部件构成，由人推动随行，克服手提重物的缺点，达到省力的目的。

由于行李箱仍需人力推动，在长距离、路面条件差、行李较重或偶发情况需要腾出双手的情境下，这种方式为消费者带来不便。自动跟随行李箱可以在平路或一定倾斜角度的路面上跟随主人行走，自主避障和识别主人，在突发情况下(跟丢、台阶、被人提走)报警示意。该产品可以进一步解放双手，避免无意义的推动劳动，提高效率。

针对上述行李箱无法自动跟随主人的问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种物品跟随方法和行李箱，以至少解决行李箱无法自动跟随主人的技术问题。

根据本发明实施例的一个方面，提供了一种物品跟随方法，包括：采集目标对象的目标图像；根据所述目标图像确定所述目标对象与所述物品的相对方位；根据所述相对方位控制所述物品跟随所述目标对象移动。

进一步地，所述目标图像包括：深度图像，根据所述目标图像确定所述目标对象与所述物品的相对方位包括：识别所述深度图像中的所述目标对象；基于所述深度图像，确定所述目标对象与所述物品的相对方位。

进一步地，识别所述深度图像中的所述目标对象包括以下至少之一：根据所述深度图像中各像素对应的深度值对进行聚类，并根据聚类结果确定所述目标对象；对所述深度图像进行二值化处理，并对二值化处理后的图像进行边缘检测，得到所述目标对象。

进一步地，识别所述深度图像中的所述目标对象包括以下至少之一：识别所述深度图像中的至少一个对象，并确定所占像素数量高于预定阈值的对象为所述目标对象；识别所述深度图像中的至少一个对象，并确定像素比例最高的对象为所述目标对象，其中，所述像素比例为所述深度图像中各对象对应的像素数量与所述深度图像的像素数量之比；识别所述深度图像中的至少一个对象，并确定面积比例最高的对象为所述目标对象，其中，所述像素比例为所述深度图像中各对象的轮廓所围成的面积与所述深度图像的面积之比；识别所述深度图像中的至少一个对象，并确定处于预定位置的对象为所述目标对象。

进一步地，所述目标图像还包括：彩色图像，识别所述深度图像中的所述目标对象：识别所述深度图像中的第一对象；确定所述第一对象在所述彩色图像中对应的第二对象；根据所述彩色图像中的图像特征，识别所述第二对象是否为所述目标对象。

进一步地，所述目标图像还包括：彩色图像，识别所述深度图像中的所述目标对象：识别所述彩色图像中的目标对象；确定所述目标对象在所述深度图像中对应的第三对象；确定所述第三对象为所述深度图中的所述目标对象。

进一步地，所述目标图像还包括：彩色图像，在采集目标对象的目标图像之后，所述方法还包括：基于所述彩色图像，获取所述目标对象的特征信息；根据所述特征信息，建立所述目标对象的特征库。

进一步地，所述物品包括：行李箱。

根据本发明实施例的另一方面，还提供了一种行李箱，包括：相机，用于采集目标对象的目标图像；处理器，与所述相机相连，用于所述目标图像确定所述目标对象与所述行李箱的相对方位；驱动电机，与所述处理器相连，用于根据所述相对方位控制所述行李箱跟随所述目标对象移动。

进一步地，所述目标图像包括：深度图像和彩色图像，所述相机包括：深度相机，用于采集所述目标对象的深度图像；彩色相机，用于采集所述目标对象的彩色图像。

进一步地，所述行李箱还包括：特征库，用于存储所述目标对象的特征信息，其中，所述特征信息基于所述彩色图像确定。

在本发明实施例中，采集目标对象的目标图像；根据目标图像确定目标对象与物品的相对方位；根据相对方位控制物品跟随目标对象移动，从而实现了控制物品自动跟随目标移动技术效果，进而解决了行李箱无法自动跟随主人的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种物品跟随方法的流程图；

图2是根据本发明实施例的基于深度及rgb相机相结合的智能行李箱跟随方案的示意图；

图3是根据本发明实施例的一种行李箱的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种物品跟随方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种物品跟随方法的流程图，如图1所示，该方法包括如下步骤：

步骤s102，采集目标对象的目标图像；

步骤s104，根据目标图像确定目标对象与物品的相对方位；

步骤s106，根据相对方位控制物品跟随目标对象移动。

通过上述步骤，采集目标对象的目标图像；根据目标图像确定目标对象与物品的相对方位；根据相对方位控制物品跟随目标对象移动，从而实现了控制物品自动跟随目标移动技术效果，进而解决了行李箱无法自动跟随主人的技术问题。

可选地，目标图像包括深度图像，根据深度图像可以识别目标对象，并确定目标对象与物品的相对方位。

需要说明的是，相对方位包括：目标对象与物品之间相对的世界方位和距离。

例如，相对方位可以表示目标对象位于物品正东方的1米处，或北偏东45°方向的0.5米处。

可选地，深度图像可以通过深度相机获取，进而可以根据深度图像确定目标对象与物品的相对方位。

可选地，深度相机可以是tof(timeofflight)相机。

可选地，通过对目标对象的深度图像进行图像处理，提取目标对象的像素坐标，并计算坐标质心，得到质心点与深度相机之间的距离信息，然后利用预先标定的深度相机的相机内参数和距离信息确定目标对象与物品的相对方位。

需要说明的是，上述物品可以是行李箱。

可选地，在目标对象移动的过程中，控制物品跟随目标对象移动包括：获取相邻帧的目标图像，根据相邻帧的目标图像确定目标对象的移动路径，根据目标对象的移动路径和目标对象与物品的相对方位，控制物品跟随目标对象移动。

作为一种可选的实施例，目标图像包括：深度图像，根据目标图像确定目标对象与物品的相对方位包括：识别深度图像中的目标对象；基于深度图像，确定目标对象与物品的相对方位。

本发明上述实施例，目标对象的目标图像包括目标对象的深度图像，可以在深度图像中识别出目标对象，并基于深度图像，确定目标对象与物品的相对方位。

作为一种可选的实施例，识别深度图像中的目标对象包括以下至少之一：根据深度图像中各像素对应的深度值对进行聚类，并根据聚类结果确定目标对象；对深度图像进行二值化处理，并对二值化处理后的图像进行边缘检测，得到目标对象。

可选地，深度图像中各像素具有对应的深度值，根据深度值对深度图像中的像素进行聚类，即可得到目标对象对应的像素区域，进而确定目标对象。

可选地，对深度图像进行二值化处理，并对二值化处理后的深度图像进行边缘检测，可以得到目标对象的轮廓，进而确定目标对象。

本发明上述实施例，通过对深度图像进行二值化处理和边缘检测，或对深度图像进行聚类等图像处理方式，可以确定深度图像中的目标对象。

需要说明的是，通过上述图像处理方式，可以确定深度图像中至少一个对象的轮廓，进而可以在至少一个对象的轮廓中确定目标对象。

作为一种可选的实施例，识别深度图像中的目标对象包括以下至少之一：识别深度图像中的至少一个对象，并确定所占像素数量高于预定阈值的对象为目标对象；识别深度图像中的至少一个对象，并确定像素比例最高的对象为目标对象，其中，像素比例为深度图像中各对象对应的像素数量与深度图像的像素数量之比；识别深度图像中的至少一个对象，并确定面积比例最高的对象为目标对象，其中，像素比例为深度图像中各对象的轮廓所围成的面积与深度图像的面积之比；识别深度图像中的至少一个对象，并确定处于预定位置的对象为目标对象。

需要说明的是，目标图像还包括彩色图像，识别彩色图像中的目标对象，也可以使用上述识别深度图像中的目标对象的方式。

作为一种可选的实施例，目标图像还包括：彩色图像，识别深度图像中的目标对象：识别深度图像中的第一对象；确定第一对象在彩色图像中对应的第二对象；根据彩色图像中的图像特征，识别第二对象是否为目标对象。

本发明上述实施例，在识别深度图像中的目标对象中，可以先确定深度图像中的第一对象，再将该第一对象映射到彩色图像中，得到与第一对象对应的第二对象，然后在彩色图像中，对第二对象的特征进行识别，判断第二对象是否为目标对象，从而可以准确确定目标对象。

可选地，若彩色图像的图像特征包括目标对象的特征信息，则可以彩色图像中的第二对象为目标对象。

需要说明的是，根据深度图像识别目标对象，与根据彩色图像识别目标对象相比，基于深度图像的识别效果较差，进而可以根据深度图像的识别结果得到第一对象，然后在彩色图像中确定与第一对象对应的第二对象，再基于彩色图像识别第二对象是否为目标对象，从而可以基于彩色图像验证深度图像的识别结果，使识别出的目标对象更加准确。

可选地，深度图像中可以包括多个对象，多个对象中的任意一个对象即为第一对象，依次遍历多个对象中，直至确定第一对象对应的第二对象为目标对象位置，并确定该第一对象为深度图像中的目标对象。

需要说明的是，上述根据彩色图像验证深度图像的识别结果，可以在物品跟随目标对象移动的过程中实时进行，还可以在根据深度图像无法确定目标对象的情况进行。

作为一种可选的实施例，目标图像还包括：彩色图像，识别深度图像中的目标对象：识别彩色图像中的目标对象；确定目标对象在深度图像中对应的第三对象；确定第三对象为深度图中的目标对象。

本发明上述实施例，先在彩色图像中识别出目标对象，然后将彩色图像中的目标对象映射到深度图像中，可以在深度图像中得到第三对象，进而确定第三对象为目标对象，实现了识别深度图像中的目标对象的目的。

作为一种可选的实施例，目标图像还包括：彩色图像，在采集目标对象的目标图像之后，方法还包括：基于彩色图像，获取目标对象的特征信息；根据特征信息，建立目标对象的特征库。

本发明上述实施例，目标图像还包括：彩色图像，在获取目标对象的彩色图像后，可以在彩色图像中提取目标对象的特征信息，然后根据特征信息建立目标对象的特征库。

可选地，在识别彩色图像的目标对象的过程中，可以将彩色图像中的图像特征与目标对象的特征信息进行比对，进而根据比对结果判断彩色图像中是否包括目标对象。

本发明还提供了一种优选实施例，该优选实施例提供了一种基于深度及rgb相机相结合的智能行李箱跟随方案。

可选地，在初始适配时，评估行李箱的箱体距离主人(即目标对象)的方位，随后伺服跟踪，主要利用深度相机来完成。可选地，在初始适配阶段，主人(即目标对象)站在箱体相机所在面的正前方位置，深度相机可以充分识别主人。

可选地，在理想情况下主人(即目标对象)的人物主体像素占据图像面积>1/3。

可选地，结合深度相机获取的深度图和灰度图，经由一定的图像处理方法提取目标物体(即目标对象)的像素坐标，并计算坐标质心点，得到该质心点距离信息；利用事先标定的相机内参数和距离信息反解出目标物体(即目标对象)的世界方位(距离及方位)，下发指令到下位机，驱动电机跟随，从而实现对目标物体(即目标对象)的跟随。

可选地，在根据深度图像提取目标的过程中，可以根据深度图像中的深度值进行聚类，或自适应二值化提取最大边缘。

可选地，在跟随阶段，可以实时计算目标的距离和方位，一般情况下利用深度相机的深度图像结合上一帧的目标位置(即目标对象)即可预测和跟随；也可结合rgb相机(即彩色相机)的一些传统跟踪算法获得更可靠的结果，如meanshift、核滤波等。

可选地，在行李箱跟丢的情况下(主人行走速度太快、并排行走、主人被行人或物体遮挡)，行李箱首先尝试自动寻找主人重新适配，该步骤主要通过rgb相机(即彩色相机)的视觉处理方法来实现主人的再识别。若识别失败，启动报警提示，并启动初始化适配流程。

需要说明的是，深度相机利用小功率高频面光源的反射相位差测量距离，具有成本低廉、量程大、范围广等优点。

可选地，行李箱跟丢的情况包括：

1)多人并排行走、视野内有较大障碍物时，深度相机可能会检测到两个值域峰值，此时不能分辨出主人(即目标对象)。

2)主人(即目标对象)运动速度加快，在深度视野内变化较大，或移出视野。

3)障碍物插入行李箱和主人(即目标对象)中间，造成深度图中的深度值域剧变。或导致主人(即目标对象)丢失等特殊情况出现。

可选地，在行李箱跟丢的情况下，需要重新识别主人，主要步骤是：首先利用rgb相机(即彩色相机)记录前期跟踪主人的彩色图像外形特征，并建立小型数据库(即特征库)；其次，在跟踪丢失时，由深度相机解算出主人(即目标对象)的世界坐标，映射到彩色图像相应的像素区域；再利用rgb相机(即彩色相机)丰富的纹理和色彩信息完成主人(即目标对象)重识别功能。

可选地，主人(即目标对象)的重识别是计算机视觉中较流行和常见的任务，可以结合具体计算硬件平台来选择合适的方法完成。

图2是根据本发明实施例的基于深度及rgb相机相结合的智能行李箱跟随方案的示意图，如图2所示，包括步骤如下：

步骤s201，获取初始化深度图像。

步骤s202，基于深度图像提取目标对象，基于彩色图像提取目标对象的特征信息。

可选地，在初始适配阶段，在步骤s202后，建立目标对象的标准目标模板，并执行步骤s205；在跟随阶段，在执行步骤s202后，执行步骤s203。

需要说明的是，在跟随阶段可以在步骤s202后，可以更新目标对象的标准目标模板。

步骤s203，解算目标对象与物品的相对方位，并发送跟随指令。

步骤s204，判断目标对象是否跟丢，若跟丢，则返回步骤s202；若未跟丢，则执行步骤s205。

步骤s205，重新识别目标对象。

步骤s206，判断是否找到目标对象，若找到，则返回步骤s202；若未找到，则执行步骤s207。

步骤s207，进行异常处理。如启动报警提示。

需要说明的是，深度相机作为识别主人的手段，可以利用其他可以测距的传感器代替，如点激光等。

本发明提供的技术方案，可以安全有效地实现了行李箱的智能识别主人和自主跟随，解放双手，节省体力，方便出行。

图3是根据本发明实施例的一种行李箱的流程图，如图3所示，该行李箱包括：相机31，用于采集目标对象的目标图像；处理器33，与相机相连，用于目标图像确定目标对象与行李箱的相对方位；驱动电机35，与处理器相连，用于根据相对方位控制行李箱跟随目标对象移动。

本发明上述实施例，采集目标对象的目标图像；根据目标图像确定目标对象与物品的相对方位；根据相对方位控制物品跟随目标对象移动，从而实现了控制物品自动跟随目标移动技术效果，进而解决了行李箱无法自动跟随主人的技术问题。

作为一种可选的实施例，目标图像包括：深度图像和彩色图像，相机包括：深度相机，用于采集目标对象的深度图像；彩色相机，用于采集目标对象的彩色图像。

作为一种可选的实施例，行李箱还包括：特征库，用于存储目标对象的特征信息，其中，特征信息基于彩色图像确定。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。