本公开涉及物品搜索
技术领域：
：，具体涉及一种应用于家庭环境中的动态物品搜索方法及装置。
背景技术：
：：随着人口老龄化问题日益加剧，以及人们对高品质生活服务的追求，促使了对家庭服务机器人的需求不断增加。同时随着机器人技术的不断发展，服务机器人的智能化程度也不断提高，这使得家庭服务机器人为人们提供日常任务成为可能。对服务机器人而言，一个重要的需求是其具有日常操作任务的技能。服务机器人要想自主的完成日常操作任务，前提是其在接受到操作任务后，能够在动态非结构的家庭环境中找到所需要操作的物品。然而，这类物品(需要操作的物品)通常具有体积较小、位置易变化等特点，以及家庭环境中物品摆放较拥挤等，从而增加了服务机器人搜索到物品的困难。中国发明申请号为200910230704.7公开了一种基于rfid的物品搜寻方法，该方法是在物品上粘贴rfid标签，然后通过安装在房间内固定式rfid系统来定位物品的位置，如果物品超出检测系统，则机器人利用携带的移动式rfid系统实现物品的检测与定位。该方法需要事先对物品进行改造(如粘贴标签)，不但增加了成本还改变的家庭环境，影响用户的日常使用。中国发明申请号为201780000587.8公开了一种可用于服务机器人的家庭物品搜索方法，根据用户提供的服务任务，搜索装置获取对应搜索物品的3d模型，然后结合监控系统和该物品的历史位置信息进行物品的搜索。首先，该方法需要在家庭环境中大范围的安装监控系统，这将会引起用户隐私安全问题；其次，该方法也不适用于未知家庭环境中的物品搜索，同时未考虑家庭物品具有高动态性等特点。技术实现要素：为了克服上述现有技术的不足，本公开提供了一种应用于家庭环境中的动态物品搜索方法及装置，不仅可以让服务机器人快速的在已知家庭环境或半未知家庭环境中搜索到所需动态物品，还可以在未知家庭环境有效地推理并找到所需动态物品。本公开的第一方面提供的一种家庭环境下动态物品搜索方法的技术方案是：一种家庭环境下动态物品搜索方法，该方法包括以下步骤：接收服务任务，提取出待搜索的目标动态物品信息；从知识库中获取待搜索的目标动态物品在所有房间的概率，构建候选房间序列，确定最佳搜索房间；筛选出在最佳搜索房间以及其他候选房间中待搜索的目标动态物品最相关的静态物品；从知识库中获取最相关的静态物品与待搜索的目标动态物品之间的位置关系；搜索并识别出最相关的静态物品，根据最相关的静态物品与待搜索的目标动态物品之间的位置关系，搜索并识别出目标动态物品。本公开的第二方面提供的一种家庭环境下动态物品搜索装置的技术方案是：一种家庭环境下动态物品搜索装置，该装置包括：任务接收模块，用于接收服务任务，提取出待搜索的目标动态物品信息；知识获取模块，用于从知识库中获取待搜索的目标动态物品在所有房间的概率；任务处理模块，用于构建候选房间序列，确定最佳搜索房间，筛选出在最佳搜索房间以及其他候选房间中待搜索的目标动态物品最相关的静态物品，并从知识库中获取最相关的静态物品与待搜索的目标动态物品之间的位置关系；目标搜索模块，用于搜索并识别出最相关的静态物品，根据最相关的静态物品与待搜索的目标动态物品之间的位置关系，搜索并识别出目标动态物品。通过上述技术方案，本公开的有益效果是：(1)本公开基于开源知识库建立了家庭物品-房间空间位置概率模型，根据该模型可以推理出所需物品最可能被放置在的房间类型，从而有效减少服务机器人搜索所需物品过程中对其它区域的探索；(2)本公开提出的家庭物品搜索方法，通过位置不易改变的大物品引导所需的动态小物品的搜索，可减少服务机器人在房间内搜索所需动态物品的空间；(3)本公开通过本体技术对动态物品和静态物品的位置关系进行知识建模，可以为服务机器人提供明确的搜索知识，指引机器人的搜索方向，进一步提高对所需动态物品的搜索效率；(4)本公开为服务机器人在家庭环境下实施家庭物品搜索提供了一种可行方案，有助于服务机器人在家庭环境下高效的完成服务任务。附图说明构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本申请，并不构成对本公开的不当限定。图1是实施例一家庭环境下动态物品搜索方法的流程图；图2是实施例二家庭环境下动态物品搜索装置的结构图。具体实施方式下面结合附图与实施例对本公开作进一步说明。应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本公开使用的所有技术和科学术语具有与本公开所属
技术领域：
：的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。实施例一本实施例提供一种家庭环境下动态物品搜索方法，建立了家庭物品-房间空间位置概率模型，提出了家庭物品搜索技巧，还通过本体技术对物品进行知识建模。请参阅附图1，所述动态物品搜索方法包括以下步骤：s101，构建知识库。具体地，所述步骤101的具体实现步骤为：s1011，从开源知识库中获取相应的知识建立家庭物品-房间空间位置概率模型，并储存在知识库中。在本实施例中，所述开源知识库包括家庭场景、家庭物品与房间、家庭物品与家庭物品关系的开源数据集或搜索引擎等，如：labelme[http://labelme.csail.mit.edu/release3.0],conceptnet[http://www.conceptnet.io]等。具体地，从开源知识库中可以获得家庭环境中物品与房间的空间位置关系，通过统计其出现的位置、次数等信息，可计算出家庭物品出现在房间的概率分布，得到家庭物品-房间空间位置概率模型。所述家庭物品-房间空间位置概率模型包含家庭物品出现在各个房间的概率p。房间类型(如：客厅、卧室等)记为r，物品记为o，ri表示开源知识库中某一个房间类型，那么该房间类型ri被统计的次数记为n(ri)，同时在房间ri中出现某一物品oj次数记为n(oj,ri)，从而可以得出物品oj出现在房间ri条件下的概率分布：其中，i，j属于正整数。在本实施例中，为了补充统计物品次数过程中出现遗漏或者物品个数为0的情况，引入了参数λ，0＜λ＜1，如在本实施例中，参数λ＝0.5，那么上述概率分布(公式(1))则可表示为：其中，n表示物品的个数。s1012，采用本体技术构建物品知识模型。本体技术是对特定领域中概念及其属性和相互关系明确的形式化规范描述。本体的形式化定义为其中表示本体(ontology)，表示类(class)的集合；p表示属性(property)的集合，描述了类与类、实例与实例、实例与数值之间的二元关系；表示实例(individual)的集合，实例是类的元素；表示公理(axiom)的集合，包括类公理、属性公理、实例公理。类公理表示类与类之间的相互关系(包含或等价)；属性公理表示属性与属性之间的相互关系(包含、等价或互逆)及属性的特征(传递性、对称性、函数性或反函数性)；实例公理表示实例之间的关系(等价或不同)；表示事实(fact)的集合，除了公理以外的其他关系都用事实表示。在本实施例中，采用本体技术，并借助protégé工具对静态物品和动态物品进行了知识建模，得到物品知识模型，以明确静态物品和动态物品之间的位置关系。静态物品是指物品体积大且其位置不经常发生变化，比如床、沙发、书桌等物品，记为os；动态物品是指物品体积小且其位置经常发生变化，比如水杯、茶壶、抱枕等物品，记为od；通常执行操作任务所需的物品就是动态物品，本实施例主要针对搜索动态物品而提供的一种搜索方法。该物品知识模型可以为服务机器人搜索到静态物品时引导服务机器人快速地找到所需动态物品。所述物品知识模型包括静态物品和动态物品之间的位置关系，分别为：isin(od,os)，ison(od,os),isunder(od,os)和isnextto(od,os)。具体地，isin(od,os)表示动态物品od在静态物品os的里面，如：isin(plate,cabinet)表示盘子在橱柜里面；ison(od,os)表示动态物品od在静态物品os的上面，如：ison(cup,table)表示杯子在桌子的上面；isunder(od,os)表示动态物品od在静态物品os的下面，如：isunder(kettle,table)表示水壶在桌子的下面；isnextto(od,os)表示动态物品od在静态物品os的旁边，如：isnextto(chair,table)表示椅子在桌子的旁边。需要说明的是，isin(od,os)，ison(od,os),isunder(od,os)和isnextto(od,os)均表示实例之间的属性关系。s102，搜索动态物品。具体地，所述步骤102的具体实现方式如下：s1021，接收服务任务，提取出待搜索的目标动态物品o′d。具体地，服务机器人接收到服务任务，提取出完成该任务需要搜索的目标动态物品o′d。s1022，判断是否明确待搜索的目标动态物品o′d的位置，如果服务机器人已知待搜索的目标动态物品o′d的位置，那么转到步骤10211；如果待搜索的目标动态物品o′d的位置是未知的，则转到步骤1023。s1023，判断服务机器人是否可以自主规划出机器人当前位置到所有房间r的行驶路线，如果可以规划出机器人当前位置到房间r的行驶路线，则表明服务机器人是在已知家庭环境(或半未知家庭)中执行动态物品搜索，那么转到步骤1024；如果不能规划出机器人当前位置到房间r的行驶路线，则表明服务机器人是在未知家庭环境中执行动态物品搜索，那么转到步骤1027。s1024，根据家庭环境中房间的位置和机器人当前的位置，规划出机器人从当前位置到房间ri的行驶路线，并计算路线长度li，然后计算出从机器人当前位置到房间ri的行驶路线长度占从机器人当前位置到所有房间r的路线长度和的比值pl,i。具体地，从机器人当前位置到房间ri的行驶路线占机器人当前位置到所有房间r的比值pl,i的计算公式为：其中，n表示家庭环境中包含房间的个数。s1025，从知识库中获取待搜索的目标动态物品o′d在所有房间r的概率p。s1026，根据从机器人当前位置到房间ri的行驶路线占机器人当前位置到所有房间r的比值和待搜索的动态物品o′d在所有房间r的概率p，构建候选房间序列，确定最佳搜索房间r*，进入步骤1029。具体地，构建待搜索的候选房间序列其中函数t[pl,i,p(ri|o′d)]为比值pl,i与概率p(ri|o′d)之间的折中。序列是按照“比值pl,i越小，同时概率p(ri|o′d)越大”的方法进行排列的房间类型序列，也就是比值pl,i越小越好，同时概率p(ri|o′d)越大越好，等于p(ri|o′d)的取值由大到小排列后房间类型，也就是将o′d放置在的房间类型进行由大到小排列的房间类型序列。确定最佳搜索房间r*，也就是函数t[pl,i,p(ri|o′d)]为pl,i取最小值时，同时p(ri|o′d)取最大值的折中。s1027，从知识库中待搜索的动态物品o′d在所有房间r的概率p；根据知识库中知识，基于贝叶斯法则执行位置推理，推理出需搜索的候选房间其中等于p(ri|o′d)的取值由大到小排列后房间类型，也就是将o′d放置在的房间类型进行由大到小排列的房间类型序列。s1028，决策出最佳搜索房间r*。也就是o′d最可能放置的房间类型r′，即r*＝r′，其中，r′为：r′＝argmaxp(ri|o′d)(4)其中，o′d为待搜索的动态物品；ri表示开源知识库中某一个房间类型。s1029，获取在最佳搜索房间r*中待搜索的动态物品o′d最可能相关联的静态物品以及其他候选房间中待搜索的动态物品o′d最可能相关联的静态物品家庭物品搜索技巧即通过位置不易改变的大物品引导所需的动态小物品的搜索，为此在本实施例中，将家庭物品分为了两类：静态物品和动态物品。静态物品是指物品体积大且其位置不经常发生变化，比如床、沙发、书桌等物品，记为os；动态物品是指物品体积小且其位置经常发生变化，比如水杯、茶壶、抱枕等物品，记为od；通常执行操作任务所需的物品就是动态物品，本实施例主要针对搜索动态物品而提供的一种搜索方法；所述静态物品os和所述动态物品od都属于物品o，根据公式(3)，动态物品od,b和静态物品os,a同时出现在某一个房间的概率分布为：其中，a，b属于正整数。根据待搜索的动态物品o′d，首先采用贝叶斯法则推理出待搜索的动态物品o′d最可能被放置在的房间r′，然后，推理出在房间r′中待搜索的动态物品o′d最可能相关联的静态物品os′，通过该静态物品os′来引导服务机器人搜索所需动态物品o′d，由于静态物品体积大且位置不经常发生变化，所以极易被发现。在房间r′中待搜索的动态物品o′d最可能相关联的静态物品os′为：os′＝argmaxp(os,a|o′d,r′)(5)其中，o′d为待搜索的动态物品；os,a为静态物品；ri表示开源知识库中某一个房间类型。具体地，在最佳搜索房间r*中待搜索的动态物品o′d最可能相关联的静态物品为：如果在最佳搜索房间r*中没有找到待搜索的动态物品o′d，那么服务机器人按照中的排列顺序进入下一个房间搜索，直到找到最相关静态物品s10210，根据步骤1029得到的最相关静态物品从知识库中获取静态物品与待搜索的动态物品o′d之间的位置关系，同时获得在其它候选房间中o′d与其最可能相关联的静态物品的位置关系，以用来引导机器人在房间内进行物品的搜索。s10211，服务机器人进行待搜索的物品o′d的搜索，并对将变化的知识更新到知识库中以维护知识的准确性。具体地，服务机器人可根据上述得到的最佳搜索房间r*，以及最关联静态物品与动态物品o′d之间的位置关系进行自主完成物品o′d的搜索；服务机器人可在已知动态物品o′d位置的情况下直接自主完成物品的搜索。在本实施例中，服务机器人自主导航到最佳搜索房间r*中，因为直接搜索o′d较为困难，因此服务机器人先搜到并识别出o′d最可能相关联的静态物品然后根据静态物品与待搜索的动态物品o′d之间的位置关系，引导机器人搜索并识别出动态物品o′d，假设获取到静态物品与需要搜索的动态物品o′d的位置关系为那么机器人直接在静态物品上面搜索，而不是其它位置，以实现动态物品的高效搜索。需要说明的是，由于完成服务任务所需要搜索的动态物品o′d通常体积较小并且位置极易变动，所以，如果直接搜索该物品o′d则需要彻底的探索整个家庭环境，这就使得机器人搜索效率低，为此，本实施例中首先推理出放置物品o′d的最佳搜索房间r*，以减少搜索房间的数目，然后推理出在房间r*中与o′d最可能相关联的静态物品在此获取静态物品与所需要搜索的动态物品o′d之间直接的位置关系，来引导机器人搜索物品o′d，从而进一步减少房间r*内的搜索空间，实现动态物品的高效搜索。服务机器人搜索到静态物品后，可根据静态物品和动态物品之间的位置关系引导机器人直接搜索动态物品，比如，服务机器人要搜索动态物品cup，并且推理出动态物品cup与静态物品table密切相关，那么可以直接从知识库获取动态物品cup与静态物品table之间的位置关系，如ison(cup,table)，从而服务机器人在检测到table后，会在table的上面寻找动态物品cup，而不是其它的地方，进而可以减少搜索空间。当在房间r*中找到物品o′d时，则完成动态物品搜索任务；否则，服务机器人将按照其它候选房间排列顺序进行依次搜索，直到找到物品o′d结束。实施例二本实施例提供一种家庭环境下动态物品搜索装置。请参阅附图2，该装置包括开源知识获取模块201、物品知识构建模块202、知识库管理模块203、知识更新模块204、知识获取模块205、任务处理模块206、环境判别模块207、路径规划模块208、知识推理模块209、知识决策模块210、自主导航模块207、物品识别模块208和场景识别模块209。所述开源知识获取模块201，用于从开源知识库中获取家庭物品与房间之间的关系，建立家庭物品-房间空间位置概率模型，并储存在知识库中。具体地，所示开源知识源是指包含家庭场景、家庭物品-房间、家庭物品与家庭物品关系的开源数据集或搜索引擎，如：labelme[http://labelme.c2ail.mit.edu/relea2e3.0],conceptnet[http://www.conceptnet.io]等。所述物品知识构建模块202，用于采用本体技术，构建静态物品与动态物品之间明确的位置关系，得到物品知识模型，并储存在知识库中。具体地，所述物品知识构建模块202具体用于：采用本体技术，并借助protégé工具对静态物品和动态物品进行了知识建模，得到物品知识模型，所述物品知识模型包含静态物品和动态物品之间四种位置关系为：isin(od,o2)，ison(od,o2),isunder(od,o2)和isnextto(od,o2)。所述知识库管理模块203，用于对知识库中的知识进行管理和维护，以保持其知识的增长与准确性。在本实施例中，所述开源知识获取模块201所建立家庭物品-房间空间位置概率模型，以及物品知识构建模块202所建立的物品知识模型都将会储存在知识库中，并由知识库管理模块203进行管理维护；所述知识更新模块204，用于检验知识库中的知识与家庭环境中的知识是否保持一致性，如果检测到家庭环境发生变化(如：水杯从卧室被拿到了客厅)，则知识更新模块204会根据变化的信息更新到知识库中(如：由水杯在卧室之前的知识更新成水杯在客厅)。所述知识获取模块205，用于对知识库中的知识按需进行提取。具体地，所述知识获取模块205会根据知识推理模块209和知识决策模块210的需求抽取知识库中的相应的知识。所述任务接收模块206，用于提取出任务信息中待搜索的目标动态物品，如：帮我把水杯拿过来，则通过任务处理模块206会提取出所需要搜索的目标动态物品是水杯。所述环境判别模块207，用于判别当前服务机器人是处于已知家庭环境、未知家庭环境、半未知家庭环境。所述路径规划模块208，用于规划机器人从当前位置到各个房间的行驶路径和计算规划路线的长度，并计算出从机器人当前位置到房间ri的行驶路线长度占机器人当前位置到所有房间r的路线长度和的比值。具体地，所述路径规划模块208可以根据任务处理模块210提取出的目标物品、家庭环境中房间的位置和机器人当前的位置进行路径规划，并计算路线长度和长度占总长度的比值。假如服务机器人在一个半未知或已知的家庭环境中，已明确该家庭环境存在4个房间，那么路径规划模块208可以规划出机器人当前位置到房间1的长度为l1，到房间2的长度为l2，到房间3的长度为l3，到房间4的长度为l4，并可返回它们之间的比值，也即是所述知识推理模块209，用于推理出与目标物品最相关的静态物品，以及目标物品最可能放置在最佳房间类型。具体地，知识推理模块209根据任务处理模块210提取出的目标物品，结合知识获取模块205提供的知识，采用贝叶斯法则推理出目标物品可能被放置在的房间类型，以及在推理的房间内与目标物品最相关的静态物品。所述知识决策模块210，用于决策出在搜索目标物品的任务中搜索候选房间类型并确定最佳搜索房间类型r*，以及在所有候选房间类型和最佳搜索房间类型r*中决策出与目标物品所有相关联的静态物品和最可能相关联的静态物品并可以根据知识获取模块205提供的知识得到目标物品与其相关联的静态物品和的位置关系知识，如：isin(od,o2)，ison(od,o2),isunder(od,o2)和isnextto(od,o2)。具体地，知识决策模块210在决策过程中，可分为两种情况：一种情况是服务机器人在未知家庭环境下，那么知识决策模块210所决策的最佳搜索房间类型r*就是知识推理模块209所推理出的目标物品最可能放置的房间类型，其它候选房间类型则按照p(ri|o′d)取值由大到小房间类型ri的排列顺序；另一种情况下服务机器人在已知或者半未知家庭环境下，那么知识决策模块210所决策的最佳搜索房间类型r*是在知识推理模块209所推理出的目标物品最可能放置的房间类型的基础上，考虑机器人当前位置到所有房间的比值，也就是比值pl,i越小越好，同时概率p(ri|o′d)越大越好，进而决策出最佳搜索房间类型r*，而其它候选房间类型则按照“比值pl,i越小，同时概率p(ri|o′d)越大”的策略进行排列。知识推理模块209在确定最佳搜索房间r*和其它候选房间类型的基础上，结合决策出推理出在房间类型r*和其它候选房间类型中o′d最可能相关联的静态物品和然后结合知识获取模块205获取目标物品与和的位置关系知识。所述自主导航模块211，用于在家庭环境中执行动态物品搜索，直到搜索到目标物品才终止搜索任务。具体地，自主导航模块211根据知识决策模块210决策出的最佳搜索房间r*、与目标物品最可能相关联的静态物品以及目标物品与的位置关系知识，进行自主的完成目标搜索任务。如果在最佳搜索房间r*内没有找到目标物品，那么机器人会按照候选房间中除r*房间以外的排列顺序依次进行探索，同时根据目标物品相应最可能相关联的静态物品以及目标物品与的位置关系知识进行搜索，直到搜索到目标物品终止搜索任务。所述物品识别模块212，用于对家庭物品(包括动态物品和静态物品)的识别，并为自主导航模块211提供识别结果。所述场景识别模块213，用于对家庭场景(如房间类型)的识别，并为自主导航模块211提供识别结果。本实施例提出的家庭环境下动态物品搜索装置，不仅可以让服务机器人快速的在已知家庭环境或半未知家庭环境中搜索到所需动态物品，还可以在未知家庭环境有效地推理并找到所需动态物品。上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。当前第1页12当前第1页12