一种图像讲解的方法、终端和计算机可读存储介质与流程

本发明实施例涉及机器人领域，特别涉及一种图像讲解的方法、终端和计算机可读存储介质。

背景技术：

随着科学的不断进步，机器人在越来越多的领域应用，例如，服务行业中用于迎宾的机器人，安保领域用于巡逻的机器人，工业行业用于生产加工的机器人，可见，目前机器人取代人工的趋势不可阻挡。

发明人发现现有技术中至少存在如下问题：机器人在教学和家庭领域的发展还比较缓慢，目前的教学的机器人仅针对儿童，而教学机器人通常仅能讲故事，学说话等等初级功能。而机器人由于仅能单纯的讲故事或播放教学内容，导致机器人所讲内容对听众没有吸引力，影响听众对机器人所讲内容的获知、学习。

技术实现要素：

本发明实施方式的目的在于提供一种图像讲解的方法、终端和计算机可读存储介质，使得机器人能够对投放的图像进行肢体动作的讲解，从而提高投放的图像对用户的吸引力，提高用户对机器人所投放内容的学习效果。

为解决上述技术问题，本发明的实施方式提供了一种图像讲解的方法，应用于机器人，包括：获取待讲解图像的投放位置与机器人的位置之间的相对位置关系；根据相对位置关系，确定需要执行的肢体动作；执行肢体动作并对待讲解图像进行讲解。

本发明的实施方式还提供了一种终端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的图像讲解的方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的图像讲解的方法。

本发明实施方式相对于现有技术而言，通过获取待讲解图像的投放位置和机器人的位置之间的相对位置关系，可以确定出机器人对该待讲解图像需要执行的肢体动作(如：指示动作、移动动作等)，由于在对该待讲解图像进行讲解的过程中，有了与待讲解图像对应的肢体动作，从而增加了待讲解图像对用户的吸引力，提高了用户获取该待讲解图像所含信息的积极性，且由于增加了肢体动作，增强了机器人与用户的互动性，提高用户获取知识的效率。

另外，根据相对位置关系，确定需要执行的肢体动作，具体包括：根据相对位置关系，确定对待讲解图像进行指示的路径；确定需要执行的肢体动作按照路径指示待讲解图像。通过相对位置关系，可以确定对待讲解图像进行指示的路径，进而机器人可以根据该指示路径，准确地对待讲解图像进行讲解。

另外，获取待讲解图像的投放位置与机器人的位置之间的相对位置关系，具体包括：确定待讲解图像所属图像的投放位置与机器人的位置之间相对位置信息，并作为第一相对位置信息；确定投放所属图像后待讲解图像在所属图像中的位置信息，并作为第二相对位置信息；根据第一相对位置信息和第二相对位置信息，确定待讲解图像的投放位置与机器人的位置之间的相对位置关系。由于机器人的视角存在角度的问题，会影响确定待讲解图像的投放位置与机器人之间的相对位置关系的准确性，而通过确定待讲解图像所属图像的投放位置相对于机器人所在位置后，并根据确定投放所属图像后待讲解图像在所属图像中的位置信息，可以准确确定出获取待讲解图像的投放位置与机器人的位置之间的相对位置关系，确保机器人的对待讲解图像指示的准确性。

另外，确定待讲解图像所属图像的投放位置与机器人的位置之间相对位置信息，并作为第一相对位置信息，具体包括：确定机器人的位置到所属图像的投放区域的上边界、下边界、左边界以及右边界的距离，将到上边界的距离作为第一距离，将到下边界的距离作为第二距离，将到左边界的距离作为第三距离以及将到右边界的距离作为第四距离；确定从机器人的位置到所属图像的投放区域的上边界以及下边界形成的夹角，并作为第一夹角；确定从机器人的位置到所属图像的投放区域的左边界以及右边界所形成的夹角，并作为第二夹角；将第一距离、第二距离、第三距离、第四距离、第一夹角以及第二夹角作为第一相对位置信息。确定第一距离、第二距离、第三距离、第四距离、第一夹角以及第二夹角的方式简单且准确，因而机器人可以快速地确定出第一相对位置关系，便于快速对待讲解图像进行讲解，提高用户的观看该待讲解图像的效果。

另外，确定投放所属图像后待讲解图像在所属图像中的位置信息，并作为第二相对位置信息，具体包括：获取所属图像的投放区域的尺寸信息，以及获取待讲解图像在所属图像中的位置信息；根据所属图像的投放区域的尺寸信息和待讲解图像在所属图像中的位置信息，确定待讲解图像的投放区域与左边界或右边界之间的距离，以及与上边界或下边界之间的距离，并将与左边界或所述右边界之间的距离作为待讲解图像的投放位置的横向位置信息，将到上边界或下边界之间的距离作为待讲解图像的投放位置的纵向位置信息；将横向位置信息和纵向位置信息作为第二相对位置信息。通过待讲解图像在所属图像中的位置信息以及所属图像的投放区域的尺寸信息，根据简单的数据知识，即可快速且准确地确定出该待讲解图像投放区域在所属图像的投放区域的位置信息。

另外，获取所属图像的投放区域的尺寸信息，具体包括：根据第一距离、第二距离以及第一夹角，利用三角函数，确定上边界与下边界之间距离，将所得的距离作为所属图像的投放区域的第一尺寸信息；根据第三距离、第四距离以及第二夹角，利用三角函数，确定左边界与右边界之间的距离，将所得的距离作为所属图像的投放区域的第二尺寸信息；将第一尺寸信息和第二尺寸信息作为所属图像的投放区域的尺寸信息。可以利用第一相对位置信息，计算出该所属图像的投放区域的尺寸信息，获取方式简单且准确。

另外，根据第一相对位置信息和第二相对位置信息，确定待讲解图像的投放位置与机器人的位置之间的相对位置关系，具体包括：根据第一距离、第二距离、第一尺寸信息、第一夹角以及所述纵向位置信息，利用三角函数关系，确定从机器人的位置到待讲解图像的投放位置以及到上边界形成的纵向偏转角度；根据第三距离、第四距离、第二尺寸信息、第二夹角以及横向位置信息，利用三角函数关系，确定从机器人的位置到待讲解图像的投放位置以及到左边界形成的横向偏转角度；将横向偏转角度以及纵向偏转角度，作为待讲解图像的投放位置与机器人的位置之间的相对位置关系。在确定出第一夹角和第二夹角后，可以唯一确定出该待讲解图像的投放位置，进而准确确定出指示的路径，便于机器人进行指示。

另外，确定需要执行的肢体动作按照路径指示待讲解图像之后，图像讲解的方法还包括：确定下一个待讲解图像的投放位置与待讲解图像的投放位置之间的第三相对位置信息；根据第三相对位置信息，确定下一个待讲解图像的投放位置与机器人的位置之间的相对位置关系；根据下一个待讲解图像的投放位置与机器人的位置之间的相对位置关系，确定需要执行的下一个肢体动作；执行下一个肢体动作并对下一个待讲解图像进行讲解。机器人可以通过第三相对位置信息，快速确定出下一个肢体动作，从而使得机器人的肢体动作连贯，更利于用户的学习。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本申请第一实施方式提供的一种图像讲解的方法的具体流程示意图；

图2是根据本申请第一实施方式提供的一种图像讲解的方法中所属图像以及待讲解图像的示意图；

图3是根据本申请第一实施方式提供的一种图像讲解的方法中机器人视角的示意图；

图4是根据本申请第一实施方式提供的一种图像讲解的方法中获取相对位置关系的具体流程示意图；

图5是根据本申请第一实施方式提供的一种图像讲解的方法中机器人的俯视示意图；

图6是根据本申请第二实施方式提供的一种图像讲解的方法的具体流程示意图；

图7是根据本申请第三实施方式提供的一种终端的具体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种图像讲解的方法。该图像讲解的方法应用于机器人，该机器人可以是用于教学的机器人、也可以是用于家庭领域的管家机器人等。该图像讲解的方法的具体流程如图1所示，包括：

步骤101：获取待讲解图像的投放位置与机器人的位置之间的相对位置关系。

具体的说，待讲解图像为其所属图像的部分内容，如图2所示，图像b为图像a的所属图像，图像a为待讲解图像。机器人实时发送所属图像至显示屏，由显示屏进行投放，或者通过投影仪等显示设备在显示幕布上投放所属图像，其中，机器人可以与显示设备(如显示屏、投影仪等)通信连接，也可以直接通过无线信号将所属图像发送至显示设备，如采用miracast技术，以便显示设备实时投放所属图像。可以理解的是，该所属图像还可以是存储在显示设备的本地存储器中，也可以是从其他设备(如，云端、服务器、本地电脑等)获取得到。所属图像可以是ppt、图片、视频流中的图像等。

一个具体的实现中，获取待讲解图像的投放位置与机器人的位置之间的相对位置关系，可以有多种方式，例如，可以通过机器人的图像识别功能，识别出该待讲解图像的位置，并结合测距功能即可确定出待讲解图像的投放位置，进而确定出该待讲解图像的投放位置与机器人的位置之间的相对关系。

然而，当机器人与显示该所属图像的显示屏非常接近时，机器人看显示屏的视角可能很偏，如图3所示的俯视图，mn为俯视下的显示屏，a’为待讲解图像，机器人的视角如图3中的虚线所示。进而导致对待讲解图像的投放位置的确定不准确，且周围环境对机器人视角的影响不可预测(如强光、遮挡等等)，如果仅通过视觉的方式在显示屏上寻找要待讲解图像，无法做到100％的准确性。因而，本实施例中还可以采用另一个具体实现中的方式获取待讲解图像的投放位置与机器人的位置之间的相对位置关系。

另一个具体的实现中，获取该相对位置关系采用如图4中所示的方法。具体包括以下子步骤。

步骤1011：确定待讲解图像所属图像的投放位置与机器人的位置之间相对位置信息，并作为第一相对位置信息。

确定机器人的位置到该所属图像的投放区域的上边界、下边界、左边界以及右边界的距离，将到该上边界的距离作为第一距离，将到该下边界的距离作为第二距离，将到该左边界的距离作为第三距离以及将到该右边界的距离作为第四距离。确定从机器人的位置到所属图像的投放区域的上边界以及下边界形成的夹角，并作为第一夹角；确定从机器人的位置到所属图像的投放区域的左边界以及右边界所形成的夹角，并作为第二夹角；将第一距离、第二距离、第三距离、第四距离、第一夹角以及第二夹角作为第一相对位置信息。

具体的说，机器人并不知道所属图像的投放位置，可以通过测距和视觉两种方式，确定所属图像的投放位置相对于机器人的第一位置信息，从而确定出所属图像的投放位置，第一相对位置信息包括：第一距离、第二距离、第三距离、第四距离、第一夹角以及第二夹角。下面以确定第一距离、第二距离和第一夹角为例进行说明。

例如，所属图像的投放区域为长方形，且该投放区域垂直于机器人站立时所处的平面，并以垂直机器人站立时所处的平面的边界作为左边界和右边界，那么俯视机器人以及该所属图像的投放区域，如图5所示，点m为左边界的顶点，n为右边界的顶点，o为机器人的位置，a’该待讲解图像的俯视图中的位置。机器人根据测距传感器可以确定出om之间第三距离d3，以及on之间的第四距离d4，并可以测量om和on之间形成的第二夹角α。

同理，机器人测量出第一距离、第二距离以及第一夹角的方式类似，此处将不再进行赘述。

步骤1012：确定投放所属图像后待讲解图像在所属图像中的位置信息，并作为第二相对位置信息。

一个具体的实现中，获取所属图像的投放区域的尺寸信息，以及获取待讲解图像在所属图像中的位置信息；根据所属图像的投放区域的尺寸信息和待讲解图像在所属图像中的位置信息，确定待讲解图像的投放区域与左边界或右边界之间的距离，以及与上边界或下边界之间的距离，并将与左边界或右边界之间的距离作为待讲解图像的投放位置的横向位置信息，将到上边界或下边界之间的距离作为待讲解图像的投放位置的纵向位置信息；将横向位置信息和纵向位置信息作为第二相对位置信息。

具体的说，机器人可以从显示设备中获取所属图像的投放区域的尺寸信息，例如，显示设备为电视机，电视机的尺寸信息即为该所属图像的投放区域的尺寸信息，那么机器人直接获取该电视机的尺寸信息作为该所属图像的投放区域的尺寸信息。机器人可以获取待讲解图像在所属图像中的位置信息，例如，若所属图像为机器人发送至显示设备进行显示，则机器人可以直接获取待讲解图像在所属图像中的位置信息，若所属图像存储在显示设备上，则机器人可以从显示设备上获取该位置信息。

需要说明的是所属图像的投放区域的尺寸信息包括第一尺寸信息和第二尺寸信息，第一尺寸信息为所属图像的投放区域中上边界与下边界之间的距离，第二尺寸信息为所属图像的投放区域中左边界与右边界之间的距离。

由于所属图像的投放区域与所属图像仅是实际尺寸的缩放关系，因此根据获取所属图像的投放区域的尺寸信息，以及获取待讲解图像在所属图像中的位置信息，即可确定出确定待讲解图像的投放区域与左边界或右边界之间的距离，以及与上边界或下边界之间的距离，并将与左边界或右边界之间的距离作为待讲解图像的投放位置的横向位置信息。

例如，如图2所示，待讲解图像a在所属图像b的位置为：距所属图像左边界x1％的距离，距所属图像右边界x2％的距离，距所属图像上边界y1％的距离，距所属图像下边界y2％的距离，其中，x1％+x2％＝100％，y1％+y2％＝100％；根据该位置关系以及所属图像的投放区域的尺寸信息，即可确定出待讲解图像投放区域在所属图像的投放区域的位置。

步骤1013：根据第一相对位置信息和第二相对位置信息，确定待讲解图像的投放位置与机器人的位置之间的相对位置关系。

一个具体的实现中，根据第一距离、第二距离、第一尺寸信息、第一夹角以及纵向位置信息，利用三角函数关系，确定从机器人的位置到待讲解图像的投放位置以及到上边界形成的纵向偏转角度；根据第三距离、第四距离、第二尺寸信息、第二夹角以及横向位置信息，利用三角函数关系，确定从机器人的位置到待讲解图像的投放位置以及到左边界形成的横向偏转角度；将横向偏转角度以及纵向偏转角度，作为待讲解图像的投放位置与机器人的位置之间的相对位置关系。

下面结合图5以确定横向偏转角为例，进行详细说明。

根据第三距离为d3，第四距离为d4，mn为第二尺寸信息，第二夹角α，利用三角函数，即可计算出∠onm的大小，ma’为横向位置信息，由于ma’/an’已知，根据ma’/an’，以及mn的长度，即可ma’的长度、a’n的长度；由于∠onm大小已确定，利用三角形oa’n即可求解出横向偏转角度β，当然，横向偏转角还可以是角α-β。

纵向偏转角度的求解与横向偏转角的求解大致相同，此处将不再赘述。

步骤102：根据相对位置关系，确定需要执行的肢体动作。

一个具体的实现中，根据相对位置关系，确定对待讲解图像进行指示的路径；确定需要执行的肢体动作按照路径指示待讲解图像。

具体的说，根据横向偏转角和纵向偏转角，可以确定出待讲解图像的投放位置到机器人所在位置直线距离，并将确定的直线距离作为指示路径，指示路径还可以是机器人根据横向偏转角移动至所属图像投放位置，即如图5所示，机器人偏转角度β，并移动至a’，到达a’的横向位置后，机器人指向待讲解图像的纵向位置。

步骤103：执行肢体动作并对待讲解图像进行讲解。

具体的说，若机器人的指示路径为待讲解图像的投放位置到机器人所在位置直线距离，那么机器人可以通过移动激光笔的激光位置，指示待讲解图像，并配合语言进行讲解。

还可以是机器人通过移动自身位置以及控制手臂的指向，对待讲解图像进行指示并配合语言进行讲解。

本发明实施方式相对于现有技术而言，通过获取待讲解图像的投放位置和机器人的位置之间的相对位置关系，可以确定出机器人对该待讲解图像需要执行的肢体动作(如：指示动作、移动动作等)，由于在对该待讲解图像进行讲解的过程中，有了与待讲解图像对应的肢体动作，从而增加了待讲解图像对用户的吸引力，提高了用户获取该待讲解图像所含信息的积极性，且由于增加了肢体动作，增强了机器人与用户的互动性，提高用户获取知识的效率。

本发明的第二实施方式涉及一种图像讲解的方法。第二实施方式是对第一实施方式的进一步改进，主要改进之处在于：在本发明第二实施方式中，确定需要执行的肢体动作按照路径指示待讲解图像之后，确定下一个待讲解图像的投放位置与待讲解图像的投放位置之间的第三相对位置信息。具体的流程如图6所示。

步骤201：获取待讲解图像的投放位置与机器人的位置之间的相对位置关系。

值得一提的是，所属图像的投放区域的尺寸信息，还可以根据第一相对位置信息获取。具体的说，根据第一距离、第二距离以及第一夹角，利用三角函数，确定上边界与下边界之间距离，将所得的距离作为所属图像的投放区域的第一尺寸信息；根据第三距离、第四距离以及第二夹角，利用三角函数，确定左边界与右边界之间的距离，将所得的距离作为所属图像的投放区域的第二尺寸信息；将第一尺寸信息和第二尺寸信息作为所属图像的投放区域的尺寸信息。

如图5所示，已知第三距离d3、第四距离d4以及第二夹角α，利用三角函数，即可确定出mn的长度，即所属图像的投放区域的上边界与下边界之间的距离，并将该mn的长度信息作为第二尺寸信息。第一尺寸信息的求解方式与第二尺寸信息的求解方式大致相同，此处将不再赘述。

步骤202：根据相对位置关系，确定需要执行的肢体动作。

该步骤与第一实施方式的步骤102大致相同，此处不再赘述。

步骤203：执行肢体动作并对待讲解图像进行讲解。

该步骤与第一实施方式的步骤103大致相同，此处不再赘述。

步骤204：确定下一个待讲解图像的投放位置与待讲解图像的投放位置之间的第三相对位置信息。

具体的说，根据下一个待讲解图像在下一个所属图像位置信息，确定下一个待讲解图像的投放区域在下一个所属图像的投放区域的位置；进而再根据待讲解图像的投放位置与机器人的相对位置关系，即可确定出下一个待讲解图像的投放位置与待讲解图像的投放位置之间的第三相对位置信息。

步骤205：根据第三相对位置信息，确定下一个待讲解图像的投放位置与机器人的位置之间的相对位置关系。

具体的说，根据待讲解图像的投放位置与机器人的位置之间的相对位置关系，以及下一个待讲解图像的投放位置与待讲解图像的投放位置之间的第三相对位置信息，即可确定出确定下一个待讲解图像的投放位置与机器人的位置之间的相对位置关系，由于为简单的数学关系，此处将不再赘述。

步骤206：根据下一个待讲解图像的投放位置与机器人的位置之间的相对位置关系，确定需要执行的下一个肢体动作。

此步骤206与步骤202大致相同，此处不再赘述。

步骤207：执行下一个肢体动作并对下一个待讲解图像进行讲解。

此步骤207与步骤203大致相同，此处不再赘述。

本实施方式中的图像讲解的方法，机器人可以通过下一个待讲解图像的投放位置与待讲解图像的投放位置之间的第三相对位置信息，快速确定出下一个待讲解图像的投放位置与机器人的位置之间的相对位置关系，进而可以快速确定出下一个肢体动作，从而使得机器人的肢体动作连贯，提高与用户的互动性。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第三实施方式涉及一种终端，该终端30包括：至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的指令，指令被至少一个处理器301执行，以使至少一个处理器301能够执行第一实施方式或第二实施方式中的图像讲解的方法。具体结构如图7所示。

其中，存储器302和处理器301采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器301和存储器302的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器301处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器301。

处理器301负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器302可以被用于存储处理器在执行操作时所使用的数据。

本发明第四实施方式涉及一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现第一实施方式或第二实施方式中的图像讲解的方法。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。