屏幕显示方法及装置与流程

本发明属于计算机领域，尤其涉及一种屏幕显示方法及装置。

背景技术：

近年来，机器人技术的发展和人工智能研究不断深入，智能机器人在人类生活中扮演越来越重要的角色。随着人们的需求不断增多，更强交互功能的机器人将逐渐会成为机器人界的宠儿。

目前，很多机器人机身上设置有屏幕，以供用户与机器人进行交互。一般地，机器人身上设置的屏幕往往设置在某个固定高度，当用户需要通过屏幕与机器人进行交互时，比如需要对屏幕进行点击，滑动等手势操作，或观看屏幕上展示的信息等等，由于人与人之间的身高差异很大，会出现不同用户的身高与屏幕高度位置不匹配的现象，从而导致部分用户与机器人的交互不便，交互体验较差。

技术实现要素：

有鉴于此，本发明实施例提供了一种屏幕显示方法及装置，通过自适应用户的身高来调整屏幕中显示内容的显示位置，以提高用户的交互便利性，提高用户体验。

本发明实施例提供了一种屏幕显示方法，包括：

获取交互对象图像；

确定所述交互对象图像在屏幕中的图像显示位置；

根据所述图像显示位置，调整所述屏幕中显示内容的内容显示位置。

可选地，所述确定所述交互对象图像在屏幕中的图像显示位置，包括：

识别所述交互对象图像中的人脸框；

根据所述人脸框的坐标对应的预设屏幕区域，确定所述人脸框在所述屏幕中的图像显示位置，其中，所述坐标为所述人脸框相对于所述屏幕的边框的坐标。

可选地，所述根据所述人脸框的坐标对应的预设屏幕区域，确定所述人脸框在所述屏幕中的图像显示位置之前，还包括：

若包含多个人脸框，则根据所述多个人脸框分别对应的面积大小，从所述多个人脸框中选择具有最大面积的目标人脸框；

相应地，所述根据所述人脸框的坐标对应的预设屏幕区域，确定所述人脸框在所述屏幕中的图像显示位置，包括：

根据所述目标人脸框的坐标对应的预设屏幕区域，确定所述目标人脸框在所述屏幕中的图像显示位置。

可选地，所述根据所述图像显示位置，调整所述屏幕中显示内容的内容显示位置，包括：

根据所述图像显示位置，调整承载有所述显示内容的纵向滚动视图在所述屏幕中的显示位置和尺寸。

可选地，所述识别所述交互对象图像中的人脸框之后，还包括：

生成承载有所述人脸框的屏幕预览视图；

生成用于遮挡所述屏幕预览视图的遮挡视图，所述纵向滚动视图位于所述遮挡视图的上层，其中，所述屏幕预览视图和所述遮挡视图的尺寸与所述屏幕的尺寸相同。

可选地，所述根据所述图像显示位置，调整所述屏幕中显示内容的内容显示位置，包括：

根据所述图像显示位置，调整承载有第一显示内容的弹窗在所述屏幕中的显示位置，其中，所述显示内容包括所述第一显示内容和第二显示内容，承载有所述第二显示内容的遮挡视图全屏显示在所述屏幕中，所述弹窗位于所述遮挡视图的上层。

可选地，所述识别所述交互对象图像中的人脸框之后，还包括：

生成承载有所述人脸框的屏幕预览视图，所述遮挡视图位于所述屏幕预览视图的上层。

本发明实施例还提供了一种屏幕显示装置，包括：

获取模块，用于获取交互对象图像；

确定模块，用于确定所述交互对象图像在屏幕中的图像显示位置；

调整模块，用于根据所述图像显示位置，调整所述屏幕中显示内容的内容显示位置。

本发明实施例提供的屏幕显示方法及装置，当有交互对象即用户与机器人进行交互时，通过获取交互对象的图像，以确定交互对象的图像在屏幕中的显示位置。由于交互对象图像在屏幕中的图像显示位置反映了该交互对象的身高，即不同身高的交互对象的图像在屏幕中的图像显示位置往往不同，因此，交互对象图像在屏幕中的显示位置为其身高在屏幕上的映射。进而，基于该交互对象在屏幕中的图像显示位置来调整屏幕中显示内容的内容显示位置，以使得显示内容的显示位置自适应交互对象的身高而改变，从而大大方便了交互对象的对屏幕的交互操作，提高了人机交互体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的屏幕显示方法实施例一的流程图；

图2为图1所示实施例中步骤103的一种可选实现方式的流程图；

图3为图1所示实施例中步骤103的另一种可选实现方式的流程图；

图4为本发明实施例提供的屏幕显示装置实施例一的结构示意图；

图5为本发明实施例提供的屏幕显示装置实施例二的结构示意图；

图6为本发明实施例提供的屏幕显示装置实施例三的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

图1为本发明实施例提供的屏幕显示方法实施例一的流程图，该屏幕显示方法可以由一屏幕显示装置来执行，结合该屏幕显示方法可以适用于的应用场景，比如适用于机器人中，该屏幕显示装置可以是设置在机器人中的软件或软件与硬件的组合。如图1所示，该方法包括如下步骤：

步骤101，获取交互对象图像。

实际应用中，机器人机身上可以设置有多种硬件检测器件，比如用于检测一定范围内是否存在物体的传感器，比如超声波传感器、激光传感器等。可以设置超声波传感器能够检测机器人正面1米范围内是否存在物体。另外，机器人机身上的合适位置处还可以设置有摄像头，比如在一人形机器人上，在头部位置设置有摄像头。而且，该机器人机身上还设置有屏幕，即显示屏，可以通过该屏幕显示与用户进行交互的显示内容。本发明实施例中，上述交互对象即可以是与机器人进行交互的用户。

可选地，实际上，机器人机身上的比如超声波传感器可以以一定较短时间间隔不断探测机器人前方一定范围内是否存在物体，当检测到存在物体时，触发摄像头进行图像采集。假设该物体即为交互对象，则通过该摄像头的采集采集到交互对象图像。

步骤102，确定交互对象图像在屏幕中的图像显示位置。

当通过该摄像头采集到交互对象图像后，可以将采集到的交互对象图像映射到机器人的屏幕上。由于摄像头相对机器人来说具有预先设定的固定位置、固定拍摄角度等拍摄参数，而且屏幕也是固定设置在机器人机身上的某固定位置，因此，假设具有不同身高的交互对象与机器人交互时，其对应的交互对象图像在屏幕上的映射位置不同。

由于拍得的交互对象图像中往往包含交互对象的不同身体部位图像以及背景图像，为了统一比较标准，可选地，本发明实施例中可以以交互对象的人脸区域所在位置作为交互对象图像在屏幕中的图像显示位置的确定依据，当然，并不以此为限。

从而，可选地，确定交互对象图像在屏幕中的图像显示位置，可以实现为：

识别交互对象图像中的人脸框；

根据人脸框的坐标对应的预设屏幕区域，确定人脸框在屏幕中的图像显示位置，其中，人脸框的坐标为人脸框相对于屏幕的边框的坐标。

具体地，首先需要对交互对象图像进行人脸识别，以识别出其中是否包含人脸，以及在包含人脸的情况下，确定去人脸框，即人脸轮廓。其中，人脸识别方法可以采用现有技术中的人脸识别方法实现，本实施例中不赘述。本实施例中，人脸框可以简单实现为划定包含人脸的矩形框。

值得说明的是，实际应用中，由于机器人前方可能存在多个用户，从而摄像头拍得的交互对象图像中可能包含有多个人脸，但是这多个用户并非都是与机器人交互的交互对象，比如对象A在于机器人交互的时候，周围围观了对象B、对象C，此时可能交互对象图像中除了包含对象A的人脸图像外，还包括对象B和对象C的人脸图像。

为此，可选地，若人脸识别结果表明若交互对象图像中包含多个人脸框，则根据多个人脸框分别对应的面积大小，从多个人脸框中选择具有最大面积的目标人脸框，以根据目标人脸框的坐标对应的预设屏幕区域，确定目标人脸框在屏幕中的图像显示位置。

其中，针对任一人脸框来说，其面积大小可以通过该人脸框对应的坐标来计算。由于人脸框可以表达为矩形框，因此，人脸框的坐标可以通过(顶坐标、底坐标、左坐标、右坐标)来表征。其中，对于一个矩形框来说，顶坐标表征了矩形框的上边相距屏幕上边框的距离，底坐标表征了矩形框的下边相距屏幕下边框的距离，左坐标表征了矩形框的左边相距屏幕左边框的距离，右坐标表征了矩形框的右边相距屏幕右边框的距离。即相当于以屏幕的左上顶点为坐标原点建立直角坐标系，纵轴的方向由上边框指向下边框方向，横轴的方向由做边框指向右边框方向，人脸框对应的四个坐标点即为人脸框的边界线映射到坐标轴上的坐标点。

另外，本实施例中，可以预先对屏幕进行多个屏幕区域的划分，该划分可以是沿着纵坐标轴的方向，将屏幕等分为多个区域，比如三个区域，分别称为上部区域、中部区域、下部区域。从而，可以以人脸框的顶坐标即人脸框的上边映射到纵轴上的坐标所归属于哪个屏幕区域来确定交互对象图像在屏幕中的图像显示位置，相当于确定了交互对象的头顶在屏幕上的映射位置。

步骤103，根据交互对象图像在屏幕中的图像显示位置，调整屏幕中显示内容的内容显示位置。

本实施例中，根据交互对象图像在屏幕中的图像显示位置，调整屏幕中显示内容的内容显示位置的原则是：如果交互对象图像在屏幕中的图像显示位置位于靠近屏幕下部的区域，表明该交互对象身高较低，则调整屏幕中的显示内容在屏幕的下部区域显示；如果交互对象图像在屏幕中的图像显示位置位于靠近屏幕上部的区域，表明该交互对象身高较高，则调整屏幕中的显示内容在屏幕的上部区域显示；如果交互对象图像在屏幕中的图像显示位置位于靠近屏幕中部的区域，表明该交互对象身高中等，屏幕的设置位置对该用户的操作较为方便，则显示内容在屏幕中全屏正常显示即可。

综上，本实施例中，当有交互对象即用户与机器人进行交互时，通过获取交互对象的图像，以确定交互对象的图像在屏幕中的显示位置。由于交互对象图像在屏幕中的图像显示位置反映了该交互对象的身高，即不同身高的交互对象的图像在屏幕中的图像显示位置往往不同，因此，交互对象图像在屏幕中的显示位置为其身高在屏幕上的映射。进而，基于该交互对象在屏幕中的图像显示位置来调整屏幕中显示内容的内容显示位置，以使得显示内容的显示位置自适应交互对象的身高而改变，从而大大方便了交互对象的对屏幕的交互操作，提高了人机交互体验。

下面结合如下的方法实施例详细介绍调整屏幕中的显示内容的显示位置的几种可选实现方式。

图2为图1所示实施例中步骤103的一种可选实现方式的流程图，如图2所示，以通过人脸框确定交互对象图像在屏幕中的图像显示位置为例，该实现方式可以包括如下步骤：

步骤1031，生成承载有人脸框的屏幕预览视图。

步骤1032，生成用于遮挡屏幕预览视图的遮挡视图，屏幕预览视图和遮挡视图的尺寸与屏幕的尺寸相同。

步骤1033，根据所述图像显示位置，调整承载有显示内容的纵向滚动视图在屏幕中的显示位置和尺寸，纵向滚动视图位于遮挡视图的上层。

首先需要说明的是，上述步骤1031和1032为可选步骤。

具体地，由于需要基于人脸框在屏幕上对应的预设屏幕区域来确定交互对象图像在屏幕中的图像显示位置，为了便于确定人脸框在屏幕上的对应位置，可以将识别到的人脸框显示在屏幕中。但是，由于屏幕中显示有与交互对象进行正常交互的显示内容，为了不影响对该显示内容的影响，本实施例中采用了层次化的布局显示方式：将整个屏幕显示设计为三个层次，其中，最上层即为与交互对象进行交互所用的显示内容的显示，最底层即为交互对象对应的人脸框的显示，中间一层是为了保证人脸框的显示不影响显示内容的显示而设计的遮挡层。

具体地，可以在每个界面的布局(Layout)中建立一个屏幕预览视图(Preview)，以用于承载人脸框，并把屏幕预览视图放到屏幕显示的最底层；

在屏幕预览视图上层建立一层纯黑色全屏的视图(View)称为遮挡视图，把屏幕预览视图完全遮挡住作为屏幕默认显示的背景，此时，屏幕预览视图和遮挡视图的尺寸与屏幕的尺寸相同。

在遮挡视图上面建立一层可纵向滚动的纵向滚动视图(ScrollView)，之后把界面中所有的显示内容全部放到这个纵向滚动视图当中。

实际应用中，可选地，上述三个视图可以预先生成，只是在实际应用中，可以根据交互对象的不同而适应性调整承载于屏幕预览视图中的人脸框，调整纵向滚动视图的显示位置和尺寸。

具体地，在确定了交互对象图像在屏幕中的图像显示位置后，以屏幕被预先划分为上部、中部、下部三个区域为例，基于该图像显示位置调整纵向滚动视图在屏幕中的显示位置和尺寸具体可以实现为：

若交互对象图像位于屏幕的中部区域，则控制纵向滚动视图全屏显示，即以预设的大小、位置显示，此时，显示内容全屏显示。

若交互对象图像位于屏幕的上部区域，说明交互对象身高偏高，则压缩纵向滚动视图的高度到全屏的一半，并让纵向滚动视图固定在屏幕的最顶端，此时身高偏高的交互对象可以通过上下滑动屏幕顶端的纵向滚动视图来和屏幕进行交互或者查看所有显示信息。其中，上述压缩一半仅为举例。

若交互对象图像位于屏幕的下部区域，说明交互对象身高偏低，则压缩纵向滚动视图的高度到全屏的一半，并让纵向滚动视图固定在屏幕的最底端，此时身高偏低的交互对象可以通过上下滑动屏幕顶端的纵向滚动视图来和屏幕进行交互或者查看所有显示信息。其中，上述压缩一半仅为举例。

图3为图1所示实施例中步骤103的另一种可选实现方式的流程图，如图3所示，以通过人脸框确定交互对象图像在屏幕中的图像显示位置为例，该实现方式可以包括如下步骤：

步骤1034，生成承载有人脸框的屏幕预览视图。

步骤1035，生成承载有第二显示内容的遮挡视图，并全屏显示在屏幕中，遮挡视图位于屏幕预览视图的上层。

步骤1036，根据图像显示位置，调整承载有第一显示内容的弹窗在屏幕中的显示位置，显示内容包括第一显示内容和第二显示内容，弹窗位于遮挡视图的上层。

首先需要说明的是，上述步骤1034为可选步骤。

其中，位于最底层的屏幕预览视图的建立动机和方式可以参见前述实施例的描述，在此不再赘述。

另外，在屏幕预览视图上层建立一层正常全屏的视图层，称为遮挡视图，作为屏幕的第二显示内容的载体，把屏幕预览视图完全遮挡住。在遮挡视图上建立一个弹窗(PopupWindow)，其漂浮在整个屏幕最上层，把屏幕中的一些关键内容即第一显示内容放在这个弹窗中显示。

其中，遮挡视图可以是预先生成的。

其中，屏幕上显示的全部显示内容可以由第一显示内容和第二显示内容组成，其中，第一显示内容为预先设定的、与交互相关或重要信息相关的内容；第二显示内容可以是一些说明性、介绍性等内容。本实施例中，由于弹窗中承载了与交互有关的重要内容，因此，在确定了交互对象图像在屏幕中的图像显示位置后，以屏幕被预先划分为上部、中部、下部三个区域为例，可以基于该图像显示位置调整弹窗在屏幕中的显示位置：

若交互对象图像位于屏幕的中部区域，则移动弹窗到屏幕的中部区域中显示。

若交互对象图像位于屏幕的上部区域，说明交互对象身高偏高，则移动弹窗到屏幕的上部区域中显示。

若交互对象图像位于屏幕的下部区域，说明交互对象身高偏低，则移动弹窗到屏幕的下部区域中显示。

从而，不同身高的交互对象就可以很方便地与机器人屏幕上关键的内容进行交互或者查看关键的信息。

另外，如果弹窗遮挡住了屏幕本来的内容即第二显示内容，交互对象还可以通过交互把弹窗拖动到屏幕的其他位置。

本发明实施例中，基于图2、图3所示的两种示意性的可选方式，可以实现基于交互对象的身高对屏幕中显示内容进行适应性调整，从而大大提高了交互对象的交互便利性。

图4为本发明实施例提供的屏幕显示装置实施例一的结构示意图，如图4所示，该装置包括：获取模块11、确定模块12、调整模块13。

其中，所述获取模块11，用于获取交互对象图像。

确定模块12，用于确定所述交互对象图像在屏幕中的图像显示位置。

调整模块13，用于根据所述图像显示位置，调整所述屏幕中显示内容的内容显示位置。

其中，可选地，所述确定模块12包括：识别单元121、确定单元122。

识别单元121，用于识别所述交互对象图像中的人脸框。

确定单元122，用于根据所述人脸框的坐标对应的预设屏幕区域，确定所述人脸框在所述屏幕中的图像显示位置，其中，所述坐标为所述人脸框相对于所述屏幕的边框的坐标。

可选地，所述确定单元122还用于：若包含多个人脸框，则根据所述多个人脸框分别对应的面积大小，从所述多个人脸框中选择具有最大面积的目标人脸框；根据所述目标人脸框的坐标对应的预设屏幕区域，确定所述目标人脸框在所述屏幕中的图像显示位置。

图4所示系统可以执行图1所示实施例的方法，本实施例未详细描述的部分，可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述，在此不再赘述。

图5为本发明实施例提供的屏幕显示装置实施例二的结构示意图，如图5所示，在图4所示实施例基础上，上述调整模块13包括：第一生成单元131、第二生成单元132、第一调整单元133。

第一生成单元131，用于生成承载有所述人脸框的屏幕预览视图。

第二生成单元132，用于生成用于遮挡所述屏幕预览视图的遮挡视图，所述纵向滚动视图位于所述遮挡视图的上层，其中，所述屏幕预览视图和所述遮挡视图的尺寸与所述屏幕的尺寸相同。

第一调整单元133，用于根据所述图像显示位置，调整承载有所述显示内容的纵向滚动视图在所述屏幕中的显示位置和尺寸。

图5所示系统可以执行图2所示实施例的方法，本实施例未详细描述的部分，可参考对图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2所示实施例中的描述，在此不再赘述。

图6为本发明实施例提供的屏幕显示装置实施例三的结构示意图，如图6所示，在图4所示实施例基础上，上述调整模块13包括：第三生成单元134、第二调整单元135。

第三生成单元134，用于生成承载有所述人脸框的屏幕预览视图，所述遮挡视图位于所述屏幕预览视图的上层。

第二调整单元135，用于根据所述图像显示位置，调整承载有第一显示内容的弹窗在所述屏幕中的显示位置，其中，所述显示内容包括所述第一显示内容和第二显示内容，承载有所述第二显示内容的遮挡视图全屏显示在所述屏幕中，所述弹窗位于所述遮挡视图的上层。

图6所示系统可以执行图3所示实施例的方法，本实施例未详细描述的部分，可参考对图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图3所示实施例中的描述，在此不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。