投影图像处理方法、装置、设备及其存储介质与流程

本申请一般涉及图像处理技术领域，尤其涉及投影图像处理方法、装置、设备及其存储介质。

背景技术：

教育培训随着互联网技术的发展，其教学模式从传统的线下教学转换为线上教学，克服了线下教学对于空间及时间的限制。线上教育以其空间成本低、时间掌控灵活等优势，逐渐在教育培训领域中占据较大市场份额。

目前线上教学，采用点对点视频连线的在线教育，可以多个用户同时连线与教师通过触摸装置产生互动。但是，单屏触控显示的教学方式，导致多个用户之间不能构建互动环境。

技术实现要素：

鉴于现有技术中的上述缺陷或不足，期望提供一种投影图像处理方法、装置、设备及其存储介质，期望通过投影图像的调整来增强用户之间的互动性。

第一方面，本申请实施例提供了一种投影图像处理方法，该方法包括：

接收用户输入的位置更换指令，该位置更换指令用于更改待更换对象组在预先建立的用户关系队列中的位置，该待更换对象组包括第一用户标识和第二用户标识；

解析位置更换指令，以获得与第一用户标识和第二用户标识分别对应的初始投影图像组；

调整用户关系队列和初始投影图像组，以使得初始投影图像组与待更换对象组建立新的映射关系。

第二方面，本申请实施例提供了一种投影图像处理装置，该装置包括：

接收单元，用于接收用户输入的位置更换指令，该位置更换指令用于更改待更换对象组在预先建立的用户关系队列中的位置，该更换对象组包括第一用户标识和第二用户标识；

解析单元，用于解析位置更换指令，以获得与第一用户标识和第二用户标识分别对应的初始投影图像组；

调整单元，用于调整用户关系队列和初始投影图像组，以使得初始投影图像组与待更换对象组建立新的映射关系。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如本申请实施例描述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序用于：

该计算机程序被处理器执行时实现如本申请实施例描述的方法。

本申请实施例提供的投影图像处理方法、装置、设备及其存储介质，根据位置更换指令调整用户关系队列和初始投影图像组，使得初始投影图像组和待更换对象组建立新的映射关系，使得位于投影盒子中的用户可以与其他线上用户建立互动关系，增强学习的趣味性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了本申请实施例提供的教学场景应用系统的示意性框图；

图2示出了本申请实施例提供的投影图像处理方法的流程示意图；

图3示出了本申请实施例提供的显示界面呈现的用户关系队列的示意图；

图4示出了不同用户的投影盒子内呈现的投影图像组的示意图；

图5示出了本申请实施例提供的变更映射关系后的投影图像示意图；

图6示出了本申请又一实施例提供的投影处理方法的流程示意图；

图7示出了本申请实施例提供的投影图像处理装置600的示例性结构框图；

图8示出了适于用来实现本申请实施例的终端设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关公开，而非对该公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与公开相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本申请实施例提供的教学场景应用系统的示意性框图。如图1所示，该系统包括网络102，服务器104，投影盒子106和远端设备108。网络102例如可以是局域网、广域网、因特网、移动通信网络、无线局域网络或其组合。

投影盒子106可以包括多个投影幕布106c、投影设备106a、摄像装置106b等。如图1所示，投影盒子106由多个投影幕布106c围绕形成投影空间，以用户为中心位置，用户正面对着的投影幕布，用户左侧是投影幕布，用户右侧也是投影幕布。投影空间可以如图所示为长方体空间，也可以是其他曲线形投影空间。投影盒子106的顶部设置投影设备106a，投影设备106a通过网络102接收服务器104传送的投影图像106d，将投影图像106d投影至与之对应的投影幕布106c。

投影盒子106还可以包括至少一个摄像装置106b，摄像装置106b分别用于采集用户的正面、侧面图像，并将采集得到的正面、侧面图像通过网络102发送给服务器104。在服务器104侧，建立用户的投影图像与用户的位置关系。其中，服务器104的部分功能还可以集成在投影盒子106的处理器上。

远端设备108可以包括人机交互接口，例如音频视频输入单元、触摸显示单元，音频视频输入单元用于接收音频或视频信号。音频视频输入单元可以包括摄像头和麦克风。触摸显示单元用于显示与教学程序相关的操作界面。触摸显示单元例如可以包括液晶显示器(lcd)、薄膜晶体管lcd(tft-lcd)、有机发光二极管(oled)显示器、柔性显示器、三维显示器等等中的至少一种。

存储器可以包括至少一种类型的存储介质，存储介质包括闪存、硬盘、多媒体卡、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等等。而且，移动终端106还可以与通过网络连接执行存储器的存储功能的网络存储装置协作。

处理器用于执行存储器中存储的一个或多个软件代码(即程序)。处理器可以包括微处理器、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、可编程逻辑设备(pld)处理器等。

当多个投影盒子与远端设备构建互动教学平台时，多个投影盒子内的投影图像期望可以根据不同的指令产生映射关系，本申请实施例提出一种适用于投影盒子的投影图像处理方法。

图2示出了本申请实施例提供的投影图像处理方法的流程示意图。该方法可以适用于服务器，也可以适用于等同服务器的处理功能的其他装置或设备。

如2所示，该方法包括：

步骤201，接收用户输入的位置更换指令。

位置更换指令用于更改待更换对象组在预先建立的用户关系队列中的位置。待更换对象组包括第一用户标识和第二用户标识。

本申请实施例中，通过远端设备108接收用户输入的位置更换指令。位置更换指令可以是通过人机交互接口输入的指令，例如，通过鼠标点击显示区域显示的目标用户的指示图标，将其作为待更换对象，并在有效时间段内，点击另外一个目标用户的指示图标，将其作为另一个待更换对象，从而获得待更换对象组。例如，还可以通过触摸显示装置在图形显示区域通过滑动手势完成待更换对象组的确定。

例如，还可以通过声音采集装置采集声控指令来实现待更换对象组的确定。

用户标识可以是图形或者文字，或者二者的结合等。

用户关系队列可以理解为用户建立的虚拟空间关系，例如，用户之间是否相邻等位置关系。图3示出了本申请实施例提供的显示界面呈现的用户关系队列的示意图。如图3所示，用户关系队列301包括用户标识d，a，c，b，e，其分别对应用户关系队列的位置序号为(1)，(2)，(3)，(4)，(5)。图3中虚线箭头指示为滑动手势，滑动手势的起点和终点关联的用户标识a和用户标识b确定为待更换对象组。其中，用户标识a表示用户a的投影盒子。

步骤202，解析位置更换指令，以获得与第一用户和第二用户分别对应的初始投影图像组。

在接收到位置更换指令之后，可以进一步读取位置更换指令的起始位置对应的用户标识，以及终点位置对应的用户标识。

位于投影盒子中的真实人物，例如可以是参与线上学习的用户，例如可以是低幼儿、儿童、不同年龄段的学生等。利用投影盒子中预先设置的图像采集装置，可以采集用户不同方位的图像，例如，以用户为参考中心，用户正面的投影幕布是第一投影幕布，用户左侧的投影幕布是第二投影幕布，用户右侧的投影幕布是第三投影幕布。根据用户关系队列，可以确定第二投影幕布和第三投影幕布的投影内容。假设如图3示出的用户关系队列，用户c的第二投影幕布上投影的初始图像是用户a的图像，用户c的第三投影幕布上投影的初始图像是用户b的图像。用户a的第二投影幕布上投影的初始图像是用户d的图像，用户a的第三投影幕布上投影的初始图像是用户c的图像。同理，依次类推根据用户关系队列可以确定每个用户的第二投影幕布与第三投影幕布上投影的初始图像。初始投影图像组包括以用户关系队列中用户标识为参考标准，确定其左侧投影幕布上的投影图像和其右侧投影幕布上的投影图像。例如，初始投影图像组如图4所示，图4示出了不同用户的投影盒子内呈现的投影图像组的示意图。其中，用户c的初始投影图像组为投影图像aa和投影图像bb。投影图像aa投放的是在用户关系队列中与用户c左侧相邻的用户a的图像。投影图像bb投放的是在用户关系队列中与用户c右侧相邻的用户b的图像。用户b的初始投影图像组为投影图像cc和投影图像ee。投影图像cc投放的是在用户关系队列中与用户b左侧相邻的用户c的图像。投影图像ee投放的是在用户关系队列中与用户b右侧相邻的用户e的图像。

步骤203，调整用户关系队列和初始投影图像组，以使得初始投影图像组与待更换对象组建立新的映射关系。

在接收用户输入的位置更换指令之后，确定更换对象组包括两个用户标识，例如位置更换指令指示交换用户a和用户b的位置，则交换位置后，用户c的第二投影幕布上呈现的是用户b的图像，用户c的第三投影幕布上呈现的是用户a的投影图像。用户a的第二投影幕布上呈现的是用户c的图像，用户a的第三投影幕布上呈现的用户e的图像，如图5所示。

进一步地，图6示出了本申请又一实施例提供的投影处理方法的流程示意图。如图6所示，该方法包括：

步骤501，接收用户输入的位置更换指令。

步骤502，确定第一用户标识和第二用户标识在用户关系队列中的初始位置序号。

如图3所示，用户关系队列301包括用户d，a，c，b，e，其分别对应用户关系队列的位置序号(1)，(2)，(3)，(4)，(5)。图3中虚线箭头指示为滑动手势，滑动手势的起点和终点关联的用户a和用户b确定为待更换对象组。假设用户a为第一用户标识，用户b为第二用户标识，用户a的初始位置序号为(2)，用户b的初始位置序号为(3)。

步骤503，确定与初始位置序号对应的初始投影图像组。

在接收到位置更换指令之后，读取位置更换指令的起始位置对应的用户标识，以及终点位置对应的用户标识。根据用户标识与投影图像之间的映射关系来获取初始投影图像组，投影图像组可以是用户标识为参考目标，其第一方向的投影图像和第二方向的投影图像，第一方向和第二方向是相反的方向。例如，用户a的第二投影幕布上投影的初始图像是用户d的图像，用户a的第三投影幕布上投影的初始图像是用户c的图像。

步骤504，根据位置更换指令修改用户关系队列，以得到新的用户关系队列。

步骤505，按照新的用户队列关系建立初始投影图像组与第一用户标识或第二用户标识的映射关系。

本步骤中，通过分别确定第一用户标识或第二用户标识在新的用户队列关系中的位置序号；修改位置序号与初始投影图像组的映射关系。

在接收用户输入的位置更换指令之后，确定更换对象组包括两个用户标识，例如位置更换指令指示交换用户a和用户b的位置。交换位置后的用户队列关系为用户关系队列301’包括用户d，b，c，a，e，其分别对应用户关系队列的位置序号(1)，(2)，(3)，(4)，(5)。交换位置后，用户c的第二投影幕布上呈现的是用户b的图像，用户c的第三投影幕布上呈现的是用户a的投影图像。用户a的第二投影幕布上呈现的是用户c的图像，用户a的第三投影幕布上呈现的用户e的图像。用户b的第二投影幕布上呈现的用户d的图像，用户b的第三投影幕布上呈现的用户e的图像，如图5所示。

应当注意，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

进一步地参考图7，图7示出了本申请实施例提供的投影图像处理装置600的示例性结构框图。

接收单元601，用于接收用户输入的位置更换指令，该位置更换指令用于更改待更换对象组在预先建立的用户关系队列中的位置，该待更换对象组包括第一用户标识和第二用户标识。

解析单元602，用于解析位置更换指令，以获得与第一用户标识和第二用户标识分别对应的初始投影图像组。

调整单元603，用于调整用户关系队列和初始投影图像组，以使得初始投影图像组与待更换对象组建立新的映射关系。

本申请实施例中，通过远端设备108接收用户输入的位置更换指令。位置更换指令可以是通过人机交互接口输入的指令，例如，通过鼠标点击显示区域显示的目标用户的指示图标，将其作为待更换对象，并在有效时间段内，点击另外一个目标用户的指示图标，将其作为另一个待更换对象，从而获得待更换对象组。例如，还可以通过触摸显示装置在图形显示区域通过滑动手势完成待更换对象组的确定。

例如，还可以通过声音采集装置采集声控指令来实现待更换对象组的确定。

用户标识可以是图形或者文字，或者二者的结合等。

用户关系队列可以理解为用户建立的虚拟空间关系，例如，用户之间是否相邻等位置关系。图3示出了本申请实施例提供的显示界面呈现的用户关系队列的示意图。如图3所示，用户关系队列301包括用户标识d，a，c，b，e，其分别对应用户关系队列的位置序号为(1)，(2)，(3)，(4)，(5)。图3中虚线箭头指示为滑动手势，滑动手势的起点和终点关联的用户标识a和用户标识b确定为待更换对象组。其中，用户标识a表示用户a的投影盒子。

在接收到位置更换指令之后，可以进一步读取位置更换指令的起始位置对应的用户标识，以及终点位置对应的用户标识。

位于投影盒子中的真实人物，例如可以是参与线上学习的用户，例如可以是低幼儿、儿童、不同年龄段的学生等。利用投影盒子中预先设置的图像采集装置，可以采集用户不同方位的图像，例如，以用户为参考中心，用户正面的投影幕布是第一投影幕布，用户左侧的投影幕布是第二投影幕布，用户右侧的投影幕布是第三投影幕布。根据用户关系队列，可以确定第二投影幕布和第三投影幕布的投影内容。假设如图3示出的用户关系队列，用户c的第二投影幕布上投影的初始图像是用户a的图像，用户c的第三投影幕布上投影的初始图像是用户b的图像。用户a的第二投影幕布上投影的初始图像是用户d的图像，用户a的第三投影幕布上投影的初始图像是用户c的图像。同理，依次类推根据用户关系队列可以确定每个用户的第二投影幕布与第三投影幕布上投影的初始图像。初始投影图像组包括以用户关系队列中用户标识为参考标准，确定其左侧投影幕布上的投影图像和其右侧投影幕布上的投影图像。例如，初始投影图像组。如图4所示，其中，用户c的初始投影图像组为投影图像aa和投影图像bb。投影图像aa投放的是在用户关系队列中与用户c左侧相邻的用户a的图像。投影图像bb投放的是在用户关系队列中与用户c右侧相邻的用户b的图像。用户b的初始投影图像组为投影图像cc和投影图像ee。投影图像cc投放的是在用户关系队列中与用户b左侧相邻的用户c的图像。投影图像ee投放的是在用户关系队列中与用户b右侧相邻的用户e的图像。

在接收用户输入的位置更换指令之后，确定更换对象组包括两个用户标识，例如位置更换指令指示交换用户a和用户b的位置，则交换位置后，用户c的第二投影幕布上呈现的是用户b的图像，用户c的第三投影幕布上呈现的是用户a的投影图像。用户a的第二投影幕布上呈现的是用户c的图像，用户a的第三投影幕布上呈现的用户e的图像，如图5所示。

其中，解析单元602还可以包括：

第一确定子单元，用于确定第一用户标识和第二用户标识在用户关系队列中的初始位置序号；

第二确定子单元，用于确定与初始位置序号对应的初始投影图像组。

调整单元603还可以包括：

修改子单元，用于根据位置更换指令修改用户关系队列，以得到新的用户关系队列；

建立子单元，用于按照新的用户队列关系建立初始投影图像组与第一用户标识或第二用户标识的映射关系。

应当理解，装置600中记载的诸单元或模块与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置600及其中包含的单元，在此不再赘述。装置600可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。装置600中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。

在上文详细描述中提及的若干模块或者单元，这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

下面参考图8，图8示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统700的结构示意图。

如图7所示，计算机系统700包括中央处理单元(cpu)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram703中，还存储有系统700操作所需的各种程序和数据。cpu701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。

以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本公开的实施例，上文参考流程图图1描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(cpu)701执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括接收单元、解析单元以及调整单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，接收单元还可以被描述为“用于接收用户输入的位置更换指令的单元”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的投影图像处理方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。