基于Kinect设备的合影系统及方法与流程

本发明涉及计算机视觉及图像合成技术领域，尤其涉及一种基于Kinect设备的合影系统及方法。

背景技术：

目前，人们与某场景的合影大多是以实际场景为背景，由他人拍摄或由合影者自拍完成。这种合影方式存在两个限制条件：一、是要到实际场景中完成拍摄；二、是要有能辅助拍摄的人或自拍设备。这两个条件限制了人们与各种场景合影的体验。

鉴于此，如何打破传统合影方式的限制条件，使用户不用到真实场景中去就可以自己完成与任意场景合影，并保证虚拟背景图像和现实人物图像融合的质量成为目前需要解决的技术问题。

技术实现要素：

为解决上述的技术问题，本发明提供一种基于Kinect设备的合影系统及方法，能够打破传统合影方式的限制条件，可以使用户不用到真实场景中去即可自己完成与任意场景合影、可以提高合影系统使用的普遍性、可以保证采集现实人物图像并在屏幕显示的实时性、可以保证虚拟背景图像和现实人物图像融合的质量。

第一方面，本发明提供一种基于Kinect设备的合影系统，包括：Kinect设备、处理设备和显示设备；

所述Kinect设备和所述显示设备分别与所述处理设备相连接；

所述Kinect设备，用于在接收到所述处理设备发送的第一开启指令后，获取预设区域内所述用户的人物区域图像，并将所述人物区域图像发送给所述处理设备；

所述处理设备，包括：选择单元、处理单元和融合单元；

选择单元，用于通过所述显示设备接收用户输入的选择指令，根据所述选择指令确定所述用户在预设合影场景背景图像数据库中选择的场景背景图像，并向所述Kinect设备发送第一开启指令；

处理单元，用于对所述Kinect设备发送的人物区域图像进行图像处理，获得目标人物图像；

融合单元，用于将所述目标人物图像与用户选择的场景背景图像进行融合，生成合影图像，并将所述合影图像通过所述显示设备进行展示。

可选地，所述处理设备，还包括：第一接收单元、重选单元和确定单元；

第一接收单元，用于将所述合影图像通过所述显示设备进行展示后，通过所述显示设备接收用户输入的确认指令或合影场景背景重选指令；

重选单元，用于若接收到合影场景背景重选指令，则返回执行所述选择单元；

确定单元，用于若接收到确认指令，则确定所述显示设备所展示的合影图像为最终的合影图像。

可选地，所述合影系统还包括：与所述处理设备连接的打印设备；所述处理设备，还包括：打印单元；

所述打印单元，用于通过所述显示设备接收用户输入的打印指令，并向所述打印设备发送第二开启指令；

所述打印设备，用于在接收到所述处理设备发送的第二开启指令后，打印所述显示设备所展示的合影图像。

可选地，所述合影系统还包括：与所述处理设备通信连接的服务器；所述处理设备，还包括：发送单元和第二接收单元；

所述发送单元，用于将所述显示设备所展示的合影图像发送给所述服务器；

所述服务器，用于存储所述处理设备发送的合影图像，并将存储所述合影图像的网络地址生成二维码返回给所述处理设备；

所述第二接收单元，用于接收所述服务器返回的二维码并通过所述显示设备进行展示，以使用户通过扫描所述二维码下载所述显示设备所展示的合影图像。

可选地，所述Kinect设备，具体用于

采集包含预设区域内所述用户的人物图像的第一图像和所述预设区域的深度信息；

基于所述深度信息，移除所述第一图像中的背景区域，获得人物区域图像，并将所述人物区域图像发送给所述处理设备。

可选地，所述处理单元，具体用于

去除所述人物区域图像中的背景区域，获得原始人物图像；

对所述原始人物图像的边界进行羽化处理，获得目标人物图像。

第二方面，本发明提供一种基于Kinect设备的合影方法，利用上述合影系统，包括：

通过显示设备接收用户输入的选择指令，根据所述选择指令确定所述用户在预设合影场景背景图像数据库中选择的场景背景图像，并向Kinect设备发送第一开启指令；

接收所述Kinect设备在接收到所述第一开启指令后获取的预设区域内所述用户的人物区域图像；

对所述Kinect设备发送的人物区域图像进行图像处理，获得目标人物图像；

将所述目标人物图像与用户选择的场景背景图像进行融合，生成合影图像，并将所述合影图像通过所述显示设备进行展示。

可选地，在将所述合影图像通过所述显示设备进行展示之后，所述方法还包括：

通过所述显示设备接收用户输入的确认指令或合影场景背景重选指令；

判断接收到的是确认指令，还是合影场景背景重选指令，若接收到合影场景背景重选指令，则返回所述通过显示设备展示的合影场景背景选择界面接收用户输入的选择指令的步骤，若接收到确认指令，则确定所述显示设备所展示的合影图像为最终的合影图像。

可选地，所述方法还包括：

通过所述显示设备接收用户输入的打印指令，并向打印设备发送第二开启指令，以使所述打印设备在接收到所述处理设备发送的第二开启指令后打印所述显示设备所展示的合影图像。

可选地，所述方法还包括：

将所述显示设备所展示的合影图像发送给服务器；

接收所述服务器存储所述合影图像后将存储所述合影图像的网络地址所生成的二维码；

将所述二维码通过所述显示设备进行展示，以使用户通过扫描所述二维码下载所述显示设备所展示的合影图像。

由上述技术方案可知，本发明的基于Kinect设备的合影系统及方法，能够打破传统合影方式的限制条件，可以使用户不用到真实场景中去即可自己完成与任意场景合影，可以提高合影系统使用的普遍性，可以保证采集现实人物图像并在屏幕显示的实时性，可以保证虚拟背景图像和现实人物图像融合的质量。

附图说明

图1为本发明一实施例提供的基于Kinect设备的合影系统的结构示意图；

图2为本发明一实施例提供的基于Kinect设备的合影方法的流程示意图；

图3为本发明另一实施例提供的基于Kinect设备的合影方法的流程示意图；

图4为本发明另一实施例提供的基于Kinect设备的合影方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。

图1示出了本发明一实施例提供的基于Kinect设备的合影系统的结构示意图，如图1所示，本实施例的基于Kinect设备的合影系统，包括：Kinect设备1、处理设备2和显示设备3；

所述Kinect设备1和所述显示设备3分别与所述处理设备2相连接；

所述Kinect设备1，用于在接收到所述处理设备发送的第一开启指令后，获取预设区域内所述用户的人物区域图像，并将所述人物区域图像发送给所述处理设备；

所述处理设备2，包括图中未示出的：选择单元、处理单元和融合单元；其中：

所述选择单元，用于通过所述显示设备3(展示的合影场景背景选择界面)接收用户输入的选择指令，根据所述选择指令确定所述用户在预设合影场景背景图像数据库中选择的场景背景图像，并向所述Kinect设备1发送第一开启指令；

所述处理单元，用于对所述Kinect设备1发送的人物区域图像进行图像处理，获得目标人物图像；

所述融合单元，用于将所述目标人物图像与用户选择的场景背景图像进行融合，生成合影图像，并将所述合影图像通过所述显示设备3进行展示。

在具体应用中，所述Kinect设备1，可具体用于

采集包含预设区域内所述用户的人物图像的第一图像和所述预设区域的深度信息；

基于所述深度信息，移除所述第一图像中的背景区域，获得人物区域图像，并将所述人物区域图像发送给所述处理设备。

在具体应用中，所述处理设备2中的处理单元，可具体用于

去除所述人物区域图像中的背景区域，获得原始人物图像；

对所述原始人物图像的边界进行羽化处理，获得目标人物图像。

在具体应用中，所述处理设备2可以安装在一主机中。

在具体应用中，所述处理设备2，还可以包括图中未示出的：第一接收单元、重选单元和确定单元；其中：

所述第一接收单元，用于将所述合影图像通过所述显示设备3进行展示后，通过所述显示设备3接收用户输入的确认指令或合影场景背景重选指令；

所述重选单元，用于若接收到合影场景背景重选指令，则返回执行所述选择单元；

所述确定单元，用于若接收到确认指令，则确定所述显示设备3所展示的合影图像为最终的合影图像。

在具体应用中，所述合影系统还可以包括图中未示出的：与所述处理设备2连接的打印设备；相应地，所述处理设备2，还可以包括图中未示出的：打印单元；

所述打印单元，用于通过所述显示设备3接收用户输入的打印指令，并向所述打印设备发送第二开启指令；

所述打印设备，用于在接收到所述处理设备2发送的第二开启指令后，打印所述显示设备3所展示的合影图像。

在具体应用中，所述合影系统还可以包括图中未示出的：与所述处理设备2通信连接的服务器；相应地，所述处理设备2，还可以包括图中未示出的：发送单元和第二接收单元；

所述发送单元，用于将所述显示设备3所展示的合影图像发送给所述服务器；

所述服务器，用于存储所述处理设备2发送的合影图像，并将存储所述合影图像的网络地址生成二维码返回给所述处理设备2；

所述第二接收单元，用于接收所述服务器返回的二维码并通过所述显示设备3进行展示，以使用户通过扫描所述二维码下载所述显示设备3所展示的合影图像。

可以理解的是，本实施例所述合影系统可将合成后的合影图像上传至服务器，同时生成可供用户扫描下载该合影图像的二维码，使得该合影图像可以以电子照片的形式永久保存；同时可提供打印照片功能，用户可以直接打印合影图像。

可以理解的是，本实施例的显示设备3是用户和合影系统交互的唯一平台与可视界面。在显示设备3上显示操作按钮，可供用户实现与系统的交互操作；在显示设备3上可显示本发明系统操作说明、可选择的预设合影场景背景图像数据库中存储的场景背景图像、将所述目标人物图像与用户选择的场景背景图像进行融合后生成的实时合影图像、最终确认的合影图像、及可供用户扫描后下载合影图像的二维码等。

本实施例的基于Kinect设备的合影系统，能够打破传统合影方式的限制条件，使用户不用到真实场景中去就可以自己完成与任意场景合影，可以保证虚拟背景图像和现实人物图像融合的质量，保证采集现实人物图像并在屏幕显示的实时性，能够实现最终合成图像的存储与下载。本实施例所述合影系统可以任意添加合影的场景背景图像，提高该合影系统使用的普遍性；添加合影的场景背景图像除了风光照片，还可以是人物照片等，能够为用户提供与平时难以接触到的人物合影的机会；利用逼真的人像图像处理技术以及高质量的图像融合技术可以让合成后的图像(照片)看起来十分真实。

图2示出了本发明一实施例提供的基于Kinect设备的合影方法，该方法利用上述产品实施例所述的合影系统，应用于上述合影系统的处理设备中，如图2所示，本实施例的基于Kinect设备的合影方法如下所述。

201、通过显示设备(展示的合影场景背景选择界面)接收用户输入的选择指令，根据所述选择指令确定所述用户在预设合影场景背景图像数据库中选择的场景背景图像，并向Kinect设备发送第一开启指令。

可以理解的是，在所述步骤201之前，可将处理设备与Kinect设备上电，显示设备显示本系统的开启界面；Kinect深度相机模块显示通电状态与连接状态；按照显示设备上展示的本发明系统使用说明，用户可点击显示设备的屏幕中的下一步按钮进入合影场景背景选择界面。用户选择合适的合影场景图片后，在系统内存中会单独存储用户选择的场景背景图像；随后用户点击下一步按钮，处理设备向Kinect设备发送第一开启指令。

202、接收所述Kinect设备在接收到所述第一开启指令后获取的预设区域内所述用户的人物区域图像。

可以理解的是，所述Kinect设备获取的人物区域图像为现实中预设区域内用户的人物区域图像。

具体地，所述Kinect设备在接收到所述第一开启指令后，可采集包含预设区域内所述用户的人物图像的第一图像和所述预设区域的深度信息，基于所述深度信息移除所述第一图像中的背景区域，获得人物区域图像，并将所述人物区域图像发送给处理设备。

203、对所述Kinect设备发送的人物区域图像进行图像处理，获得目标人物图像。

在具体应用中，所述步骤203可以包括图中未示出的步骤203a和203b：

203a、去除所述人物区域图像中的背景区域，获得原始人物图像。

可以理解的是，本步骤可以分割所述人物区域图像中的背景和前景，前景即获得的精确的原始人物图像。

203b、对所述原始人物图像的边界进行羽化处理，获得目标人物图像。

可以理解的是，对所述原始人物图像的边界进行羽化处理，能够获得的目标人物图像的边缘更加平滑、自然，能够在后续与用户选择的场景背景图像融合后使目标人物图像在用户选择的场景背景中过渡得更平滑、自然，视觉效果更好。

204、将所述目标人物图像与用户选择的场景背景图像进行融合，生成合影图像，并将所述合影图像通过所述显示设备进行展示。

本实施例的基于Kinect设备的合影方法，利用上述产品实施例所述的合影系统，应用于上述合影系统的处理设备中，能够打破传统合影方式的限制条件，使用户不用到真实场景中去就可以自己完成与任意场景合影，可以保证虚拟背景图像和现实人物图像融合的质量，保证采集现实人物图像并在屏幕显示的实时性。

在具体应用，如图3所示，在所述步骤204之后，本实施例所述方法还可以包括步骤205-206：

205、通过所述显示设备接收用户输入的确认指令或合影场景背景重选指令。

可以理解的是，将合影图像通过显示设备进行展示后，用户可以判断合影图像是否满意；如果不满意，可通过显示设备上显示的按钮触发合影场景背景重选指令；如果满意，可通过显示设备上显示的按钮触发确认指令。

206、判断接收到的是确认指令，还是合影场景背景重选指令，若接收到合影场景背景重选指令，则返回所述通过显示设备展示的合影场景背景选择界面接收用户输入的选择指令的步骤，若接收到确认指令，则确定所述显示设备所展示的合影图像为最终的合影图像。

可以理解的是，步骤206在接收到合影场景背景重选指令时，还可向Kinect设备发送关闭指令，以使所述Kinect设备关闭。

在具体应用，在所述步骤204或206之后，本实施例所述方法还可以包括：

通过所述显示设备接收用户输入的打印指令，并向打印设备发送第二开启指令，以使所述打印设备在接收到所述处理设备发送的第二开启指令后打印所述显示设备所展示的合影图像。

在具体应用，在所述步骤204或206之后，本实施例所述方法还包括：

S1、将所述显示设备所展示的合影图像发送给服务器；接收所述服务器存储所述合影图像后将存储所述合影图像的网络地址所生成的二维码；将所述二维码通过所述显示设备进行展示，以使用户通过扫描所述二维码下载所述显示设备所展示的合影图像。

例如，如图4所示，图4是在上述步骤206之后还包括所述步骤S1。

可以理解的是，本实施例所述方法可将合成后的合影图像上传至服务器，同时生成可供用户扫描下载该合影图像的二维码，使得该合影图像可以以电子照片的形式永久保存；同时可提供打印照片功能，用户可以直接打印合影图像。

本实施例的基于Kinect设备的合影方法，能够打破传统合影方式的限制条件，使用户不用到真实场景中去就可以自己完成与任意场景合影，可以保证虚拟背景图像和现实人物图像融合的质量，可以保证采集现实人物图像并在屏幕显示的实时性，能够实现最终合成图像的存储与下载。本实施例所述方法可以任意添加合影的场景背景图像，提高该合影系统使用的普遍性；添加合影的场景背景图像除了风光照片，还可以是人物照片等，能够为用户提供与平时难以接触到的人物合影的机会；利用逼真的人像图像处理技术以及高质量的图像融合技术可以让合成后的图像(照片)看起来十分真实。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。