修改包括拍摄限制元素的图像的方法、设备和系统的制作方法
【专利说明】修改包括拍摄限制元素的图像的方法、设备和系统
[0001]相关申请的交叉引用
[0002]本申请要求于2014年7月31日在韩国知识产权局提交的韩国专利申请N0.10-2014-0098652和于2015年4月10日在韩国知识产权局提交的韩国专利申请N0.10-2015-0051133的优先权，其公开通过引用整体合并于此。
技术领域
[0003]与示例性实施例一致的方法和装置涉及修改图像的方法，其中如果由用户设备捕获的照片或运动图像包括拍摄限制元素则修改照片或运动图像，以及执行该方法的设备和系统。
【背景技术】
[0004]当通过使用诸如相机或照相摄像机的拍摄设备捕获照片或运动图像时，陌生人可能被包括在捕获的照片或捕获的运动图像中。这时，陌生人可能违背他/她的意愿而被暴露在拍摄的照片或捕获的运动图像中，而且有时，陌生人的隐私可能被侵犯。然而，拍摄者很难在他/她每次拍摄的时候注意陌生人。
[0005]当从包括在拍摄的图像中的人当中分类拍摄限制的人，并且执行图像处理以使得拍摄限制的人不可辨别时，拍摄者可以在通过使用一般方法方便地捕获图像的同时保护被拍摄者的隐私。
[0006]详细地，最近，由于诸如智能电话或平板个人计算机(PC)的便携式设备一般支持拍摄功能，因此人可能是极有可能被陌生人拍摄，并且因此需要做出准备。
[0007]同时，拍摄限制元素可以不仅包括人，而且还可以包括对象或位置。因此，如果由个人设备捕获的图像包括拍摄限制对象或拍摄限制位置，则可以执行图像处理以使得拍摄限制对象或拍摄限制位置不可辨别。
【发明内容】
[0008]—个或多个示例性实施例提供了如果由用户设备捕获的图像包括拍摄限制元素则修改图像的方法。
[0009]根据示例性实施例的一方面，提供了一种用户设备，其包括:存储装置，被配置为存储数据；以及控制器，被配置为识别由用户设备捕获的或者由用户设备从外部源接收到的图像中所包括的人，并且基于存储在存储装置中的数据，响应于识别的人与用户设备的用户之间的低于预定水平的亲密程度而将与识别的人相对应的图像的一部分改变为不可识别。
[0010]用户设备还可以包括被配置为捕获图像的相机。
[0011]控制器还可以被配置为确定捕获图像的位置是否是拍摄限制位置，并且当该位置是拍摄限制位置时，将与识别的人相对应的图像的一部分改变为不可识别。
[0012]存储在存储装置中的数据可以是地址簿，而且控制器还可以被配置为响应于识别的人未被包括在地址簿中而确定亲密程度低于预定水平。
[0013]存储在存储装置中的数据可以是至少一个照片，而且控制器还可以被配置为响应于识别的人未被包括在所述至少一个照片中而确定用户和识别的人之间的亲密程度低于预定水平。
[0014]存储在存储装置中的数据可以是用户的社交网络服务(SNS)使用记录，而且控制器可以通过分析SNS使用记录来确定亲密程度。
[0015]控制器可以通过访问外部服务器的数据库来确定捕获图像的位置是否是拍摄限制位置，并且当该位置被确定为是拍摄限制位置时修改图像。
[0016]控制器还可以被配置为从图像识别拍摄限制对象，并且可以响应于从图像识别到拍摄限制对象而确定捕获图像的位置是拍摄限制位置。
[0017]控制器可以对图像的一部分执行马赛克处理、模糊处理、背景图像合成处理和替换图像(alternative image)合成处理中的至少一个。
[0018]根据示例性实施例的另一方面，提供了一种修改图像的系统，该系统提供了:服务器，被配置为执行图像处理；以及用户设备，被配置为在将图像发送到服务器的时候请求图像处理，其中，服务器还被配置为识别从用户设备接收到的图像中所包括的人，并且响应于识别的人与用户设备的用户之间的低于预定水平的亲密程度而将与识别的人相对应的图像的一部分改变为不可识别，并且将图像发送到用户设备。
[0019]服务器可以通过使用预先存储的数据确定捕获图像的位置是否是拍摄限制位置，并且响应于该位置是拍摄限制位置而将与识别的人相对应的图像的一部分改变为不可识别。
[0020]服务器可以从用户设备接收捕获图像的时间和位置，并且通过使用预先存储的数据确定对识别的人的拍摄在接收到的时间和接收到的位置是否收到限制。
[0021]用户设备可以通过使用从服务器接收到的加密密钥对图像进行编码，以及服务器可以对编码的图像进行解码，并且修改与识别的人相对应的解码图像的一部分。
[0022]根据示例性实施例的另一方面，提供了一种用户设备，其包括:相机，被配置为捕获图像；通信接口，被配置为将拍摄通知发送到图像中捕获的被拍摄者的设备，并且从被拍摄者的设备接收对于拍摄通知的响应；以及控制器，被配置为基于指示捕获图像是否被准许的响应来修改图像。
[0023]根据示例性实施例的另一方面，提供了一种由用户设备修改图像的方法，该方法包括:识别包括在图像中的人；确定识别的人与用户设备的用户之间的亲密程度低于预定水平；以及响应于低于预定水平的亲密程度而将与识别的人相对应的图像的一部分改变为不可识别。
[0024]所述确定可以包括确定捕获图像的位置是否是拍摄限制位置，所述可以改变当该位置是拍摄限制位置时修改图像的一部分。
[0025]所述确定可以包括响应于识别的人未被包括在存储在用户设备中的地址簿中而确定亲密程度低于预定水平。
[0026]所述确定可以包括响应于识别的人未被包括在存储在存储装置中的少一个照片而确定亲密程度低于预定水平。
[0027]所述确定可以包括基于存储在存储装置中的数据，通过分析用户的社交网络服务(SNS)使用记录来确定亲密程度是否低于预定水平。
[0028]所述改变可以包括对图像的一部分执行马赛克处理、模糊处理、背景图像合成处理和替换图像合成处理中的至少一个。
[0029]根据示例性实施例的另一方面，提供了一种由服务器修改图像的方法，该方法包括:从用户设备接收图像和图像处理请求；响应于图像处理请求而识别包括在图像中的对象；基于捕获图像的位置、捕获图像的时间、以及在用户和识别的对象之间的亲密程度中的至少一个来确定对象是否是拍摄限制元素；以及响应于该对象被确定为拍摄限制元素而执行图像处理以修改包括在图像中的对象。
[0030]图象处理请求可以指示要对对象执行的图像处理的类型，并且图像处理的类型可以对应于马赛克处理、模糊处理、背景图像合成处理或替换图像合成处理。
[0031]图像处理请求可以包括捕获图像的位置、捕获图像的时间、以及在用户和识别的对象之间的亲密程度中的至少一个。
[0032]确定对象是否是拍摄限制元素可以包括分析接收到的图像以提取指示位置信息的特征，将所提取的特征与存储在服务器中的数据进行比较查找位置；以及响应于该位置被指定为拍摄限制区域而将该对象确定为拍摄限制元素。
【附图说明】
[0033]通过参照附图描述某些示例性实施例，以上和/或其他方面将变得更加明显，在附图中:
[0034]图1是用于描述根据示例性实施例的用于执行修改包括拍摄限制元素的图像的方法的环境的图；
[0035]图2是根据示例性实施例的修改包括拍摄限制元素的图像的方法的流程图；
[0036]图3至图6是根据示例性实施例的用于描述修改包括拍摄限制元素的图像的方法的图；
[0037]图7至图12是根据示例性实施例的用于描述修改包括拍摄限制的人的图像的方法的图；
[0038]图13至图16是根据示例性实施例的修改包括拍摄限制的人的图像的方法的流程图；
[0039]图17和图18是根据示例性实施例的用于描述通过使用至少两个用户设备来修改包括拍摄限制元素的图像的方法的图；
[0040]图19根据示例性实施例的用于描述通过使用至少两个用户设备来修改包括拍摄限制元素的图像的方法的图；
[0041]图20至图22是根据示例性实施例的用于描述经由与被拍摄者的设备进行通信来修改包括拍摄限制元素的图像的方法的图；
[0042]图23和图24是根据示例性实施例的经由与被拍摄者的设备进行通信来修改包括拍摄限制元素的图像的方法的流程图；
[0043]图25和图26是根据示例性实施例的用于描述通过使用服务器修改包括拍摄限制元素的图像的方法的图；
[0044]图27是根据示例性实施例的通过使用服务器修改包括拍摄限制元素的图像的方法的流程图；
[0045]图28至图31是根据其它示例性实施例的用于描述通过使用服务器修改包括拍摄限制元素的图像的方法的图；
[0046]图32是根据另一示例性实施例的通过使用服务器修改包括拍摄限制元素的图像的方法的流程图；
[0047]图33至图37是根据示例性实施例的用于描述修改包括拍摄限制对象的图像的方法的图；
[0048]图38是根据示例性实施例的修改包括拍摄限制对象的图像的方法的流程图；
[0049]图39至图41是根据示例性实施例的用于描述修改在拍摄限制位置处捕获的图像的方法的图；
[0050]图42是根据示例性实施例的修改在拍摄限制位置处捕获的图像的方法的流程图；
[0051]图43至图45是根据其它示例性实施例的用于描述修改在拍摄限制位置处捕获的图像的方法的图；
[0052]图46是根据其他示例性实施例的修改在拍摄限制位置处捕获的图像的方法的流程图；
[0053]图47至图49是根据示例性实施例的用于描述根据隐私保护信息来限制人的拍摄的例子的图；
[0054]图50是根据示例性实施例的根据隐私保护信息限制人的拍摄的方法的流程图；
[0055]图51是根据示例性实施例的用户设备的框图；
[0056]图52是根据示例性实施例的用于描述相对于修改捕获的图像的方法，在将捕获的图像存储到用户设备之前修改捕获的图像的例子的图；
[0057]图53是根据示例性实施例的用于描述相对于修改捕获的图像的方法，在将捕获的图像存储到用户设备之前修改捕获的图像的例子的流程图；
[0058]图54和图55是根据示例性实施例的用于描述相对于修改捕获的图像的方法，在向外部发送图像的同时修改存储在用户设备中的图像的例子的图；
[0059]图56是根据示例性实施例的用于描述相对于修改捕获的图像的方法，在向外部发送图像的同时修改存储在用户设备中的图像的例子的流程图；
[0060]图57是根据示例性实施例的用于描述相对于修改捕获的图像的方法，在不将捕获的图像存储到用户设备的情况下立即修改捕获的图像并且向外部发送修改的捕获的图像的例子的图；
[0061]图58是根据示例性实施例的用于描述相对于修改捕获的图像的方法，在不将捕获的图像存储到用户设备的情况下立即修改捕获的图像并且向外部发送修改的捕获的图像的例子的流程图；
[0062]图59至图61是根据示例性实施例的用于描述修改在拍摄限制位置处捕获的图像的例子的图；
[0063]图62是根据示例性实施例的示出修改在拍摄限制位置处捕获的图像的方法的流程图；
[0064]图63、图64A、图64B、图65A、图65B、图66A和图66B是根据示例性实施例的用于描述根据用户的选择来修改捕获的图像的例子的图；以及
[0065]图67和图68是根据示例性实施例的示出根据用户的选择来修改捕获的图像的方法的流程图。
【具体实施方式】
[0066]下面将参照附图更详细地描述示例性实施例。
[0067]在下面的描述中，即使在不同的附图中，相同的参照标记被用于相同的元件。描述中定义的、诸如详细结构和元件的事项被提供以便有助于全面理解示例性实施例。因此，明显的是，示例性实施例可以在没有这些具体定义的事项的情况下实现。此外，没有详细描述公知的功能或结构，因为它们会以不必要的细节模糊本申请。
[0068]当诸如“中的至少一个”的表述出现在元件的元件之后时，它修饰元件的整个列表，而不是修饰该列表的各个元件。
[0069]图1是用于描述根据示例性实施例的用于执行修改包括拍摄限制元素的图像的方法的环境的图。
[0070]参照图1，用户A可以通过使用智能眼镜100来捕获包括人或对象的图像或特定位置的图像。在这里，捕获的图像不仅可以是诸如照片的静止图像，而且还可以是运动图像。
[0071]如图1中所示，智能眼镜100可以捕获包括诸如用户B的人、诸如雕塑20或者不准拍摄标志30的对象的图像。智能眼镜100可以识别包括在图像中的人、包括图像中的对象、以及捕获图像的位置中的至少一个，并且可以基于识别的结果确定图像是否包括被限制拍摄的元素，即，拍摄限制元素。
[0072]这里，拍摄限制元素是由于隐私、版权或安全而被限制拍摄的人、对象或位置。这样的限制拍摄元素可以一致地应用于所有人，或根据拍摄者不同的应用。例如，军事安全区的拍摄被限制为所有人，但是特定人的拍摄可以仅限于不认识所述特定人的人。如果拍摄限制的人或对象被包括在图像中或者图像在拍摄限制位置被拍摄，则确定图像包括拍摄限制元素。
[0073]同时，当智能眼镜100捕获图像并将图像发送到连接到智能眼镜100的设备或服务器时，设备或服务器可以识别图像的人、对象或位置，并且确定图像是否包括拍摄限制元素。
[0074]如果确定图像包括拍摄限制元素，则智能眼镜100或连接到智能眼镜100的设备或服务器修改图像。详细地，修改图像以使得拍摄限制元素不可辨别或不可识别。后面将详细描述修改图像的方法。
[0075]同时，用户A可以通过使用除了智能眼镜100外的各种设备中的任意一个来捕获图像。例如，用户A可以使用诸如智能手表100-1的可穿戴设备、诸如智能电话100-2或平板个人计算机(PC) 100-5的移动设备、或诸如相机100-3或者照相摄像机100-4的一般拍摄设备。然而，对本领域技术人员显而易见的是，能够捕获图像或运动图像中的各种设备中的任意一个是可用的。
[0076]通常被大多数用户携带的设备是智能电话100-2，并且极有可能的是，在智能电话100-2中可以存储执行一个或多个示例性实施例所需的、关于用户的信息。另外，由于智能电话100-2能够修改图像，因此假设下文中描述的用户设备是智能电话100-2。
[0077]图2是根据示例性实施例的修改包括拍摄限制元素的图像的方法的流程图。
[0078]参照图2，在操作201中，通过使用用户设备来捕获图像。在这里，图像可以是通过使用诸如相机或照相摄像机的一般拍摄设备、诸如智能眼镜或智能手表的可穿戴设备、以及诸如智能电话或平板PC的移动设备中的任何一个，或者通过使用能够进行拍摄的任何其它各种设备来捕获的。
[0079]在操作202中，用户设备识别包括在图像中的人、包括在图像中的对象、以及拍摄图像的位置中的至少一个。在这里，用户设备可以通过使用，例如，面部识别方法来识别包括在图像中的人。然而，示例性实施例不限于此，并且用户设备可以通过使用用于辨别人的各种方法的任一种来识别包括在图像中的人。面部识别方法包括从图像中检测面部，并从检测到的面部提取特征。
[0080]同时，用户设备可以通过检测包括在图像中的对象并且提取检测到的对象特征，诸如形状和颜色，来识别包括在图像中的对象。
[0