图像处理装置、图像处理方法、及记录介质的制作方法
【专利摘要】本发明提供一种图像处理装置、图像处理方法、及记录介质，所述图像处理装置等能够从多个动态图像中自动选择处理对象动态图像，并能够输出所选择的处理对象动态图像的信息。在图像处理装置中，动态图像分析部进行还未进行图像分析的分析对象动态图像的图像分析，从而生成包含其分析结果的第2分析结果数据。类似数据检测部将通过进行用户具有的静态图像的图像分析而生成的第1分析结果数据和第2分析结果数据进行核对，从而检测与第1分析结果数据的类似度为基准值以上的第2分析结果数据作为类似分析结果数据。动态图像信息输出部从分析对象动态图像中选择具有类似分析结果数据的分析对象动态图像作为处理对象动态图像，并输出所选择的处理对象动态图像的信息。
【专利说明】
图像处理装置、图像处理方法、及记录介质
技术领域
[0001]本发明涉及一种从用户具有的多个动态图像中选择成为图像处理对象的处理对象动态图像，并输出所选择的处理对象动态图像的信息的图像处理装置、图像处理方法、程序及记录介质。【背景技术】
[0002]最近，智能手机、平板终端等便携终端的普及迅速发展，利用便携终端进行摄影的静态图像(照片)的张数在增加，与此时同，对动态图像进行摄影的机会也增加。目前，作为利用动态图像的服务，如非专利文献1所示提供如下系统，即若用便携终端对照片等印刷品进行摄影(捕捉)，则使用AR(增强现实)技术，将与印刷品建立对应关联的动态图像在便携终端的画面上进行再生(AR再生)。
[0003]该系统中，由以下(1)?(6)的步骤进行与打印建立对应关联的动态图像的AR再生。
[0004](1)若由用户使用在便携终端上运行的专用应用软件从多个动态图像中选择要使用于打印的动态图像，则所选择的动态图像被上传到服务器。
[0005](2)在服务器中，从便携终端上传的动态图像提取代表场景的帧图像。
[0006](3)在服务器提取的代表场景的帧图像被下载到便携终端。
[0007](4)由用户从一览显示于便携终端的画面的代表场景的帧图像中选择要打印的帧图像，并进行打印预定。
[0008](5)在服务器中生成由用户预定的代表场景的帧图像的打印，与该帧图像建立对应关联的动态图像被图像处理以便用于AR再生。
[0009](6)若由用户利用便携终端对被传送的打印进行摄影(捕捉)，则从服务器下载与该打印建立对应关联的AR再生用动态图像。然后，通过AR技术在便携终端的画面上AR再生。
[0010]该系统中，用户在上述(1)的步骤中需要从多个动态图像中选择要使用于打印的动态图像。但是，由于用户具有很多动态图像，因此多数情况下早已忘记摄影内容，且存在选择动态图像非常困难的问题。
[0011]并且，通过AR技术在便携终端的画面上进行再生的动态图像，也需要由未具有原始动态图像文件的第三者能够进行再生。因此将由预定打印的用户上传到服务器上的动态图像的文件设为流式再生(从服务器下载的同时进行再生)的规格。即意味着为了利用该系统而必须将动态图像上传到服务器。
[0012]然而，通常与静态图像相比，动态图像的文件大小较大，因此例如在上述⑴的步骤中，从便携终端上传到服务器时比较费时间，产生用户的等待时间。由于较长的等待时间会降低利用该系统时的积极性，因此缩短利用该系统时的用户的等待时间成为扩展服务的课题。
[0013]在此，作为与本发明具有关联性的现有技术文献有:与从设置于远程地区的支持终端操作移动电话终端等用户终端的远程操作系统有关的专利文献1;与将利用便携通信终端进行摄影的视频数据存储于网络服务器中，并发送到便携通信终端的视频发送服务器有关的专利文献2;与关键帧提取装置等有关的专利文献3;与输入多个图像时确定图像补正参数的打印方法等有关的专利文献4等。[〇〇14] 专利文献1:日本再表第2012/032762号公报
[0015] 专利文献2:日本特开2008-193197号公报 [〇〇16] 专利文献3:日本特开2012-105205号公报 [〇〇17] 专利文献4:日本特开2013-186679号公报[〇〇18]非专利文献 1:〃视频照片!服务'[online]、FUJIFILM Corporat1n、[平成 27 年 2 月9 日检索]、网络<URL:http: //fujifilm.jp/personal/print/photo/dogaphoto/>
【发明内容】
[0019]本发明的第1目的在于提供一种能够解决现有技术的问题点，并从多个动态图像中自动选择处理对象动态图像，并输出所选择的处理对象动态图像的信息的图像处理装置、图像处理方法、程序及记录介质。
[0020]本发明的第2目的在于在第1目的的基础上，提供一种不会对用户带来从便携终端向外部处理装置发送处理对象动态图像时的等待时间的图像处理装置、图像处理方法、程序及记录介质。
[0021]为了实现上述目的，本发明提供一种图像处理装置，其从用户具有的多个动态图像中选择成为图像处理对象的处理对象动态图像，并输出所选择的处理对象动态图像的信息，所述图像处理装置的特征在于，具备:
[0022]动态图像分析部，进行包含在多个动态图像中的、还未进行图像分析的动态图像即分析对象动态图像的图像分析，从而生成包含图像分析的分析结果的、分析对象动态图像的第2分析结果数据；
[0023]类似数据检测部，将进行用户具有的静态图像的图像分析而生成的第1分析结果数据和由动态图像分析部生成的第2分析结果数据进行核对，从而计算第1分析结果数据与第2分析结果数据的类似度，检测与第1分析结果数据的类似度为基准值以上或小于基准值的第2分析结果数据作为类似分析结果数据;及
[0024]动态图像信息输出部，从分析对象动态图像中，选择具有由类似数据检测部检测的类似分析结果数据的分析对象动态图像作为处理对象动态图像，并输出所选择的处理对象动态图像的信息。
[0025]在此，动态图像分析部优选进行包含于第1分析结果数据中的、对静态图像进行的图像分析中的至少1个图像分析，从而生成第2分析结果数据。
[0026]并且，动态图像分析部优选从分析对象动态图像提取帧图像，并进行被提取的帧图像的图像分析，从而生成分析对象动态图像的第2分析结果数据。
[0027]并且，动态图像分析部优选按一定的帧数进行帧图像的图像分析。
[0028]并且，动态图像分析部优选按摄影顺序进行帧图像的图像分析，从而在得到与第1 分析结果数据类似的第2分析结果数据的时刻结束图像分析。
[0029]并且，动态图像分析部优选在用户使用图像处理装置以外的期间进行图像分析。
[0030]并且，类似数据检测部优选对脸部个数是否一致、是否包含有同一个人物、摄影日期是否一致或在一定范围内、摄影位置是否一致或在一定范围内、是否包含注释信息的相同的关键字中的至少1种，计算第1分析结果数据与第2分析结果数据的类似度。[〇〇31]并且，类似数据检测部优选对脸部个数是否一致、是否包含有同一个人物、摄影日期是否一致或在一定范围内、摄影位置是否一致或在一定范围内、是否包含注释信息的相同的关键字中的至少2种进行加权，从而计算第1分析结果数据与第2分析结果数据的类似度。[〇〇32]并且，动态图像信息输出部优选经由网络将处理对象动态图像的信息发送到进行处理对象动态图像的图像处理的外部处理装置。[〇〇33]并且，动态图像信息输出部优选将处理对象动态图像的列表作为处理对象动态图像的信息发送到外部处理装置。[〇〇34]并且，动态图像信息输出部优选将处理对象动态图像作为处理对象动态图像的信息发送到外部处理装置。[〇〇35]并且，动态图像信息输出部优选将对处理对象动态图像的链接信息作为处理对象动态图像的信息发送到外部处理装置。[〇〇36]并且，动态图像信息输出部优选在用户使用图像处理装置以外的期间，将处理对象动态图像的信息发送到外部处理装置。[〇〇37]并且，外部处理装置优选具备动态图像处理控制部，该动态图像处理控制部进行如下控制，即，在用户使用从动态图像信息输出部接收到的处理对象动态图像之前，对处理对象动态图像进行为了使用而所需的图像处理。
[0038]并且，外部处理装置优选具备静态图像分析部，该静态图像分析部进行静态图像的图像分析而生成第1分析结果数据，
[0039]图像处理装置还具备第1分析结果数据获取部，该第1分析结果数据获取部在用户使用图像处理装置以外的期间，从静态图像分析部经由网络获取第1分析结果数据。
[0040]所述图像处理装置优选还具备静态图像分析部，该静态图像分析部进行静态图像的图像分析而生成第1分析结果数据。
[0041]并且，静态图像分析部优选进行包括脸部检测、脸部识别、摄影日期信息的获取、 摄影位置信息的获取、及注释分析的多种图像分析中的至少1种图像分析。[〇〇42]并且，静态图像分析部优选依次进行多种图像分析，在得到多种图像分析中的至少1个分析结果的时刻，生成包含至少1个分析结果的第1分析结果数据。[〇〇43]并且，静态图像分析部优选依次进行多种图像分析，在得到多种图像分析的所有分析结果的时刻，生成包括所有分析结果的第1分析结果数据。
[0044]并且，静态图像优选为用户过去进行打印预定的静态图像。
[0045]并且，本发明提供一种图像处理方法，从用户具有的多个动态图像中选择成为图像处理对象的处理对象动态图像，并输出所选择的处理对象动态图像的信息，所述图像处理方法的特征在于，包括以下几个步骤:
[0046]动态图像分析部进行包含在多个动态图像中的、还未进行图像分析的动态图像即分析对象动态图像的图像分析，从而生成包含图像分析的分析结果的、分析对象动态图像的第2分析结果数据；
[0047]类似数据检测部将通过进行用户具有的静态图像的图像分析而生成的第1分析结果数据和由动态图像分析部生成的第2分析结果数据进行核对，从而计算第1分析结果数据与第2分析结果数据的类似度，检测与第1分析结果数据的类似度为基准值以上或小于基准值的第2分析结果数据作为类似分析结果数据;及
[0048]动态图像信息输出部从分析对象动态图像中选择具有由类似数据检测部检测到的类似分析结果数据的分析对象动态图像作为处理对象动态图像，并输出所选择的处理对象动态图像的信息。
[0049]并且，本发明提供一种程序，其用于使计算机执行上述所记载的图像处理方法的各步骤。
[0050]并且，本发明提供一种计算机可读取的记录介质，其记录有用于使计算机执行上述所记载的图像处理方法的各步骤的程序。
[0051]发明效果[〇〇52]在本发明中，从多个动态图像中自动选择处理对象动态图像，所选择的处理对象动态图像的信息输出到外部处理装置。由此，根据本发明，即使在用户具有多张动态图像且早已忘记摄影内容的情况下，也能够自动选择符合用户的嗜好的动态图像，因此能够省去用户选择动态图像的麻烦。
[0053]并且，在本发明中，在用户使用图像处理装置以外的期间，符合用户的嗜好的动态图像发送到外部处理装置，并进行为了使用动态图像而所需的图像处理。由此，根据本发明，在用户使用动态图像的情况下，不会产生动态图像发送到外部处理装置的等待时间等， 能够防止利用系统时的积极性的降低。【附图说明】[〇〇54]图1是表示本发明的图像处理装置的结构的一实施方式的框图。
[0055]图2是表示图1所示的服务器的结构的一实施方式的框图。
[0056]图3是表示图1所示的便携终端的内部结构的一实施方式的框图。[〇〇57]图4是表示静态图像分析部的动作的一例的流程图。[〇〇58]图5是表示静态图像分析部的视频的另一例的流程图。[〇〇59]图6是表示第1分析结果数据的格式的一例的概念图。
[0060]图7是表示在图像处理装置中生成AR内容并输出选择图像的输出图像时的动作的一例的流程图。
[0061]图8(A)?图8(E)是均表示便携终端的显示部的显示画面的一例的概念图。[〇〇62]图9是表示在图像处理装置中生成AR再生用动态图像并进行再生显示时的动作的一例的流程图。[〇〇63]图10是表示在图像处理装置中预先处理处理对象动态图像时的动作的一例的流程图。
[0064]图11是表示通过脸部识别将包含同一人物的动态图像上传到服务器时的状态的一例的概念图。
[0065]图12是表示通过脸部识别将包含同一人物的动态图像上传到服务器时的接续图 11的状态的一例的概念图。
[0066]图13是表示通过脸部识别将包含同一人物的动态图像上传到服务器时的接续图12的状态的一例的概念图。
[0067]图14是表示通过脸部识别将包含同一人物的动态图像上传到服务器时的接续图 13的状态的一例的概念图。[〇〇68] 符号说明
[0069]10-图像处理装置，12-服务器，14-便携终端，16-打印机，18-网络，20-内容生成部，22-存储部，24-摄影图像分析部，26-静态图像分析部，28-管理标记确定部，30-动态图像处理部，32-动态图像处理控制部，34-第1传送部，36-图像摄影部，38-输入部，40-显示部，42-控制部，44-第1分析结果数据获取部，46-动态图像分析部，48-类似数据检测部，50-动态图像信息输出部，52-第2传送部，54-触控面板。【具体实施方式】
[0070]以下，根据附图所示的优选实施方式，对本发明的图像处理装置进行详细说明。
[0071]图1是表示本发明的图像处理装置的结构的一实施方式的框图。图1所示的图像处理装置10从用户具有的多个动态图像中选择成为图像处理对象的处理对象动态图像，并输出所选择的处理对象动态图像的信息，且具备服务器12、便携终端14及打印机16。服务器 12、便携终端14及打印机16经由互联网等网络18彼此连接。
[0072]图2是表示图1所示的服务器的结构的一实施方式的框图。图2所示的服务器12为对动态图像进行图像处理的外部处理装置的一例。通过向未图示的一个或多个CPU (Central Processing unit)加载各种程序，从而该CPU执行动作，对图2所示的内容生成部 20、存储部22、摄影图像分析部24、静态图像分析部26、管理标记确定部28、动态图像处理部 30、动态图像处理控制部32及第1传送部34进行控制。
[0073]内容生成部20从动态图像提取帧图像，并生成动态图像和选择图像被建立对应关联的AR内容，所述选择图像为从动态图像提取的帧图像中由便携终端14的用户选择的帧图像。[〇〇74]在此，从动态图像提取帧图像的方法并无限定。例如可以从动态图像通过一定的时间间隔提取帧图像。[0〇75] 或者，也可以利用KFE(Key Frame Extract1n)技术提取成为场景转换等的键的帧图像。在KFE中例如分析动态图像的各个帧图像，检测帧图像的色调、明度、模糊或抖动等，并提取色调、明度发生较大的变化的前后的帧图像、因适当的曝光而无模糊和抖动的帧图像。
[0076]并且，也可以检测动态图像中人物的脸部的大小或朝向、脸部的表情(笑脸、哭泣的脸等)，并根据这些表情提取帧图像。另外，在动态图像中包含声音的情况下，也可以从声音变大的时刻(时间码)前后的动态图像提取帧图像。通过用上述方法从动态图像提取帧图像，能够提取动态图像的具代表性的场景作为帧图像。
[0077]存储部22由SSD(Solid State Drive)、HDD(Hard Disc Drive)构成，存储各种数据。在存储部22中，例如后述的用户在过去进行打印预定的静态图像(静态图像及帧图像) 及第1分析结果数据、由内容生成部20生成的AR内容，即选择图像或其特定信息作为选择图像的管理标记而与动态图像建立对应关联而被存储。
[0078]在此，管理标记是通过根据规定的算法进行静态图像的图像分析而从静态图像读取的图像的特征量，例如包括被摄影为静态图像的摄影对象的边缘信息、边缘的位置信息等。管理标记可以是静态图像，也可以是用于确定静态图像的特定信息。静态图像的特定信息只要是能够从摄影图像确定选择图像的信息，则可以是任意的信息。
[0079]摄影图像分析部24进行后述的摄影图像的图像分析，从而得到摄影图像的管理标记。
[0080]静态图像分析部26进行例如存储于存储部22中的、如用户过去进行打印预定的静态图像那样用户具有的静态图像的图像分析，从而生成包含其分析结果的第1分析结果数据。
[0081]静态图像分析部26例如能够从打印预定履历判别是否为用户过去进行打印预定的静态图像。
[0082]静态图像分析部26按照预先设定的图像分析的方法，进行例如包含脸部检测、脸部识别、摄影日期信息的获取、摄影位置(GPS)信息的获取、及注释信息的获取的多种图像分析中的至少1种图像分析。[〇〇83]在此，脸部检测为检测在静态图像中是否包含有脸部、包含有几个脸部等的处理， 脸部识别是为了确定包含于静态图像中的人物是谁而生成脸部的模型数据的处理。均为公知的分析处理。
[0084]并且，摄影日期信息及摄影位置信息为静态图像的标题信息(Exif?信息)等包含于元数据中的信息。
[0085]注释信息为通过对静态图像进行注释分析而获取的信息。注释分析是分析静态图像的场景的处理，若通过注释分析而分析静态图像的场景，则该静态图像被赋予与经分析的场景对应的注释信息(注释标签)，例如与婴儿、旅行、结婚、儿童、其他等标题对应的信息。
[0086]如图4所示，静态图像分析部26例如可以依次进行多种图像分析，在得到多种图像分析中的至少1个分析结果的时刻结束图像分析的处理，生成包含至少1个分析结果的第1 分析结果数据。
[0087]在图4的例子中，首先，对静态图像进行脸部检测。其结果，在静态图像中存在脸部的情况下，例如在得到脸部的个数为1个的分析结果的时刻，结束图像分析的处理。
[0088]另一方面，在静态图像中不存在脸部的情况下进行下一个图像分析。该例子的情况下，按以下顺序依次进行包含脸部识别、摄影日期信息的获取、摄影位置信息的获取(省略图示)、注释信息的获取(省略图示)的多种图像分析，在得到所希望的分析结果的时刻结束处理。
[0089]或者，如图5所示，静态图像分析部26也可以依次进行多种图像分析，在得到多种图像分析的所有分析结果的时刻，生成包含所有分析结果的第1分析结果数据。
[0090]在图5的例子中，依次进行包含脸部检测、脸部识别、摄影日期信息的获取、摄影位置信息的获取、注释信息的获取的多种图像分析，在得到所有分析结果的时刻结束处理。
[0091]第1分析结果数据是经通过静态图像分析部26进行的图像分析结果而输出的数据，其格式预先被设定。例如如图6所示，可以是包含有图像分析内容和其分析结果的文本数据的文件，或者在实施了脸部识别的情况下，也可以是包含脸部的模型数据(规定的运算结果)的文本数据或二进制数据的文件。
[0092]管理标记确定部28从存储于存储部22中的选择图像的管理标记中，确定与通过摄影图像分析部24而得到的摄影图像的管理标记对应的选择图像的管理标记作为特定管理标记。管理标记确定部28例如根据摄影图像的管理标记来检索存储于存储部22中的选择图像的管理标记，从而确定与摄影图像的管理标记对应的选择图像的管理标记。[〇〇93]动态图像处理部30从与特定管理标记建立对应关联的相关动态图像生成AR再生用动态图像。即，动态图像处理部30根据特定管理标记，即由用户从动态图像提取的帧图像中选择的帧图像或其特定信息，从相关动态图像生成AR再生用动态图像。[〇〇94]动态图像处理部30为了减小动态图像的文件大小而降低例如动态图像的分辨率、 比特率，从而生成文件大小较小的AR再生用动态图像。[〇〇95]在用户使用从动态图像信息输出部50接收到的处理对象动态图像之前，动态图像处理控制部32对处理对象动态图像进行为了使用而所需的图像处理。[〇〇96]本实施方式的情况下，动态图像处理控制部32进行如下控制，S卩，通过内容生成部 20从处理对象动态图像提取帧图像，并通过动态图像处理部30从处理对象动态图像生成AR 再生用动态图像。[〇〇97]第1传送部34在服务器12与便携终端14之间传送包含动态图像、摄影图像、第1分析结果数据等的各种数据。
[0098]接着，图3是表示图1所示的便携终端的内部结构的一实施方式的框图。便携终端 14是用户所使用的智能手机、平板终端等。通过向未图示的一个或多个CPU加载各种程序， 从而该CPU执行动作，对图3所示的图像摄影部36、输入部38、显示部40、控制部42、第1分析结果数据获取部44、动态图像分析部46、类似数据检测部48、动态图像信息输出部50及第2 传送部52进行控制。
[0099]图像摄影部36对输出选择图像的输出图像(AR打印)等进行摄影(捕捉)而得到摄影图像。
[0100]输入部38用于输入由用户输入的各种指示。
[0101]显示部40将动态图像等进行再生并显示。
[0102]在本实施方式中，触控面板54构成输入部38及显示部40。[〇1〇3]在由图像摄影部36对输出图像进行摄影(捕捉)的情况下，控制部42进行使根据摄影图像而生成的AR再生用动态图像在显示部40再生并显示。[〇1〇4]在此，控制部42在使动态图像在显示部40再生时，可以使用AR技术而使其再生(AR 再生)，也可以不使用AR技术而使其再生(正常再生)。控制部42在使动态图像AR再生时进行如下控制，即，被摄影的输出图像显示于显示部40,并在显示于显示部40的输出图像的显示部分再生动态图像。并且，控制部42在使动态图像正常再生的情况下进行如下控制，S卩，在显示部40的整个面到任意大小的窗口内再生动态图像。[〇1〇5]第1分析结果数据获取部44经由网络18获取由服务器12的静态图像分析部26生成的第1分析结果数据。[〇1〇6]第1分析结果数据获取部44可以在用户使用图像处理装置10以外的期间，S卩，用户不使用在便携终端14上运行的应用软件时，例如应用软件在后台待机时，开始第1分析结果数据的下载。或者认为从深夜到清晨用户没有使用图像处理装置10的、以预先设定的时间定期地实施第1分析结果数据的下载。
[0107]并且，当存在多个第1分析结果数据的情况下，第1分析结果数据获取部44按照预先设定的获取方法能够从例如服务器12下载所有的第1分析结果数据，或者仅下载打印预定张数最多的静态图像的第1分析结果数据，或者仅下载最后(最近)进行打印预定的第1分析结果数据。[〇1〇8]并且，也可以是便携终端14具备静态图像分析部26,而不是服务器12。该情况下， 不需要第1分析结果数据获取部44。
[0109]动态图像分析部46对存储于未图示的便携终端14的存储部中的、用户具有的多个动态图像中所包含的、还未进行图像分析的动态图像即分析对象动态图像进行图像分析， 从而生成包含其分析结果的、分析对象动态图像的第2分析结果数据。
[0110]在本实施方式的情况下，动态图像分析部46从分析对象动态图像提取帧图像，并进行所提取的帧图像的图像分析，从而生成分析对象动态图像的第2分析结果数据。[〇111]在此，动态图像分析部46例如对进行了图像分析的动态图像设定表示已进行图像分析的标志，从而能够识别是否为已经进行图像分析的动态图像，还是还未进行图像分析的动态图像。
[0112]并且，与获取第1分析结果数据的情况同样地，在用户使用图像处理装置以外的期间，动态图像分析部46进行帧图像的图像分析。
[0113]与静态图像分析部26同样地，动态图像分析部46按照预先设定的图像分析的方法，实施包含例如脸部检测、脸部识别、摄影日期信息的获取、摄影位置信息的获取、注释分析的各种图像分析中的至少1种。
[0114]动态图像分析部46可以进行例如对包含于第1分析结果数据中的、对静态图像进行的图像分析中的至少1种图像分析，从而生成第2分析结果数据。如此，通过限定图像分析的处理能够缩短处理时间。
[0115]例如，在第1分析结果数据中仅包含脸部检测的分析结果的情况下，动态图像分析部46仅实施脸部检测，在仅包含有摄影日期信息的情况下，仅实施由动态图像的标题信息等元数据获取摄影日期信息。并且，在第1分析结果数据中包含有多种分析结果的情况下， 可以依次实施与多种分析结果对应的多种图像分析，也可以实施其中至少1种图像分析。
[0116]并且，动态图像分析部46可以按照预先设定的帧图像的选择方法，按一定的帧数例如按10帧进行帧图像的图像分析，以缩短图像分析的处理时间。或者，也可以按照摄影顺序进行帧图像的图像分析，从而在得到与第1分析结果数据类似的第2分析结果数据的时刻结束图像分析。[〇117]类似数据检测部48将由第1分析结果数据获取部44获取的第1分析结果数据和由动态图像分析部46生成的第2分析结果数据进行核对，从而计算第1分析结果数据与第2分析结果数据的类似度，检测与第1分析结果数据的类似度为基准值以上的第2分析结果数据作为类似分析结果数据。
[0118]可以认为具有与第1分析结果数据的类似度为基准值以上的第2分析结果数据的动态图像再次被预定的可能性高。从而，具有与第1分析结果数据的类似度为基准值以上的第2分析结果数据的动态图像成为上传到服务器12的动态图像候选。并且，当存在与第1分析结果数据的类似度为基准值以上的多个第2分析结果数据的情况下，可以根据类似度、文件大小等来决定依次上传到服务器12的优选顺序。
[0119]在此，类似数据检测部48按照预先设定的核对方法，例如对脸部个数是否一致、是否包含有同一人物(通过模型数据的比较来进行判别)、摄影日期是否一致(除了完全一致以外，还包括只有年、月不同的情况)或者在一定范围内、摄影位置是否一致或者在一定范围内、是否包含注释信息的相同的关键字中的至少1种，能够计算第1分析结果数据与第2分析结果数据的类似度。
[0120]并且，类似数据检测部48也可以对脸部个数是否一致、是否包含有同一人物、摄影曰期是否一致或者在一定范围内、摄影位置是否一致或者在一定范围内、是否包含注释信息的相同的关键字中的至少2种进行加权，从而计算第1分析结果数据与第2分析结果数据的类似度。
[0121]并且，在类似度相同的情况下，例如也可以决定为将文件大小较大的动态图像上传到服务器12的优选顺序提高。
[0122]另外，类似数据检测部48也可以在由动态图像分析部46生成的第2分析结果数据中，检测与第1分析结果数据的类似度小于基准值的第2分析结果数据作为类似分析结果数据。相反，也可以认为具有与第1分析结果数据的类似度小于基准值的第2分析结果数据的动态图像被预定的可能性较高。该情况下，具有与第1分析结果数据的类似度小于基准值的第2分析结果数据的动态图像成为被上传到服务器12的动态图像候选。
[0123]动态图像信息输出部50从分析对象动态图像中选择具有由类似数据检测部48检测到的类似分析结果数据的分析对象动态图像作为处理对象动态图像，并输出所选择的处理对象动态图像的信息。
[0124]与获取第1分析结果数据的情况同样地，在用户不使用图像处理装置的期间，动态图像信息输出部50经由网络18将处理对象动态图像的信息发送到服务器12等外部处理装置。
[0125]并且，动态图像信息输出部50能够经由网络18将处理对象动态图像的信息发送到例如进行处理对象动态图像的图像处理的、服务器12或其他便携终端14等外部处理装置。 该情况下，动态图像信息输出部50可以将处理对象动态图像的列表作为处理对象动态图像的信息发送到外部处理装置，也可以例如将认为实际上记载于列表中的处理对象动态图像 (动态图像数据)或对处理对象动态图像的链接信息发送到外部处理装置。
[0126]第2传送部52在便携终端14与服务器12之间传送包含动态图像、摄影图像、第1分析结果数据等的各种数据。
[0127]接着，参考图7所示的流程图，对在图像处理装置10中生成AR内容并输出选择图像的输出图像时的动作进行说明。
[0128]首先，由用户确认显示于便携终端14的触控面板54(显示部40)上的、图8(A)所示的视频打印管理画面的同时操作触控面板54(输入部38)，从而输入动态图像(动态图像数据)的发送指示(步骤S1)。
[0129]被指示发送的动态图像通过第2传送部52从便携终端14经由网络18发送到服务器 12。在服务器12中，通过第1传送部34接收从便携终端14发送过来的动态图像，并存储于存储部22(步骤S2)。
[0130]接着，由内容生成部20从所接收到的动态图像提取帧图像(图像数据)，并生成所提取的帧图像的缩略图图像(图像数据)(步骤S3)。
[0131]所生成的缩略图图像从服务器12发送到便携终端14。在便携终端14中，如图8(B) 的图像确认画面所示，所接收到的缩略图图像一览显示于触控面板54(显示部40)(步骤 S4)〇
[0132]接着，由用户操作触控面板54(输入部38)，从一览显示于触控面板54(显示部40) 的缩略图图像中选择1个缩略图图像(步骤S5)。在图8(B)的例子中，选择了右下方的用粗框线圈起的缩略图图像。
[0133]所选择的缩略图图像的信息从便携终端14发送到服务器12。在服务器12中，由内容生成部20从动态图像提取的帧图像中选择与所接收到的缩略图图像的信息对应的帧图像作为选择图像(步骤S6)。
[0134]另外，也可以使用从动态图像提取的帧图像来代替缩略图图像。
[0135]接着，选择图像(图像数据)从服务器12发送到便携终端14。在便携终端14中，所接收到的选择图像显示于便携终端14的触控面板54(显示部40)(步骤S7)。
[0136]接着，由用户操作触控面板54(输入部38)，从而编辑显示于触控面板54(显示部 40)的选择图像(步骤S8)。在通过用户而进行的编辑处理中，例如，如图8(C)的帧选择画面所示，包含成为选择图像的背景的背景帧的选择，如图8(D)的图像修剪画面所示，包含对选择图像的图像补正、修剪、放大/缩小、旋转等处理。
[0137]接着，编辑处理的信息从便携终端14发送到服务器12。在服务器12中，由内容生成部20根据接收到的编辑处理的信息而编辑选择图像。编辑后的选择图像或其特定信息作为选择图像的管理标记而与对应的动态图像建立对应关联，并存储于存储部22(步骤S9)。
[0138]另外，编辑选择图像并非是必须的。
[0139]接着，如图8(E)的大小/张数设定画面所示，由用户操作触控面板54(输入部38)， 从而设定打印大小、打印张数等，并输入编辑后的选择图像的打印输出的指示(步骤S10)。
[0140]打印输出的指示从便携终端14发送到服务器12。与所接收到的打印输出的指示对应的选择图像从服务器12发送到打印机16,并由打印机16输出选择图像的输出图像(印刷品)(步骤S11)。[〇141]输出图像被传送给用户。
[0142]如以上所述，动态图像和从动态图像提取的选择图像之间建立对应关联的AR内容存储于存储部22中，并且输出选择图像的输出图像。
[0143]接着，参考图9所示的流程图，对在图像处理装置10中生成AR再生用动态图像，并再生显示时的动作进行说明。
[0144]首先，由图像摄影部36对选择图像的输出图像(印刷品)进行摄影(捕捉)，并获取摄影图像(图像数据)(步骤S12)。被摄影的输出图像显示于便携终端14的触控面板54(显示部40)。
[0145]所获取的摄影图像通过第2传送部52从便携终端14经由网络18发送到服务器12。 在服务器12中，由第1传送部34接收从便携终端14发送过来的摄影图像(步骤S13)。
[0146]接着，由摄影图像分析部24进行摄影图像的图像分析，并获取摄影图像的管理标记(步骤S14)。
[0147]接着，由管理标记确定部28确定从存储于存储部22中的选择图像的管理标记中、 与摄影图像的管理标记对应的选择图像的管理标记作为特定管理标记(步骤S15)。
[0148]接着，由动态图像处理部30从与特定管理标记建立对应关联的相关动态图像生成 AR再生用动态图像(步骤S16)。
[0149]接着，由动态图像处理部30生成的AR再生用动态图像从服务器12发送到便携终端 14。在便携终端14中，接收从服务器12发送过来的AR再生用动态图像(步骤S17)。[〇15〇]若接收AR再生用动态图像，则通过控制部42的控制，所接收到的AR再生用动态图像在显示于便携终端14的触控面板54(显示部40)上的输出图像的显示部分再生并显示(步骤 S18)。
[0151]如以上所述，若对输出图像进行摄影，则确定与摄影图像的管理标记对应的选择图像的管理标记，从与特定管理标记建立对应关联的相关动态图像生成AR再生用动态图像，并由便携终端14再生显示。
[0152]另外，在输出选择图像的输出图像时，例如可以在选择图像的输出图像中印刷由包含数字、字母表的字符串构成的访问键。访问键是由每一个用户唯一确定的。通过用户输入访问键，从存储于存储部22中的选择图像的管理标记中确定特定管理标记时，能够限定于与各用户发送到服务器12的动态图像建立对应关联的选择图像的管理标记的范围。
[0153]接着，参考图10所示的流程图，对在图像处理装置10中预先处理处理对象动态图像时的动作进行说明。
[0154]首先，在服务器12侧，由静态图像分析部26进行存储于存储部22的、用户过去进行打印预定的静态图像的图像分析，生成包含其分析结果的第1分析结果数据(步骤S19)。
[0155]第1分析结果数据以可以从在用户的便携终端14上运行的应用软件下载的方式保存于存储部22。
[0156]接着，在便携终端14侧，在用户不使用图像处理装置10的期间，由第1分析结果数据获取部44从存储部22读取由服务器12的静态图像分析部26生成的第1分析结果数据，并经由服务器12的第1传送部34、网络18、及便携终端14的第2传送部52而获取(从服务器12下载)(步骤S20)。
[0157]接着，由动态图像分析部46进行包含于多个动态图像中的、还未进行图像分析的分析对象动态图像的图像分析，生成包含其分析结果的第2分析结果数据(步骤S21)。[〇158]接着，通过类似数据检测部48将由第1分析结果数据获取部44获取的第1分析结果数据和由动态图像分析部46生成的第2分析结果数据进行核对，并计算两者的类似度(步骤 S22)〇
[0159]在此，在类似度为基准值以上的情况下(步骤S23中Yes)，由类似数据检测部48检测类似度为基准值以上的第2分析结果数据作为类似分析结果数据。并且，由动态图像信息输出部50从分析对象动态图像中选择具有由类似数据检测部48检测到的类似分析结果数据的分析对象动态图像作为处理对象动态图像，并将所选择的处理对象动态图像的信息输出到外部处理装置(步骤S24)。然后，进入步骤S25。[〇16〇]本实施方式的情况下，动态图像信息输出部50将处理对象动态图像经由便携终端 14的第2传送部52、网络18及服务器12的第1传送部34上传到服务器12。
[0161]接着，在服务器12侧，由动态图像处理控制部32进行如下控制，S卩，在用户使用从便携终端14的动态图像信息输出部50接收到的处理对象动态图像之前，对处理对象动态图像进行为了使用而所需的图像处理(步骤S25)。
[0162]在本实施方式的情况下，通过动态图像处理控制部32的控制，进行内容生成部20 从处理对象动态图像提取帧图像的处理、及动态图像处理部30生成AR再生用动态图像的处理。
[0163]在第1分析结果数据与第2分析结果数据的类似度小于基准值的情况下(在步骤 S23中No)、及在步骤S24中处理对象动态图像的信息输出到外部处理装置之后，且在多个动态图像中仍存在分析对象动态图像的情况下(在步骤S26中Yes)，返回到步骤S21并重复进行上述动作。另一方面，当不存在分析对象动态图像的情况下(在步骤S26中No)结束处理。
[0164]如此，在图像处理装置10中，从多个动态图像中自动选择处理对象动态图像，所选择的处理对象动态图像的信息被输出到服务器12等外部处理装置。即，即使在用户具有多张动态图像、且已经忘记摄影内容的情况下，也能够由图像处理装置10自动选择符合用户的嗜好的动态图像，因此能够省去用户选择动态图像的麻烦。
[0165]并且，在图像处理装置10中，在用户不使用图像处理装置10的期间，符合用户的嗜好的动态图像被上传到服务器12,并进行为了使用动态图像而所需的图像处理。由此，在用户使用动态图像时，不会产生动态图像上传到服务器12的等待时间，并能够防止利用系统时的积极性的降低。
[0166]另外，第1分析结果数据获取部44、动态图像分析部46、类似数据检测部48及动态图像信息输出部50所进行的处理优选在用户的许可下进行。并且，由于考虑到这些处理需要较长的时间，且大幅度消耗便携终端14的电池，因此优选例如在便携终端14连接于电源的情况、或通过经由WiFi(Wirel ess Fidelity)等无线LAN(Local Area Network)而非电话线连接于服务器12的情况下进行。
[0167]接着，举出通过脸部识别将包含有同一人物的动态图像上传到服务器12时的例子，对将处理对象动态图像进行处理时的图像处理装置10的动作进行说明。
[0168]如图11左部所示，在用户的便携终端14中具有3个动态图像。3个动态图像中的最上方的动态图像为已经完成上传到服务器12的动态图像，下方的2个动态图像为还未上传到服务器12的未上传的动态图像。
[0169]如图11的右部所示，由第1分析结果数据获取部44从服务器12下载的第1分析结果数据中包含有脸部的模型数据作为脸部识别的分析结果。
[0170]在便携终端14侧，由动态图像分析部46从图11左部所示的下方的2个动态图像，如图11的右部所示提取帧图像，并对所提取的帧图像实施与包含于第1分析结果数据中的图像分析相同的脸部识别，关于下方的2个各动态图像生成包含脸部识别的分析结果即脸部的模型数据的第2分析结果数据。
[0171]接着，如图12所示，由类似数据检测部48对第1分析结果数据和图11的左部所示的下方的2个动态图像的第2分析结果数据进行核对(模型数据的核对)。其结果，检测到在下方的2个动态图像中，在上侧的动态图像中未包含有与包含在第1分析结果数据中的模型数据相同的人物，在下侧的动态图像中包含有同一人物。
[0172]从而，如图13的左部所示，在图11左部的下方的2个动态图像中、包含有同一人物的下侧的动态图像成为上传到服务器12的动态图像候选(上传候选)，并通过动态图像信息输出部50将下侧的动态图像上传到服务器12。
[0173]在服务器12侧，如图13的右部所示，由动态图像处理控制部32对从便携终端14上传的动态图像预先进行提取帧图像的处理、及生成AR再生用动态图像的处理。
[0174]由此，当用户下次启动在便携终端14上运行的应用软件时，如图14所示，例如最上方的动态图像完成打印，最下方的动态图像不存在用于上传的等待时间，而且表示能够立刻预定打印的推荐动态图像的短信等显示于便携终端的画面。相应地，用户在选择了最下方的动态图像的情况下，无需等待动态图像的上传等便能够立刻预定打印。
[0175]另外，本发明并不限定于将动态图像进行AR再生的情况，可从多个动态图像中选择处理对象动态图像，并且可利用于在利用所选择的处理对象动态图像的信息的各种系统中。
[0176]本发明的装置可以由专用的硬盘构成装置所具备的各构成要件，也可以由将各构成要件进行程序化的计算机构成。
[0177]本发明的方法例如能够通过用于使计算机执行各步骤的程序来实施。并且，也能够提供记录有该程序的计算机可读取的记录介质。
[0178]本发明基本上如以上所述。
[0179]以上，对本发明进行了详细说明，但本发明并不限定于上述实施方式，当然在不脱离本发明的主旨的范围内，也可以进行各种改进或变更。
【主权项】
1.一种图像处理装置，从用户具有的多个动态图像中选择成为图像处理对象的处理对象动态图像，并输出所选择的所述处理对象动态图像的信息，所述图像处理装置的特征在于，具备: 动态图像分析部，进行包含在所述多个动态图像中的、还未进行图像分析的动态图像即分析对象动态图像的图像分析，从而生成包含所述图像分析的分析结果的、所述分析对象动态图像的第2分析结果数据； 类似数据检测部，将通过进行所述用户具有的静态图像的图像分析而生成的第I分析结果数据和由所述动态图像分析部生成的第2分析结果数据进行核对，从而计算所述第I分析结果数据与所述第2分析结果数据的类似度，并检测与所述第I分析结果数据的类似度为基准值以上或小于所述基准值的第2分析结果数据作为类似分析结果数据;及 动态图像信息输出部，从所述分析对象动态图像中，选择具有由所述类似数据检测部检测到的类似分析结果数据的分析对象动态图像作为所述处理对象动态图像，并输出所选择的所述处理对象动态图像的信息。2.根据权利要求1所述的图像处理装置，其中， 所述动态图像分析部进行包含于所述第I分析结果数据中的、对所述静态图像进行的图像分析中的至少I个图像分析，从而生成所述第2分析结果数据。3.根据权利要求1或2所述的图像处理装置，其中， 所述动态图像分析部从所述分析对象动态图像提取帧图像，并进行被提取的所述帧图像的图像分析，从而生成所述分析对象动态图像的第2分析结果数据。4.根据权利要求3所述的图像处理装置，其中， 所述动态图像分析部按每一定的帧数进行所述帧图像的图像分析。5.根据权利要求3所述的图像处理装置，其中， 所述动态图像分析部按摄影顺序进行所述帧图像的图像分析，从而在得到与所述第I分析结果数据类似的第2分析结果数据的时刻，结束所述图像分析。6.根据权利要求1或2所述的图像处理装置，其中， 所述动态图像分析部在所述用户使用所述图像处理装置以外的期间进行所述图像分析。7.根据权利要求1或2所述的图像处理装置，其中， 所述类似数据检测部对脸部个数是否一致、是否包含有同一个人物、摄影日期是否一致或在一定范围内、摄影位置是否一致或在一定范围内、是否包含注释信息的相同的关键字中的至少I种，计算所述第I分析结果数据与所述第2分析结果数据的类似度。8.根据权利要求1或2所述的图像处理装置，其中， 所述类似数据检测部对脸部个数是否一致、是否包含有同一个人物、摄影日期是否一致或在一定范围内、摄影位置是否一致或在一定范围内、是否包含注释信息的相同的关键字中的至少2种进行加权，从而计算所述第I分析结果数据与所述第2分析结果数据的类似度。9.根据权利要求1或2所述的图像处理装置，其中， 所述动态图像信息输出部经由网络将所述处理对象动态图像的信息发送到进行所述处理对象动态图像的图像处理的外部处理装置。10.根据权利要求9所述的图像处理装置，其中， 所述动态图像信息输出部将所述处理对象动态图像的列表作为所述处理对象动态图像的信息发送到所述外部处理装置。11.根据权利要求9所述的图像处理装置，其中， 所述动态图像信息输出部将所述处理对象动态图像本身作为所述处理对象动态图像的信息发送到所述外部处理装置。12.根据权利要求9所述的图像处理装置，其中， 所述动态图像信息输出部将链接到所述处理对象动态图像本身的链接信息作为所述处理对象动态图像的信息发送到所述外部处理装置。13.根据权利要求9所述的图像处理装置，其中， 所述动态图像信息输出部在所述用户使用所述图像处理装置以外的期间，将所述处理对象动态图像的信息发送到所述外部处理装置。14.根据权利要求9所述的图像处理装置，其中， 所述外部处理装置具备动态图像处理控制部，该动态图像处理控制部进行如下控制，即，在所述用户使用从所述动态图像信息输出部接收到的处理对象动态图像之前，对所述处理对象动态图像进行为了所述使用而需要的图像处理。15.根据权利要求9所述的图像处理装置，其中， 所述外部处理装置具备静态图像分析部，该静态图像分析部进行所述静态图像的图像分析而生成所述第I分析结果数据， 所述图像处理装置还具备第I分析结果数据获取部，该第I分析结果数据获取部在所述用户使用所述图像处理装置以外的期间，从所述静态图像分析部经由网络获取所述第I分析结果数据。16.根据权利要求1或2所述的图像处理装置，其中， 所述图像处理装置还具备静态图像分析部，该静态图像分析部进行所述静态图像的图像分析而生成所述第I分析结果数据。17.根据权利要求15所述的图像处理装置，其中， 所述静态图像分析部进行包括脸部检测、脸部识别、摄影日期信息的获取、摄影位置信息的获取、及注释分析的多种图像分析中的至少I种图像分析。18.根据权利要求17所述的图像处理装置，其中， 所述静态图像分析部依次进行多种图像分析，在得到所述多种图像分析中的至少I个分析结果的时刻，生成包含所述至少I个分析结果的第I分析结果数据。19.根据权利要求17所述的图像处理装置，其中， 所述静态图像分析部依次进行多种图像分析，在得到所述多种图像分析的所有分析结果的时刻，生成包含所述所有分析结果的第I分析结果数据。20.根据权利要求1或2所述的图像处理装置，其中， 所述静态图像为所述用户过去进行打印预定的静态图像。21.—种图像处理方法，从用户具有的多个动态图像中选择成为图像处理对象的处理对象动态图像，并输出所选择的所述处理对象动态图像的信息，所述图像处理方法的特征在于，包括以下几个步骤: 动态图像分析部进行包含在所述多个动态图像中的、还未进行图像分析的动态图像即分析对象动态图像的图像分析，从而生成包含所述图像分析的分析结果的、所述分析对象动态图像的第2分析结果数据； 类似数据检测部将通过进行所述用户具有的静态图像的图像分析而生成的第I分析结果数据和由所述动态图像分析部生成的第2分析结果数据进行核对，从而计算所述第I分析结果数据与所述第2分析结果数据的类似度，并检测与所述第I分析结果数据的类似度为基准值以上或小于所述基准值的第2分析结果数据作为类似分析结果数据;及 动态图像信息输出部从所述分析对象动态图像中选择具有由所述类似数据检测部检测到的类似分析结果数据的分析对象动态图像作为所述处理对象动态图像，并输出所选择的所述处理对象动态图像的信息。22.—种计算机可读取的记录介质，其记录有用于使计算机执行权利要求21所述的图像处理方法的各步骤的程序。
【文档编号】H04N1/00GK106021262SQ201610160538
【公开日】2016年10月12日
【申请日】2016年3月21日
【发明人】福岛敏贡
【申请人】富士胶片株式会社