利用摄像机位置顺位的图像信息处理方法，设备和程序的制作方法
【技术领域】
[0001]本技术涉及图像处理设备，图像处理方法和程序，更具体地，涉及能够以用户可容易地处理的形式，提供由多个摄像机拍摄的多个图像的图像处理设备，图像处理方法和程序。
[0002]相关申请的引用
[0003]本申请要求2013年9月9日提交的日本专利申请JP 2013-186305的优先权，该申请的整个内容通过引用包含于此。
【背景技术】
[0004]例如，提出了通过利用由多个摄像机拍摄的多个运动图像作为素材，编辑运动图像的技术(例如，参见PTL 1)。
[0005][引文列表]
[0006][专利文献]
[0007][PTL 1]JP 2012-004739 A
【发明内容】
[0008]在编辑或观看利用多台摄像机拍摄的作为编辑用素材的多个运动图像时，在简单排列成行地显示多个运动图像(其再现画面，或者运动图像的最初图像的符号)的情况下，例如，在彼此靠近的位置拍摄的运动图像可能被排列成彼此远离，或者在彼此远离的位置拍摄的运动图像可能被排列成彼此靠近，这使得用户难以处理运动图像。
[0009]考虑到这样的情况，发明了本技术，本发明将以用户可容易地处理的形式，提供由多台摄像机拍摄的多个图像。
[0010]处理图像信息的方法包括访问与图像相关的位置信息，其中所述位置信息识别分别对应于各个图像的透视位置的位置，并包含所述位置之间的关系。所述方法还包括识别提供沿着对应于被摄对象的路径的一系列位置的位置顺位(posit1n sequence)，并按照位置顺位，处理图像，所述位置顺位可根据被摄对象的移动而被调整。具体地，所述路径包含围绕被摄对象的矩形或曲线形周界的至少一部分。另外，相对于被摄对象，确定各个图像的透视位置，各个透视位置分别对应于拍摄被摄对象的图像的摄像机。
[0011]所述方法还包括按照位置顺位，利用时间分片合成图像，并按照位置顺位的顺序，逐行地显示各个图像。在显示图像之时，选择顶部图像，以变更图像的顺序，或者颠倒待显示的图像的顺序。
[0012]所述方法还包括按照位置顺位的顺序，在再现屏幕上依次再现各个图像。
[0013]为实现处理图像信息的方法而设计的设备包括处理器和存储器，所述存储器保存可由处理器执行，以进行所述方法的程序。
[0014]按照本技术的实施例，以用户可容易地处理的形式，提供由多台摄像机拍摄的多个图像。
[0015]另外，优点不一定局限于这里说明的优点，可以是未在本公开中说明的优点。
【附图说明】
[0016]图1是图解说明由多台摄像机拍摄的图像的观看的例子的示图。
[0017]图2是图解说明本技术适用于的按照实施例的图像处理设备的结构例子的方框图。
[0018]图3是图解说明图像处理设备进行的图像处理的例子的概况的示图。
[0019]图4是图解说明由摄像机位置关系获取单元31和位置顺位附加单元32进行的位置顺位附加处理的例子的流程图。
[0020]图5是图解说明在利用两台摄像机c#l和c#2拍摄两个拍摄图像的情况下的位置顺位附加处理的例子的示图。
[0021]图6是图解说明在利用三台摄像机c#l、c#2和c#3拍摄三个拍摄图像的情况下的位置顺位附加处理的例子的示图。
[0022]图7是图解说明在利用四台摄像机c#l、c#2、c#3和c#4拍摄四个拍摄图像的情况下的位置顺位附加处理的例子的示图。
[0023]图8是图解说明位置顺位附加处理的其它例子的示图。
[0024]图9是图解说明由重排单元33进行的重排处理的第一例子的示图。
[0025]图10是图解说明由重排单元33进行的重排处理的第二例子的示图。
[0026]图11是图解说明由重排单元33进行的重排处理的第三例子的示图。
[0027]图12是图解说明由重排单元33进行的重排处理的第四例子的示图。
[0028]图13是图解说明由重排单元33进行的重排处理的第五例子的示图。
[0029]图14是图解说明由重排单元33进行的重排处理的例子的流程图。
[0030]图15是图解说明由逆重排单元34进行的逆重排处理的例子的示图。
[0031]图16是图解说明由逆重排单元34进行的逆重排处理的例子的流程图。
[0032]图17是图解说明由拍摄状态图像生成单元35生成的拍摄状态图像的第一显示例子的示图。
[0033]图18是图解说明由拍摄状态图像生成单元35生成的拍摄状态图像的第二显示例子的示图。
[0034]图19是图解说明由拍摄状态图像生成单元35生成的拍摄状态图像的第三显示例子的示图。
[0035]图20是图解说明由摄像机位置关系获取单元31和拍摄状态图像生成单元35进行的拍摄状态图像生成处理的例子的流程图。
[0036]图21是图解说明由显示控制单元14和图像间除单元36进行的图像间除处理的例子的示图。
[0037]图22是图解说明由显示控制单元14和图像间除单元36进行的图像间除处理的例子的流程图。
[0038]图23是图解说明由再现对象设定单元37进行的再现对象设定处理的例子的示图。
[0039]图24是图解说明由再现对象设定单元37进行的再现对象设定处理的另一个例子的示图。
[0040]图25是图解说明由再现对象设定单元37进行的再现对象设定处理的例子的流程图。
[0041]图26是图解说明在环状连接群组的多个拍摄图像的情况下，无任何优势的情况的例子的示图。
[0042]图27是图解说明由位置顺位附加单元32进行环形连接判定处理的例子的流程图。
[0043]图28是图解说明环形连接判定处理的示图。
[0044]图29是图解说明环形连接判定处理的示图。
[0045]图30是图解说明本技术适用于的按照实施例的计算机的结构的例子的方框图。
【具体实施方式】
[0046]<利用多台摄像机拍摄的图像的观看>
[0047]图1是图解说明由多台摄像机拍摄的图像的观看的例子的示图。
[0048]如图1中图解所示，在足球场中，利用多台摄像机从各个拍摄位置，拍摄足球比赛。
[0049]这里，作为利用多台摄像机拍摄足球比赛的情况，例如，存在其中广播台为节目广播拍摄足球比赛的情况，可以考虑其中作为团体的多个观众通过利用手持的摄像机，或者穿戴可穿戴摄像机，拍摄足球比赛的情况等。
[0050]现在，假定通过使用任意方法，获得利用摄像机拍摄的图像(下面也称为拍摄图像)，然后编辑和观看利用多台摄像机拍摄的多个拍摄图像。
[0051]在这种情况下，如图1中图解所示，通过简单排列成行地显示多个拍摄图像(其再现画面，或者运动图像的初始画面等的符号)，尤其是在拍摄图像的数目较大的情况下，当用户注视特定的拍摄图像，并且希望观看在与所述特定拍摄图像的拍摄位置相近的拍摄位置拍摄的拍摄图像时，难以立即获得该拍摄图像被显示在的位置，从而用户难以处理图像。
[0052]从而，按照本技术的实施例，以用户可容易地处理的形式，提供由多台摄像机拍摄的多个拍摄图像。
[0053]<本技术适用于的按照实施例的图像处理设备>
[0054]图2是图解说明本技术适用于的按照实施例的图像处理设备的结构例子的方框图。
[0055]如图2中图解所示，图像处理设备包括:图像获取单元11 ;存储器12 ;时间同步单元13 ;显示控制单元14 ;显示单元15，图像排列控制单元16 ;再现单元17 ;操作单元18 ;和控制单元19。
[0056]图像获取单元11获得通过利用多台摄像机，拍摄预定的拍摄对象，例如足球比赛、特定人物等而得到的多个拍摄图像。
[0057]例如，利用多台摄像机拍摄的多个拍摄图像以预定格式的运动图像文件的形式，保存在预定服务器(包括云上的服务器)中，图像获取单元11通过从所述服务器下载拍摄图像，可获得所述多个拍摄图像(的文件)。
[0058]另外，例如，通过图像获取单元11与多台摄像机通信，可从多台摄像机获得利用多台摄像机拍摄的多个拍摄图像。
[0059]图像获取单元11把从服务器等获得的多个拍摄图像(的文件)提供给存储器12。
[0060]例如，存储器12由硬盘、半导体存储器等构成，保存从图像获取单元11供给的多个拍摄图像(的文件)。
[0061]时间同步单元13生成表示多个拍摄图像的拍摄开始时间的差异的同步信息，用于使保存在存储器12中的多个拍摄图像的时间同步，并把生成的同步信息提供给显示控制单元14。另外，伴随再现单元17再现的拍摄图像的声音可被提供给时间同步单元13，时间同步单元13利用所述声音，生成同步信息。
[0062]显示控制单元14通过在必要时利用从时间同步单元13供给的同步信息，或者从图像排列控制单元16供给的信息，进行在显示单元15上，显示保存在存储器12中的拍摄图像(的符号)，或者从再现单元17供给的拍摄图像(的再现画面)的显示控制。
[0063]例如，显示单元15由IXD (液晶显示器)、有机EL (电致发光)显示器等构成，按照显示控制单元14的控制显示图像。
[0064]图像排列控制单元16生成用于控制显示在显示单元15上的拍摄图像的排列(对齐)的信息等，并把生成的信息等提供给显示控制单元14，从而控制显示在显示单元15上的拍摄图像(的符号或再现画面)的排列等。
[0065]换句话说，图像排列控制单元16包括:摄像机位置关系获取单元31 ;位置顺位附加单元32 ;重排单元33 ;逆重排单元34 ;拍摄状态图像生成单元35 ;图像间除单元36 ;和再现对象设定单元37。
[0066]摄像机位置关系获取单元31获得拍摄保存在存储器12中的多个拍摄图像的多台摄像机的位置关系(下面也称为摄像机位置关系)。
[0067]这里，在摄像机位置关系中，至少包括摄像机的拍摄位置(拍摄时的位置)。
[0068]另外，在摄像机位置关系中，可包括摄像机的拍摄方向(拍摄时的摄像机的方向)。
[0069]例如，作为摄像机位置关系的拍摄位置和拍摄方向可以是利用多台摄像机中的任意摄像机等作为基准获得的相对值，或者是绝对值。
[0070]例如，在各个摄像机中，可以内置GPS (全球定位系统)或方向传感器，从GPS或方向传感器，可以获得摄像机位置关系。
[0071]另外，例如，可根据利用多台摄像机拍摄的多个拍摄图像，通过计算估计摄像机位置关系。换句话说，摄像机位置关系获取单元31可通过利用时间同步单元13生成的同步信息，使再现单元17再现的多个拍摄图像的时间同步，并根据此时其时间被同步的多个拍摄图像，通过计算估计摄像机位置关系。
[0072]位置顺位附加单元32根据由摄像机位置关系获取单元31获得的摄像机位置关系等，进行位置顺位附加处理，在所述位置顺位附加处理中，向保存在存储器12中的由多台摄像机拍摄的多个拍摄图像中的每个拍摄图像附加位置顺位，以便把多个拍摄图像连接成环形。
[0073]这里，位置顺位附加处理将在后面详细说明。
[0074]重排单元33进行重排处理，在所述重排处理中，多个拍摄图像被重排，以致多个拍摄图像中的特定图像位于预定位置，同时与保存在存储器12中的多个拍摄图像的位置顺位相应的对齐顺序被维持。
[0075]逆重排单元34进行逆重排处理，在所述逆重排处理中，按照相反的顺序重排与拍摄图像的位置顺位相应的多个拍摄图像的排列。
[0076]拍摄状态图像生成单元35根据由摄像机位置关系获取单元31获得的摄像机位置关系，进行拍摄状态图像生成处理，在所述拍摄状态图像生成处理中，生成表示与拍摄保存在存储器12中的多个拍摄图像的多台摄像机相应的拍摄状态的拍摄状态图像。
[0077]图像间除单元36进行其中间除待显示在显示单元14上的拍摄图像的图像间除处理。
[0078]再现对象设定单元37进行再现对象设定处理，在所述再现对象设定处理中，设定保存在存储器12中的多个拍摄图像之中的作为再现对象的拍摄图像。
[0079]再现单元17再现保存在存储器12中的拍摄图像，以致该拍摄图像被提供给显示控制单元14。
[0080]操作单元18由用户操作，把与操作对应的操作信号提供给控制单元19。
[0081]控制单元19控制整个图像处理设备(构成图像处理设备的各个部件)。
[0082]另外，例如，控制单元19按照操作单元18的操作，进行对于保存在存储器12中的拍摄图像的编辑处理，比如入点和出点的设定，或者效果的增加。
[0083]图3是图解说明由图2中例示的图像处理设备进行的图像处理的例子的概况的示图。
[0084]在图像处理设备中，例如，时间同步单元13生成表示多个拍摄图像的拍摄开始时间的差异的同步信息，用于使保存在存储器12中的多个拍摄图像的时间同步，并把生成的同步信息提供给显示控制单元14。
[0085]显示控制单元14根据从时间同步单元13供给的同步信息，可显示保存在存储器12中的多个拍摄图像的符号。这种情况下，例如，如图3中图解所示，在水平轴被设定为时间的情况下，多个拍摄图像的符号被排列成沿垂直方向对齐，以致使它们的时间同步。
[0086]这里，在图3中，作为拍摄图像的符号，使用类似长度与拍摄图像的拍摄时间成比例的胶片卷的图像。
[0087]在图像处理设备中，代替如上所述，使时间同步地对齐排列多个拍摄图像(的符号等)，可按照位置顺位，对齐地排列多个拍摄图像。
[0088]换句话说，在图像处理设备的图像排列控制单元16中，照相机位置关系获取单元31获得保存在存储器12中的多个拍摄图像的摄像机位置关系，位置顺位附加单元32根据摄像机位置关系，向保存在存储器12中的多个拍摄图像附加位置顺位，并把作为结果的拍摄图像提供给显示控制单元14。
[0089]按照位置顺位附加单元32附加的位置顺位，例如如图3中图解所示，在垂直轴被设定为位置顺位的情况下，显示控制单元14把多个拍摄图像的符号排列成按位置顺位的顺序，在垂直方向被对齐。
[0090]如上，按照图像处理设备，多个拍摄图像的符号具有在水平轴和垂直轴被设定为时间和位置顺位的情况下，将被彼此同步的时间，并被排列成按位置顺位的顺序被对齐。
[0091]之后，当用户操纵操作单元18，以便进行剪切、合并、添加音乐等时，控制单元19按照所述操作，进行编辑操作，从而生成作为完整一套节目的所谓的运动图像。
[0092]作为控制单元19进行的编辑操作的模式，例如，存在手动模式和自动模式。
[0093]在手动模式下，控制单元19按照用户对于操作单元18的操作，进行编辑操作。
[0094]在自动模式下，例如，控制单元19进行从多个拍摄图像中，检测诸如精彩场景之类的预定场景，并接合各个场景的编辑操作。
[0095]作为精彩场景，可在其时间被同步的多个拍摄图像之中，检测在各个时间，表示兴奋度的精彩度为预定阈值或更大的拍摄图像中的精彩度最高的一个拍摄图像。
[0096]例如，作为精彩度，可以使用与声音的大小，或者显现在拍摄图像中的被摄对象的移动、大小等成比例的值。
[0097]另外，在自动模式下，代替只检测其精彩度等于或大于阈值，并且最高的一个拍摄图像，其精彩度等于或大于阈值的所有拍摄图像都可被检测为精彩场景。
[0098]在其精彩度等于或大于阈值的所有拍摄图像都被检测为精彩场景的情况下，存在两个或更多的拍摄图像被检测为精彩场景的情况。当两个或更多的拍摄图像被检测为精彩场景时，作为精彩场景的所述两个或更多的拍摄图像被排列成分割显示单元15的屏幕。
[0099]在这种情况下，在完整一套节目中，存在其中只显示一个拍摄图像的情况，和其中分割屏幕地显示两个或更多的拍摄图像的情况。例如，在保存在存储器12中的所有多个拍摄图像的精彩度都等于或大于阈值的情况下，分割屏幕地显示所有多个拍摄图像。
[0100]在自动模式下，可以按照用户对操作单元18的操作，设定是只检测其精彩度等于或大于阈值，并且最高的一个拍摄图像，作为精彩场景，还是检测其精彩度都等于或大于阈值的所有拍摄图像，作为精彩场景。
[0101]另外，除此之外，例如，图像处理设备可被配置成以致再现单元17同时再现其时间被同步的多个拍摄图像，显示控制单元14从再现单元17再现的多个拍摄图像之中，选择按照用户对操作单元18的操作选择的一个拍摄图像，并把选择的拍摄图像显示在显示单元15上。
[0102]此外，当再现单元17再现的多个拍摄图像的精彩度都小于阈值时，显示控制单元14可显示用户选择的一个拍摄图像，当一个或多个拍摄图像的精彩度变成阈值或更大时，显示控制单元可显示其精彩度变成阈值或更大的一个或多个拍摄图像之中的其精彩度最高的一个拍摄图像，或者对应于用户指定的数目或更少的拍摄图像，以在必要时分割显示单元15的屏幕。
[0103]在这种情况下，用户能够容易地获得精彩场景。
[0104]〈位置顺位附加处理〉
[0105]图4是图解说明由图2中例示的摄像机位置关系获取单元31和位置顺位附加单元32进行的位置顺位附加处理的例子的流程图。
[0106]在步骤S11，摄像机位置关系获取单元31获得拍摄了保存在存储器12中的多个拍摄图像的多台摄像机的摄像机位置关系，然后处理进入步骤S12。
[0107]在步骤S12，位置顺位附加单元32根据摄像机位置关系获取单元31获得的摄像机位置关系，向保存在存储器12中的多个拍摄图像附加位置顺位，以便把多个拍摄图像连接成环形，然后