效果控制装置、效果控制方法和程序的制作方法
【专利摘要】本发明涉及效果控制装置、效果控制方法和程序。一种效果控制装置，包括：效果控制单元，基于表示声音的方向的信息控制向目标图像附加的效果。
【专利说明】效果控制装置、效果控制方法和程序
【技术领域】
[0001]本发明涉及效果控制装置、效果控制方法和程序。
【背景技术】
[0002]向图像(静止图像或运动图像；在本文中情况始终如此)附加效果的技术是已知的。可举例在W02008/111113中公开的技术作为向图像附加效果的技术。
【发明内容】
[0003]例如，根据在W02008/111113中公开的技术，要附加到用户选择的声音的效果被附加到由要进行再现的声音数据指示的声音，并且要附加到图像并且与附加到选择的声音的效果对应的效果被附加到由要进行再现的图像数据指示的图像。因此，例如，当使用在W02008/111113中公开的技术时，与要附加到用户选择的声音的效果对应的效果能够被加到图像是可行的。
[0004]然而，例如，在W02008/111113中公开的技术中，与要加到用户选择的声音的效果对应的效果被附加到图像。因此，与声音对应的效果(例如，与由要进行再现的声音数据指示的声音对应的效果)可以不必被加到图像。
[0005]期望提供能够向目标图像附加基于声音的效果的新颖且改进的效果控制装置、新颖且改进的效果控制方法和新颖且改进的程序。
[0006]根据本发明的一个实施例，提供了包括效果控制单元的效果控制装置，该效果控制单元基于表示声音的方向的信息控制向目标图像附加的效果。
[0007]另外，根据本发明的一个实施例，提供了一种效果控制方法，包括基于表不声音的方向的信息控制向目标图像附加的效果。
[0008]另外，根据本发明的一个实施例，提供了一种使得计算机执行基于表不声音的方向的信息控制向目标图像附加的效果的程序。
[0009]根据本发明的实施例，基于声音的效果可以附加到目标图像。
【专利附图】
【附图说明】
[0010]图1示出了关于根据实施例的效果控制装置中的效果控制方法的处理的第一例子;
[0011]图2示出了关于根据实施例的效果控制装置中的效果控制方法的处理的第二例子;
[0012]图3示出了关于根据实施例的效果控制装置中的效果控制方法的处理的第三例子;
[0013]图4示出了关于根据实施例的效果控制装置中的效果控制方法的处理的第四例子;
[0014]图5是示出根据实施例的效果控制装置的结构的例子的框图；以及[0015]图6示出了根据实施例的效果控制装置的硬件结构的例子。
【具体实施方式】
[0016]在下文中，将参照附图详细描述本发明的优选实施例。在说明书和附图中，向具有基本相同功能结构的组成元素给出相同标号，并且组成元素的重复描述被省去。
[0017]在下文中，按照下面顺序进行描述。
[0018]1.根据实施例的效果控制方法
[0019]2.根据实施例的效果控制装置
[0020]3.根据实施例的程序
[0021](根据实施例的效果控制方法)
[0022]在描述根据实施例的效果控制装置的结构之前，首先描述根据实施例的效果控制方法。在下文中，将描述根据这个实施例的效果控制方法从而给出根据这个实施例的效果控制装置执行关于根据这个实施例的效果控制方法的处理的例子。
[0023]根据这个实施例的效果控制装置基于指示声音的方向的信息控制要向目标图像附加的效果。例如，根据这个实施例的效果控制装置通过基于指示声音的方向的信息组合把要向图像附加的效果指示的效果图像与目标图像相组合来控制要向目标图像附加的效果。例如，根据这个实施例的效果控制装置可以在与目标图像相同的层上将效果图像和目标图像进行组合，或者可以通过将与目标图像不同的层的效果图像叠加在目标图像的层上来组合效果图像与目标图像。在下文中，例如，如上所述，在一些情况下，目标图像上的效果图像的组合指示“向目标图像附加效果”。
[0024]这里，根据这个实施例的目标图像是指要向其附加效果的图像。作为根据这个实施例的目标图像，当根据这个实施例的外部成像装置或效果控制装置包括成像单元(以后描述)时可举例由成像单元(以后描述)拍摄的拍摄图像。根据这个实施例的目标图像不限于拍摄图像。例如，根据这个实施例的目标图像可以是由存储在包括在根据这个实施例的效果控制装置中的存储单元(以后描述)、外部记录介质或例如服务器的外部装置中的图像数据指示的图像。
[0025]根据这个实施例的指示声音的方向的信息是指指示声音的方向的数据。例如，通过将通过分析第一时点(例如，产生声音的时点或首先检测到声音的时点)处的声音信号获得的声音的位置与通过分析第二时点(比第一时点晚的时点)处的声音信号获得的声音的位置进行比较而指定根据这个实施例的声音的方向。例如，基于由指示由多个麦克风收集的声音的多个声音信号指示的声音之间的声音的偏差指定根据这个实施例的声音的位置。
[0026]例如，可通过根据这个实施例的效果控制装置或根据这个实施例的效果控制装置外部的装置执行关于声音信号的分析的声音分析处理(例如，指定声音的位置的处理或者指定声音的方向的处理)。
[0027]根据这个实施例的声音分析处理不限于指定声音的位置的处理或者指定声音的方向的处理。例如，作为根据这个实施例的声音分析处理，可执行各种处理，诸如指定音量的处理、指定声音的频率的处理和确定声音的类别的处理。
[0028]这里,例如可使用产生声音信号的麦克风的灵敏度(例如，以[V/Pa]表达)、放大器的增益或者声音信号的电压值(例如，以[V]表达)指定根据这个实施例的音量(例如，以[dB]表达)。例如可使用快速傅里叶变换指定根据这个实施例的声音的频率。例如，可基于通过在指定声音的频率的处理中指定声音的频率获得的结果(例如，指示频谱的数据)和频谱与声音的类别彼此关联并存储的查询表来确定根据这个实施例的声音的类别。根据这个实施例的指定音量的处理、指定声音的频率的处理和确定声音的类别的处理均不限于上述例子，况且可执行指定音量、声音的频率或声音的类别的任何处理。
[0029]根据这个实施例的可执行声音分析处理的效果控制装置和/或可执行声音分析处理的外部装置(下文中，还称作“执行声音分析处理的装置”)可以通过执行根据这个实施例的声音分析处理获得指示声音分析处理的处理结果的数据(例如，指示声音的方向的信息、指示声音的位置的信息(数据)、指示音量的信息(数据)、指示声音的频率的信息(数据)或者指示声音的类别的类别信息(数据))。当获得指示各种处理结果的数据时，执行声音分析处理的装置按照指定声音的位置的处理、指定音量的处理、指定声音的频率的处理、确定声音的类别的处理和指定声音的方向的处理的顺序执行声音分析处理。然而，执行声音分析处理的装置执行这些处理的顺序不限于以上顺序。例如，执行声音分析处理的装置可选择性仅执行特定声音分析处理以获取在关于由根据这个实施例的效果控制装置执行的效果控制方法的处理中使用的信息。
[0030]当根据这个实施例的效果控制装置执行声音分析处理时，根据这个实施例的效果控制装置基于指示自身装置(根据这个实施例的效果控制装置)中的声音分析处理的处理结果的数据执行关于根据这个实施例的效果控制方法的处理。另外，当外部装置执行声音分析处理时，根据这个实施例的效果控制装置基于指示外部装置中的声音分析处理的处理结果的数据执行关于根据这个实施例的效果控制方法的处理。
[0031 ] 在下文中，将描述关于根据这个实施例的效果控制装置中的效果控制方法的处理的具体例子。
[0032](I)第一例子
[0033]例如，根据这个实施例的效果控制装置向目标图像附加基于由表示声音的方向的信息指示的声音的方向的效果。
[0034]图1示出了关于根据这个实施例的效果控制装置中的效果控制方法的处理的第一例子。这里，图1示出了通过根据这个实施例的效果控制装置向目标图像附加基于由表示声音的方向的信息指示的声音的方向的效果的图像的例子。
[0035]例如，如图1所示，根据这个实施例的效果控制装置在由表示声音的方向的信息指示的声音的方向上向目标图像附加效果。
[0036]这里，图1示出了根据这个实施例的效果控制装置从目标图像检测人作为特定对象并且从检测到的对象O的特定位置(图1的例子中的人的嘴)在由表示声音的方向的信息指示的声音的方向上附加效果的例子。根据这个实施例的效果控制装置在目标图像中附加效果的位置不限于从目标图像检测到的对象中的特定位置。例如，根据这个实施例的效果控制装置可以从在目标图像中设置的位置开始在由表示声音的方向的信息指示的声音的方向上附加效果。设置位置例如可以是预定固定位置或由用户设置的位置，等等。
[0037]根据这个实施例的效果控制装置向目标图像附加预定形式的效果。图1示出了向目标图像附加泡泡形式的效果的例子。
[0038]这里，例如，预设形状的效果被举例为根据这个实施例的预定形式的效果，然而根据这个实施例的预定形式的效果不限于以上效果。例如，根据这个实施例的效果控制装置可以基于与表不声音的方向的信息对应的表不声音的类别的类别信息向目标图像附加与由类别信息指示的声音的类别对应的形式的效果。
[0039]当向目标图像附加与由类别信息指示的声音的类别对应的形式的效果时，根据这个实施例的效果控制装置例如使用声音的类别与指示效果图像的图像数据彼此关联的查询表指定与由类别信息指示的声音的类别对应并且指示效果图像的图像数据(下文中称作“效果图像数据”)。例如，根据这个实施例的效果控制装置通过组合由指定的效果图像数据指示的效果图像与目标图像向目标图像附加与由类别信息指示的声音的类别对应的形式的效果。
[0040]例如，根据这个实施例的效果控制装置可以从目标图像检测特定对象(例如，人、诸如飞机或汽车的运动物体、特定形式的对象)并且向目标图像附加与检测的对象的形式对应的形式的效果。与检测的对象的形式对应的形式的效果的例子包括模仿检测的对象的外观的效果和简化检测的对象的外观的效果。例如，根据这个实施例的效果控制装置可以使用检测的对象的种类与效果图像数据关联的查询表指定与检测的对象对应的效果图像数据并且向目标图像附加与检测的对象对应的形式的效果。
[0041]例如，如参照图1所示，根据这个实施例的效果控制装置向目标图像附加基于由表示声音的方向的信息指示的声音的方向的效果。例如，通过向目标图像附加例如图1所示的效果的效果，观看向其附加效果的目标图像的用户由于向目标图像附加的效果能够以视觉方式识别声音的方向。在根据这个实施例的效果控制装置中，基于表示声音的方向的信息的处理当然不限于上述处理，并且向目标图像附加基于由表示声音的方向的信息指示的声音的方向的效果的例子当然不限于图1所示的例子。
[0042](2)第二例子
[0043]关于根据这个实施例的效果控制装置中的效果控制方法的处理不限于如上在第一例子中所述的基于表示声音的方向的信息的处理。例如，根据这个实施例的效果控制装置可以基于表不声音的方向的信息和表不声音的位置的信息控制向目标图像附加的效果。
[0044]更具体地讲，如在上述的第一例子中，例如，根据这个实施例的效果控制装置向目标图像附加基于由表示声音的方向的信息指示的声音的方向的效果。另外，根据这个实施例的效果控制装置向位于目标图像中并且与由表示声音的位置的信息指示的声音的位置对应的位置附加效果。
[0045]图2示出了关于根据这个实施例的效果控制装置中的效果控制方法的处理的第二例子。这里，图2示出了通过根据这个实施例的效果控制装置向目标图像附加基于由表不声音的方向的信息指不的声音的方向和由表不声音的位置的信息指不的声音的位置的效果的图像的例子。图2中所示的P1、P2和P3指示位于目标图像上并且与由表示声音的位置的信息指示的声音的位置对应的位置的例子。
[0046]例如，如图1中那样，根据这个实施例的效果控制装置在由表示声音的方向的信息指示的声音的方向上向目标图像附加效果。另外，图2示出了根据这个实施例的效果控制装置向目标图像附加飞机形式的效果作为预定形式的效果的例子。
[0047]根据这个实施例的效果控制装置基于表示声音的位置的信息指定位于目标图像上并且与由表示声音的位置的信息指示的声音的位置对应的位置P1、P2和P3。这里，例如通过坐标(下文中情况相同)表达根据这个实施例的目标图像上的位置。根据这个实施例的效果控制装置例如通过确定目标图像中的坐标指定位于目标图像上并且与由表示声音的位置的信息指示的位置对应的位置。
[0048]例如，当目标图像是拍摄图像并且由表示声音的位置的信息指示的声音是由包括在拍摄拍摄图像的成像装置(例如，根据这个实施例的效果控制装置或者根据这个实施例的效果控制装置外部的装置)中的多个麦克风(声音收集装置的例子)收集的声音时，由表示声音的位置和表示拍摄拍摄图像的成像装置中的有效视角中的声音的位置的信息指示的声音的位置被确定为目标图像上的位置。在上述情况下，例如，根据这个实施例的效果控制装置不使用表示声音的位置的信息和表示不在拍摄拍摄图像的成像装置的有效视角中的声音的位置的信息。也就是说，在上述情况下，根据这个实施例的效果控制装置没有向目标图像附加基于表示声音的位置的信息和表示不在拍摄拍摄图像的成像装置中的有效视角中的声音的位置的信息的效果。
[0049]根据这个实施例的效果控制装置中的指定位于目标图像上并且与由表示声音的位置的信息指示的位置对应的位置的处理不限于上述处理。例如，基于在目标图像中检测的特定对象的位置和由表示声音的方向的信息指示的声音的方向，根据这个实施例的效果控制装置在目标图像中指定其倾度指示声音的方向并且穿过检测的特定对象的位置的直线。例如，基于在目标图像中指定的直线与由表示声音的位置的信息指示的每个时点的位置之间的位置关系，根据这个实施例的效果控制装置可以确定指定的目标图像中的直线上的任何位置作为位置P1、P2和P3。
[0050]例如，如参照图2所示，根据这个实施例的效果控制装置向目标图像附加基于由表不声音的方向的信息指不的声音的方向和由表不声音的位置的信息指不的声音的位置的效果。例如，如图2所示通过向目标图像附加效果，观看向其附加效果的目标图像的用户由于向目标图像附加的效果可以以视觉方式识别声音的方向和声音的位置。在根据这个实施例的效果控制装置中，基于表示声音的方向的信息和表示声音的位置的信息的处理当然不限于上述处理，并且向目标图像附加基于由表不声音的方向的信息指不的声音的方向和由表示声音的位置的信息指示的声音的位置的效果的例子当然不限于图2所示的例子。
[0051](3)第三例子
[0052]关于根据这个实施例的效果控制装置中的效果控制方法的处理不限于以上在第一例子中描述的处理和以上在第二例子中描述的处理。例如，根据这个实施例的效果控制装置可以基于表不声音的方向的信息和表不声音的位置的信息控制向目标图像附加的效果O
[0053]更具体地讲，如在上述第一例子中，例如，根据这个实施例的效果控制装置向目标图像附加基于由表示声音的方向的信息指示的声音的方向的效果。另外，根据这个实施例的效果控制装置向目标图像附加与由表示声音的频率的信息指示的声音的每个频率对应的颜色的效果。
[0054]图3示出了关于根据这个实施例的效果控制装置中的效果控制方法的处理的第三例子。这里，图3示出了由根据这个实施例的效果控制装置向目标图像附加基于由表示声音的方向的信息指不的声音的方向和由表不声音的频率的信息指不的声音的频率的效果的图像的例子。[0055]例如，如图1中，根据这个实施例的效果控制装置在由表示声音的方向的信息指示的声音的方向上向目标图像附加效果。另外，图3示出了如图1中那样根据这个实施例的效果控制装置向目标图像附加泡泡形式的效果作为预定形式的效果的例子。
[0056]根据这个实施例的效果控制装置基于表示声音的频率的信息指定与由表示声音的方向的信息指示的声音对应的声音的频率。另外，根据这个实施例的效果控制装置向目标图像附加向其附加了与声音的每个指定频率对应的颜色的泡泡形式的效果(它是预定形式的效果的例子)。
[0057]这里，例如，根据这个实施例的效果控制装置使用声音的频率与颜色彼此关联的查询表指定与由表示声音的频率的信息指示的声音的频率对应的颜色。然后，例如，根据这个实施例的效果控制装置通过向由效果图像数据指示的效果图像附加指定颜色并且组合向其附加颜色的效果图像与目标图像而向目标图像附加基于表不声音的方向的信息和表示声音的频率的信息的效果。
[0058]例如，如参照图3所示，根据这个实施例的效果控制装置向目标图像附加基于由表不声音的方向的信息指不的声音的方向和由表不声音的频率的信息指不的声音的频率的效果。例如，如图3所示，通过向目标图像附加效果，观看向其附加了效果的目标图像的用户由于向目标图像附加的效果可以以视觉方式识别声音的方向和声音的音调(或者声音的频率)。在根据这个实施例的效果控制装置中，基于表不声音的方向的信息和表不声音的频率的信息的处理当然不限于上述处理，并且向目标图像附加基于由表示声音的方向的信息指示的声音的方向和由表示声音的频率的信息指示的声音的频率的效果的例子当然不限于图3中所示的例子。
[0059](4)第四例子
[0060]关于根据这个实施例的效果控制装置中的效果控制方法的处理不限于以上在第一例子中描述的处理到以上在第三例子中描述的处理。例如，根据这个实施例的效果控制装置可以基于表不声音的方向的信息和表不音量的信息控制向目标图像附加的效果。
[0061]更具体地讲，如在上述第一例子中，例如，根据这个实施例的效果控制装置向目标图像附加基于由表示声音的方向的信息指示的声音的方向的效果。另外，根据这个实施例的效果控制装置向目标图像附加与由表示音量的信息指示的音量对应的幅度的效果。
[0062]图4示出了关于根据这个实施例的效果控制装置中的效果控制方法的处理的第四例子。这里，图4示出了由根据这个实施例的效果控制装置向目标图像附加基于由表示声音的方向的信息指示的声音的方向和由表示音量的信息指示的音量的效果的图像的例子。
[0063]例如，如图1中，根据这个实施例的效果控制装置在由表示声音的方向的信息指示的声音的方向上向目标图像附加效果。另外，图4示出了如图2中那样根据这个实施例的效果控制装置向目标图像附加飞机形式的效果作为预定形式的效果的例子。
[0064]根据这个实施例的效果控制装置基于表不音量的信息指定与由表不声音的方向的信息指示的声音对应的音量。另外，根据这个实施例的效果控制装置向目标图像附加与指定的音量对应的尺寸的飞机形式的效果(它是预定形式的效果的例子)。
[0065]这里，例如，根据这个实施例的效果控制装置基于音量与效果彼此关联的查询表指定与由表示音量的信息指示的音量对应的效果的幅度。然后，例如，根据这个实施例的效果控制装置通过将由效果图像数据指示的效果图像的尺寸调整到指定的效果的幅度并且组合尺寸调整后的效果图像与目标图像而向目标图像附加基于指示声音的方向的信息和指示音量的信息的效果。
[0066]例如，如参照图4所示，根据这个实施例的效果控制装置向目标图像附加基于由表不声音的方向的信息指不的声音的方向和由表不音量的信息指不的音量的效果。例如，如图4所示，通过向目标图像附加效果，观看向其附加了效果的目标图像的用户由于向目标图像附加的效果可以以视觉方式识别声音的方向和声音的幅度(音量)。在根据这个实施例的效果控制装置中，基于表不声音的方向的信息和表不音量的信息的处理当然不限于上述处理，并且向目标图像附加基于由表不声音的方向的信息指不的声音的方向和由表不音量的信息指示的音量的效果的例子当然不限于图4所示的例子。
[0067](5)其它例子
[0068]关于根据这个实施例的效果控制装置中的效果控制方法的处理不限于以上在第一例子中描述的处理到以上在第四例子中描述的处理。例如，根据这个实施例的效果控制装置可以基于表不声音的方向的信息、表不声音的位置的信息、表不声音的频率的信息和表示音量的信息之中的两条或更多条信息控制向目标图像附加的效果。例如，根据这个实施例的效果控制装置可以组合任何可组合的处理，例如“关于上述第二例子的处理和关于上述第三例子的处理”、“关于上述第二例子的处理和关于上述第四例子的处理”、“关于上述第三例子的处理和关于上述第四例子的处理”、“关于上述第二例子的处理、关于上述第三例子的处理和关于上述第四例子的处理”。
[0069]例如，根据这个实施例的效果控制装置执行以上在(I)到(5)中描述的处理作为关于根据这个实施例的效果控制方法的处理。这里，例如，根据这个实施例的效果控制装置基于表不声音的方向的信息或者基于表不声音的方向的信息、表不声音的位置的信息、表示声音的频率的信息和表示音量的信息之中的至少一条信息控制向目标图像附加的效果。
[0070]因此，根据这个实施例的效果控制装置可以向目标图像附加基于声音的效果。
[0071]例如,如上所述,根据这个实施例的效果控制装置基于表不声音的信息(例如，表示声音的方向的信息等等)向目标图像附加效果。因此，由于向目标图像附加的效果，观看向其附加效果的目标图像的用户可以以视觉方式识别“声音的方向”或“声音的方向、声音的位置、声音的音调(或声音的频率)和声音的幅度(音量)中的至少一个”。
[0072]另外，根据这个实施例的效果控制装置向目标图像附加基于声音的效果，也就是说，在图像上叠加表示声音的信息。因此，与通过声音提供表示声音的信息的经验相比较，观看向其附加了效果的目标图像的用户可以感觉更加现实经验。
[0073](根据实施例的效果控制装置)
[0074]接下来，将描述能够执行关于根据上述实施例的效果控制方法的处理的这个实施例的效果控制装置的结构的例子。
[0075]图5是示出根据这个实施例的效果控制装置100的结构的例子的框图。
[0076]例如，效果控制装置100包括成像单元102、声音收集单元104、存储单元106和控制单元108。
[0077]例如，效果控制装置100还可以包括只读存储器(ROM)(未示出)、随机访问存储器(RAM)(未示出)、通信单元(未示出)、用户可以操作的操作单元(未示出)和在显示屏幕上显示各种屏幕的显示单元(未示出)。在效果控制装置100中，例如，经由用作数据传输路径的总线连接各个组成元件。
[0078]这里，ROM (未示出)存储由控制单元108使用的程序或例如运算参数的控制数据。RAM (未示出)临时存储由控制单元108执行的程序等等。
[0079]通信单元(未示出)是包括在效果控制装置100中的通信单元并且经由网络(或直接)与诸如服务器、成像装置或显示装置的外部装置执行有线或无线通信。这里，通信单元(未示出)的例子包括要在下面描述的通信接口。根据这个实施例的网络的例子包括有线网络(例如，LAN或广域网(WAN))、无线网络(例如，无线局域网(WLAN)或与基站连接的无线WAN (WffAN))和使用例如传输控制协议/互联网协议(TCP/IP)的通信协议的互联网。
[0080]操作单元(未示出)的例子包括要在下面描述的操作输入装置。显示单元(未示出)的例子包括要在下面描述的显示装置。
[0081][效果控制装置100的硬件结构的例子]
[0082]图6示出了根据这个实施例的效果控制装置100的硬件结构的例子。例如，效果控制装置100包括MPU150、ROMl52, RAM154、记录介质156、输入/输出接口 158、操作输入装置160、显示装置162、通信接口 164、成像装置166和声音收集装置168。在效果控制装置100中，例如，通过用作数据传输路径的总线170连接各个组成元件。
[0083]例如，MPU150包括微处理单元(MPU)或各种处理电路并且用作控制整个效果控制装置100的控制单元108。例如，MPU150发挥效果控制装置100中的要在下面描述的声音分析单元120和效果控制单元122的作用。
[0084]R0M152存储由MPU150使用的程序、例如运算参数的控制数据、等等。例如，RAM154临时存储由MPU150执行的程序。
[0085]记录介质156发挥存储单元106的作用并且例如存储诸如图像数据(例如，指示未向其附加效果的图像的数据或向其附加了效果的数据)、效果图像数据和应用的各种数据。这里，记录介质156的例子包括磁记录介质(诸如硬盘)和非易失性存储器(诸如可电擦除可编程只读存储器(EEPROM)或闪存)。记录介质156可拆卸地安装在效果控制装置100上。
[0086]例如，输入/输出接口 158连接操作输入装置160或显示装置162。操作输入装置160发挥操作单元(未示出)的作用并且显示装置162发挥显示单元(未示出)的作用。这里，输入/输出接口 158的例子包括通用串行总线(USB)端子、数字视觉接口(DVI)端子、高清多媒体接口(HDMI)端子和各种处理电路。例如，操作输入装置160可以设置在效果控制装置100上并且连接到效果控制装置100内部的输入/输出接口 158。操作输入装置160的例子包括按钮、方向键、例如转轮的转动型选择器及其组合。例如，显示装置162可以设置在效果控制装置100上并且连接到效果控制装置100内部的输入/输出接口 158。显示装置162的例子包括液晶显示器、有机电致发光(EL)显示器和有机发光二级管显示器(0LED显示器)。
[0087]输入/输出接口 158当然可以连接到作为效果控制装置100的外部装置的操作输入装置(例如，键盘或鼠标)或者诸如显示装置或成像装置的外部装置。显示装置162例如可以是例如在其上可执行显示和用户的操作的触摸屏的装置。
[0088]通信接口 164是包括在效果控制装置100中的通信单元并且用作经由网络(或直接)(未示出)与诸如成像装置、显示装置或服务器的外部装置执行有线/无线通信的通信单元。这里，通信接口 164的例子包括通信天线、RF电路、LAN端子以及发送和接收电路。例如，通信接口 164可具有与可执行通信的任何标准或可经由网络与外部装置执行通信的任何结构对应的USB端子、发送和接收电路等等的结构。
[0089]成像装置166是包括在效果控制装置100中的成像单元并且发挥执行成像并产生指示拍摄图像的图像数据的成像单元102的作用。成像装置166的例子包括透镜/成像元件和信号处理电路。例如，透镜/成像元件包括光学系统的透镜和在其中使用诸如互补金属氧化物半导体(CMOS)的多个成像元件的图像传感器。例如，信号处理电路包括自动增益控制(AGC)电路或模拟到数字转换器(ADC)并且通过将由成像元件产生的模拟信号转换成数字信号(图像数据)执行各种信号处理。由信号处理电路执行的信号处理的例子包括白平衡校正处理、颜色校正处理、伽马校正处理、YCbCr转换处理和边缘增强处理。
[0090]声音收集装置168是包括在效果控制装置100中的声音收集单元并且发挥产生指示收集的声音的声音信号的声音收集单元104的作用。声音收集装置168的例子包括诸如多个麦克风的装置或者能够产生被构造为指定声音的位置的声音信号的阵列麦克风。
[0091]效果控制装置100例如具有图6所示的结构并且执行关于根据这个实施例的效果控制方法的处理。
[0092]根据这个实施例的效果控制装置100的硬件结构不限于图6中所示的结构。例如，效果控制装置100还可以包括数字信号处理器(DSP)和发挥输出声音的声音输出单元(未示出)的作用的声音输出装置。根据这个实施例的声音输出装置的例子包括放大器和扬声器。
[0093]当由外部成像设备或外部成像装置拍摄的拍摄图像是目标图像时，效果控制装置100可不包括成像装置166。
[0094]例如，当对由外部声音收集设备或外部声音收集装置产生的声音信号执行声音分析处理时或者当向目标图像附加与由通过外部声音收集设备或外部声音收集装置产生的声音信号指示的声音对应的效果时，效果控制装置100可不包括声音收集装置168。
[0095]例如，当效果控制装置100作为单独的装置执行处理时，效果控制装置100可不包括通信接口 164。另外，效果控制装置100可具有不包括操作输入装置160或显示装置162的结构。
[0096]再次参照图5，将描述效果控制装置100的结构的例子。成像单元102执行成像并且产生指示拍摄的图像的图像数据。成像单元102的例子包括透镜/成像元件和信号处理电路。
[0097]声音收集单兀104产生指不收集的声音的声音信号。声音收集单兀104的例子包括诸如多个麦克风的声音收集装置或者能够产生被构造为指定声音的位置的声音信号的阵列麦克风。
[0098]例如，存储单元106存储诸如图像数据(例如，指示没有向其附加效果的图像的数据或指示向其附加了效果的图像的数据)、效果图像数据和应用的各种数据。这里，图5示出了存储单元106存储图像数据A130、图像数据B132等等以及效果图像数据A134、效果图像数据B136等等的例子。
[0099]存储单元106的例子包括诸如硬盘的磁记录介质和诸如闪存的非易失性存储器。存储单元106可以拆卸地安装在效果控制装置100上。[0100]控制单元108例如包括MPU并且发挥控制整个效果控制装置100的作用。另外，控制单元108例如包括声音分析单元120和效果控制单元122并且主动地发挥执行根据这个实施例的声音分析处理和关于根据这个实施例的效果控制方法的处理的作用。
[0101]声音分析单元120主动地发挥执行根据这个实施例的声音分析处理的作用并且由此分析声音信号并且获取表不声音的方向的信息。这里，由声音分析单兀120分析的声音信号的例子包括从声音收集单元104发送的声音信号和由外部声音收集器件或外部声音收集装置产生的声音信号。
[0102]通过由声音分析单兀120分析声音信号获取的表不声音的信息不限于表不声音的方向的信息。例如，声音分析单兀120还可以通过分析声音信号获取表不声音的位置的信息、表不声音的频率的信息和表不音量的信息中的至少一个。
[0103]效果控制单元122主动地发挥执行关于根据这个实施例的效果控制方法的处理的作用并且由此基于表示声音的方向的信息控制向目标图像附加的效果。例如，基于表示声音的方向的信息，效果控制单元122通过组合效果图像与目标图像控制向目标图像附加的效果。
[0104]由效果控制单元122执行的处理不限于基于表示声音的方向的信息向目标图像附加效果的处理。如上所述，根据这个实施例的效果控制装置例如可以执行以上在(I)到(5)中描述的处理作为关于根据这个实施例的效果控制方法的处理。因此，例如，效果控制单兀122可以基于表不声音的方向的信息或者基于表不声音的方向的信息、表不声音的位置的信息、表不声音的频率的信息和表不音量的信息中的至少一个控制向目标图像附加的效果。
[0105]这里，例如，效果控制单元122基于表示声音的信息(例如，从声音分析单元120发送并且指示声音的方向的信息)执行处理。当声音分析单元120对从声音收集单元104发送的声音信号执行根据这个实施例的声音分析处理时，效果控制单元122基于与由从声音收集单兀104发送的声音信号指不的声音对应的表不声音的信息(例如,表不声音的方向的信息)控制向目标图像附加的效果。
[0106]由效果控制单元122在处理中使用的表示声音的信息不限于从声音分析单元120发送的信息。例如，效果控制单元122可以基于从执行根据这个实施例的声音分析处理的外部装置发送的并且由通信单元(未示出)接收的表示声音的信息执行处理。
[0107]例如，效果控制单元122将由从成像单元102发送的成像数据指示的拍摄图像设置成目标图像，然而由效果控制单元122向其附加效果的目标图像不限于以上目标图像。例如，效果控制单元122可以将由存储在存储单元106中的图像数据指示的图像、由存储在例如服务器的外部装置中并且经由通信单元(未示出)获取的图像数据指示的图像、或者由从外部成像器件或外部成像装置获取的成像数据指示的拍摄图像设置为目标图像。
[0108]如上所述,例如，效果控制单兀122基于表不声音的信息(例如,表不声音的方向的信息)组合效果图像与目标图像控制向目标图像附加的效果。
[0109]由效果控制单元122执行的处理不限于上述处理。
[0110]例如，效果控制单元122还可以执行在显示屏幕上显示通过组合效果图像与目标图像获得的图像的显示控制处理。这里，由效果控制单元122显示通过组合效果图像与目标图像获得的图像的显示屏幕的例子包括外部显示装置的显示屏幕和显示单元(下面描述)的显示屏幕(当该显示单元(下面描述)被包括在根据这个实施例的效果控制装置中时)。
[0111]当在外部显示装置的显示屏幕上显示通过组合效果图像与目标图像获得的图像时，例如，效果控制单元122通过经由通信单元(未示出)向外部显示装置发送指示组合的图像的图像数据(或者指示组合的图像的模拟信号)和用于执行关于外部显示装置上的显示的处理的处理命令在显示屏幕上显示组合的图像。当通过组合效果图像与目标图像获得的图像在显示单元(下面描述)的显示屏幕上进行显示时，例如，效果控制单元122通过向显示单元(未示出)发送指示组合的图像的图像数据(或者指示组合的图像的模拟信号)在显示屏幕上显示组合图像。
[0112]效果控制单元122还可以执行在记录介质中存储指示通过组合效果图像与目标图像获得的图像的图像数据的记录控制处理。通过在记录介质中存储通过组合效果图像与目标图像获得并且是声音被视觉化的图像的图像，比声音被视觉化的图像更加具有临场感的图像存储在记录介质中。另外，由效果控制单元122在记录介质中存储的图像数据的例子可以包括指示与表示声音的信息对应的声音并且用于关于由效果控制单元122执行的根据这个实施例的效果控制方法的处理的声音信号。
[0113]这里，由效果控制单元122记录指示通过组合效果图像与目标图像获得的图像的图像数据的记录介质的例子包括存储单元106、在其中可由效果控制装置写入数据的外部记录介质、和例如能够与效果控制装置执行通信的服务器的外部装置。当在外部记录介质或例如服务器的外部装置中记录指示通过组合效果图像与目标图像获得的图像的图像数据时，通过经由通信单元(未示出)发送指示组合的图像的图像数据(或者指示组合的图像的模拟信号)和用于使得外部记录介质或外部装置执行关于记录到外部记录介质或外部装置的处理的处理命令在外部记录介质或外部装置中存储指示组合的图像的图像数据。
[0114]例如,控制单元108包括声音分析单元120和效果控制单元122,并且由此主动地履行根据这个实施例的声音分析处理和关于根据这个实施例的效果控制方法的处理。
[0115]根据这个实施例的控制单元的结构不限于图5中所示的结构。例如，根据这个实施例的控制单元可以不包括声音分析单元120。即使当控制单元没有包括声音分析单元120时，效果控制单元122可以基于由通信单元(未示出)接收并且从执行根据这个实施例的声音分析处理的外部装置发送的表示声音的信息执行关于根据这个实施例的效果控制方法的处理。
[0116]由于效果控制装置100例如具有图5所示的结构，所以效果控制装置100执行关于根据这个实施例的效果控制方法的处理。因此，由于效果控制装置100例如具有图5所示的结构，所以效果控制装置100可以向目标图像附加基于声音的效果。
[0117]根据这个实施例的效果控制装置的结构不限于图5中所示的结构。例如，根据这个实施例的效果控制装置可以独立地包括形成根据这个实施例的控制单元的声音分析单元120和效果控制单元122之一或二者(例如，各自由独立处理电路进行实现)。
[0118]例如，根据这个实施例的效果控制装置可以不包括如上所述的声音分析单元120。即使当效果控制装置没有包括声音分析单元120时，例如，根据这个实施例的效果控制装置可以基于由通信单元(未示出)接收并且从执行根据这个实施例的声音分析处理的外部装置发送的表示声音的信息执行关于根据这个实施例的效果控制方法的处理。
[0119]例如，根据这个实施例的效果控制装置可以不包括成像单元102。即使当效果控制装置没有包括例如如上所述的成像单元102时，根据这个实施例的效果控制装置可以对由存储在存储单元106中的图像数据指示的图像、由存储在例如服务器的外部装置中的获取的图像数据指示的图像、或者作为目标图像的由从外部成像器件或外部装置获取的成像数据指示的拍摄图像执行关于根据这个实施例的效果控制方法的处理。
[0120]例如，根据这个实施例的效果控制装置可以不包括声音收集单元104。即使当效果控制装置没有包括例如如上所述的声音收集单元104时，根据这个实施例的效果控制装置可以对作为处理目标的由外部声音收集器件或外部声音装置产生的声音信号执行根据这个实施例的声音分析处理。
[0121]例如，根据这个实施例的效果控制装置可以包括显示单元(未示出)。当效果控制装置包括显示单元(未示出)时，例如，根据这个实施例的效果控制装置可以在显示单元(未示出)的显示屏幕上显示由效果控制单元122组合的图像。
[0122]例如，根据这个实施例的效果控制装置可以包括能够输出声音的声音输出单元(未示出)。
[0123]因此，例如，根据这个实施例的效果控制装置基于表示声音的方向的信息或者基于表不声音的方向的信息、表不声音的位置的信息、指不声音的频率的信息和表不音量的信息中的至少一个控制向目标图像附加的效果作为关于根据这个实施例的效果控制方法的处理。
[0124]因此，根据这个实施例的效果控制装置可以向目标图像附加基于声音的图像。
[0125]由于根据这个实施例的效果控制装置基于表不声音的信息(例如，表不声音的方向的信息)向目标图像附加效果，所以观看向其附加了效果的目标图像的用户能够以视觉方式识别“声音的方向”或者“声音的方向、声音的位置、声音的音调(或声音的频率)和声音的幅度(音量)”中的至少一个。
[0126]由于根据这个实施例的效果控制装置向目标图像附加基于声音的效果，即在图像上叠加表示声音的信息，所以观看向其附加了效果的目标图像的用户能够感觉比仅由声音提供仅表不声首的/[目息的体验更加具有临场感的体验。
[0127]如上所述，已经描述了根据这个实施例的效果控制装置，然而这个实施例不限于上述形式。例如，该实施例可以应用于能够图像的各种装置，诸如例如数字相机或数字视频相机的成像装置、例如便携式电话或智能电话的通信装置、视频/音乐再现装置(或者视频/音乐记录再现装置)、例如个人计算机(PC)或服务器的计算机、以及例如电视接收器的显示装置。例如，该实施例还可以应用到可以嵌入在上述装置中的处理集成电路(1C)。
[0128]假设连接到例如云计算的网络(或者装置之间的通信)，根据这个实施例的声音分析处理和关于根据这个实施例的效果控制方法的处理可由包括多个装置的效果控制系统进行实现。
[0129](根据实施例的程序)
[0130]通过使得计算机执行使得计算机发挥根据这个实施例的效果控制装置的作用的程序(例如，可以执行关于根据这个实施例的效果控制方法的处理的程序)可以向目标图像附加基于声音的效果。
[0131]本领域技术人员应该明白，可以根据设计要求和其它因素进行各种变型、组合、子组合和替代，只要它们位于权利要求及其等价的范围内即可。[0132]例如，已经提供了使得计算机发挥根据这个实施例的效果控制装置的作用的程序(计算机程序)，然而在这个实施例中还可以提供存储程序的记录介质。
[0133]上述的结构仅仅是这个实施例的例子并且自然属于本发明的技术范围。
[0134]此外，本发明还可以进行如下构造:
[0135](I)、一种效果控制装置，包括:
[0136]效果控制单元，基于表示声音的方向的信息控制向目标图像附加的效果。
[0137](2)、根据(I)的效果控制装置，其中，效果控制单元向目标图像附加基于由表示声音的方向的信息指示的声音的方向的效果。
[0138](3)、根据(I)或(2)的效果控制装置，其中，效果控制单元向目标图像附加预定形式的效果。
[0139](4)、根据(3)的效果控制装置,其中，基于与表不声音的方向的信息对应的表不声音的类别的类别信息，效果控制单元向目标图像附加与由类别信息指示的声音的类别对应的形式的效果。
[0140](5)、根据(I)- (4)中任一项的效果控制装置，其中，效果控制单元还基于表示声音的位置的信息控制向目标图像附加的效果。
[0141](6)、根据(5)的效果控制装置，其中，效果控制单元向位于目标图像中并且与由表示声音的位置的信息指示的声音的位置对应的位置附加效果。
[0142](7)、根据(I)- (6)中任一项的效果控制装置，其中，效果控制单元还基于表示音量的信息控制向目标图像附加的效果。
[0143](8)、根据(7)的效果控制装置，其中，效果控制单元向目标图像附加与由表示音量的信息指示的音量对应的大小的效果。
[0144](9)、根据(I) - (8)任一项的效果控制装置，其中，效果控制单元还基于表示声音的频率的信息控制向目标图像附加的效果。
[0145](10)、根据(9)的效果控制装置，其中，效果控制单元向目标图像附加与由表示声音的频率的信息指示的声音的每个频率对应的颜色的效果。
[0146](I I)、根据(I) - (10)任一项的效果控制装置，还包括:
[0147]声音分析单兀，通过分析声音信号获取表不声音的方向的信息。
[0148](12)、根据(I) - (11)的效果控制装置，还包括:
[0149]声音收集单元，产生指示所收集的声音的声音信号，
[0150]其中，效果控制单兀基于表不与由声音信号指不的声音对应的声音的方向的信息控制向目标图像附加的效果。
[0151](13)、一种效果控制方法，包括:
[0152]基于表不声音的方向的信息控制向目标图像附加的效果。
[0153](14)、一种使得计算机执行如下操作的程序，
[0154]基于表不声音的方向的信息控制向目标图像附加的效果。
[0155]本发明包含2012年6月13日提交至日本专利局的日本优先权专利申请JP2012-133787中公开的主题内容，其全部内容通过引用包含于此。
【权利要求】
1.一种效果控制装置，包括: 效果控制单元，基于表示声音的方向的信息控制向目标图像附加的效果。
2.根据权利要求1所述的效果控制装置，其中，效果控制单元向目标图像附加基于由表不声音的方向的信息指不的声音的方向的效果。
3.根据权利要求1所述的效果控制装置，其中，效果控制单元向目标图像附加预定形式的效果。
4.根据权利要求3所述的效果控制装置,其中，基于与表不声音的方向的信息对应的表示声音的类别的类别信息，效果控制单元向目标图像附加与由类别信息指示的声音的类别对应的形式的效果。
5.根据权利要求1所述的效果控制装置，其中，效果控制单元还基于表示声音的位置的信息控制向目标图像附加的效果。
6.根据权利要求5所述的效果控制装置，其中，效果控制单元向位于目标图像中并且与由表示声音的位置的信息指示的声音的位置对应的位置附加效果。
7.根据权利要求1所述的效果控制装置，其中，效果控制单元还基于表示音量的信息控制向目标图像附加的效果。
8.根据权利要求7所述的效果控制装置，其中，效果控制单元向目标图像附加与由表示音量的信息指示的音量对应的大小的效果。
9.根据权利要求1所述的效果控制装置，其中，效果控制单元还基于表示声音的频率的信息控制向目标图像附加的效果。
10.根据权利要求9所述的效果控制装置，其中，效果控制单元向目标图像附加与由表示声音的频率的信息指示的声音的每个频率对应的颜色的效果。
11.根据权利要求1所述的效果控制装置，还包括: 声音分析单元，通过分析声音信号获取表示声音的方向的信息。
12.根据权利要求1所述的效果控制装置，还包括: 声音收集单元，产生指示所收集的声音的声音信号， 其中，效果控制单元基于表示与由声音信号指示的声音对应的声音的方向的信息控制向目标图像附加的效果。
13.一种效果控制方法，包括: 基于表示声音的方向的信息控制向目标图像附加的效果。
14.一种使得计算机执行如下操作的程序， 基于表示声音的方向的信息控制向目标图像附加的效果。
【文档编号】H04S7/00GK103489464SQ201310220102
【公开日】2014年1月1日 申请日期:2013年6月5日 优先权日:2012年6月13日
【发明者】中山大辅, 岗田智成 申请人:索尼公司