图像处理系统、图像处理方法和图像发送装置与流程

相关申请的交叉引用

本申请基于并且要求于2016年4月18日提交的日本专利申请第2016-082725号的优先权，其公开内容通过引用整体并入本文。

背景技术：

本发明涉及图像处理系统、图像处理方法和图像发送装置，并且涉及例如用于发送和接收图像数据的图像处理系统、图像处理方法和图像发送装置。

近年来，网络摄像机的分辨率不断提高，并且安装的网络摄像机的数目不断增加。由网络摄像机捕获的视频数据经由网络被发送至视频再现装置等。例如，日本未审查专利申请公开第2001-320707号作为关于图像传输系统的技术是已知的。

日本未审查专利申请公开第2001-320707号公开了一种技术，其用于提取已经被拍摄的连续图像之间的差异，以及发送通过压缩该差异(变化区域)的图像分量作为第二图像数据而获得的压缩图像、以及该差异的位置信息。

技术实现要素：

根据在上述日本未审查专利申请公开第2001-320707号中公开的技术，使用在时间轴上的帧与随后帧之间的差异。然而，数据量可能局部增加。在最坏的情况下，与原始信息量相比，信息量可能不会减少。因此，发送/接收装置需要具有能够应对这种最坏情况的配置。因此，在日本未审查专利申请公开第2001-320707号中公开的技术可能不一定导致系统有效。

根据说明书和附图的描述，将使得相关技术的其他问题和本发明的新颖特性变得明显。

根据一个实施例，一种图像处理系统发送通过减小输入图像的大小而获得的减小的图像和当减小的图像被放大至输入图像的大小时在与输入图像的差异成为最小的情况下的放大参数。

根据本实施例，可以稳定地减少图像数据的量。

附图说明

从以下结合附图对某些实施例的描述中，上述和其他方面、优点和特征将更加明显，在附图中：

图1是示出根据第一实施例的图像处理系统的配置的框图；

图2是用于描述根据第一实施例的图像发送处理的流程的流程图；

图3是用于描述根据第一实施例的图像接收处理的流程的流程图；

图4是示出根据第一实施例的图像发送装置的配置的框图；

图5是示出根据第一实施例的图像接收装置的配置的框图；

图6是用于描述根据第一实施例的图像处理系统的概念的图；

图7是用于描述在使用根据示例1-1的超分辨率处理时的图像处理系统的概念的图；

图8是用于描述在使用根据示例1-2的小波变换处理时的图像处理系统的概念的图；

图9是示出根据第二实施例的图像发送装置的配置的框图；

图10是用于描述第二实施例的状态信息接受处理的流程的流程图；

图11是示出根据第二实施例的图像接收装置的配置的框图；

图12是示出根据第三实施例的图像发送装置的配置的框图；

图13是示出根据第三实施例的图像接收装置的配置的框图；

图14是示出根据第四实施例的图像发送装置的配置的框图；

图15是示出根据第四实施例的图像接收装置的配置的框图；以及

图16是示出根据第五实施例的图像发送装置的配置的框图。

具体实施方式

以下将参照附图描述已经应用了用于解决上述问题的手段的具体实施例。在整个附图中，相同的元件由相同的参考编号表示，并且根据需要省略了重复的描述。

在下面的实施例中，当必要时，将通过使用单独的部分或单独的实施例来给出描述。然而，除非另有规定，否则这些实施例并非彼此不相关。也就是说，它们以如下方式相关：一个实施例是另一实施例的一部分或全部的修改示例、应用示例、详细示例或补充示例。此外，在以下实施例中，当提及元件数目等(包括数字、值、数量、范围等)时，除了数目被明确地指定或者数目基于其原理明显地限于特定数目的情况之外，数目不限于该特定数目。也就是说，也可以使用比特定数目更大或更小的数目。

此外，在以下实施例中，除了部件被明确地指定或者部件根据其原理明显地不可缺少的情况之外，部件(包括操作步骤等)不一定是不可缺少的。类似地，在以下实施例中，当提及部件等的形状、位置关系等时，与该形状基本相似或类似的形状等也包括在该形状中，除了其被明确地指定或者它们基于其原理而消除的情况之外。这对于上述数目等(包括数字、值、数量、范围等)也是如此。

<第一实施例>

首先，将描述第一实施例的基本配置。

图1是示出根据第一实施例的图像处理系统1000的配置的框图。图像处理系统1000包括图像发送装置1和图像接收装置2。输入图像d1是被包括在由高分辨率网络摄像机等捕获的视频数据中的图像数据。图像发送装置1和图像接收装置2经由网络线路等来相互连接。

图像发送装置1至少包括图像减小单元11、确定单元12和发送单元13。图像减小单元11减小输入图像d1的大小以生成减小的图像。“减小大小”表示减小图像数据的分辨率或减少像素的数目。因此，减小的图像也是在压缩编码之前的图像数据和数据。因此，“减小大小”不限于去除输入图像d1的像素，并且图像的像素数目最终减少就足够了。也就是说，多个现有像素可以被一个新像素替换。因此，用于“减小大小”的处理包括例如(1)简单地去除像素，诸如将图像的大小减小1/整数，(2)小波变换，(3)双线性处理(将大小减小1/1.5)，和(4)双三次处理。据此，减小的图像的数据量变得小于输入图像d1的数据量。

当减小的图像被放大至输入图像d1的大小时，确定单元12确定在与输入图像d1的差异成为最小的情况下的放大参数。发送单元13将减小的图像和放大参数发送至图像接收装置2。

图像接收装置2包括接收单元21和图像恢复单元22。接收单元21从图像发送装置1接收减小的图像和放大参数。接收单元21可以将已经接收到的减小的图像和放大参数以使得它们彼此相关联的方式存储在存储装置(未示出)中。图像恢复单元22使用放大参数放大减小的图像以生成恢复的图像d4。图像接收装置2能够将恢复的图像d4输出至显示器(未示出)等，以在显示器上显示恢复的图像d4。

图2是用于描述根据第一实施例的图像发送处理的流程的流程图。首先，图像发送装置1的图像减小单元11减小输入图像d1的大小以生成减小的图像(s11)。接下来，图像发送装置1将减小的图像放大至输入图像d1的原始大小(s12)。当减小的图像被放大至输入图像d1的大小时，图像发送装置1的确定单元12确定在与输入图像d1的差异成为最小的情况下的放大参数(s13)。然后，图像发送装置1的发送单元13将减小的图像和放大参数发送至图像接收装置2(s14)。

图3是用于描述根据第一实施例的图像接收处理的流程的流程图。图像接收装置2的接收单元21从图像发送装置1接收减小的图像和放大参数(s15)。接下来，图像接收装置2的图像恢复单元22使用放大参数放大减小的图像以生成恢复的图像d4(s16)。

如上所述，在第一实施例中，用大小较小的图像数据替换大小较大的视频数据，并且发送非图像数据(放大参数等)和替换后的数据。特别地，输入图像d1的分辨率或像素数目减少，从而能够稳定地抑制要发送的数据量，而不管图像的内容如何。因此，能够防止数据量的局部增加，这是日本未审查专利申请公开第2001-320707号的问题，并且能够稳定地减少图像数据的量。然后，通过减小发送侧的输入图像d1的竖直和水平大小(像素数目)，与输入图像d1(或其编码数据)的数据大小相比，要发送的图像数据(减小的图像或其编码数据)的大小可以大大地减小。也就是说，能够稳定地实现高压缩效率。

当减小的图像在图像发送装置1中被放大至原始大小时，确定在与输入图像d1的差异成为最小的情况下的放大参数，并且将放大参数发送至图像接收装置2。因此，在图像接收装置2的图像恢复单元22中，能够使用已经接收的放大参数来恢复减小的图像，大小等于原始大小并且包括接近输入图像d1的内容的内容。

接下来，将描述第一实施例的更具体的配置。

图4是示出根据第一实施例的图像发送装置100的配置的框图。图像发送装置100是上述图像发送装置1的一个示例。图像发送装置100包括图像减小单元110、编码器120、解码器130、图像放大处理单元140、比较/确定单元150、图像处理参数生成单元160和发送数据生成单元170。图像减小单元110减小输入图像d1的大小以生成减小的图像。编码器120对减小的图像进行编码作为压缩处理，以生成编码数据d21。解码器130对编码数据d21进行解码以生成解码数据。编码器120中的编码方法和解码器130中的解码方法可以是已知的。例如，可以使用作为关于视频数据的标准的h.26x。

图像放大处理单元140使用预定的放大参数来放大解码数据以产生放大图像。放大处理可以是例如将在后面描述的超分辨率处理等。然而，放大处理不限于此。比较/确定单元150将输入图像d1与放大图像进行比较以确定差异。当差异在预定范围内时，图像处理参数生成单元160将在图像放大处理单元140中使用的放大参数作为参数d22输出至发送数据生成单元170。另一方面，当差异在预定范围之外时，图像处理参数生成单元160指令图像放大处理单元140调节放大参数，并且图像放大处理单元140使用已经调节的放大参数再次执行放大处理。也就是说，当解码数据(对应于减小的图像)被图像放大处理单元140放大至输入图像d1的原始大小时，比较/确定单元150确定在与输入图像d1的差异成为最小的情况下的放大参数。发送数据生成单元170将编码数据d21和参数d22作为发送数据d2发送至稍后将描述的图像接收装置。发送数据生成单元170可以单独地发送编码数据d21和参数d22。

图5是示出根据第一实施例的图像接收装置200的配置的框图。图像接收装置200是上述图像接收装置2的一个示例。图像接收装置200包括解码器210和图像放大处理单元220。由图像接收装置200接收的接收数据d3等同于上述发送数据d2，并且包括编码数据d31和参数d32。

解码器210对编码数据d31进行解码以生成解码数据。图像放大处理单元220使用参数d32放大解码数据以生成恢复的图像d4。

图6是用于描述根据第一实施例的图像处理系统1000的概念的图。在图像处理系统1000中，图像发送装置1接收由摄像机3拍摄的高分辨率输入图像d1。输入图像d1具有例如4k2k的分辨率。然后，图像发送装置1将输入图像d1的大小减小1/2以生成fhd(全高清晰度)减小的图像，并且进一步将fhd图像大小减小1/2以生成hd(高清晰度)减小的图像。之后，图像发送装置1根据h.26x对hd减小的图像进行编码，以生成编码数据d21。图像发送装置1将编码数据d21发送至图像接收装置2，并且根据h.26x对编码数据d21进行解码，以将获得的数据转换为图像数据。转换后的所得到的图像数据的大小是输入图像d1的大小的1/4。然后，图像发送装置1执行图像放大处理，以使转换后的图像数据的大小成为四倍，并且通过比较它们来获得放大后的图像数据和输入图像d1之间的差异。在图像放大处理中，使用预定的图像处理参数(放大参数)。然后，调节参数以使差异最小化，并且重复图像放大处理。在图像放大处理被重复预定次数之后，选择在差异成为最小的情况下的参数d22，并且将参数d22发送至图像接收装置2。

图像接收装置2将已经接收到的编码数据d21和参数d22存储在存储装置5中。此外，图像接收装置2根据h.26x对编码数据d21进行解码，并且使用已经接收到的参数d22对解码数据执行图像放大处理以将其大小成为四倍从而生成恢复的图像d4。恢复的图像d4的分辨率为类似于输入图像d1的分辨率4k2k。在该示例中，图像接收装置2进一步将恢复的图像d4的大小减小到fhd大小，并且将减小的图像输出至显示器4，以在显示器4上显示所得到的图像。因此，能够减少图像发送装置1和图像接收装置2之间的网络的负载，并且减少要存储在存储装置5中的数据量。

作为上述图像放大处理，可以使用超分辨率处理。也就是说，图像发送装置和图像接收装置通过对减小的图像执行超分辨率处理来放大减小的图像，并且确定单元可以优选地确定在超分辨率处理的结果与输入图像之间的差异成为最小的情况下的超分辨率处理的参数作为放大参数。因此，能够提高用于放大减小的图像的处理的精度。

图7是用于描述当在第一实施例中使用超分辨率处理时图像处理系统1000a的概念的图。图像处理系统1000a包括图像发送装置1a和图像接收装置2a。图像发送装置1a将输入图像d1的大小减小1/4，根据h.26x对所获得的图像进行编码，并且生成编码数据d21a，这与图像发送装置1类似。之后，图像发送装置1a针对通过对符合h.26x的编码数据d21a进行解码而获得的解码数据，生成4k2k超分辨率图像，其大小通过超分辨率处理而与输入图像d1的大小相同。然后，根据与输入图像d1的差异，获得在图像差异成为最小的情况下的超分辨率参数。然后，图像发送装置1a将已经获得的超分辨率参数d22a和编码数据d21a发送至图像接收装置2a。图像接收装置2a根据h.26x对已经接收到的编码数据d21a进行解码，使用已经接收到的超分辨率参数d22a对解码结果执行超分辨率处理，并且生成4k2k的恢复的图像d4。然后，图像接收装置2a将恢复的图像d4输出至显示器4。如上所述，通过使用超分辨率处理，能够大大减少网络中的通信量。

作为上述图像放大处理，可以使用逆小波变换处理来代替超分辨率处理。在这种情况下，使用小波变换处理作为用于减小输入图像d1的处理。图8是用于描述当在第一实施例中使用小波变换处理时图像处理系统1000b的概念的图。图像处理系统1000b包括图像发送装置1b和图像接收装置2b。图像发送装置1b对输入图像d1执行小波变换处理，以将输入图像d1的大小减小1/4。在这种情况下，类似于jpeg2000中的处理，可以有效地消除高频信息。然后，图像发送装置1b根据h.26x对减小的图像的ll分量进行编码，以生成编码数据d21b。之后，图像发送装置1b对通过对符合h.26x的编码数据d21b进行解码而获得的解码数据执行逆小波变换处理，以生成大小与输入图像d1的大小相同的4k2k超分辨率图像。然后，根据与输入图像d1的差异，执行用于消除hh、hl和lh分量的阈值调节，以使图像差异最小。然后，图像发送装置1b选择在图像差异成为最小的情况下的小波参数d22b，并且将所选择的参数发送至图像接收装置2b。同时，图像发送装置1b将编码数据d21b发送至图像接收装置2b。图像接收装置2b根据h.26x对已经接收到的编码数据d21b进行解码，并且使用已经接收到的小波参数d22b对解码结果执行逆小波变换处理，从而生成4k2k的恢复的图像d4。然后，图像接收装置2b将恢复的图像d4输出至显示器4。如上所述，通过使用小波变换处理，也能够大大地减少网络中的通信量。

除了放大参数之外，根据本实施例的图像发送装置还可以向图像接收装置发送用于减小输入图像d1的大小的减小参数，诸如减小率。在这种情况下，图像接收装置还使用已经接收到的减小参数来执行用于放大减小的图像的处理。

如上所述，在第一实施例中，在压缩编码之前的图像数据大小(分辨率或像素值)被减小。因此，在压缩编码之后的数据量变得比在执行通常压缩编码处理时的数据量小得多。虽然除了图像数据之外还将放大参数添加到发送数据，但是与图像数据的大小相比，放大参数的数据的大小可以忽略不计。因此，可以减少要传送的数据量，并且还可以减少在接收侧存储压缩图像数据所需的存储装置的容量。此外，在接收侧，通过使用放大参数执行放大处理，可以实现高恢复率，从而通过保持相同的减小的图像(或其编码数据)，能够完成对即使分辨率低用于监督监测的灵活数据的获得，以及完成对用于分析要求高分辨率的数据的细节的数据的获得。

<第二实施例>

第二实施例是上述第一实施例的修改示例。也就是说，根据第二实施例的图像发送装置还包括从图像接收装置接受关于对减小的图像的处理的状态信息的状态信息接受单元，并且图像减小单元根据状态信息使用减小参数来减小输入图像以生成减小的图像。状态信息例如是指示由图像接收装置测量的网络的负载的信息、关于图像接收装置中的存储装置的容量的信息、以及关于对存储装置的访问速度的信息。指示网络负载的信息例如是从图像发送装置发送至图像接收装置的数据的实际传输速度或所需的数据传输速率。此外，关于存储装置的容量的信息包括例如正在使用的存储装置中的数据容量、存储装置中可用的数据容量、存储装置的使用率等。此外，关于访问存储装置的速度的信息例如是接收到的数据被写入存储装置的速度的测量值或期望值。

根据第二实施例，当存储装置中存在足够的空间时，或者当正在使用的网络的量较小时，减小率可以被减小，即，可以使减小的图像的大小大于第一实施例的大小，由此能够将恢复的图像的质量保持为高。

图9是示出根据第二实施例的图像发送装置100a的配置的框图。图像发送装置100a包括减小处理系统101和102、状态信息接受单元180、切换单元181和发送数据生成单元171。状态信息接受单元180从稍后描述的图像接收装置200a接受状态信息d5并且从状态信息d5中提取例如选择信号d51和减小率d23。例如，当状态信息d5中包括选择信号d51和减小率d23时，状态信息接受单元180可以从状态信息d5中提取选择信号d51和减小率d23。可替代地，例如，对于多种类型的状态信息d5中的每一种，选择信号d51和减小率d23的组合可以以使得它们彼此相关联的方式存储在存储装置等中。在这种情况下，状态信息接受单元180根据已经接受的状态信息d5来从存储装置指定并读出选择信号d51和减小率d23的组合。之后，状态信息接受单元180将选择信号d51输出至切换单元181，并且将减小率d23输出至发送数据生成单元171。

减小处理系统101包括图像减小单元111、编码器121、解码器131、图像放大处理单元141、比较/确定单元151和图像处理参数生成单元161。图像减小单元111生成通过将输入图像d1的大小减小1/2获得的减小的图像。此外，图像放大处理单元141将从解码器获得的数据的大小加倍，以执行预定的图像放大处理。此外，编码器121、解码器131、比较/确定单元151和图像处理参数生成单元161等效于上述的编码器120、解码器130、比较/确定单元150和图像处理参数生成单元160。

减小处理系统102包括图像减小单元112、编码器122、解码器132、图像放大处理单元142、比较/确定单元152和图像处理参数生成单元162。图像减小单元112生成具有输入图像d1的1/4的大小的减小的图像。此外，图像放大处理单元142将从解码器获得的数据的大小成为四倍，以执行预定的图像放大处理。此外，编码器122、解码器132、比较/确定单元152和图像处理参数生成单元162等效于上述的编码器120、解码器130、比较/确定单元150和图像处理参数生成单元160。

切换单元181根据选择信号d51选择来自减小处理系统101和102的输出之一。具体地，当选择信号d51指示减小处理系统101的选择时，切换单元181选择从编码器121输出的编码数据d21和从图像处理参数生成单元161输出的参数d221，并且将编码数据d21和参数d221输出至发送数据生成单元171。此外，当选择信号d51指示减小处理系统102的选择时，切换单元181选择从编码器122输出的编码数据d21和从图像处理参数生成单元162输出的参数d222，并且将编码数据d21和参数d222输出至发送数据生成单元171。

发送数据生成单元171生成包括编码数据d21、参数d221或d222以及减小率d23的发送数据d2a，并且将生成的数据发送至图像接收装置200a。发送数据生成单元171可以单独地发送编码数据d21、参数d221或d222以及减小率d23中的一部分或全部。

图10是用于描述根据第二实施例的状态信息接受处理的流程的流程图。首先，状态信息接受单元180从图像接收装置200a接收状态信息d5(s21)。状态信息接受单元180从状态信息d5中提取例如选择信号d51和减小率d23，如上所述。接下来，状态信息接受单元180将选择信号d51输出至切换单元181从而选择减小处理系统101和102之一(s22)。此外，状态信息接受单元180将减小率d23输出至发送数据生成单元171(s23)。

图11是示出根据第二实施例的图像接收装置200a的配置的框图。图像接收装置200a包括放大处理系统201和202以及切换单元230。接收数据d3a等效于上述发送数据d2a，并且包括编码数据d311(和d312)、参数d321(和d322)和减小率d33。

图像接收装置200a将包括在接收数据d3a中的减小率d33输出至切换单元230。切换单元230基于减小率d33切换到放大处理系统201和放大处理系统202中的一个。当减小率d33指示例如减小率1/2时，切换单元230切换到放大处理系统201。当减小率d33指示减小率1/4时，切换单元230切换到放大处理系统202。

放大处理系统201包括解码器211和图像放大处理单元221。解码器211对编码数据d311进行解码。图像放大处理单元221执行图像放大处理，其中放大率是对使用参数d321的解码结果的两倍。

此外，放大处理系统202包括解码器212和图像放大处理单元222。解码器212对编码数据d312进行解码。图像放大处理单元222执行图像放大处理，其中放大率是对使用参数d322的解码结果的四倍。因此，来自图像接收装置200a的输出成为来自图像放大处理单元221或222的恢复的图像d4。

<第三实施例>

第三实施例是上述第一实施例的修改示例。也就是说，根据第三实施例的图像发送装置还包括图像放大处理单元，图像放大处理单元执行彼此不同的多个图像放大处理，以将减小的图像的大小放大至输入图像的大小。确定单元选择其中多个相应图像放大处理的放大结果与输入图像之间的差异成为最小的图像放大处理，并且将所选择的图像放大处理确定作为放大参数。图像恢复单元通过被确定为放大参数的图像放大处理来放大减小的图像，以生成恢复的图像。因此，不需要执行用于重复地获得图像处理算法的最佳参数的处理，并且变得能够在硬件上实现整体处理。还能够提高处理的速度。

图12是示出根据第三实施例的图像发送装置100b的配置的框图。图像发送装置100b包括图像减小单元110、编码器120、解码器130、图像处理管道143、144和145、比较/确定单元150a和发送数据生成单元172。图像减小单元110、编码器120和解码器130与图4所示的相同。

在图像处理管道143至145中实现彼此不同的图像放大处理的算法。图像处理管道143至145能够并行处理来自解码器130的输出。然后，比较/确定单元150a将图像处理管道143、图像处理管道144和图像处理管道145中的处理结果与输入图像d1进行比较，选择其中差异成为最小的图像放大处理，并且将所选择的图像放大处理作为管道编号d24输出至发送数据生成单元172。当选择图像处理管143时，例如，管道编号d24被设置为但不限于诸如“1”等数值。管道编号d24是放大参数的一个示例。发送数据生成单元172将编码数据d21和管道编号d24作为发送数据d2b发送至图像接收装置。

图13是示出根据第三实施例的图像接收装置200b的配置的框图。图像接收装置200b包括解码器210、图像处理管道223、224和225以及切换单元240。接收数据d3b等效于上述发送数据d2b，并且包括编码数据d31和管道编号d34。此外，在图像处理管道223至225中实现的图像放大处理的算法分别对应于上述图像处理管道143至145。

解码器210对编码数据d31进行解码。切换单元240基于管道编号d34切换到图像处理管道223至225之一。当管道编号d34指示“2”时，切换单元240切换到图像处理管道224。图像处理管道223至225中已经由切换单元240切换的管道基于已经实施的图像放大处理算法来对作为来自解码器210的输出的解码结果执行处理，并且生成恢复的图像d4。

<第四实施例>

第四实施例是上述第二和第三实施例的修改示例。第四实施例例如通过组合第二和第三实施例并且修改组合模式来获得。因此，可以调节减小率和放大参数两者，并且可以执行精细控制。

图14是示出根据第四实施例的图像发送装置100c的配置的框图。图像发送装置100c包括减小处理系统103和104、状态信息接受单元180、切换单元181和发送数据生成单元173。状态信息接受单元180与图9所示的相同。

减小处理系统103包括图像减小单元111、编码器121、解码器131、图像处理管道1411和1412以及比较/确定单元153。图像减小单元111、编码器121和解码器131与图9所示的相同。在图像处理管道1411和1412中实现彼此不同的图像放大处理的算法。图像处理管道1411和1412能够并行处理来自解码器131的输出。图像处理管道1411和1412的数目可以是三个或更多个。比较/确定单元153将图像处理管道1411和1412中的处理结果与输入图像d1进行比较，选择其中差异成为最小的图像放大处理，并且将所选择的图像放大处理作为管道编号d241输出至发送数据生成单元173。

减小处理系统104包括图像减小单元112、编码器122、解码器132、图像处理管道1421和1422以及比较/确定单元154。图像减小单元112、编码器122和解码器132与图9所示的相同。此外，与上述图像处理管道1411和1412相对应的图像放大处理的算法分别实施在图像处理管道1421和1422中。图像处理管道1421和1422能够并行处理来自解码器132的输出。图像处理管道1421和1422的数目与减小处理系统103中的图像处理管道的数目相同就足够了，并且可以是三个或更多个。比较/确定单元154将图像处理管道1421和1422中的处理结果与输入图像d1进行比较，选择其中差异成为最小的图像放大处理，并且将所选择的图像放大处理作为管道编号d242输出至发送数据生成单元173。

切换单元181根据选择信号d51选择减小处理系统103和104的输出之一。发送数据生成单元173生成包括编码数据d21、管道编号d241或d242、和减小率d23的发送数据d2c，并且将生成的数据发送至图像接收装置200c。发送数据生成单元173可以单独地发送编码数据d21、管道编号d241或d242、和减小率d23中的一部分或全部。

图15是示出根据第四实施例的图像接收装置200c的配置的框图。图像接收装置200c包括放大处理系统203和204以及切换单元230。接收数据d3c等同于上述发送数据d2c，并且包括编码数据d311(和d312)、减小率d33和管道编号d34。

图像接收装置200c将包括在接收数据d3c中的减小率d33输出至切换单元230，并且向切换单元241和242输出管道编号d34。虽然管道编号d34在图15中仅被输入至切换单元241，但是切换单元241和242彼此关联地切换。切换单元230基于减小率d33来切换到放大处理系统203和放大处理系统204中的一个。

放大处理系统203包括解码器211、切换单元241以及图像处理管道2211和2212。解码器211对编码数据d311进行解码。切换单元241基于管道编号d34切换到图像处理管道2211和2212中的一个。此外，在图像处理管道2211和2212中实施的图像放大处理的算法分别对应于上述图像处理管道1411和1412。图像处理管道2211和2212执行其中放大率为两倍的图像放大处理。换句话说，切换单元241以及图像处理管道2211和2212基于管道编号d34执行其中放大率为两倍的图像放大处理。

放大处理系统204包括解码器212、切换单元242以及图像处理管道2221和2222。解码器212对编码数据d312进行解码。与切换单元241类似，切换单元242基于管道编号d34切换到图像处理管道2221和2222中的一个。此外，在图像处理管道2221和2222中实施的图像放大处理的算法分别对应于上述图像处理管道1421和1422。图像处理管道2221和2222执行其中放大率为四倍的图像放大处理。换句话说，切换单元242以及图像处理管道2221和2222基于管道编号d34执行其中放大率为四倍的图像放大处理。因此，来自图像接收装置200c的输出成为来自图像处理管2211、2212、2221和2222中的一个的恢复的图像d4。

<第五实施例>

第五实施例是上述第一实施例的修改示例。也就是说，根据第五实施例的图像发送装置还包括调节单元，调节单元根据对减小的图像进行编码的结果来调节减小参数以减小输入图像，并且图像减小单元使用已经调节的减小参数来减小输入图像以生成减小的图像。例如，取决于输入图像的内容，作为编码的结果，压缩效率可能减小。在频率高的图像中，特别地，压缩后的图像的数据的大小可能变得大于压缩之前的图像的数据的大小。在这种情况下，通过执行反馈并且调节减小参数以进一步增加减小率，能够保持恒定的压缩效率。

图16是示出根据第五实施例的图像发送装置100d的配置的框图。图像发送装置100d是图1所示的图像发送装置100的修改示例，包括新设置在编码器120和解码器130之间的调节单元182，并且将减小率d23从调节单元182反馈到图像减小单元110。也就是说，调节单元182根据来自编码器120的输出结果(即编码数据d21)和输入图像d1来确定压缩编码的效率。当压缩编码的效率不满足预定条件时，使减小率d23高于之前的时间中的减小率，并且将已经调节的减小率d23输出至图像减小单元110。然后，图像减小单元110再次基于来自调节单元182的减小率d23来减小输入图像d1。此外，当压缩编码的效率满足预定条件时，调节单元182将编码数据d21输出至解码器130。

<其他实施例>

以上描述的每个上述实施例还可以包括以下配置。也就是说，图像接收装置还包括存储减小的图像和放大参数的存储单元，并且接收单元将已经接收到的减小的图像存储在存储单元中，将预定访问权限添加到已经接收到的放大参数，并且将放大参数存储在存储单元中。因此，关于用于放大减小的图像的处理，可以根据访问权限灵活地控制显示器的大小和显示器的内容。

例如，考虑如下情况：其中针对每个用户设置读出放大参数的权限作为访问权限。在这种情况下，对监督显示器执行实时视频显示处理的用户(应用)可能没有被赋予读出放大参数的权利，由此在监督显示器中使用具有低分辨率的减小的图像作为所显示的图像。因此，由于在减小的图像中不显示人的面部等细节，所以当保安人员等在监督显示器处时，能够保护人的隐私。此外，即使当存储在存储单元中的仅减小的图像被盗时，也需要获取放大参数以便获得高分辨率图像。因此，不仅能够保护人的隐私，而且能够提高安全性。

另一方面，对记录的视频执行跟踪调查处理的用户(应用)可以被赋予读出放大参数的权利，由此能够使用放大参数执行用于放大减小的图像的处理，并且可以在屏幕上再现和显示高分辨率图像。因此能够满足跟踪调查的需要。

可以在存储单元中的存储区域中设置访问权限。当减小的图像被存储在第一存储区域中并且放大参数被存储在第二存储区域中时，可以在第二存储区域中设置访问权限。

此外，取决于用户持有的权限，可以限制是否放大图像。例如，可以不允许观看屏幕的操作者观看所有视频图像，并且可以执行期望的控制。例如，可以取决于权限来将马赛克应用于面部部分，或者仅显示减小和压缩之后的图像。

尽管在现有技术中具有高分辨率的图像已经仅被直接发送和存储以在稍后显示精细图像，但是在本实施例中不需要发送和存储具有高分辨率的图像。

本实施例不仅可以应用于视频数据，而且可以应用于图像数据。此外，本实施例可以用作需要低延迟的视频压缩技术。

在诸如日本未审查专利申请公开第2001-320707号的现有技术中，需要比较帧和后续帧。因此，难以在场景突然改变的情况下获得足够有利的效果。另一方面，在本实施例中，针对每个图像执行处理。因此，本实施例适用于需要低延迟的系统。也就是说，本实施例适用于需要实时再现的车载摄像机等。

根据本实施例的图像发送装置可以应用于网络监视摄像机、数字摄像机、作为视频摄像机的摄像录像机、电视电话、对讲机、安装在无人驾驶飞机或无线电遥控车辆上的摄像机等。由于预期网络摄像机的分辨率特别是在将来将进一步增加，因此强烈需要消除要传送的数据量。

此外，实施例可以应用于记录电视节目等的视频记录和再现装置，诸如视频记录器和驱动记录器。由于视频数据的大小被减小，所以能够抑制当数据被存储在存储装置中时的容量并且放松读取和写入速度的限制。此外，实施例可以应用于用于控制视频数据的比特率的技术。通过根据网络负载、系统的处理速度等改变图像减小率和图像处理的类型，变得能够控制图像的质量和数据量。此外，通过根据要拍摄的对象和时区(视频的重要性)来改变(选择)减小率和图像处理的类型，变得能够控制数据的比特率。

虽然可以如以下补充说明中所示地描述一些或所有上述实施例，但是它们不限于此。

(补充说明1)

一种图像接收装置，包括：

接收单元，其接收通过减小输入图像的大小而获得的减小的图像和在减小的图像的大小被放大至输入图像的大小时与输入图像的差异成为最小的情况下的放大参数；以及

图像恢复单元，其使用放大参数来放大减小的图像以生成恢复的图像。

(补充说明2)

根据补充说明1的图像接收装置，其中，

图像接收装置通过对减小的图像执行超分辨率处理来放大减小的图像，以及

放大参数是超分辨率处理的参数，其在发送减小的图像的一侧上被选择为使超分辨率处理的结果和输入图像之间的差异较小。

(补充说明3)

根据补充说明1的图像接收装置，还包括状态信息发送单元，状态信息发送单元将关于减小的图像的处理的状态信息发送至发送减小的图像的一侧，以便控制在发送减小的图像的一侧的减小处理。

(补充说明4)

根据补充说明1的图像接收装置，其中

接收单元接收已经从彼此不同的多个图像放大处理中选择的图像放大处理作为放大参数，以在放大参数使得放大处理的结果和输入图像之间的差异最小时将减小的图像放大至输入图像的大小，以及

图像恢复单元通过被选择为放大参数的图像放大处理来放大减小的图像以生成恢复的图像。

(补充说明5)

根据补充说明1的图像接收装置，还包括存储减小的图像和放大参数的存储单元，

其中，接收单元将已经接收到的减小的图像存储在所述存储单元中，对已经接收到的放大参数赋予预定访问权限，并且将已经赋予预定访问权限的放大参数存储在存储单元中。

尽管在上述实施例中将本发明描述为硬件配置，但是本发明不限于此。本发明可以通过使诸如中央处理单元(cpu)等处理器执行计算机程序来实施任意处理。

在上述示例中，可以使用任何类型的非暂态计算机可读介质将程序存储并且提供至计算机。非暂态计算机可读介质包括任何类型的有形存储介质。非暂态计算机可读介质的示例包括磁存储介质(诸如软盘、磁带、硬盘驱动器等)、光磁存储介质(例如磁光盘)、cd-rom(只读存储器)、cd-r、cd-r/w、dvd(数字通用光盘)、bd(蓝光(注册商标)光盘)、和半导体存储器(诸如掩模rom、prom(可编程rom)、eprom(可擦除prom)、闪存rom、ram(随机存取存储器)等)。可以使用任何类型的暂态计算机可读介质将程序提供至计算机。暂态计算机可读介质的示例包括电信号、光信号和电磁波。暂态计算机可读介质可以经由有线通信线路(例如，电线和光纤)或无线通信线路向计算机提供程序。

虽然已经基于实施例具体描述了本发明人做出的发明，但是不用说，本发明不限于上述已经陈述的实施例，并且在不脱离本发明的精神的情况下可以进行各种改变。

尽管已经根据几个实施例描述了本发明，但是本领域技术人员将认识到，本发明可以在所附权利要求的精神和范围内以各种修改来实践，并且本发明不限于上述示例。

此外，权利要求的范围不限于上述实施例。

此外，应当注意，申请人的意图是涵盖所有权利要求要素的等同物，即使在后面的审查期间被修改。

第一、第二、第三、第四和第五实施例可以根据需要由本领域普通技术人员组合。