图像处理装置和图像处理方法与流程

本发明涉及一种图像处理装置和一种图像处理方法。

背景技术：

使用连续拍摄的多个图像的图像合成处理作为图像降噪(nr)处理已知是有效的。具体地，给定连续拍摄的多个图像，检测对应于同一被摄体并且构成该被摄体的拍摄图像区域的像素。然后，对多个对应像素的像素值进行算术平均以进行合成处理，从而计算降噪像素值。

上述使用这种连续拍摄图像的降噪技术是不仅使用一个图像的二维区域而且还使用在不同时间拍摄的多个图像(即，包括时间轴方向的三维数据)的处理。在这方面，该技术被称为3d降噪处理，或3dnr(3维降噪)。例如，在ptl1中公开了3dnr。

[引文列表]

[专利文献]

[ptl1]

日本特许公开号2014-138294

技术实现要素：

[技术问题]

然而，由于nr处理的目标不局限于传统的3dnr，该技术涉及大量计算并需要大量内存。另外，在涉及移动体的情况下，由于与运动模糊的权衡，传统3dnr的s/n比降低。

因此，本发明提出了一种图像处理装置和一种图像处理方法，该图像处理装置和图像处理方法是新颖的和改进的，并且能够利用在图像中设置的区域在少量计算中实现高精度和高图像质量的降噪处理。

[问题的解决方案]

根据本发明，提供了一种图像处理装置，其包括：区域检测部分，该区域检测部分被配置为基于附到拍摄图像的数据从拍摄图像检测至少一个预定区域，以及图像处理部分，该图像处理部分被配置为对由区域检测部分检测到的预定区域的图像执行降噪处理。

另外，根据本公开，提供了一种图像处理方法，其包括：基于附到拍摄图像的数据从拍摄图像检测至少一个预定区域，以及对所检测的区域执行降噪处理。

附图说明

图1是描述体现本公开的通信系统1000的配置示例的说明图。

图2是描述根据mipicsi-2标准的分组格式的说明图。

图3是描述根据mipicsi-2标准的另一种分组格式的说明图。

图4是描述与根据mipicsi-2标准的分组传输相关的信号波形示例的说明图。

图5是描述体现本公开的通信系统的功能配置示例的说明图。

图6是描绘roi区域的示例的说明图。

图7是描绘roi区域的数据格式的示例的说明图。

图8是描述体现本公开的通信系统1的功能配置示例的说明图。

图9是描述体现本公开的通信系统1的另一功能配置示例的说明图。

图10是描述体现本公开的通信系统1的另一功能配置示例的说明图。

图11是描述体现本公开的通信系统1的另一功能配置示例的说明图。

图12是描述体现本公开的通信系统1的另一功能配置示例的说明图。

图13是描述体现本公开的通信系统1的另一功能配置示例的说明图。

图14是示出用于实施3dnr的成像装置的配置示例的说明图。

图15是示出一方面差绝对值与另一方面乘法器1045的系数k之间的关系的示例的说明图。

图16是描述用于通过本实施例的通信系统传输图像数据的分组的结构示例的说明图。

图17是解释在分组报头中提供的扩展的说明图。

图18是解释分组报头中提供的扩展的另一个说明图。

图19是解释用于传输的数据格式的说明图。

图20是解释分组报头的结构示例的说明图。

图21是描述本实施例的图像传感器100的配置示例的硬件框图。

图22是描绘本实施例的处理器200的配置示例的视图。

具体实施方式

下面参照附图描述本公开的优选实施例。注意，在接下来的描述和附图中，具有基本相同的功能和配置的组成元件由相同的附图标记表示，并且不再重复多余的解释。

按以下顺序进行说明：

1.本公开的实施例

1.1.背景

1.2.配置示例

2.2.结论

<1.本公开的实施例>

[1.1.背景]

在详细解释本公开的实施例之前，首先解释本公开是如何产生的背景。

如上所述，使用连续拍摄的多个图像的图像合成处理作为图像降噪处理已知是有效的。具体地，给定连续拍摄的多个图像，检测对应于同一被摄体并且构成该被摄体的拍摄图像区域的像素。然后，对对应多个像素的像素值进行算术平均以进行合成处理，从而计算降噪像素值。

上述使用这种连续拍摄的图像的降噪技术是不仅使用一个图像的二维区域而且还使用在不同时间拍摄的多个图像(即，包括时间轴方向的三维数据)的处理。在这方面，该技术被称为3d降噪处理或3dnr。

普通的3dnr通过对时间轴方向应用无限冲激响应(iir)滤波器来提高s/n比。给定在图像中存在移动对象时发生运动模糊的事实，存在通过从图像帧之间的差绝对值检测移动对象并降低用于移动对象部分的iir滤波器的反馈比率来抑制移动对象的模糊的技术。图14是示出用于实施3dnr的成像装置的配置示例的说明图。图14所示的成像装置1000包括透镜单元1010、ir截止滤波器1020、成像元件1030和iir滤波器1040。iir滤波器1040包括差绝对值计算部分1042、帧存储器1044、乘法器1045和1046、以及加法器1048。

在被成像元件1030转换为电信号之前，穿过透镜1010的光被聚焦并且被ir截止滤波器1020除去红外线。从成像元件1030输出的电信号穿过iir滤波器1040。iir滤波器1040允许加法器1048将从成像元件1030输出的电信号和存储在存储器1044中并且对应于在紧接前一帧中处理的图像的电信号相加。在使加法器1048执行两个信号的加法时，iir滤波器1040导致两个信号以乘法器1045和1046设置的预定比率相加。该比率由差绝对值计算部分1042确定。图15是示出一方面差绝对值与另一方面乘法器1045的系数k之间的关系的示例的说明图。如图15所示，差绝对值越大，设置的系数k越小。即，iir滤波器1040将两个电信号相加，使得差绝对值越大，与当前帧中的图像相对应的电信号的比率越高。

利用上述方法，即使在移动对象仅在图像中的部分区域中的情况下，也要求将图像中的所有区域存储在帧存储器1044中。即，需要增加帧存储器1044的容量。另外，由于需要计算图像中所有区域的差绝对值，因此必须增加计算量。此外，在存在活跃运动对象的情况下，增加差绝对值使得系数k更小，从而降低s/n比。

鉴于上述情况，本公开的公开者仔细研究了在少量计算中实现高精度和高图像质量的3dnr的技术。结果，如下文将解释的，本公开的公开者构思了限制目标区域的技术，以便在少量计算中实现具有高精度和高图像质量的3dnr。

前面的段落已经讨论了本公开是如何产生的背景。以下是如何实现本公开的详细解释。

[1.2.配置示例]

(1)可以应用本实施例的传输方法的通信系统的配置

首先说明可以应用本实施例的传输方法的通信系统的配置示例。

下面说明的是构成本实施例的通信系统的装置通过符合mipi(移动工业处理器接口)csi-2(照相机串行接口2)标准的方法相互通信的示例。应当注意，mipicsi-2标准并不限制构成本实施例的通信系统的装置之间的通信方法。或者，例如，可以采用符合由mipi联盟制定的另一标准的通信方法，例如mipicsi-3标准或mipidsi(显示串行接口)标准，用于构成本实施例的通信系统的装置之间的通信。此外，显然，由mipi联盟制定的标准并不限制构成本实施例的通信系统的装置之间的通信方法。

图1是描述体现本公开的通信系统1的配置示例的说明图。通信系统1的示例包括通信装置，例如智能手机、无人机(可以远程操作或可以自主行动的装置)和例如汽车的移动对象。注意，这些示例不是对可以应用本公开的通信系统1的示例的限制。稍后将讨论通信系统1的其他示例。

例如，通信系统1具有图像传感器100、处理器200、存储器300和显示设备400。

图像传感器1具有成像功能和发送功能，从而发送指示通过成像生成的图像的数据。处理器200接收从图像传感器100发送的数据，并处理接收的数据。也就是说，在通信系统1中，图像传感器100充当发送装置，处理器200充当接收装置。

注意，尽管图1描绘了具有单个图像传感器100的通信系统1，这并不限制本实施例的通信系统所拥有的图像传感器100的数量。或者，体现本公开的通信系统可以具有例如两个或更多个图像传感器100。

此外，尽管图1描绘了具有单个处理器200的通信系统1，这并不限制本实施例的通信系统所拥有的处理器200的数量。或者，体现本公开的通信系统可以具有例如两个或更多个处理器200。

在具有多个图像传感器100和多个处理器200的通信系统中，它们之间可能存在一对一的对应关系。或者，一个处理器200可以对应于多个图像传感器100。同样在具有多个图像传感器100和多个处理器200的通信系统中，一个图像传感器100可以对应于多个处理器200。

同样，在具有多个图像传感器100和多个处理器200的通信系统中，以类似于图1所示的通信系统1的方式，在图像传感器100和处理器200之间进行通信。

图像传感器100和处理器200通过数据总线b1彼此电连接。数据总线b1是连接图像传感器100和处理器200的信号传输路径。例如，从图像传感器100发送的指示图像的数据(该数据在下文中可称为“图像数据”)通过数据总线b1从图像传感器100发送到处理器200。

在通信系统1中，信号通过符合预定标准(例如mipicsi-2标准)的通信方法在数据总线b1上传输。

图2和3是描述根据mipicsi-2标准的分组格式的说明图。图2描绘了由mipicsi-2标准规定的短分组格式，以及图3描述了由mipicsi-2标准规定的长分组格式。

长分组构成包括分组报头(图3所示的“ph”)、有效载荷(图3所示的“有效载荷数据”)和分组报尾(图3所示的“pf”)的数据。如图2所示，短分组构成具有与分组报头(图3所示的“ph”)类似的结构的数据。

短分组和长分组各自在报头部分中记录vc(虚拟信道)号(图2和3中描绘的“vc”；vc值)。每个分组可以被分配适当的vc号。分配了相同vc号的分组将作为属于相同图像数据的分组进行处理。

此外，短分组和长分组各自在报头部分中记录dt(数据类型)值(如图2和3所示的“数据类型”)。因此，如同vc号一样，被分配了相同dt值的分组可以作为属于相同图像数据的分组来处理。

长分组报头部分的“字数”通过使用字数来记录分组的结尾。短分组和长分组的报头部分中的“ecc”记录了纠错码。

根据mipicsi-2标准，在数据信号发送周期中使用高速差分信号，在数据信号消隐周期中使用低功率信号。此外，使用高速差分信号的时段被称为hps(高速状态)时段，使用低功率信号的时段被称为lps(低功率状态)时段。

图4描绘了描述与根据mipicsi-2标准的分组发送相关的信号波形示例的说明图。在图4中，子图a描述了分组发送的一个示例，子图b描述了分组发送的另一个示例。图4中的首字母缩写“st”、“et”、“ph”、“pf”、“sp”和“ps”代表以下内容：

st：发送开始

et：发送结束

ph：分组报头

pf：分组报尾

sp：短分组

ps：分组间距

如图4所示，在lps周期(如图4所示的“lps”)中的差分信号和hps周期(除了图4中描述的“lps”)中的差分信号被认为振幅不同。因此，从提高发送效率的角度来看，优选尽可能多地排除lps周期。

图像传感器100和处理器200通过例如控制总线b2彼此电连接，该控制总线不同于数据总线b1。控制总线b2是连接图像传感器100和处理器200的另一个信号传输路径。例如，从处理器200输出的控制信息通过控制总线b2从处理器200发送到图像传感器100。

控制信息包括例如用于控制目的的信息和处理指令。用于控制目的的信息的示例包括用于控制图像传感器100的功能的数据，例如至少指示图像大小的数据、指示帧速率的数据、或者指示从接收图像输出指令到输出图像的输出延迟量的数据。此外，控制信息还可以包括识别图像传感器100的识别信息。识别信息例如可以是能够识别图像传感器100的任何适当的数据，例如设置给图像传感器100的标识。

注意，通过控制总线b2从处理器200发送到图像传感器100的信息不限于上述示例。或者，例如，处理器200可以通过控制总线b2发送指定图像中的区域的区域指定信息。区域指定信息可以包括用于识别区域的适当格式的数据，例如指示包括在区域中的像素位置的数据(例如，表示指示区域中像素位置的坐标的坐标数据)。

虽然图1描绘了图像传感器100和处理器200通过控制总线b2彼此电连接的示例，图像传感器100和处理器200不需要经由控制总线b2连接。或者，例如，图像传感器100和处理器200可以基于适当的通信方法通过无线通信在它们之间交换控制信息。

下面解释构成图1中描述的通信系统1的组件。

(1-1)存储器300

存储器300是通信系统1拥有的记录介质。存储器300的示例包括诸如ram(随机存取存储器)的易失性存储器和诸如闪存的非易失性存储器。存储器300依靠由构成通信系统1的一部分的内部电源(例如电池(未示出))提供的电力或者由通信系统1外部的电源提供的电力来操作。

存储器300存储例如从图像传感器100输出的图像。例如，由处理器200控制将图像记录到存储器300。

(1-2)显示设备400

显示设备400是通信系统1所拥有的显示设备。显示设备400的示例包括液晶显示器和有机el显示器(有机电致发光显示器；也称为oled显示器(有机发光二极管显示器)。显示设备400依靠由构成通信系统1的一部分的内部电源(例如电池(未示出))提供的电力来操作，或者依靠由通信系统1外部的电源提供的电力来操作。

显示设备400的显示屏显示不同的图像和画面，例如从图像传感器100输出的图像、与由处理器200执行的应用相关的画面以及与ui(用户界面)相关的画面。例如，显示设备400的显示屏上的图像等的显示由处理器200控制。

(1-3)处理器200(接收装置)

处理器200接收从图像传感器100发送的数据，并处理接收的数据。如上所述，处理器200充当通信系统1中的接收装置。与从图像传感器100发送的数据的处理相关的典型配置(即，充当接收装置角色的配置)将在后面讨论。

处理器200包括至少一个处理器，该处理器包括运算电路，例如mpu(微处理器)，以及各种处理电路。处理器200依靠由构成通信系统1的一部分的内部电源(例如电池(未示出))提供的电力来操作，或者依靠由通信系统1外部的电源提供的电力来操作。

处理器200执行各种处理，例如包括控制图像数据向诸如存储器300的记录介质的记录的处理、控制图像在显示设备400的显示屏上的显示的处理以及执行期望的应用软件的处理。记录控制过程的一个示例包括“将包括记录指令和要记录到记录介质的数据的控制数据发送到记录介质如存储器300的过程”。此外，显示控制过程的一个示例包括“将包括记录指令和要在显示屏上显示的数据的控制数据发送到诸如显示设备400的显示设备的过程”。

此外，例如，处理器200可以通过向图像传感器100发送控制信息来控制图像传感器100的功能。例如，处理器200可以通过向图像传感器100发送区域指定信息来进一步控制从图像传感器100发送的数据。

(1-4)图像传感器100(发送装置)

图像传感器100具有成像功能和发送功能，从而发送指示通过成像生成的图像的数据。如上所述，图像传感器100充当通信系统1中的发送装置。

图像传感器100的示例包括通过适当的方法操作并且能够生成图像的图像传感器设备，包括“诸如数字静态照相机、数字摄像机或立体照相机之类的成像设备”，“红外线传感器”和“距离图像传感器”。图像传感器100具有发送所生成的数据的功能。由图像传感器100生成的图像表示指示图像传感器100的感测结果的数据。稍后将讨论图像传感器100的配置示例。

使用稍后将讨论的本实施例的发送方法，图像传感器100发送对应于图像中设置的区域的数据(以下称为“区域数据”)。区域数据的发送例如由用作图像传感器100的图像处理部分的构成元件(将在后面讨论)来控制。在某些情况下，图像中设置的区域可以称为roi(感兴趣区域)。在下面的描述中，图像中设置的区域可以分别被称为“roi”。

与设置图像中的区域相关的处理的示例包括用于识别图像中的部分区域的适当处理(或用于从图像中剪切部分区域的适当处理)，例如“从图像中检测对象并设置包括检测到的对象的区域的处理”和“设置由合适的操作装置的操作指定的区域的处理”。

与设置图像中区域的相关的处理可以由图像传感器100或者由诸如处理器200的外部装置来执行。在图像传感器100执行与设置图像中的区域相关的处理的情况下，图像传感器100根据设置图像中的区域的处理结果来识别区域。此外，在外部装置执行与图像中的区域设置相关的处理的情况下，例如，图像传感器100基于从外部装置获取的区域指定信息来识别区域。

当图像传感器100发送区域数据时，即，当它发送代表图像的部分的数据时，发送的数据量小于代表整个发送图像的数据量。因此，当图像传感器100发送区域数据时，数据量的减少提供了各种优点，例如通信系统1的发送时间更短和发送载荷减少。

应当注意，图像传感器100也能够发送表示整个图像的数据。

在图像传感器100具有发送区域数据的功能和发送表示整个图像的数据的功能的情况下，图像传感器100可以被配置为选择性地在发送区域数据和发送整个图像数据之间切换。

例如，图像传感器100根据建立的操作模式发送区域数据或整个图像数据。例如，通过操作适当的操作装置来建立操作模式。

或者，图像传感器100可以基于从外部装置获取的区域指定信息，在发送区域数据和发送整个图像数据之间选择性地切换。例如，当从外部装置获取区域指定信息时，图像传感器100发送关于与所获取的区域指定信息相对应的区域的区域数据；当没有从外部装置获取区域指定信息时，图像传感器100发送指示整个图像的数据。

例如，通信系统1具有图1所示的配置。应当注意，图1中的示例并不限制本实施例的通信系统可以如何配置。

例如，尽管图像传感器100被描绘为用作图1中的发送装置的装置的示例，用作发送装置的装置不限于图像传感器100。可选地，在本实施例的通信系统包括诸如成像装置的图像传感器装置和与图像传感器装置电连接的发射器的情况下，发射器可以扮演发送装置的角色。

此外，尽管处理器200被描绘为充当图1中的接收装置的装置的示例，作为接收装置操作的装置不限于处理器200。或者，在本实施例的通信系统中，例如，具有接收数据能力的适当装置可以扮演接收装置的角色。

在从图像传感器100发送的图像被存储到通信系统外部的记录介质中的情况下，在从图像传感器100发送的图像被存储到处理器200的存储器中的情况下，或者在从图像传感器100发送的图像没有被记录的情况下，本实施例的通信系统不需要拥有存储器300。

此外，本实施例的通信系统可以被配置为没有图1中描绘的显示设备400。

此外，本实施例的通信系统可以以对应于电子装置的功能的方式来配置，这将在后面讨论，其中采用了本实施例的通信系统。

尽管在前面的段落中已经将通信系统解释为本公开的一个实施例，但是本实施例不限制本公开。可选地，本公开可以以各种类型的电子装置的形式实现，包括诸如智能手机、无人机(可以远程操作或可以自主行动的装置)、诸如汽车的移动对象、诸如pc(个人计算机)的计算机、平板型装置、游戏机和监视摄像机的通信装置。下面说明的是通信系统的操作的概要，该通信系统限制目标区域在少量计算中以高精度和高图像质量实现3dnr。

图5是描述体现本公开的通信系统的功能配置示例的说明图。如图5所示，体现本发明的通信系统1包括透镜单元110、ir截止滤波器120、成像元件130和iir滤波器140。iir滤波器140包括roi区域检测部分141、roi提取部分142、参数计算部分143、roi存储器144、roi变形部分145、差绝对值计算部分146、乘法器147和148、以及加法器149。

透镜单元110是包括至少一个透镜的光学单元。这样配置的镜头单元110聚焦来自对象的光。ir截止滤波器120从透镜单元110聚焦的光中截止红外线。成像元件130是例如包括cmos(互补金属氧化物半导体)或ccd(电荷耦合器件)的传感器。这样配置，成像元件130从穿过ir截止滤波器120的光生成电信号。

在输出相加的结果之前，iir滤波器140将从成像元件130输出的电信号与对应于前一帧中的图像的电信号相加。在本公开的实施例中，iir滤波器140检测图像中移动对象的位置作为roi区域，并且对检测到的roi区域执行滤波处理。这样，体现本发明的通信系统1能够在少量计算中实现高精度和高图像质量的3dnr。

roi区域检测部分141从利用从成像元件130输出的电信号获得的图像中检测roi区域。在检测到roi区域之后，roi区域检测部分141将关于检测到的roi区域的信息发送到roi提取部分142。关于roi区域的信息的示例可包括标识roi区域的id、用于指定roi区域的信息(例如，坐标信息)和roi区域的大小。即，由roi区域检测部分141检测到的roi区域的数目不限于一个。

roi区域可从iir滤波器140外部指定，或者由roi区域检测部分141根据预定规则指定。

roi提取部分142从利用从成像元件130输出的电信号获得的图像中提取由roi区域检测部分141检测到的roi区域的图像。在提取roi区域的图像时，roi提取部分142使用从roi区域检测部分141传送的关于roi区域的信息。

roi提取部分142检测存储在roi存储器144中的当前roi区域的id。参考存储在roi存储器144中的先前roi区域的内容，roi提取部分142例如通过验证“坐标的接近度”、“大小的接近度”和“形状和颜色的接近度”来检测id号。

例如，参数计算部分143通过仿射变换计算用于将从roi提取部分142输出的roi图像与存储在roi存储器144中的图像匹配的变形参数。在存在由roi提取部分142提取的多个roi区域的情况下，参数计算部分143计算与id号匹配的每个roi区域的参数。

roi变形部分145基于由参数计算部分143计算的变形参数，对存储在roi存储器144中的roi区域的图像进行变形。在存在由roi提取部分142提取的多个roi区域的情况下，roi变形部分145对每个roi区域执行变形。这里，roi变形部分145基于以下变换表达式执行变形：

[数学.1]

在上面的数学表达式(1)中，x和y分别表示变换之前的预变换roi区域图像的水平和竖直长度(即，预变换的宽度和高度)，x'和y'分别表示变换后roi区域图像的水平和竖直长度(即，变换后宽度和高度)。同样，在数学表达式(1)中，a、b、c、d、tx和ty表示用于仿射变换的变形参数。这些参数由参数计算部分143计算。

差绝对值计算部分146通过将从roi提取部分142输出的roi图像与从roi变形部分145输出的变换后的roi图像进行比较来计算差绝对值。基于两个roi图像之间的差绝对值，差绝对值计算部分146确定由乘法器147和148使用的系数ki。例如，差绝对值和系数ki之间的关系可以与图15中描绘的关系相同，或者可以不同。然而，差绝对值和系数ki之间的关系是差绝对值越大，设置的系数ki越小。即，当前帧和前一帧之间存在较大差异的位置是发生局部变化的位置。因此，以促进更多地使用当前图像的方式来确定差绝对值和系数ki之间的关系。

例如，在某个对象遍历roi区域等的情况下，简单地执行3dnr将导致由于降噪处理不足而导致的误差。在这种情况下，本实施例允许差绝对值计算部分146计算较大的差绝对值。这进而减小系数k1，其使得本实施例的通信系统1在执行3dnr时能够更抵抗误差。

在输出乘法的结果之前，乘法器147将从roi提取部分142输出的roi图像乘以系数(1-ki)。在输出乘法的结果之前，乘法器148将从roi变形部分145输出的roi图像乘以系数ki。此外，加法器149将乘法器147的输出和乘法器148的输出相加。即，乘法器147和148以及加法器149以(1-ki)：ki的比率混合从roi提取部分142输出的roi图像与从roi提取部分142输出的roi图像。从加法器149输出的图像被输入到下游块，并且也被传输到roi存储器144，其中传输的图像会替换到那时为止存储在其中的roi图像。

下面解释的是roi区域的数据格式的示例。图6是描绘roi区域的示例的说明图。例如，如图6所示，假设roi区域检测部分141检测四个roi区域a到d。图7是描绘roi区域的数据格式的示例的说明图。

“ph”代表分组报头。“嵌入数据”表示可以嵌入要传输的分组中的数据。“嵌入数据”可以至少包括标识roi区域的id、表示roi区域的左上角坐标的位置信息、以及roi区域的高度和宽度。实际roi区域数据以图7所示的格式从第三行开始存储。这里，在roi区域彼此重叠的情况下，如图6中区域a和区域b的情况，重叠区域的数据只存储一次。

图7所示的roi区域的数据格式中的“嵌入数据”也被存储到roi存储器144中。

当如图5所示配置时，体现本公开的通信系统1能够仅对roi区域执行3dnr。通过仅在roi区域上执行3dnr，本实施例的通信系统1能够在少量计算中实现高精度和高图像质量的3dnr。另外，通过在少量计算中执行3dnr，与对整个图像执行3dnr相比，本实施例的通信系统1消耗更少的功率。

应当注意，在roi区域彼此重叠的情况下，如图6中的区域a和b的情况，iir滤波器140可保持前面的roi区域的图像，或者可设置系数ki以提高用于使用前面的roi区域图像的比率。

下面描述体现本公开的通信系统1的另一功能配置示例。图8是描述体现本公开的通信系统1的功能配置示例的说明图。图8所示的通信系统1具有图5中的配置，其中iir滤波器140中添加了预变形部分151。预变形部分151通过使用存储在“嵌入数据”中的大小信息，将存储在roi存储器144中的前面的roi区域图像在具有相同id的前面的roi区域和当前roi区域之间的段中预变形。在图8所示的示例中，从roi提取部分142输出的具有id为1的roi图像的宽度和高度都是前面的roi区域的宽度和高度的两倍。因此，预变形部分151将具有id为1并且存储在roi存储器144中的先前的roi区域的宽度和高度加倍。由于通过预变形部分151的预变形，体现本公开的通信系统1能够解决roi区域的大小的变化。

下面解释的是iir滤波器140的功能如何布置在通信系统1中。iir滤波器140的功能可完全并入通信系统1的图像传感器100中。可替代地，在iir滤波器140的功能中，roi区域检测部分141和roi提取部分142可以单独并入通信系统1的图像传感器100中，而其余的功能并入另一芯片(例如，在处理器200中)。作为另一替代方案，iir滤波器140的功能可完全并入与通信系统1的图像传感器100的功能不同的芯片(例如，处理器200)中。

图9是描述体现本公开的通信系统1的另一功能配置示例的说明图。图9描述了iir滤波器140的所有功能被并入图像传感器100中的示例。

图10是描述体现本公开的通信系统1的另一功能配置示例的说明图。图10描述了一个示例，其中在iir滤波器140的功能中，仅roi区域检测部分141和roi提取部分142并入通信系统1的图像传感器100中，其余功能并入处理器200中。

图11是描述体现本公开的通信系统1的另一功能配置示例的说明图。图11描述了iir滤波器140的所有功能并入处理器200中的示例。

显然，图9至图11中描述的配置仅是iir滤波器140的功能如何布置的示例。可以采用除图9至图11中的那些之外的许多配置。

作为另一替代方案，体现本公开的通信系统1可以将仅用于roi区域的3dnr功能与用于整个图像的3dnr功能组合。

图12是描述体现本公开的通信系统1的另一功能配置示例的说明图。图12所示的通信系统1除了对roi区域执行3dnr的iir滤波器140之外，还包括对整个图像执行3dnr的iir滤波器240。iir滤波器240包括差绝对值计算部分242、帧存储器244、乘法器245和246、以及加法器248。图12中描绘的通信系统1还包括α混合系数计算部分252和合成部分254。

从成像元件130输出的电信号被传送到iir滤波器140和iir滤波器240两者。iir滤波器140如上所述在roi区域上执行3dnr。另一方面，iir滤波器240对从成像元件130输出的电信号表示的整个图像数据执行3dnr。iir滤波器240允许加法器248将从成像元件130输出的电信号与对应于在紧接前一帧中处理并存储在帧存储器244中的图像的电信号相加。在使加法器248执行两个信号的加法时，iir滤波器240导致两个信号以乘法器245和246设置的预定比率相加。该比率由差绝对值计算部分242确定。

然后，图12中描述的通信系统1以预定比率将来自iir滤波器140的输出与来自iir滤波器240的输出混合。此时的混合比由α混合系数计算部分252计算。例如，α混合系数计算部分252可获取关于从roi区域检测部分141传送的roi区域的信息(诸如其位置、宽度和高度)，计算两个图像在该区域之间的差绝对值，并且以反映计算出的差绝对值的方式计算混合比。在这种情况下，α混合系数计算部分252可以以这种方式计算混合比：对于roi区域的外部，使用来自iir滤波器240的输出，并且对于roi区域的内部，两个图像之间的差绝对值越大，为来自iir滤波器140的图像输出所设置的比率越高。

在来自成像元件130输出的电信号包括运动模糊的情况下，体现本公开的通信系统1可以以考虑模糊的方式执行3dnr。

图13是描述体现本公开的通信系统1的另一功能配置示例的说明图。图13所示的通信系统1除了对roi区域执行3dnr的iir滤波器140之外，还包括对整个图像执行3dnr的iir滤波器240。iir滤波器240除了图12中描绘的配置之外，还包括全局运动计算部分241和运动补偿部分243。

全局运动计算部分241通过将从成像元件130输出的电信号与对应于在紧接前一帧中处理并存储在帧存储器244中的图像的电信号进行比较来计算整个图像的运动量(即，全局运动)。基于全局运动计算部分241计算的整个图像的量，运动补偿部分243执行用于调节存储在帧存储器244中的图像的位置的补偿处理。差绝对值计算部分242计算一方面与从成像元件130输出的电信号相对应的图像与另一方面由运动补偿部分243校正并存储在帧存储器244中的图像之间的差绝对值。

如上所述，在发生了运动模糊的情况下，图13所示的通信系统1能够以考虑到模糊的方式执行3dnr。

下面是在体现本公开的通信系统中用于从图像传感器100(发送装置)向处理器200(接收装置)发送图像的分组的结构的另一示例的解释。在本实施例的通信系统中，由图像传感器100拍摄的图像被分成以行为单位的部分图像；通过使用至少一个分组来传输每行的部分图像的数据。这同样适用于图像中设置的区域的区域数据(即，其中设置了roi的部分图像的数据)。

例如，图16是描述用于通过本实施例的通信系统发送图像数据的分组的结构示例的说明图。如图16所示，用于图像发送的分组被定义为数据流中以开始码开始并以结束码结束的一系列数据。该分组还包括以该顺序排列的报头和有效载荷数据。有效载荷数据可以以报尾为后缀。有效载荷数据(或以下简称为有效载荷)包括每行的部分图像的像素数据。报头包括关于对应于包含在有效载荷中的部分图像的行的各种信息。报尾包含附加信息(选项)。

下面解释的是报头中包含的信息。如图16所示，报头依次包括“帧开始”、“帧结束”、“行有效”、“行号”、“ebd行”、“数据id”、“预留”和“报头ecc”。

帧开始是指示帧开始的一比特信息。例如，在用于发送作为发送目标的图像数据中的第一行的像素数据的分组的报头的帧开始处设置值1。在分组报头的帧开始处设置值0，用于发送任何其他行的像素数据。顺便提及，帧开始表示“指示帧开始的信息”的示例。

帧结束是指示帧结束的一比特信息。例如，值1被设置在具有有效载荷的分组的报头的帧末端，该有效载荷包括作为发送目标的图像数据中的有效像素区域的结束行的像素数据。值0设置在分组报头的帧结束，用于发送任何其他行的像素数据。顺便提及，帧结束表示“指示帧结束的信息”的示例。

帧开始和帧结束表示帧信息的示例，帧信息是关于帧的信息。

行有效是指示存储在有效载荷中的像素数据行是否是有效像素行的一比特信息。值1被设置在分组报头的行有效中，用于发送有效像素区域内的行的像素数据。值0设置在分组报头的行有效中，用于发送任何其他行的像素数据。顺便提及，行有效表示“指示相应行是否有效的信息”的示例。

行号是指示包括存储在有效载荷中的像素数据的行的行号的13比特信息。

ebd行是一比特信息，指示这是否是具有嵌入数据的行。也就是说，ebd行代表“指示该行是否是具有嵌入数据的行的信息”的示例。

数据id是用于识别在多个流中传送数据的情况下组成数据的每个数据项(即，有效载荷中包括的数据)的四比特信息。顺便提及，数据id代表“识别包含在有效载荷中的数据的信息”的示例。

行有效、行号、ebd行和数据id构成行信息，即，关于行的信息。

预留是一个27比特区域，用于扩展目的。要注意的是，在下面的描述中，指示为预留的区域也可以称为“扩展”。报头信息的数据整体上为六个字节。

如图16所示，在报头信息之后设置的报头ecc包括crc(循环冗余校验)码，该码是基于六字节报头信息计算的两字节检错码。即，报头ecc表示“用于报头中包括的信息的纠错码”的示例。此外，报头ecc包括两组相同的信息，作为构成报头信息和crc码的组合的八字节信息，在crc码之后。

也就是说，单个分组的报头包括相同报头信息和crc码的三种组合。整个报头的数据量是24字节，由报头信息和crc码的第一个8字节组合、报头信息和crc码的第二个8字节组合以及报头信息和crc码的第三个8字节组合组成。

下面参考图17和18解释分组报头中设置的扩展(预留)。图17和18是解释分组报头中提供的扩展的说明图。

如图17所示，在扩展中，前三比特被设置为与要在分组中发送的信息相对应的报头信息的类型(headerinfotype)。在扩展中，报头信息类型决定了信息的格式(即，格式包括信息类型和信息被设置的位置)被设置在剩余的24比特区域中，不包括报头信息类型被设置的三个比特。这允许接收方验证报头信息类型。报头信息类型的验证使得接收方能够在扩展内识别在报头信息类型被指定的区域之外的特定位置中设置的特定信息。这使得读取设置信息成为可能。

例如，图18描绘了通常如何设置报头信息类型以及通常如何设置分组的可变有效载荷长度(即，可变行长度)作为使用与报头信息类型的设置相对应的扩展的一种方式。具体地说，在图18的示例中，报头信息类型被设置为对应于有效载荷长度可变的情况的值。更具体地说，在图18的示例中，报头信息类型被设置为值“001”，这不同于在图17的示例中为报头信息类型设置的值“000”。也就是说，在这种情况下，对应于值“001”的报头信息类型表示有效载荷长度可变的情况下的类型。同样在图18的示例中，扩展中的14比特分配给“行长度”。“行长度”是用于通知有效载荷长度的信息。这种结构允许接收侧基于设置为报头信息类型的值来识别有效载荷长度是可变的。此外，接收方可以通过读取扩展中设置为“行长度”的值来识别有效载荷长度。

上面参考图16至18解释了在本实施例的通信系统中用于从图像传感器100(发送装置)向处理器200(接收装置)发送图像的分组的一个结构示例。

以下是用于发送图像中设置的区域(roi)的区域数据的典型发送方法的描述，该方法是本实施例的通信系统的一个技术特征。

图像传感器100将图像中设置的区域的区域数据存储到用于逐行发送的分组的有效载荷中。在随后的描述中，为了方便起见，设置在图像中并且对应于每一行的区域部分可以被称为“部分区域”。

(数据格式)

首先，图19是解释用于发送的数据格式的说明图。在图19中，由参考符号a1表示的一系列分组示意性地表示其中发送图像中设置的区域的区域数据的分组(即，用于发送有效像素区域的数据的分组)。由参考符号a2和a3指示的一系列分组表示不同于用于发送区域数据的分组。要注意的是，在下面的描述中，由参考标记a1、a2和a3指示的分组将被彼此区分，为了方便起见，这些分组可以被称为“分组a1”、“分组a2”和“分组a3”。也就是说，在发送一帧的数据期间，在发送一系列分组a1之前，发送一系列分组a2。一系列分组a3可以在该系列分组发送之后被发送。分组a2或分组a3中的至少一个代表“第一分组”的示例。分组a2代表“第二分组”的示例。

在图19的示例中，该系列分组a2的至少一部分用于发送嵌入数据。例如，当发送时，嵌入数据可以存储在分组a2的有效载荷中。在另一个示例中，当被发送时，嵌入数据可以被存储在不同于分组a2的有效载荷的区域中。

嵌入数据对应于从图像传感器100额外发送的附加信息(即，由图像传感器100嵌入的信息)。嵌入数据的示例包括关于图像拍摄条件的信息和关于发送其区域数据的区域(roi)的信息。

尽管在图19的示例中至少部分分组a2用于发送嵌入数据，在发送嵌入数据时，分组a2可以替换为分组a3的至少一部分。在接下来的描述中，嵌入数据可以被称为“ebd”。

在图19中，“sc”代表“开始码”。这是一组表示分组开始的符号。开始码是分组的前缀。例如，开始码由四个符号表示，即，由三个k字符k28.5、k27.7、k28.2和k27.7组合而成。

“ec”代表“结束码”。这是一组表示分组结束的符号。结束码是分组的后缀。例如，结束码由四个符号表示，即，通过组合三个k字符k28.5、k27.7、k30.7和k27.7。

“ph”代表“分组报头”。例如，上面参考图2解释的报头对应于分组报头。“fs”表示fs(帧开始)分组。“fe”表示fe(帧结束)分组。

“dc”代表“deskew码”。这是一组符号，用于校正通道之间的数据偏斜，即，用于校正每个通道中接收方接收到的数据的偏斜时序。例如，deskew码由k28.5和any**的四个符号表示。

“ic”代表“空闲代码”。这是一组符号，除了在分组发送期间之外的时间段内重复发送。例如，空闲代码由d字符d00.0(00000000)表示，它是8b10b代码。

“data”表示存储在有效载荷中的区域数据(即，对应于图像中设置的区域的部分的像素数据)。

“xy”表示在x和y坐标中指示对应于存储在有效载荷中的区域数据的部分区域(在图像中)的最左边位置的信息。要注意的是，在下面的描述中，由“xy”表示并指示部分区域最左边位置的x和y坐标可以简单地称为“部分区域的xy坐标”。

部分区域的xy坐标存储在分组a1的有效载荷的开始处。在对应于每个连续发送的分组a1的部分区域的x坐标没有变化并且y坐标从一个分组到另一个仅增加1的情况下，部分区域的xy坐标可以从随后发送的分组a1中省略。要注意的是，控制的这一方面将在后面使用具体的示例进行讨论。

利用这种发送方法，在多个区域以彼此水平分离的方式被设置在行中的情况下，并且在对应于多个区域中的每一个的部分区域的区域数据被发送的情况下，多个区域中的每一个的分组a1被单独生成并发送。也就是说，对于其中两个区域被设置为彼此水平分离的每一行，生成并发送两个分组a1。

下面参照图20描述用于发送图像中设置的区域(roi)的区域数据的分组a1的分组报头的结构示例，重点在于扩展的结构。图20是解释分组报头的一个结构示例的说明图。

如图20所示，在用这种发送方法发送图像中设置的区域(roi)的区域数据的情况下，指示区域信息发送的信息被设置为报头信息类型(即，对应于用于发送区域信息的类型的信息)。此外，通过使用有效载荷，扩展的至少一部分设置有指示区域数据发送的信息(即，部分区域的区域数据)。此外，在有效载荷用于发送区域坐标的情况下(即，部分区域的xy坐标)，至少一部分延伸设置有指示区域坐标发送的信息。应当注意，在发送图像中设置的区域(roi)的区域数据的情况下，分组a1的有效载荷长度可以根据区域的水平宽度而变化。由于这个原因，如上面参考图18解释的示例，扩展的一部分可以设置有指示有效载荷长度的信息。

(图像传感器100)

下面解释本实施例的图像传感器100的配置示例。图21是描述本实施例的图像传感器100的配置示例的硬件框图。图像传感器100包括例如图像传感器装置102和ic芯片104。图21中描绘的图像传感器100依靠构成通信系统1000的一部分的内部电源(例如电池(未示出))提供的电力工作，或者依靠通信系统1000外部的电源提供的电力工作。

图像传感器装置102的示例包括通过适当的方法操作并且能够生成图像的图像传感器装置，包括“诸如数字静态照相机的成像装置”、“红外线传感器”和“距离图像传感器”。

例如，用作图像传感器装置102的成像装置包括透镜/成像元件和信号处理电路。

透镜/成像元件包括例如光学透镜和使用多个成像元件的图像传感器，例如cmos(互补金属氧化物半导体)或ccd(电荷耦合器件)。

信号处理电路包括例如agc(自动增益控制)电路和adc(模数转换器)，从而将成像元件产生的模拟信号转换成数字信号(图像数据)。此外，例如，信号处理电路执行与raw现象相关的各种处理。此外，信号处理电路可以执行不同的信号处理，例如白平衡调整、颜色校正、伽马校正、ycbcr转换和边缘增强。

此外，信号处理电路可以执行与图像中的区域设置相关的处理，并将区域指定信息发送到ic芯片104。此外，信号处理电路可以向ic芯片104传送包括曝光信息和增益信息的各种数据。

指示由图像传感器装置102生成的图像的信号被传送到ic芯片104。应当注意，在表示从图像传感器装置102传送到ic芯片104的图像的信号是模拟信号的情况下，ic芯片104可以例如让内部adc转换器将模拟信号转换成数字信号，并处理通过该转换获得的图像数据。下面的解释使用图像数据从图像传感器装置102传送到ic芯片104的情况作为示例。ic芯片104是以芯片的形式集成与数据发送功能相关的电路的ic(集成电路)。ic芯片104处理从图像传感器装置102传送的图像数据，并发送对应于如此生成的图像的数据。对应于图像的数据由从图像传感器装置102传送的图像数据构成(即，表示整个图像的数据)或者由区域信息和区域数据来表示。应当注意，与数据发送功能相关的电路不限于单个ic芯片的实现。或者，这些电路可以以多个ic芯片的形式实现。

ic芯片104包括例如图像处理电路106、link控制电路108、ecc产生电路110、ph产生电路112、ebd缓冲器114、图像数据缓冲器116、合成电路118和发送电路120。

图像处理电路106是具有执行与本实施例的发送方法相关的处理的功能的电路。在执行与本实施例的发送方法相关的处理的情况下，图像处理电路106为构成图像的每一行设置区域信息，并且使得link控制电路108、ecc产生电路110、ph产生电路112、ebd缓冲器114、图像数据缓冲器116、合成电路118和发送电路120每行发送设置区域信息和对应于所涉及的区域的区域数据。此外，图像处理电路106可以为每一行发送从图像传感器装置102传送的图像数据(即，表示整个图像的数据)。

图像处理电路106的一个示例是诸如mpu的处理器。

下面通过将图像处理电路106划分成功能块来解释其所具有的功能。如图21所示，图像处理电路106包括例如区域剪切部分122、图像处理控制部分124和编码部分126。

区域剪切部分122执行在图像中设置区域的处理。假设由从图像传感器装置102传送的图像数据表示的图像，区域裁剪部分122设置感兴趣区域(roi)。例如，区域裁剪部分122根据当前设置的操作模式来执行在图像中设置区域的处理。例如，在要发送区域数据的操作模式的情况下，区域剪切部分122执行在图像中设置区域的处理。在要发送表示整个图像的数据的操作模式的情况下，区域剪切部分122不执行在图像中设置区域的处理。

例如，区域剪切部分122通过对图像执行适当的对象检测处理来从图像中检测对象。对于每个检测到的对象，区域剪切部分122设置包括检测到的对象的区域。区域裁剪部分122可以可选地设置由适当的操作装置的操作指定的区域。

在设置了区域的情况下，例如，区域剪切部分122向图像处理控制部分124发送指定设置区域的区域指定信息。在没有设置区域的情况下，区域剪切部分122不向图像处理控制部分124发送任何区域指定信息。

此外，区域剪切部分122将从图像传感器装置102传送的图像数据传送到编码部分126。

图像处理控制部分124执行与本实施例的发送方法相关的处理。图像处理控制部分124为构成图像的每一行设置区域信息，并将设置的区域信息发送到编码部分126和ph产生电路112。

例如，图像处理控制部分124基于从区域剪切部分122获取的区域指定信息或从外部装置获取的区域指定信息(未示出)，识别组成图像的每个行中包括的区域。此外，基于所识别的区域，图像处理控制部分124为每行设置区域信息。此时，如在上述处理中一样，图像处理控制部分124不需要将与包括在关于要发送的前一行的区域信息中的信息保持不变的信息设置为区域信息。

另外，在没有获取区域指定信息的情况下，图像处理控制部分124不设置区域信息。

应当注意，上述处理不限于由图像处理控制部分124执行的处理。

例如，图像处理控制部分124可以例如生成帧信息并将生成的帧信息传送到link控制电路108。帧信息的一个示例是分配给每个帧的vc号。此外，帧信息还可以包括指示数据类型的数据，例如yuv数据、rgb数据或raw数据。

在另一示例中，图像处理控制部分124可以执行设置附加信息的处理，并将设置的附加信息传送到ebd缓冲器114。

设置附加信息的过程的一个示例是生成附加信息的过程。生成附加信息的过程的示例至少包括生成指示区域数据量的信息的过程、生成指示区域大小的信息的过程、或者生成指示区域优先级的信息的过程。

应当注意，设置附加信息的过程不限于生成附加信息的过程。可选地，图像处理控制部分124可以将从图像传感器装置102获取的信息(例如曝光信息和增益信息)设置为附加信息。作为另一种选择，图像处理控制部分124可以将各种区域相关数据设置为附加信息，例如指示物理区域长度的数据、指示输出区域长度的数据、指示图像格式的数据和指示总数据量的数据。物理区域长度的一个示例是图像传感器装置102的像素数。输出区域长度的示例是从图像传感器装置102输出的图像中的像素数(图像中的长度)。

编码部分126通过使用例如符合预定标准(例如jpeg(联合图像专家组)标准)的适当方法，对例如从图像传感器装置102传送的图像数据进行编码。

在没有从图像处理控制部分124获取区域信息的情况下，编码部分126将编码的图像数据传送到图像数据缓冲器116。在下面的描述中，编码的图像数据，即，表示编码的整个图像的数据可以被称为“正常数据”。

另外，在从图像处理控制部分124获取区域信息的情况下，编码部分126将获取的区域信息和指示区域的编码区域数据传送到图像数据缓冲器116。

例如，利用配置在其中的区域剪切部分122、图像处理控制部分124和编码部分126，图像处理电路106执行与本实施例的发送方法相关的处理。要注意的是，为了方便起见，图像处理电路106的功能被划分成如图21所示的功能块，并且这种划分功能的方式并不限制如何划分图像处理电路106的功能。

link控制电路108将例如每行的帧信息传送到ecc产生电路110、ph产生电路112和合成电路118。

ecc产生电路110为每条线设置纠错码。根据帧信息中每行的数据(例如，vc号或数据类型)，例如，ecc产生电路110为该行生成纠错码。例如，ecc产生电路110将产生的纠错码传送到ph产生电路112和合成电路1188。替换地，ecc产生电路110可以与ph产生电路112协同产生纠错码。

ph产生电路112通过使用帧信息为每行生成分组报头。

可替换地，基于从图像处理电路106(图21的示例中的图像处理控制部分124)传送的区域信息，ph产生电路112可以生成分组报头。具体而言，基于区域信息，ph产生电路112在分组报头中设置诸如“指示要发送的包括在区域信息中的信息是否已经从包括在前一分组中的区域信息改变的数据”(改变信息)之类的数据。

ebd缓冲器114是暂时保存从图像处理电路106(图21的示例中的图像处理控制部分124)传送的附加信息的缓冲器。ebd缓冲器114以适当的定时方式将附加信息作为“嵌入数据”输出到合成电路118。顺便提及，从ebd缓冲器114输出的“嵌入数据”可以通过稍后将讨论的图像数据缓冲器116传送到合成电路118。在要发送的附加信息(roi信息)已经被用作接收装置的处理器200识别的情况下，寄存器可以被设置为跳过对应于来自发送电路120的附加信息的ebd数据的发送，这将在后面讨论。

图像数据缓冲器116是临时保存从图像处理电路106(图21的示例中的编码部分126)传送的数据(正常数据或区域信息和区域数据)的缓冲器。图像数据缓冲器116以适当定时的方式每行向合成电路118输出保持的数据。

例如，合成电路118基于从ecc产生电路110、从ph产生电路112、从ebd缓冲器114和从图像数据缓冲器116获取的数据来产生发送分组。

假定从合成电路118传送的分组，发送电路120通过数据总线b1(信号传输路径的示例，其适用于随后的段落)每行发送分组作为发送数据147a。例如，发送电路120通过使用高速差分信号来发送分组，例如图4所示。

(处理器200)

接下来解释处理器200。图22描绘了本实施例的处理器200的配置示例。处理器200是根据与图像传感器100相同的标准(例如，mipicsi-2标准、mipicsi-3标准或mipidsi标准)接收信号的装置。例如，处理器200包括接收部分210和信息处理部分220。接收部分210是经由数据通道dl接收从图像传感器100输出的发送数据147a并对接收的发送数据147a执行预定处理的电路，从而生成不同的数据(214a、215a和215b)并将生成的数据发送到信息处理部分220。信息处理部分220是基于从接收部分210接收的不同数据(214a和215a)生成roi图像223a，或者基于从接收部分210接收的数据(215b)生成正常图像224a的电路。

例如，接收部分210包括报头分离部分211、报头解释部分212、有效载荷分离部分213、ebd解释部分214和roi数据分离部分215。

报头分离部分211经由数据通道dl从图像传感器100接收发送数据147a。也就是说，报头分离部分211接收发送数据147a，该发送数据147a包括关于由图像传感器100拍摄的图像中设置的区域roi的roi信息，发送数据147a还具有长分组中的有效载荷数据中包括的每个区域roi的图像数据。报头分离部分211将接收的发送数据147a分离成帧报头区域和分组区域。报头解释部分212基于包括在帧报头区域中的数据(具体地，嵌入数据)，识别包括在分组区域中的长分组中的有效载荷数据的位置。有效载荷分离部分213基于由报头解释部分212识别的长分组中的有效载荷数据位置，将包括在分组区域中的长分组中的有效载荷数据与分组区域分离。此外，例如，在处理器已经识别出包含在ebd数据或长分组中的附加信息(roi信息)的情况下，可以跳过发送roi区域信息的一部分或全部。具体而言，处理器使报头解释部分212保留对应于ebd数据的信息，并且基于所保留的信息，识别包括在分组区域中的长分组中的有效载荷数据位置。

ebd解释部分214将嵌入数据作为ebd数据214a输出到信息处理部分220。此外，根据嵌入数据中包括的数据类型，ebd解释部分214确定长分组中的有效载荷数据中包括的图像数据是从roi图像数据导出的压缩图像数据还是从正常图像数据导出的压缩图像数据。ebd解释部分214将确定的结果输出到roi数据分离部分215。

在长分组中的有效载荷数据中包括的图像数据是从roi图像数据导出的压缩图像数据的情况下，roi数据分离部分215将长分组中的有效载荷数据视为有效载荷数据215a，并将有效载荷数据215a输出到信息处理部分220(具体地，roi解码部分222)。在有效载荷数据中包括的图像数据是从正常图像数据导出的压缩图像数据的情况下，roi数据分离部分215将长分组中的有效载荷数据视为有效载荷数据215b，并将有效载荷数据215b输出到信息处理部分220(具体地，正常图像解码部分224)。在roi信息包括在长分组的有效载荷数据中的情况下，有效载荷数据215a包括压缩图像数据中的一行像素数据和roi信息。

信息处理部分220从包含在ebd数据214a中的嵌入数据中提取roi信息。基于由信息提取部分221提取的roi信息，信息处理部分220从由接收部分210接收的发送数据中包括的长分组中的有效载荷数据提取拍摄图像中的每个感兴趣区域roi的图像。例如，信息处理部分220包括信息提取部分221、roi解码部分222、roi图像生成部分223、正常图像解码部分224和存储器225。

正常图像解码部分224通过解码有效载荷数据215b来生成正常图像224a。roi解码部分222通过解码有效载荷数据215a中包括的压缩图像数据147b来生成图像数据222a。图像数据222a包括一个或多个发送图像。

信息提取部分221从包含在ebd数据214a中的嵌入数据中提取roi信息。信息提取部分221从包含在ebd数据214a中的嵌入数据中提取例如包括在拍摄图像中的感兴趣区域roi的数量、每个感兴趣区域roi的区域数量、每个感兴趣区域roi的数据长度以及每个感兴趣区域roi的图像格式。

基于由信息提取部分221获得的roi信息，roi图像生成部分223生成拍摄图像中的每个感兴趣区域roi的图像。roi图像生成部分223输出生成的图像作为roi图像223a。

存储器225临时存储由roi图像生成部分223生成的roi图像。在生成roi图像时，roi图像生成部分223利用存储在存储器225中的roi图像来执行图像合成处理。这允许roi图像生成部分223生成具有减少的运动模糊的roi图像。

在图22所示的处理器200具有图11所示的配置的情况下，处理器200可包括roi区域检测部分141的功能和roi提取部分142的功能。

<2.结论>

如上所述，体现本公开的通信系统1利用用于3dnr的roi区域，以减少存储器容量并且减少往返于存储器的通信量，从而以减少的计算量执行3dnr。即使在roi区域在时间上移动或变形的情况下，体现本公开的通信系统1也能够跟踪roi区域中的变化，以便对具有减小的s/n的roi区域实施3dnr。

此外，可以准备计算机程序，用于导致每个装置中的硬件(例如cpu、rom和ram)执行与上面描述的装置的配置等效的功能。也可以提供其上存储计算机程序的存储介质。在功能框图中发现的每个功能块都配置有硬件的情况下，所涉及的一系列过程可使用这样的硬件来实施。

尽管上面已经参照附图详细描述了本公开的优选实施例，但是该实施例并不限制本公开的技术范围。显然，本领域的技术人员将很容易想到在所附权利要求中陈述的技术思想的范围内的本公开的变化或替代。应当理解，这种变化、替代方案和其他分支也落入本公开的技术范围内。

在本说明书中陈述的有利效果仅仅是为了说明的目的，而不是对本公开的限制。也就是说，除了上述有利效果之外或代替上述有利效果，本公开的技术可以提供根据上述描述对本领域技术人员来说显而易见的其他有利效果。

应当注意，以下配置也落入本公开的技术范围内。

(1)

一种图像处理装置，包括：

区域检测部分，被配置为基于附到拍摄图像的数据从所述拍摄图像检测至少一个预定区域；以及

图像处理部分，被配置为对由所述区域检测部分检测到的所述预定区域的图像执行降噪处理。

(2)

根据上述段落(1)的图像处理装置，其中，在所述区域检测部分检测到的区域与被执行所述降噪处理的区域匹配的情况下，所述图像处理部分执行所述降噪处理。

(3)

根据上述段落(2)的图像处理装置，其中，所述图像处理部分通过参考所述数据来判断区域是否彼此匹配。

(4)

根据上述段落(1)至(3)的任一个的图像处理装置，还包括：

区域提取部分，被配置为从所述拍摄图像中提取由所述区域检测部分检测到的所述预定区域的所述图像，

其中，所述图像处理部分对由所述区域提取部分提取的所述预定区域的所述图像执行所述降噪处理。

(5)

根据上述段落(1)至(4)的任一个的图像处理装置，其中，所述图像处理部分包括参数计算部分，所述参数计算部分被配置为使用所述区域的所述图像和在紧接前一帧中经过了所述降噪处理的处理图像，计算用于使所述处理图像变形的参数。

(6)

根据上述段落(5)的图像处理装置，其中，所述图像处理部分还包括变形部分，所述变形部分被配置为基于由所述参数计算部分计算的参数使所述处理图像变形。

(7)

根据上述段落(3)的图像处理装置，其中，所述图像处理部分还包括预变形部分，所述预变形部分被配置为在所述变形部分使所述处理图像变形之前，使用关于当前帧中的所述区域的信息对所述处理图像执行变形处理，所述信息包括在所述数据中。

(8)

根据上述段落(1)至(7)中的任一个的图像处理装置，其中，所述图像处理部分对所述拍摄图像中的所有区域进一步执行所述降噪处理，并将对所述拍摄图像中的所有区域执行的所述降噪处理的结果与对所述预定区域的所述图像执行的所述降噪处理的结果以预定比率进行合成。

(9)

根据上述段落(8)的图像处理装置，其中，所述图像处理部分包括系数计算部分，所述系数计算部分被配置为计算所述预定比率。

(10)

根据上述段落(7)的图像处理装置，其中，所述系数计算部分基于对所述预定区域的所述降噪处理的所述结果之间的差来计算预定比率。

(11)

根据上述段落(8)段的图像处理装置，其中，所述图像处理部分以考虑运动模糊的方式对所述拍摄图像中的所有区域执行所述降噪处理。

(12)

根据上述段落(1)至(11)中的任一个的图像处理装置，其中，所述区域检测部分、所述区域提取部分和所述图像处理部分全部并入同一芯片中。

(13)

根据上述段落(1)至(11)中的任一个的图像处理装置，其中，所述区域检测部分和所述区域提取部分并入的芯片与所述图像处理部分并入的芯片不同。

(14)

一种图像处理方法，包括：

从拍摄图像中检测至少一个预定区域；

从拍摄图像中提取检测到的区域；以及

对提取的区域执行三维降噪处理。

[参考符号列表]

1：通信系统

100：图像传感器

200：处理器。