专利名称：特征量估计装置及其方法以及分光图像处理装置及其方法
技术领域：
本发明涉及估计与被检测体的特定成分有关的特征量的技术和从多波段图像中得到分光光谱的技木。
背景技术：
在现有技术中，作为进行生鮮食品的新鮮度判断的新鮮度传感器，提出了具备对来自被检测体的反射光进行分光的分光器。在该新鲜度传感器中，通过将作为分光器的输出的反射光谱用图像元件变换为电信号，并比较该反射光谱的电信号和基准光谱，来进行新鲜度判断。从上述分光器输出的反射光谱表示被检测体的特征量，通过利用反射光谱，可以估计被检测体的特征量。 但是，在上述现有技术中，虽然能够高精度地估计特征量，但需要波长分辨率和/或S/N比优异的高品质的分光器，存在成本高的问题。
发明内容
本发明正是为了解决上述的问题而提出的，其目的在于不需要昂贵的分光器就能够高精度地估计特征量。本发明正是为了解决上述问题的至少一部分而提出的，能够实现为以下的形式。本发明的第I形式是估计与被检测体的特定成分有关的特征量的特征量估计装置。上述特征量估计装置具备分光估计參数保存部，其保存在将波段不同的多个波段图像变换为分光光谱时使用的分光估计參数；校准处理參数保存部，其保存在将上述分光光谱变换为上述特征量时使用的校准处理參数；多频段图像取得部，其取得在至少包含与上述特定成分相应的预定波段的多个波段中拍摄上述被检测体而得到的多波段图像；分光光谱计算部，其使用在上述分光估计參数保存部中保存的分光估计參数，从上述多波段图像中计算分光光谱；以及校准处理部，其使用在上述校准处理參数保存部中保存的校准处理參数，从由上述分光光谱计算部求出的分光光谱中计算上述特征量。根据第I形式的特征量估计装置，从在至少包含与被检测体的特定成分相应的预定波段的多个波段中拍摄被检测体而得到的多波段图像，使用分光估计參数计算分光光谱，并从该分光光谱中使用校准处理參数计算被检测体的特征量。因此，根据上述特征量估计装置，如果预先准备分光估计參数和校准处理參数，则不需要昂贵的分光器，就能够从多波段图像中高精度地估计被检测体的特征量。在上述第I形式的特征量估计装置中，上述多波段图像取得部可以具备测量频段数据保存部，其保存在对于以多个波段的灵敏度进行被检测体的拍摄的多波段照相机指示測量频段时使用的多个测量频段数据；以及测量频段指示部，其通过将在上述测量频段数据保存部中保存的测量频段数据发送到上述多波段照相机来向上述多波段照相机指示测量频段。
根据该特征量估计装置，由于能够对多波段照相机指示测量频段，因此，能够更可靠地取得包含与特定成分相应的预定频带的多个波段的多波段图像。在上述第I形式的特征量估计装置中，也可以具备预处理数据保存部，其保存对于构成上述多波段图像的各个波段图像确定了在修正作为上述多波段图像的取得处的多波段照相机中的误差时使用的修正量的预处理数据；以及预处理部，其根据在上述预处理数据保存部中保存的预处理数据修正由上述多波段图像取得部取得的多波段图像，并将修正后的多波段图像发送到上述分光光谱计算部。根据该特征量估计装置，由于能够修正多波段照相机中的误差，因此，能够进一歩提闻估计精度。在上述特征量估计装置中，也可以具备诊断数据保存部 ，其保存在将上述被检测体的特征量变换为上述被检测体的评价值时使用的诊断数据；以及诊断部，其使用在上述诊断数据保存部中保存的诊断数据，从由上述校准处理部得到的特征量中计算上述被检测体的评价值。根据该构成，能够根据所求出的特征量计算被检测体的评价值。本发明的第2形式是将波段不同的多个波段图像变换为分光光谱的分光图像处理装置。分光图像处理装置具备分光估计參数保存部，其保存表明表示上述多个波段图像的每ー个中的预定位置的像素值的第I群变量和表示与上述预定位置对应的被检测体的部分的分光光谱的第2群变量之间的关系的分光估计參数；多波段图像取得部，其取得在多个波段中拍摄被检测体而得到的多波段图像；以及分光光谱计算部，其使用在上述分光估计參数保存部中保存的分光估计參数，从上述多波段图像中计算分光光谱。根据第2形式的分光图像处理装置，可根据在多个波段中拍摄被检测体而得到的多波段图像，使用分光估计參数计算分光光谱。因此，如果预先准备分光估计參数，则不需要昂贵的分光器，就能够从多波段图像中得到分光光谱。本发明的第3形式是估计与被检测体的特定成分有关的特征量的特征量估计方法。特征量估计方法取得在至少包含与上述特定成分相应的预定波段的多个波段中拍摄上述被检测体而得到的多波段图像，使用在将波段不同的多个波段图像变换为分光光谱时使用的分光估计參数，从上述多波段图像中计算分光光谱，并使用在将上述分光光谱变换为上述特征量时使用的校准处理參数，从通过上述计算得到的分光光谱中计算上述特征量。本发明的第4形式是将波段不同的多个波段图像变换为分光光谱的分光图像处理方法。分光图像处理方法取得在多个波段中拍摄被检测体而得到的多波段图像，使用表明表示上述多个波段图像的每ー个中的预定位置的像素值的第I群变量与表示与上述预定位置对应的被检测体的部分的分光光谱的第2群变量之间的关系的分光估计參数，从上述多波段图像中计算分光光谱。第3形式的特征量估计方法与第I形式的特征量估计装置一祥，无需昂贵的分光器就能够从多波段图像中高精度地估计被检测体的特征量。此外，第4形式的分光图像处理方法与第2形式的分光图像处理装置一祥，无需昂贵的分光器就能够从多波段图像中得到分光光谱。进ー步地，本发明除了上述各形式以外，还能够以各种形式实现。例如，能够以ー同具备多波段照相机和特征量估计装置的新鮮度判定系统的形式实现。
例如，本发明的ー个形式能够实现为具备第I保存部、第2保存部、图像取得部、计算部和处理部五个要素内的ー个以上的要素的装置。即，该装置可以具有第I保存部，也可以不具有第I保存部。此外，装置可以具有第2保存部，也可以不具有第2保存部。此外，装置可以具有图像取得部，也可以不具有图像取得部。此外，装置可以具有计算部，也可以不具有计算部。此外，装置可以具有处理部，也可以不具有处理部。第I保存部也可以被构成为例如保存在将波段不同的多个波段图像变换为分光光谱时使用的分光估计參数。第2保存部也可以被构成为例如保存在将分光光谱变换为特征量时使用的校准处理參数。图像取得部也可以被构成为例如取得在至少包含与特定成分相应的预定波段的多个波段中拍摄被检测体而得到的多波段图像。分计算部也可以被构成为例如使用分光估计參数，从多波段图像中计算分光光谱。处理部也可以被构成为例如使用校准处理參数，从分光光谱中计算特征量。这种装置虽然例如可以实现为特征量估计装置，但也可以实现为除了特征量估计装置以外的其它装置。根据这种形式，能够解决装置的小型化、低成本化、节省资源、容 易制造、使用方便性提高等各种问题中的至少ー个。上述的特征量估计装置的各形式的技术特征的一部分或者全部都能够适用于任何一种这样的装置。例如，本发明的ー个形式可以实现为具备保存部、图像取得部和计算部三个要素内的ー个以上的要素的装置。即，该装置可以具有保存部，也可以不具有保存部。此外，装置可以具有图像取得部，也可以不具有图像取得部。此外，装置可以具有计算部，也可以不具有计算部。保存部可以被构成为例如保存表明表示多个波段图像的每ー个中的预定位置的像素值的第I群变量与表示与预定位置对应的被检测体的部分的分光光谱的第2群变量之间的关系的分光估计參数。图像取得部可以被构成为例如取得在多个波段中拍摄被检测体而得到的多波段图像。计算部可以被构成为例如使用分光估计參数，从多波段图像中计算分光光谱。这样的装置虽然例如可以实现为分光图像处理装置，但也可以实现为分光图像处理装置以外的其它装置。根据这种形式，能够解决装置的小型化、低成本化、节省资源、容易制造、使用方便性提高等各种问题中的至少ー个。上述的分光图像处理装置的各种形式的技术特征的一部分或者全部都可以适用于任何一种这样的装置。
图I是概略性地表示作为本发明的一个实施例的新鮮度判定系统的构成的说明图。图2是表示判断緑色蔬菜的新鮮度的操作顺序的流程图。图3是表示新鲜度不同的绿色蔬菜的光的波长与分光反射率的关系的曲线图。图4是用于说明预处理数据的说明图。图5是表示诊断数据库的一个例子的图。图6是表示诊断数据库的另ー个例子的图。图7是表示新鮮度判断处理的流程图。符号说明I :新鲜度判定系统；10 =CPU ；12 :测量频段指示部；14 :预处理部；16 :分光估计部；18 :校准处理部；19 :诊断部；30 :存储器；32 :测量频段数据保存部；34 :预处理数据保存部；36 :分光估计參数保存部；38 :校准处理參数保存部；39 :诊断数据库保存部；50 :输入输出I/F ；100 :分光图像处理装置；200 :多波段照相机；210 :镜头单元；220 :波长选择滤波器；250 :光源単元；300 :显示装置；400 :存储装置；M :分光估计矩阵(=分光估计參数)；Z :混合矩阵(=校准处理參数)。
具体实施例方式以下根据实施例说明本发明的实施方式。本发明的一个实施例用于判断作为被检测体的緑色蔬菜的新鮮度。緑色蔬菜例如是菠菜、油菜、青椒等。A.新鲜度判定系统的整体构成图I是概略性地表示作为本发明的一个实施例的新鮮度判定系统I的构成的说明图。如图所示，新鮮度判定系统I具备分光图像处理装置100、多波段照相机200、显示装置300和存储装置400。多波段照相机200、显示装置300以及存储装置400与分光图像处理装置100电气连接。
多波段照相机200具备镜头单元210、波长选择滤波器220、CXD 230、CCDAFE (模拟前端)240以及光源単元250等。镜头单元210虽然不具备使焦距对准被拍摄体的自动对焦机构，但也可以具备自动对焦机构。波长选择滤波器220使用能够改变透过波段的法布里-佩罗型的滤波器。CCD230是对透过了波长选择滤波器220的光进行光电转换以得到表示被拍摄体图像的电信号的拍摄器件。CCDAFE 240用于将CCD 230的检测信号进行数字化。光源単元250用于照射被拍摄体。在上述构成的多波段照相机200中，通过从分光图像处理装置100中用波长选择滤波器220顺序地接收多个测量频段的指示，顺序地改变波长选择滤波器220的透过波长范围。这样，多波段照相机200以多个波段(多波段)的灵敏度进行被检测体T (被拍摄体)的拍摄。显示装置300是用于在画面上显示信息的装置。存储装置400是用于存储数据的外部装置，例如硬盘驱动装置。分光图像处理装置100是通过处理用多波段照相机200拍摄得到的多波段图像来判断被检测体T的新鮮度的装置。分光图像处理装置100具备通过执行程序来进行各种处理和/或控制的CPU 10、存储程序和/或数据、信息的存储器30、从多波段照相机200中取得图像数据并且向显示装置300和存储装置400发送新鮮度判断结果的输入输出接ロ(I/F) 50。存储器30具有测量频段数据保存部32、预处理数据保存部34、分光估计參数保存部36、校准处理參数保存部38以及诊断数据库保存部39。关于各保存部32 39的详细情形以后详述。此外，虽然未图示，但存储器30具有存储新鮮度判断用程序的程序保存部。在本实施例中，存储器30是非易失性存储器。另外，代替非易失性存储器，作为易失性存储器，也可以采用在执行处理前从外部取得必要的数据和/或參数并保存的构成。CPU 10通过执行在存储器30的程序保存部中存储的新鲜度判断用程序，在功能上实现测量频段指示部12、预处理部14、分光估计部16、校准处理部18以及诊断部19。各部分12 19使用在对应的保存部32 39中保存的数据和/或參数执行各处理。各处理的结果，CPU 10取得用多波段照相机200得到的多波段图像，根据多波段图像判断被检测体T的新鮮度，并将其判断结果经由输入输出I/F 50发送到显示装置300和存储装置400。其结果，显示并保存新鮮度判断結果。另外，分光图像处理装置100由于在判断被检测体T的新鲜度时，估计与被检测体T的特定成分有关的特征量，因此还具有作为特征量估计装置的功能。输入输出接ロ(I/F)50、存储器30的测量频段数据保存部32以及用CPU 10实现功能的测量频段指示部12与在发明内容部分中记载的“多波段图像取得部”对应。诊断数据库保存部39与在发明内容部分中记载的“诊断数据保存部”对应。B.新鲜度判断的操作顺序 图2是表示判断緑色蔬菜的新鮮度的操作顺序的流程图。如图所示，首先，生成新鮮度判断所需要的数据库，并将该数据库保存在分光图像处理装置100的存储器30中(步骤SI)。在此所说的数据库相当于在分光图像处理装置100的各保存部32 39 (图I)中保存的各种数据。其后，使用与分光图像处理装置100连接的多波段照相机200拍摄被检测体T(步骤S2)。接着，分光图像处理装置100根据从多波段照相机200输出的多波段图像，判断被检测体T的新鮮度(步骤S3)，并显示、保存其判断结果(步骤S4)。然后，分光图像处理装置100判断是否存在下ー个被检测体T (步骤S5)，当存在下ー个被检测体T (步骤S5的“是”)吋，返回到步骤S2，对下ー个被检测体T进行步骤S2至步骤S4。在步骤S5，当没有下ー个被检测体T (步骤S5的“否”)吋，结束处理。C.数据库的生成、保存以下对通过上述步骤SI生成并保存的作为数据库的各种数据，详细说明其内容和生成方法。各种数据是测量频段数据、预处理数据、分光估计參数、校准处理參数以及诊断数据库。另外，数据库的生成和保存适合在分光图像处理装置100的出厂前进行。步骤S3的判断可以在使用新鲜度已知的被检测体T的情况下省略。操作者也可以经由未图示的接ロ进行上述顺序的一部分。测量频段数据緑色蔬菜如果老了，则叶绿素被分解，嫩绿色消失。由此，緑色蔬菜的新鮮度能够根据叶绿素的量判断。在本实施方式中，通过估计叶绿素的量作为被检测体的特征量，判断作为被检测体的緑色蔬菜的新鮮度。图3是表示新鲜度不同的绿色蔬菜的光的波长与分光反射率的关系的曲线图。如图所示，新鲜的蔬菜(或者稍稍蔫了的蔬菜)在大约700nm左右开始叶绿素进行的光的吸收。因此，为了将包含开始叶绿素进行的光的吸收的波长(大约700nm)的500nnTll00nm范围内的多个波长作为测量频段指示给多波段照相机200，将上述多个波长作为测量频段数据存储在测量频段数据保存部32中。例如，只要采用存储从500nm开始以20nm为间隔直到
IlOOnm 为止的 31 个(具体地，500nm、520nm、540nm、.......1060nm、1080nm、IlOOnm)测量频
段数据的构成即可。另外，上述测量频段数据并不必需是20nm间隔的31个，也可以是IOnm间隔的61个，只要是任意多个都可以。此外，也并不必需是等间隔的，也可以确定为以更小的间隔指示作为开始叶绿素进行的光的吸收的波长的大约700nm附近。此外，并不必需是500nm^lIOOnm的范围，只要包含开始叶绿素进行的光的吸收的波长(大约700nm)，也可以
是其它范围。
预处理数据在多波段照相机200中，存在光学系统的不匀和/或构成波长选择滤波器220的法布里-佩罗型滤波器的翘曲和/或光源単元250的照明不匀等硬件的制造误差。由此，在多波段照相机200中，在通过拍摄得到的多波段图像的各面内(构成多波段图像的各波段图像内)发生波长不匀(透过波长的不匀)和/或光量不匀。在本实施例中，将用于除去该面内波长不匀以及光量不匀的修正量作为预处理数据，存储在预处理数据保存部34中。具体地，首先，用在新鲜度判断中使用的多波段照相机200 (机型相同，优选地，实际设备相同)拍摄均匀颜色的样品，取得多波段图像。接着，在构成多波段图像的各个波段图像中，以在图像内任一位置都均匀的方式对每个像素计算除去硬件的制造误差的修正数据，并将每个像素的修正数据的集合作为与各波段图像对应的预处理数据存储在预处理数据保存部34中。作为均匀顔色的样品，优选无论在哪个波长范围都能够均匀地反射光的颜色，例如，标准白色板。图4是用于说明预处理数据的说明图。图中的(a)表示多波段图像，图中的(b)表 示预处理数据。如图所示，多个预处理数据roi、H)2、. . .、PDn的每ー个被准备给构成多波
段图像的每个波段图像BPl........BPn (即，多波段图像的每个波段)，因此，准备了与波
段图像BP1、BP2.....BPn相同的数量。然后，预处理数据H)l、H)2........PDn的每ー个
由与各波段图像相同的要素数量(像素数量)构成。在第k个(k=fn)预处理数据PDk的横方向为第i个、纵方向为第j个的要素中存储的修正数据ak(i，j)是修正第k个多波段图像BPk的横方向为第i个、纵方向为第j个的像素的修正数据，用于在第k个波段图像BPk内除去不匀。另外，在本实施例中，修正数据采用对波段图像BPfBPn中的全部像素生成的构成，但可替代地，也可以通过离散地生成修正数据来減少修正数据的数量，并对没有修正数据的部分用插补计算求出。另外，预处理数据的生成方法并不限于上述，能够换成其它方法。分光估计參数分光估计參数表示多波段图像和分光光谱的关系。多波段图像是用多波段照相机200得到的波段不同的多个波段图像，分光光谱是由分光器得到的光谱。具体地，以下的式
(I)中的分光估计矩阵M是分光估计參数。在式(I)中，X是表示多波段图像的预定位置的值(像素值)的矩阵，P是表示与该预定位置对应的部分的分光光谱的矩阵。所谓“多波段图像的预定位置的像素值”是构成多波段图像的各波段图像的预定位置的像素值，所谓“与该预定位置对应的部分”是与该预定位置对应的被检测体T的位置。[式I]p=Mx ...... (I)式(I)是指以下的式(2)。如式(2)所示，矩阵X包含X1、X2.....Xn的要素。各要
素与在测量频段数据保存部32中保存的测量频段数据各自对应，因此，要素的数量n和要素测量频段数据的数量相同。即，由于多波段图像的预定位置的像素值被表示为各测量频
段的光的強度，因此，表示上述像素值的X用以Xl、X2.....xn为要素的矩阵表示。另一方
面，表不分光光谱的矩阵P包含PpPp. . .、Pm的要素。各要素与表不分光光谱的波段对应，因此，其要素的数量m比表示多波段图像的像素值的矩阵X的要素的数量n大。分光估计矩阵M是mXn矩阵。[式2]
权利要求
1.一种特征量估计装置，其估计与被检测体的特定成分有关的特征量，具备 分光估计參数保存部，其保存在将波段不同的多个波段图像变换成分光光谱时使用的分光估计參数； 校准处理參数保存部，其保存在将上述分光光谱变换成上述特征量时使用的校准处理參数； 多波段图像取得部，其取得在至少包含与上述特定成分相应的预定波段的多个波段中拍摄上述被检测体而得到的多波段图像； 分光光谱计算部，其使用在上述分光估计參数保存部中保存的分光估计參数，根据上述多波段图像计算分光光谱；以及 校准处理部，其使用在上述校准处理參数保存部中保存的校准处理參数，根据由上述分光光谱计算部求出的分光光谱计算上述特征量。
2.根据权利要求I所述的特征量估计装置，其中，上述多波段图像取得部具备 测量频段数据保存部，其保存在对以多个波段的灵敏度进行被检测体的拍摄的多波段照相机指示測量频段时使用的多个测量频段数据；以及 测量频段指示部，其通过将在上述测量频段数据保存部中保存的测量频段数据发送到上述多波段照相机来对上述多波段照相机指示测量频段。
3.根据权利要求I所述的特征量估计装置，具备 预处理数据保存部，其保存预处理数据，其中上述预处理数据对于构成上述多波段图像的各个波段图像确定了在修正作为上述多波段图像的取得处的多波段照相机中的误差时使用的修正量；以及 预处理部，其根据在上述预处理数据保存部中保存的预处理数据，修正由上述多波段图像取得部取得的多波段图像，并将修正后的多波段图像发送到上述分光光谱计算部。
4.根据权利要求I至3任意一项所述的特征量估计装置，具备 诊断数据保存部，其保存在将上述被检测体的特征量变换成上述被检测体的评价值时使用的诊断数据；以及 诊断部，其使用在上述诊断数据保存部中保存的诊断数据，根据由上述校准处理部得到的特征量计算上述被检测体的评价值。
5.ー种分光图像处理装置，其将波段不同的多个波段图像变换成分光光谱，具备 分光估计參数保存部，其保存分光估计參数，其中上述分光估计參数表明表示上述多个波段图像的每ー个中的预定位置的像素值的第I群变量与表示与上述预定位置对应的被检测体的部分的分光光谱的第2群变量之间的关系； 多波段图像取得部，其取得在多个波段中拍摄被检测体而得到的多波段图像；以及分光光谱计算部，其使用在上述分光估计參数保存部中保存的分光估计參数，根据上述多波段图像计算分光光谱。
6.一种特征量估计方法，其估计与被检测体的特定成分有关的特征量，包括 取得在至少包含与上述特定成分相应的预定波段的多个波段中拍摄上述被检测体而得到的多波段图像； 使用在将波段不同的多个波段图像变换成分光光谱时使用的分光估计參数，根据上述多波段图像计算分光光谱；以及使用在将上述分光光谱变换成上述特征量时使用的校准处理參数，根据通过上述计算而得到的分光光谱计算上述特征量。
7.ー种分光图像处理方法，其将波段不同的多个波段图像变换成分光光谱，包括 取得在多个波段中拍摄被检测体而得到的多波段图像；以及 使用表明表示上述多个波段图像的每ー个中的预定位置的像素值的第I群变量与表示与上述预定位置对应的被检测体的部分的分光光谱的第2群变量之间的关系的分光估计參数，根据上述多波段图像计算分光光谱。
全文摘要
本发明涉及特征量估计装置及其方法以及分光图像处理装置及其方法。该特征量估计装置估计与被检测体的特定成分有关的特征量，并具备分光估计参数保存部、校准处理参数保存部、多频段图像取得部、使用分光估计参数以根据多频段图像计算分光光谱的分光光谱计算部和使用校准处理参数以根据分光光谱计算特征量的校准处理部。
文档编号G01N21/25GK102788751SQ20121015653
公开日2012年11月21日 申请日期2012年5月18日 优先权日2011年5月20日
发明者荒井佳文, 金井政史 申请人:精工爱普生株式会社