图像处理装置和图像处理方法与流程

本文所讨论的实施方式涉及图像处理装置和图像处理方法。

背景技术：

使用照相机代替医疗保健专业人员例如护士或看护人员来监视例如躺在床上的患者或被照顾者在苏醒或起床时的行为以及他/她在床上做什么的系统是已知的。例如，在医疗机构中，当可能导致滑倒或摔倒事故的苏醒或起床时的行为发生时，或者当患者正在经受他/她不能够按下护士呼叫按钮的状态的不寻常行为发生时，如果系统代替病人通知护士，这是有效的。

在这样的系统中，当根据照相机捕获的图像识别人在床上的行为时，使用关于图像中的床区的信息作为参考。在床的一侧处布置多个标记以通过使用从距离图像获得的标记的三维位置以及通过使用床的已知尺寸来识别床的位置和床区的技术也是已知的(参见例如专利文献1)。

专利文献1：日本公开特许公报第2013-078433号。

技术实现要素：

本发明的一个方面的目的是根据所捕获的床的图像容易地确定床的状态变化。

根据实施方式的一个方面，基于指示第一图像中的第一床区的边界与由从第二图像检测到的棱边表示的线段之间的对应关系来确定床的状态变化的类型。第二图像是在捕获第一图像之后捕获的图像，并且床的状态变化是在从捕获第一图像至捕获第二图像的时间段期间发生的状态变化。

附图说明

图1例示了照相机的布置。

图2例示了床区提取方法。

图3例示了由于水平移动导致的亮度的变化。

图4例示了由于倾斜形状变化导致的线段的变化。

图5例示了由于床的表面高度的变化导致的亮度的变化。

图6例示了图像处理装置的功能构造。

图7是图像处理的流程图。

图8例示了图像处理装置的功能构造的具体示例。

图9是例示图像处理的具体示例的流程图。

图10是例示床区估计处理的第一具体示例的流程图。

图11例示了照相机坐标系与三维坐标系之间的关系。

图12例示了照相机的安装位置与床的表面高度之间的关系的示例。

图13例示了照相机坐标系相对于三维坐标系的方位。

图14是例示床区确定处理的第一具体示例的流程图。

图15例示了床区的形状与u形之间的关系。

图16例示了床区生成处理。

图17例示了多个边界区域。

图18是例示状态变化确定处理的第一具体示例的流程图。

图19例示了表面高度的变化。

图20例示了水平移动。

图21例示了倾斜形状变化。

图22是当改变表面高度时的对应关系确定处理的流程图。

图23例示了计算相关系数(correlationscore)的方法。

图24是当不改变表面高度时的对应关系确定处理的流程图。

图25是表面高度估计处理的流程图。

图26a至图26e例示了根据估计的表面高度而变化的u形。

图27例示了相关系数的变化。

图28例示了由于表面高度的变化的图像处理。

图29例示了由于倾斜形状变化的图像处理。

图30是例示床区估计处理的第二具体示例的流程图。

图31a是例示状态变化确定处理的第二具体示例的流程图(的第一部分)。

图31b是例示状态变化确定处理的第二具体示例的流程图(的第二部分)。

图32是例示床区确定处理的第二具体示例的流程图。

图33例示了信息处理装置的构造。

具体实施方式

现在将参照附图详细描述实施方式。

在专利文献1的技术的情况中，在床上布置多个标记，并且监视装置设置有用于生成距离图像的距离图像传感器。然而，在较简单的构造中，识别诸如床的移动等状态变化的技术是未知的。

该问题不仅在监视床上的患者或被照顾者时发生，并且也在监视床上的健康的人例如婴儿时发生。

图1例示了在实施方式中照相机的布置的示例。照相机101是例如单目照相机，并且为了捕获在床102上的人的图像，照相机101安装在床102的上方。根据由照相机101捕获的图像来确定床区103。

在医院房间中，除了床102之外还存在患者和许多物体。医院房间中存在的物体包括例如蒲团、枕头、床上桌、茶几、椅子、家具、壁纸和窗帘。因此，当从捕获的床102的图像中检测棱边时，除了那些用于床102的形状的棱边之外还检测到许多棱边。

可以想到，当在由那些棱边表示的许多线段中搜索表示床区103的边界的线段时，计算量变得较大并且更可能发生对床区103的错误的识别。床区103的错误识别导致患者行为的错误识别，因此由于错误的护士呼叫，将可能增加护士的负担。

图2例示了在现有的日本专利申请第2014-250795号中公开的床区提取方法。在该床区提取方法中，从由图像中检测到的棱边表示的线段中排除不形成床区103的线段，以提取可以形成床区103的线段(步骤201)。接着，将两条线段进行组合以生成l形，并且排除不形成床区103的l形，以提取可以形成床区103的l形(步骤202)。

接着，将两个l形进行组合以生成u形，并且排除不形成床区103的u形，以提取可以形成床区103的u形(步骤203)。然后，将两个u形进行组合以生成矩形，并且排除不形成床区103的矩形，以提取表示床区103的矩形(步骤204)。因此，可以准确并且高效地确定床区103。

然而，床102不总是在相同的位置中具有相同的形状，并且护士可以在地板上水平移动床102，护士或者患者可以改变床102的表面高度，或者可以通过倾斜机构来改变床102的形状。倾斜形状变化包括将床102的表面的一部分升高以便人能够倚靠升高的部分的形状变化，以及将床102的表面的升高部分向后倾斜以恢复至平坦形状的形状变化。如果在启动监视之后床102的状态发生变化，则例如照相机101与床102之间的位置关系将发生变化，这可能导致难以确定床区103。

图3例示了由于床102的水平移动导致亮度变化的示例。在光线从照明设备501辐射在床102的表面502上的情况下，当床102在地板上水平移动使得床102的床头板远离照相机101时，床尾板周围的区域503变得昏暗。在这种情况下，从包括在床尾板周围的区域503中的床区103的边界中不易检测到棱边，并且不生成包括表示边界的线段的u形，因此不生成表示床区103的矩形。

图4例示了由于床102的倾斜形状变化导致的线段变化的示例。当由于倾斜形状变化使床102的表面的部分401升高时，床102的形状发生改变。在这种情况下，不生成表示床区103的矩形，或者所生成的矩形与床区103不对应。

图5例示了由于床102的表面高度的变化导致亮度变化的示例。在光线从照明设备501辐射在床102的表面502上的情况下，当升高表面502时，床尾板周围的区域503变得昏暗。在这种情况下，从包括在床尾板周围的区域503中的床区103的边界中不易检测到棱边，并且不生成包括表示边界的线段的u形，因此不生成表示床区103的矩形。

因此，优选地，即使当状态变化例如发生床102的表面高度变化、水平移动和倾斜形状变化时，仍确定床区103。

图6例示了实施方式的图像处理装置的功能构造的示例。图6的图像处理装置601包括状态变化确定单元611和输出单元612(输出接口)。

图7是例示由图6的图像处理装置601执行的图像处理的示例的流程图。首先，状态变化确定单元611基于指示第一图像中的第一床区的边界与从第二图像中检测到棱边所表示的线段之间的对应关系来确定床的状态变化的类型(步骤701)。第二图像是在捕获第一图像之后捕获的图像，并且床的状态变化是在从捕获第一图像至捕获第二图像的时间段期间的状态变化。

接着，输出单元612基于所确定的状态变化的类型来输出信息(步骤702)。基于状态变化的类型的信息可以是指示状态变化的类型的信息，或者其可以是指示根据状态变化的类型而更新的床区的信息。

根据图像处理装置601，床的状态变化可以根据所捕获的床的图像来容易地确定。

图8例示了图6的图像处理装置601的具体示例。图8的图像处理装置601包括状态变化确定单元611、输出单元612、图像获取单元801、床区估计单元802和存储器803。存储器803存储图像811、筛选条件812、透镜畸变信息813和床区信息814。

图像获取单元801按时间顺序获取从照相机101输入的图像811，并且将图像811存储在存储器803中。床区估计单元802以与上述现有的日本专利申请中公开的床区提取方法类似的方法，根据在各个时刻捕获的图像811来估计床区103，以生成指示估计的床区103的床区信息814。然而，床区估计单元802在将从图像811中检测到的线段转换成三维空间中的线段之后估计床区103，这与现有的日本专利申请的情况不同。

状态变化确定单元611基于指示三维空间中的床区103的边界与三维空间中的线段之间的对应关系来确定床的状态变化的类型，所述三维空间中的床区103根据某时刻的图像811来估计，并且所述三维空间中的线段从所述某时刻之后的一个时刻的图像811中检测到。

使用与现有的日本专利申请中公开的筛选条件相似的信息作为筛选条件812。当根据图像811估计床区103时，使用筛选条件812，并且筛选条件812包括例如线段提取条件、l形提取条件和u形提取条件。

线段提取条件是用于从在图像中检测到的三维空间中的线段中提取可以形成床区103的线段的条件。线段提取条件可以是例如以下条件。

(1)线段的角度包括在规定的角度范围中(等于或大于θ1且小于θ2)。

(2)线段存在于固定区域中。

(3)线段的长度等于或大于规定的长度(等于或大于l1)。

稍后将描述用于确定三维空间中的区域是否为固定区域的方法。l形提取条件是用于从分别通过将两条线段进行组合而获得的l形中提取可以形成床区103的l形的条件。l形提取条件可以是例如以下条件。

(4)由l形的两条边(两条线段)形成的角度包括在规定的范围中(等于或大于θ3且小于θ4)。

(5)l形的两条边均是形成水平平面的水平分量。

u形提取条件是用于从分别通过将两个l形进行组合而获得的u形中提取可以形成床区103的u形的条件。u形提取条件可以是例如以下条件。

(6)由均位于u形的末端处的两条边(两条线段)形成的角度包括在规定的范围中(等于或大于θ5且小于θ6)。

(7)均位于u形的末端处的两条边之间的宽度等于或大于规定的长度(等于或大于l2)。

(8)在均位于u形的末端处的两条边周围的区域中，图像811中像素的亮度分布从高亮度至低亮度变化。

以上提取条件(1)至(8)仅仅是示例，并且筛选条件812可以包括另外的线段提取条件、另外的l形提取条件和另外的u形提取条件。

透镜畸变信息813是指示照相机101的透镜畸变的信息，并且当将从图像811中检测到的线段转换成三维空间中的线段时使用透镜畸变信息813。此外，当将三维空间中的区域例如床区103逆转换成图像811中的区域时，也使用透镜畸变信息813。

输出单元612可以是显示装置或通信接口。例如，当输出单元612是显示装置时，输出单元612可以在屏幕上突出显示对应于图像811中的床区103的区域。此外，当输出单元612是通信接口时，输出单元612可以通过通信网络将床区信息814传送至另一图像处理装置。

图9是例示由图8的图像处理装置601执行的图像处理的具体示例的流程图。首先，图像获取单元801检查是否从照相机101输入图像811(步骤901)，并且当输入图像811时(步骤901，是)，图像获取单元801获取图像811并且将图像811存储在存储器803中。

接着，状态变化确定单元611和床区估计单元802执行床区估计处理(步骤902)。接着，床区估计单元802基于估计的结果来更新床区信息814(步骤903)，并且输出单元612输出床区信息814(步骤904)。然后，在随后的时间中，图像处理装置601针对图像811重复步骤901和步骤901之后的过程。

当步骤902中的床区估计处理满足规定的条件时，图像处理装置601跳过步骤902的过程，并且重复步骤901和步骤901之后的过程。然后，当在随后的时间中未输入图像811时(步骤901，否)，图像处理装置601结束处理。

图10是例示图9的步骤902中的床区估计处理的第一具体示例的流程图。首先，床区估计单元802从输入图像811中检测棱边，并且生成由所检测到的棱边表示的线段(步骤1001)。

接着，床区估计单元802将输入图像811中的每条线段转换成当从笔直的上方向下看床102时的三维坐标系中的线段(步骤1002)。对于线段的坐标转换，使用了在三维坐标系中的照相机坐标系的原点位置(xw,yw,zw)以及表示照相机坐标系相对于三维坐标系的方位的翻滚角α、俯仰角β和偏转角γ。

图11例示了照相机坐标系与三维坐标系之间的关系的示例。照相机坐标系xcyczc是原点在照相机101的安装位置1101处的坐标系，并且三维坐标系xyz是原点在从安装点1101笔直向下降落至房间的地板1103上的垂线与地板1103之间的相交点1102处的坐标系。在该示例中，三维坐标系xyz的x轴平行于床区103的短边，并且y轴平行于床区103的长边，其中xw＝yw＝0。然而，当床102在地板1103上水平移动时，可能改变床区103的短边和长边相对于x轴和y轴的角度。

图12例示了照相机101的安装位置与床的表面高度之间的关系的示例。在该示例中，三维坐标系xyz的原点沿z轴方向移动，使得床102的表面502被包括在三维坐标系xyz的xy平面中。在该情形下，zw表示照相机101的安装高度与床102的表面高度h之间的差值。

图13例示了照相机坐标系xcyczc相对于三维坐标系xyz的方位的示例。翻滚角α表示绕x轴的旋转，俯仰角β表示绕y轴的旋转，并且偏转角γ表示绕z轴的旋转。

此处，假设照相机101的安装高度、床102的表面高度h、翻滚角α和俯仰角β是已知的，并且偏转角γ为零。当使用图12的三维坐标系xyz时，xw＝yw＝0，并且可以根据照相机101的安装高度和床102的表面高度h来计算zw。因此，如果给出六个参数xw、yw、zw、α、β和γ，则图像811中的每条线段的两个端点的坐标均可以转换成三维坐标系xyz中的三维坐标。此时，基于透镜畸变信息813校正由于照相机101的透镜畸变导致的图像811的失真。

接着，床区估计单元802对三维坐标系xyz中的线段应用筛选条件812以确定三维空间中的床区103(步骤1003)。

图14是例示图10的步骤1003中的床区确定处理的第一具体示例的流程图。首先，床区估计单元802从三维坐标系xyz的线段中提取满足线段提取条件的线段(步骤1401)。接着，床区估计单元802将两条线段进行组合以生成l形(步骤1402)，并且从所生成的l形中提取满足l形提取条件的l形(步骤1403)。

接着，床区估计单元802将两个l形进行组合以生成u形(步骤1404)，并且从所生成的c形中提取满足u形提取条件的u形(步骤1405)。然后，床区估计单元802根据所提取的u形来生成表示床区103的形状(步骤1406)。然而，此时，未更新存储器803中的床区信息814。

取决于床102的周围或人在床102上的位置的周围的照明亮度，存在床区103的边界将不能被检测到的可能性。因此，在现有的专利申请中的床区提取方法中，当从床区103的短边中的一个短边未检测到线段时，基于关于u形的宽度和床102的长宽比的信息来估计床区103。

在这种情况下，估计图像811中的床区103，因此床区103的长边的方向取决于床102与照相机101之间的相对位置关系而变化。因此，对于图像811中的床102的多个位置，优选地预先将床102的位置与床区103的长边的方向之间的对应关系存储在存储装置中。

另一方面，在图14的床区确定处理中，估计三维坐标系xyz中的床区103，因此床区103的长边的方向独立于床102与照相机101之间的相对位置关系而保持不变。因此，不必存储床102的位置与床区103的长边的方向之间的对应关系，这导致减小了存储装置的容量。

图15例示了床区103的形状与u形之间的关系的示例。在三维坐标系xyz中，床102的形状和尺寸独立于床102的位置和方向而保持不变。考虑到这一点，即使当从床区103的短线1501中的一个短线中未检测到线段时，如果基于由另一短线1502生成的另一侧u形1512来对u形1511进行内插，则也可以生成床区103的完整形状。

图16例示了以上床区生成处理的示例。床区估计单元802将从照相机101输入的图像1601中的每条线段转换成三维坐标系xyz中的线段。三维坐标系xyz的原点1602对应于照相机101的安装位置1101。然后，床区估计单元802从包括在xy平面中的线段中生成满足u形提取条件的u形1603。

在该示例中，u形1603的底部1604对应于床区1603的短边，并且具有与x轴成角度θ的斜度。角度θ表示照相机101的光轴方向与床区103的长边之间的相对角度，并且角度θ不取决于坐标转换的参数zw。

接着，床区估计单元802使用xy平面中的底部1604的两个端点的坐标来获得从一个端点指向另一端点的单位方向向量v1。然后，床区估计单元802通过利用以下公式，使用底部1604的中点的坐标m、单位方向向量v1和床区103的短边的长度bw(床宽)来获得床区103的顶点1611的坐标pfl和顶点1612的坐标pfr。

pfl＝m-v1·bw/2(1)

pfr＝m+v1·bw/2(2)

公式(1)的坐标pfl表示从底部1604的中点处开始，沿与单位方向向量v1的方向相反的方向移动了床宽bw的一半的点的位置。公式(2)的坐标pfr表示从底部1604的中点处开始，沿单位方向向量v1的方向移动了床宽bw的一半的点的位置。

接着，床区估计单元802获得底部1604的单位法线向量v2。然后，床区估计单元802通过利用以下公式，使用单位法线向量v2和床区103的长边的长度bh来获得床区103的顶点1613的坐标pbl和顶点1614的坐标pbr。

pbl＝pfl+v2·bh(3)

pbr＝pfr+v2·bh(4)

公式(3)的坐标pbl表示从顶点1611处开始，沿单位方向向量v2的方向移动了长度bh的点的位置，并且公式(4)的坐标pbr表示从顶点1612处开始，沿单位方向向量v2的方向移动了长度bh的点的位置。床区估计单元802生成由连接顶点1611至1614的线段表示的矩形1621作为表示床区103的形状。

在通过床区估计单元802确定床区103之后，状态变化确定单元611计算与指示所确定的床区103的多个边界对应的多个边界区域的移动(步骤1004)。

图17例示了其中存在多个边界区域的示例。在该示例中，在所确定的床区103的边界上布置有六个边界区域。每个边界区域均具有规定宽度的细长的矩形形状，其包括作为中心线的边界。

边界区域s3对应于在床区103的床头板侧处(人的头侧处)的短边，并且边界区域s6对应于在与床头板相对的侧处(人的足侧处)的短边。边界区域s2对应于床区103的一条长边的头侧的部分，并且边界区域s1对应于一条长边的足侧的部分。边界区域s4对应于床区103的另一条长边的头侧的部分，并且边界区域s5对应于另一条长边的足侧的部分。

在这些边界区域中，边界区域s2至s4对应于床102的倾斜部分。倾斜部分是由于倾斜形状变化导致的升高和向后倾斜的部分。另一方面，边界区域s1、s5和s6对应于由于倾斜形状变化但不发生状态变化的部分。

可以使用在三个不同时刻例如时刻(t-2)、时刻(t-1)和时刻t处的图像811中的像素值来计算在时刻t处边界区域的移动。此时，状态变化确定单元611将每个边界区域在三维坐标系xyz中的范围逆转换成图像811中的范围，以确定属于每个边界区域的像素。当属于某边界区域的像素(x,y)在时刻t处的像素值为ft(x,y)时，使用以下公式获得时刻t与时刻(t-1)之间的像素值的差值f1(x,y)。

f1(x,y)＝|ft(x,y)-ft-1(x,y)|(11)

同样地，使用以下公式获得时刻(t-1)与时刻(t-2)之间的像素值的差值f2(x,y)。

f2(x,y)＝|ft-1(x,y)-ft-2(x,y)|(12)

然后，状态变化确定单元611通过利用以下公式，使用规定的阙值th对f1(x,y)和f2(x,y)进行二值化处理。

b1(x,y)＝1(f1(x,y)≥th)(13)

b1(x,y)＝0(f1(x,y)＜th)(14)

b2(x,y)＝1(f2(x,y)≥th)(15)

b2(x,y)＝0(f2(x,y)＜th)(16)

接着，状态变化确定单元611使用以下公式获得作为b1(x,y)与b2(x,y)的逻辑积的b3(x,y)。

b3(x,y)＝b1(x,y)andb2(x,y)(17)

接着，状态变化确定单元611获得逻辑积b3(x,y)均为1的像素与属于一个边界区域的所有像素的比例，并且当所获得的比例大于规定值时，状态变化确定单元611确定边界区域是活动区域。另一方面，当所获得的比例不大于规定值时，状态变化确定单元611确定边界区域是固定区域。然后，状态变化确定单元611执行状态变化确定处理(步骤1005)。

图18是例示图10的步骤1005中的状态变化确定处理的示例的流程图。可以想到，在床102的表面高度变化、水平移动和倾斜形状变化中的两个或更多个状态变化不会同时发生，而是仅会发生所述状态变化中的一个状态变化。因此，在状态变化确定处理中，基于活动边界区域的组合，可确定出床102的状态变化对应于表面高度变化、水平移动和倾斜形状变化中的一个状态变化。

图19例示了表面高度变化的示例。在该示例中，升高了床102的表面高度。矩形1901表示床102的状态变化之前的床区103，并且矩形1902表示在状态变化之后由u形1903生成的床区103。在这种情况下，使用状态变化之前的三维坐标系xyz来表示u形1903和矩形1902。如果升高表面高度，则坐标转换的参数zw预计将减小，并且只要未检测到表面高度的变化就使用状态变化之前的zw执行坐标转换。

当升高表面高度时，所有的边界区域s1至s6变成活动区域，并且矩形1902变得大于矩形1901。矩形1901和矩形1902具有相同的中心位置和相同的斜度，因此如果矩形1902的尺寸减小，则与矩形1901重叠(coterminous)。相反，当降低表面高度时，在状态变化之后由u形生成的矩形变得小于矩形1901，因此如果状态变化之后的矩形增大，则与矩形1901重叠。

因此，如果在改变床102的表面高度h以改变zw的同时比较状态变化之前和状态变化之后的床区103，则可以确定表面高度是否已经改变。

图20例示了水平移动的示例。矩形2001表示床102的状态变化之前的床区103，并且矩形2002表示在状态变化之后由u形2003生成的床区103。在这种情况下，表面高度没有因为床102的状态变化而变化，因此zw没有变化，并且三维坐标系xyz也没有变化。

当床102水平移动时，所有的边界区域s1至s6变成活动区域。矩形2001和矩形2002具有相同的尺寸，但是具有不同的位置和不同的斜度，因此即使矩形2002的尺寸增大或减小，也不与矩形2001重叠。因此，如果在改变床102的表面高度h以改变zw的同时比较状态变化之前和状态变化之后的床区103，则可以确定是否已经执行了水平移动。

图21例示了倾斜形状变化的示例。矩形2101表示床102在开始倾斜之前的床区103。矩形2102表示在执行倾斜形状变化以升高床102的倾斜部分并且倾斜部分变成固定的倾斜状态时由u形2104生成的床区103。矩形2103表示在执行倾斜形状变化以使倾斜部分向后倾斜并且倾斜结束时由u形2105生成的床区103。

在这种情况下，在结束倾斜时的三维坐标系xyz和矩形2103与开始倾斜时的三维坐标系xyz和矩形2101相同。在执行倾斜形状变化时，仅对应于倾斜部分的边界区域s2至s4变成活动区域，而边界区域s1、s5和s6保持固定区域。因此，当仅边界区域s2至s4由固定区域变成活动区域时，可以确定倾斜形状变化已经开始。

矩形2101和矩形2102具有不同的中心位置和不同的尺寸，因此矩形2102与矩形2101不重叠。另一方面，矩形2101和矩形2103具有相同的中心位置、相同的斜度和相同的尺寸，因此矩形2103与矩形2101重叠。因此，如果开始倾斜形状变化并且然后将状态变化之后的床区103与开始倾斜之前的床区103进行比较，则可以确定床区103是否已经进入倾斜状态或者倾斜是否已经结束。

首先，状态变化确定单元611检查状态变化确定处理是否处于状态变化确定等待状态(步骤1801)。状态变化确定等待状态指示确定状态变化的结果尚未获得，并且对应于两种类型的状态(如稍后所描述的确定等待状态a和确定等待状态b)中的一种。

当状态变化确定处理不处于状态变化确定等待状态时(步骤1801，否)，状态变化确定单元611检查是否所有的边界区域均为活动区域(步骤1807)。当所有的边界区域均为活动区域时(步骤1807，是)，状态变化确定单元611确定状态变化确定处理处于确定等待状态a(步骤1808)。确定等待状态a指示床102的表面高度变化或水平移动正在发生。然后，图像处理装置601在随后的时间中对图像811重复步骤901和步骤901之后的过程。

当一个或更多个边界区域为固定区域时(步骤1807，否)，状态变化确定单元611检查对应于倾斜部分的所有边界区域是否均为活动区域(步骤1809)。在图17的示例中，对应于倾斜部分的边界区域是边界区域s2至s4。

当对应于倾斜部分的所有边界区域均为活动区域时(步骤1809，是)，状态变化确定单元611确定状态变化确定处理处于确定等待状态b(步骤1810)。确定等待状态b指示床102的倾斜形状变化正在发生。然后，图像处理装置601在随后的时间中对图像811重复步骤901和步骤901之后的过程。

当对应于倾斜部分的一个或更多个边界区域为固定区域时(步骤1809，否)，状态变化确定单元611检查床102是否处于倾斜状态(步骤1811)。当床102处于倾斜状态时(步骤1811，是)，状态变化确定单元611确定床102的倾斜状态正在发生(步骤1812)。另一方面，当床102不处于倾斜状态时(步骤1811，否)，状态变化确定单元611确定床102的状态变化尚未发生(步骤1813)。

当状态变化确定处理处于状态变化确定等待状态时(步骤1801，是)，状态变化确定单元611检查是否每个边界区域均为活动区域(步骤1802)。当一个或更多个边界区域为活动区域时(步骤1802，是)，状态变化确定单元611确定床102的状态变化正在发生。然后，图像处理装置601在随后的时间中对图像811重复步骤901和步骤901之后的过程。

另一方面，当所有的边界区域为固定区域时(步骤1802，否)，状态变化确定单元611确定床102的状态变化已经结束，并且检查状态变化确定处理是否处于确定等待状态a或b(步骤1803)。

当状态变化确定处理处于确定等待状态a时(步骤1803，是)，状态变化确定单元611检查在改变床102的表面高度h时状态变化之前与状态变化之后的床区103之间是否存在对应关系(步骤1804)。当状态变化之前与状态变化之后的床区103之间存在对应关系时(步骤1804，是)，状态变化确定单元611确定状态变化是表面高度的变化(步骤1805)，并且释放确定等待状态a(步骤1806)。

另一方面，当状态变化之前与状态变化之后的床区103之间不存在对应关系时(步骤1804，否)，状态变化确定单元611确定状态变化是水平移动(步骤1814)，并且释放确定等待状态a(步骤1806)。

当状态变化确定处理处于确定等待状态b时(步骤1803，否)，状态变化确定单元611检查在不改变床102的表面高度h的情况下在状态变化之前与状态变化之后的床区103之间是否存在对应关系(步骤1815)。当状态变化之前与状态变化之后的床区103之间存在对应关系时(步骤1815，是)，状态变化确定单元611确定状态变化是倾斜结束时的倾斜形状变化(步骤1816)，并且释放确定等待状态b(步骤1806)。

另一方面，当状态变化之前与状态变化之后的床区103之间不存在对应关系时(步骤1815，否)，状态变化确定单元611确定床102处于倾斜状态(步骤1817)，并且释放确定等待状态b(步骤1806)。

如上所述，如果在床区103的边界上布置多个边界区域并且获得活动边界区域的组合，则可以准确地确定床102的状态变化的类型。

图22是例示图18的步骤1804中的对应关系确定处理的示例的流程图。在图22的对应关系确定处理中，在改变床102的表面高度h以改变zw时，状态变化确定单元611将在图14的步骤1405中提取的u形转换至对应于变化之后的zw的三维坐标系xyz中。然后，状态变化确定单元611将经转换的u形与由床区信息814指示的床区103进行比较，以确定是否存在对应关系。

首先，状态变化确定单元611将表面高度可变化的范围中的表面高度的最小值设定为估计的表面高度(步骤2201)，并且将估计的表面高度与表面高度可变化的范围中的最大值进行比较(步骤2202)，所述范围由床102的规格来确定。

当估计的表面高度不大于最大值时(步骤2202，是)，状态变化确定单元611根据估计的表面高度确定zw，并且将在步骤1405中提取的u形转换至对应于所确定的zw的三维坐标系xyz中(步骤2203)。因此，包括在u形中的每条线段被转换至新的三维坐标系xyz中，并且每条线段的位置和长度被改变。接着，状态变化确定单元611计算经变化的u形与由床区信息814指示的床区103之间的相关系数(步骤2204)。

图23例示了用于计算相关系数的方法的示例。当线段2301至2303被包括在u形中时，基于每条线段与床区103的对应边界之间的距离来计算相关系数。

线段2301的端点p1与床区103的边界2311之间的距离对应于从端点p1笔直向下降落至边界2311上的垂线2321的长度，并且端点p2与边界2311之间的距离对应于从端点p2笔直向下降落至边界2311上的垂线2322的长度。同样地，线段2302的端点p3与床区103的边界2312之间的距离以及线段2302的端点p4与边界2312之间的距离分别对应于垂线2323的长度和垂线2324的长度。线段2303的端点p5与床区103的边界2313之间的距离以及线段2303的端点p6与边界2313之间的距离分别对应于垂线2325的长度和垂线2326的长度。

使用以下公式获得从xy平面中的点(x0,y0)笔直向下降落至由等式ax+by+c＝0表示的边界上的垂线的长度l。

l＝|a·x0+b·y0+c|/(a²+b²)^1/2(21)

在这种情况下，可以使用垂线2321至2326的长度的总和作为相关系数。如果u形接近于床区103的形状，则相关系数较小，而如果u形远远偏离床区103的形状，则相关系数较大。

接着，状态变化确定单元611使估计的表面高度增加规定的增量(步骤2205)，并且重复步骤2202和步骤2202之后的过程。然后，当估计的表面高度大于最大值时(步骤2202，否)，状态变化确定单元611获得在步骤2204中计算的相关系数的最小值(步骤2206)，并且将相关系数的最小值与阙值进行比较(步骤2207)。

当相关系数的最小值小于阙值时(步骤2207，是)，状态变化确定单元611确定状态变化之前与状态变化之后的床区103之间存在对应关系(步骤2208)。另一方面，当相关系数的最小值不小于阙值时(步骤2207，否)，状态变化确定单元611确定状态变化之前与状态变化之后的床区103之间不存在对应关系(步骤2209)。

图24是例示图18的步骤1815中的对应关系确定处理的示例的流程图。在图24的对应关系确定处理中，在不改变床102的表面高度h的情况下，状态变化确定单元611将在图14的步骤1405中提取的u形与由床区信息814指示的床区103进行比较，以确定是否存在对应关系。

首先，状态变化确定单元611计算在步骤1405中提取的u形与由床区信息814指示的床区103之间的相关系数(步骤2401)，并且将相关系数与阙值进行比较(步骤2402)。

当相关系数小于阙值时(步骤2402，是)，状态变化确定单元611确定状态变化之前与状态变化之后的床区103之间存在对应关系(步骤2403)。另一方面，当相关系数不小于阙值时(步骤2402，否)，状态变化确定单元611确定状态变化之前与状态变化之后的床区103之间不存在对应关系(步骤2404)。

在执行图18的步骤1806、步骤1812或步骤1813的过程之后，状态变化确定单元611检查在状态变化确定处理中执行的确定的结果是否指示水平移动(步骤1006)。当确定结果指示水平移动时(步骤1006，是)，状态变化确定单元611结束处理。

另一方面，当确定结果不指示水平移动时(步骤1006，否)，状态变化确定单元611检查确定结果是否指示表面高度的变化(步骤1007)。当确定结果指示表面高度的变化时(步骤1007，是)，状态变化确定单元611估计床102的表面高度(步骤1008)。

图25是例示图10的步骤1008中的表面高度估计处理的示例的流程图。图25的步骤2501至步骤2506的过程类似于图22的步骤2201至步骤2206的过程。在获得相关系数的最小值之后，状态变化确定单元611获得对应于相关系数的最小值的估计的表面高度作为估计结果(步骤2507)。

图26a至图26e例示了根据表面高度估计处理中的估计的表面高度而变化的u形的示例。如果估计的表面高度较高，则如图26a至图26e中所示，u形逐渐变小。

图26a和图26b分别例示了当估计的表面高度低于实际的表面高度时的u形2601和2602。在这种情况下，u形2601和2602的每一个均位于床区103的形状2611的外部。

图26c例示了当估计的表面高度与实际的表面高度一致时的u形2603。在这种情况下，u形2603与床区103的形状2611重叠。

图26d和图26e分别例示了当估计的表面高度高于实际的表面高度时的u形2604和2605。在这种情况下，u形2604和2605的每一个均位于床区103的形状2611的内部。

图27例示了在表面高度估计处理中相关系数的变化的示例。如果估计的表面高度从最小值递增至最大值，则相关系数如曲线2701表示的那样变化。在这种情况下，获得对应于相关系数的最小值2702的估计的表面高度，作为估计结果。

状态变化确定单元611可以使用与在图22的步骤2206中获得的相关系数的最小值对应的估计表面高度作为估计结果，而不是执行图25的表面高度估计处理。

接着，床区估计单元802根据估计的表面高度来确定zw，并且基于所确定的zw来执行与在步骤1002中执行的坐标转换类似的坐标转换(步骤1009)。然后，床区估计单元802如步骤1003中的情况那样确定床区103(步骤1010)。

另一方面，当确定结果不指示表面高度的变化时(步骤1007，否)，状态变化确定单元611检查确定结果是否指示倾斜状态(步骤1011)。当确定结果指示倾斜状态时(步骤1011，是)，状态变化确定单元611确定在开始倾斜之前的床区103要在没有任何变化的情况下被使用(步骤1012)。当确定结果不指示倾斜状态时(步骤1011，否)，也就是说，当确定结果指示倾斜结束或无状态变化时，状态变化确定单元611结束处理。

当确定结果指示水平移动时(步骤1006，是)，床区估计单元802在图9的步骤903中基于在步骤1003中确定的床区103来更新床区信息814。因此，在步骤904中输出指示水平移动之后的床区103的一条床区信息814。

当确定结果指示表面高度的变化时(步骤1007，是)，床区估计单元802在步骤903中基于在步骤1010中确定的床区103来更新床区信息814。因此，在步骤904中输出指示表面高度变化之后的床区103的一条床区信息814。

当确定结果指示倾斜状态、倾斜结束或无状态变化时(步骤1007，否)，床区估计单元802在步骤903中不更新床区信息814。因此，在步骤904中，从倾斜开始至倾斜结束，可以输出指示倾斜开始之前的床区103的一条床区信息814。

在步骤904中，当突出显示对应于图像811中的床区103的区域时，床区估计单元802将由床区信息814指示的三维空间中的床区103逆转换成图像811中的区域。然后，输出单元612在屏幕上突出显示经逆转换的区域。此时，输出单元612可以用框包围经逆转换的区域或者可以改变用于显示经逆转换的区域的颜色，以执行突出显示。

如果执行这样的图像处理，则即使当床102的表面高度变化、水平移动或倾斜形状变化发生时，也可以根据状态变化的类型输出床区103的正确信息。

图28例示了由于表面高度变化的图像处理的示例。床102的表面高度的升高在时刻t1处开始并且在时刻t2处结束。矩形2801表示表面高度变化之前的床区103，并且矩形2802表示表面高度变化之后由u形2803生成的床区103。

在时刻t1之前的状态中，床区信息814指示矩形2801。当表面高度的升高在时刻t1处开始时，边界区域s1至s6变为活动区域，因此确定出已经发生表面高度的变化或者水平移动，并且状态进入确定等待状态a。当表面高度的升高在从时刻t1至时刻t2的时间段期间正在发生时，边界区域s1至s6保持为活动区域，因此不释放确定等待状态a。因此，在该时间段期间不更新床区信息814。

当表面高度的升高在时刻t2处结束时，边界区域s1至s6变为固定区域，因此确定在改变估计的表面高度时在u形2803与由床区信息814指示的矩形2801之间是否存在对应关系。在这种情况下，u形2803与矩形2801之间存在对应关系，因此状态变化被确定为表面高度的变化，并且释放确定等待状态a。

接着，估计变化之后的表面高度，并且由对应于估计的表面高度的三维坐标系xyz中的u形2803再次生成表示床区103的矩形2802。然后，将床区信息814更新为指示所生成的矩形2802的信息。

当已经发生床102的水平移动而不是表面高度的变化时，在时刻t2处的u形2803与矩形2801之间不存在对应关系，因此状态变化被确定为水平移动，并且释放确定等待状态a。在这种情况下，不更新关于表面高度h的信息，并且将床区信息814更新为指示移动之后的床区103的信息。

图29例示了由于倾斜形状变化引起的图像处理的示例。在该示例中，升高床102的倾斜部分的倾斜形状变化2911在时刻t11处开始并且在时刻t12处结束。之后，向后倾斜床102的倾斜部分的倾斜形状变化2912在时刻t13处开始并且在时刻t14处结束。在从时刻t12至时刻t13的时间段期间，床102处于倾斜状态。矩形2901表示倾斜形状变化2911开始之前的床区103。

在时刻t11之前的状态中，床区信息814指示矩形2901。当倾斜形状变化2911在时刻t11处开始时，边界区域s2至s4变为活动区域，因此确定倾斜形状变化已经发生，并且状态进入确定等待状态b。当倾斜形状变化2911在从时刻t11至时刻t12的时间段期间正在发生时，边界区域s2至s4保持为活动区域，因此不释放确定等待状态b。

当倾斜形状变化2911在时刻t12处结束时，边界区域s2至s4变为固定区域，因此确定u形2902与由床区信息814指示的矩形2901之间是否存在对应关系。在这种情况下，u形2902与矩形2901之间不存在对应关系，因此确定状态为倾斜状态，并且释放确定等待状态b。

当倾斜形状变化2912在时刻t13处开始时，边界区域s2至s4再次变为活动区域，因此确定倾斜形状变化已经发生，并且状态再次进入确定等待状态b。当倾斜形状变化2912在从时刻t13至时刻t14的时间段期间正在发生时，边界区域s2至s4保持为活动区域，因此不释放确定等待状态b。

当倾斜形状变化2912在时刻t14处结束时，边界区域s2至s4变为固定区域，因此确定u形2904与矩形2901之间是否存在对应关系。在这种情况下，u形2904与矩形2901之间存在对应关系，因此确定倾斜已经结束，并且释放确定等待状态b。此时，床区103的形状恢复至倾斜形状变化2911开始之前的矩形2901，因此不更新床区信息814。

图30是例示图9的步骤902中的床区估计处理的第二具体示例的流程图。在图30的床区估计处理中，省略了图10的步骤1001至步骤1003的过程，并且在步骤3002中的状态变化确定处理中执行这些过程。

图30的步骤3001以及步骤3003至步骤3009的过程类似于图10的步骤1004以及步骤1006至1012的过程。然而，在步骤3001中，状态变化确定单元611基于由床区信息814指示的最新的床区103来计算多个边界区域的移动。

图31a和图31b是例示图30的步骤3002中的状态变化确定处理的示例的流程图。图31a的步骤3101至步骤3109的过程类似于图18的步骤1801、步骤1802以及步骤1807至步骤1813的过程。

在步骤3109中，当状态变化确定单元611确定无状态变化时，床区估计单元802生成由从输入图像811中检测到的棱边表示的线段(步骤3110)。接着，床区估计单元802将图像811中的每条线段转换成三维坐标系中的线段(步骤3111)，并且确定三维空间中的床区103(步骤3112)。步骤3110至步骤3112的过程类似于图10的步骤1001至步骤1003的过程。

在步骤3102中，当所有的边界区域均为固定区域时(步骤3102，否)，床区估计单元802生成由从输入图像811中检测到的棱边表示的线段(步骤3113)。接着，床区估计单元802将图像811中的每条线段转换成三维坐标系中的线段(步骤3114)，并且确定三维空间中的床区103(步骤3115)。步骤3113至步骤3115的过程类似于图10的步骤1001至步骤1003的过程。

接着，状态变化确定单元611执行步骤3116和步骤3116之后的过程。步骤3116至步骤3123的过程类似于图18的步骤1803至步骤1806以及步骤1814至步骤1817的过程。

当确定结果指示水平移动时(步骤3003，是)，床区估计单元802在图9的步骤903中基于在步骤3115中确定的床区103来更新床区信息814。因此，在步骤904中输出指示水平移动之后的床区103的一条床区信息814。

当确定结果指示表面高度的变化时(步骤3004，是)，床区估计单元802在步骤903中基于在步骤3007中确定的床区103来更新床区信息814。因此，在步骤904中输出指示表面高度变化之后的床区103的一条床区信息814。

当确定结果指示无状态变化时，床区估计单元802在步骤903中基于在步骤3112中确定的床区103来更新床区信息814。因此，在步骤904中输出指示最新的床区103的一条床区信息814。

当确定结果指示倾斜状态或倾斜结束时，床区估计单元802在步骤903中不更新床区信息814。因此，在步骤904中，从倾斜开始至倾斜结束，可能输出指示倾斜开始之前的床区103的一条床区信息814。

在图10的床区估计处理中，即使当床102的状态变化正在发生时，在步骤1001至步骤1003中也执行线段检测、坐标转换和床区确定的过程。

另一方面，在图31a和图31b的状态变化确定处理中，当一个或更多个边界区域是处于确定等待状态a或b的活动区域时(步骤3102，是)，不执行步骤3113至步骤3115的过程。因此，当床102的状态变化正在发生时，跳过线段检测、坐标转换和床区确定的过程。因此，相对于图10的床区估计处理来说，在图30的床区估计处理中减小了放置在床区估计单元802上的负荷。

在图31a的步骤3109中，当状态变化确定单元611确定出无状态变化时，床区估计单元802可以省略步骤3110至步骤3112的过程。

在图10的步骤1003和步骤1010、图30的步骤3007、图31a的步骤3112以及图31b的步骤3115中，也可以通过除了图14的床区确定处理之外的方法来确定床区103。例如，可以通过将三条线段进行组合来直接生成u形，而不是通过将两条线段进行组合生成l形。

图32是例示以上所描述的床区确定处理的第二具体示例的流程图。首先，床区估计单元802从三维坐标系xyz的线段中提取满足线段提取条件的线段(步骤3201)。接着，床区估计单元802将三条线段进行组合以生成u形(步骤3202)，并且从所生成的u形中提取满足u形提取条件的u形(步骤3203)。然后，床区估计单元802根据所提取的u形生成表示床区103的形状(步骤3204)。

图6和图8的图像处理装置601的构造仅仅是示例，并且可以根据图像处理装置601的应用或需要省略或改变一些部件。例如，在图8的图像处理装置601中，当在图像处理装置601的外部根据图像811执行估计床区103的处理时，可以省略床区估计单元802。当照相机101的透镜畸变较低时，可以省略透镜畸变信息813。

图7、图9、图10、图14、图18、图22、图24、图25以及图30至图32的流程图仅仅是示例并且可以根据图像处理装置601的构造或需要省略或改变一些过程。例如，当在图9的图像处理中不输出床区信息814时，可以省略步骤904的过程。

当在步骤1005中的状态变化确定处理的确定目标中不包括倾斜形状变化时，可以省略图10的步骤1011和步骤1012的过程。在这种情况下，也可以省略图18的步骤1803、步骤1809至步骤1812以及步骤1815至步骤1817。然后，当在步骤1807中一个或更多个边界区域为固定区域时，状态变化确定单元611执行步骤1813的过程。

当在步骤1005中的状态变化确定处理的确定目标中不包括表面高度的变化和水平移动时，可以省略图10的步骤1006至步骤1010的过程。在这种情况下，也可以省略图18的步骤1803至步骤1805、步骤1807、步骤1808和步骤1814。

然后，当在步骤1801中状态变化确定处理不处于状态变化确定等待状态时，状态变化确定单元611执行步骤1809和步骤1809之后的过程，并且当在步骤1802中所有边界区域为固定区域时，状态变化确定单元611执行步骤1815和步骤1815之后的过程。此外，状态变化确定单元611在执行步骤1806、步骤1812或步骤1813的过程之后执行步骤1011和步骤1011之后的过程。

当在步骤3002中的状态变化确定处理的确定目标中不包括倾斜形状变化时，可以省略图30的步骤3008和步骤3009的过程。在这种情况下，也可以省略图31a的步骤3105至步骤3108以及图31b的步骤3116和步骤3121至步骤3123。然后，当在步骤3103中一个或更多个边界区域为固定区域时，状态变化确定单元611执行步骤3109和步骤3109之后的过程。

当在步骤3002中的状态变化确定处理的确定目标中不包括表面高度的变化和水平移动时，可以省略图30的步骤3003至步骤3007的过程。在这种情况下，也可以省略图31a的步骤3103和步骤3104以及图31b的步骤3116至步骤3118和步骤3120。

然后，当在步骤3101中状态变化确定处理不处于状态变化确定等待状态时，状态变化确定单元611执行步骤3105和步骤3105之后的过程，并且在执行步骤3115的过程之后执行步骤3121和步骤3121之后的过程。此外，状态变化确定单元611在步骤3108、步骤3112或步骤3119之后执行步骤3008和步骤3008之后的过程。

在图14的步骤1401和图32的步骤3201中，床区估计单元802可以从包括在与床102的表面502相同的平面内的线段中提取满足线段提取条件的线段。例如，当使用图12的三维坐标系xyz时，从包括在xy平面中的线段中提取满足线段提取条件的线段。

图1的照相机101的布置仅仅是示例，并且照相机101可以布置在另外的位置中。此外，床102的形状仅仅是示例，并且可以使用具有另外的形状的床102。图11至图13的照相机坐标系xcyczc和三维坐标系xyz仅仅是示例，并且可以使用其他的照相机坐标系和三维坐标系。例如，三维坐标系xyz的原点可以固定在如图11所示的房间的地板1103上。xw、yw和偏转角γ不必总为零。

图15和图16的床区生成处理仅仅是示例，并且可以通过另外的方法生成床区103的形状。例如，当从床区103的短边1501检测到线段时，可以通过将u形1511和u形1512进行组合来生成床区103的形状。图17的边界区域s1至s6仅仅是示例，并且可以使用具有其他形状的边界区域。边界区域的数量不限于六个，并且如果边界区域的数量是两个或更多个，也是足够的。

图19至图21、图28和图29的床102的状态变化仅仅是示例，并且确定目标中可以包括其他的状态变化。例如，当由于倾斜形状变化而升高和向后倾斜床102的足侧部分而不是头侧部分时，确定目标中可以包括足侧部分的倾斜形状变化。

在图23中用于计算相关系数的方法仅仅是示例，并且可以通过另外的方法来计算相关系数。例如，当从图15的短边1501检测到线段时，可以基于包括在u形1511和1512二者中的每条线段与床区103的对应边界之间的距离来计算相关系数。图26和图27的表面高度估计处理仅仅是示例，并且可以通过另外的方法来估计床102的表面高度。公式(1)至公式(21)仅仅是示例，并且可以使用其他的公式。

可以通过例如图33中所示的信息处理装置(计算机)来实现图6和图8的图像处理装置601。图33的信息处理装置包括中央处理器(cpu)3301、存储器3302、输入装置3303、输出装置3304、辅助存储器3305、介质驱动装置3306和网络连接装置3307。这些部件经由总线3308彼此连接。图8的照相机101可以通过通信网络连接至网络连接装置3307。

存储器3302是例如半导体存储器如只读存储器(rom)、随机存取存储器(ram)和闪存，并且存储有用于执行图像处理的程序和数据。存储器3302可以用作为图8的存储器803。

例如，cpu3301(处理器)通过利用存储器3302执行程序来作为图6和图8的图像处理装置611、图像获取单元801和床区估计单元802进行操作。

输入装置3303是例如键盘或指向装置，并且用于输入来自操作员或用户的指令或信息。输出装置3304是例如显示器、打印机或扬声器，并且用于向操作员或用户输出询问或者用于输出处理的结果。处理的结果可以是指示床102的状态变化的类型的信息、指示床区103的床区信息814或者在其中突出显示床区103的图像。输出装置3304可以用作为图6和图8的输出单元612。

辅助存储器3305是例如磁盘装置、光盘装置、磁光盘装置或磁带装置。辅助存储器3305可以是硬盘驱动器。信息处理装置将程序和数据存储在辅助存储器3305中以将程序和数据加载至存储器3302中并且使用该程序和数据。辅助存储器3305可以用作为图8的存储器803。

介质驱动装置3306驱动便携式记录介质3309以访问记录的内容。便携式记录介质3309是例如存储装置、软盘、光盘或磁光盘。便携式记录介质3309可以是例如光盘只读存储器(cd-rom)、数字通用盘(dvd)或通用串行总线(usb)存储器。操作员或用户可以将程序和数据存储在便携式记录介质3309中以将程序和数据加载至存储器3302中并且使用程序和数据。

如上所述，存储有用于图像处理的程序和数据的计算机可读记录介质是物理(非暂态)记录介质例如存储器3302、辅助存储器3305和便携式存储介质3309。

网络连接装置3307是连接至通信网络例如局域网或广域网的通信接口并且进行与通信相关联的数据转换。信息处理装置可以经由网络连接装置3307从外部装置接收程序和数据以将程序和数据加载至存储器3302中并且使用程序和数据。网络连接装置3307可以用作为图6和图8的输出单元612。信息处理装置也可以经由网络连接装置3307接收来自用户终端的处理请求，执行图像处理，并且将处理的结果传送至用户终端。

信息处理装置不一定包括图33中的所有部件，并且可以根据应用或需要省略一些部件。例如，当不输入来自操作员或用户的指令或信息时，可以省略输入装置3303。当不输出对操作员或用户的询问或处理的结果时，可以省略输出装置3304。当不使用便携式记录介质3309或通信网络时，可以省略介质驱动装置3306或网络连接装置3307。