图像处理装置的制作方法

图像处理装置
1.本技术基于日本专利申请2020－46914号(申请日：2020年3月17日)主张优先权，这里引用其全部内容。
技术领域
2.本发明的实施方式涉及图像处理装置。


背景技术：

3.有通过神经网络实现对于图像数据的识别处理等的技术。例如，卷积神经网络(convolutional neural network：cnn。以下称作cnn)中的核(kernel)运算，在将图像的图像数据整体保持在dram等的片外存储器中的帧缓存中之后，一边使规定尺寸的窗口相对于该被保持的图像数据整体滑动，一边执行。
4.因此，由于将图像数据整体保存到片外存储器中、以及在用于每次核运算时进行的特征图的写入及读出的向片外存储器的访问花费时间，所以cnn运算的等待时间(latency)较大。在图像处理处理器(image signal processor)那样的装置中，优选的是等待时间较小。
5.为了减小cnn运算的等待时间，也可以使用比帧缓存的尺寸小的线缓存，但由于较多地发生用于核运算的向线缓存的访问，所以在线缓存中需要使用能够高速访问的存储器，图像处理装置的成本变高。


技术实现要素：

6.本发明的目的是提供一种等待时间较小并且能够以低成本实现的图像处理装置。
7.技术方案的图像处理装置具有：第1处理器，被输入图像数据；缓存，设在上述第1处理器内；以及第2处理器，使用上述图像数据的多个像素数据和保存在上述缓存中的循环型神经网络运算的运算结果中的至少一方，进行上述循环型神经网络运算。
附图说明
8.图1是有关实施方式的图像处理装置的框图。
9.图2是用来说明有关实施方式的图像处理处理器的处理内容的图。
10.图3是表示有关实施方式的图像处理处理器的结构的框图。
11.图4是有关实施方式的循环型神经网络单元处理器的结构图。
12.图5是用来说明有关实施方式的从输入图像数据向流数据的变换的图。
13.图6是用来说明有关实施方式的对于输入图像数据中包含的多个像素值的循环型神经网络单元的处理顺序的图。
14.图7是用来说明有关变形例1的对于各行的最终列的输出值的线端单元的处理顺序的图。
15.图8是用来说明有关变形例2的对于输入图像数据中包含的多个像素值的循环型
神经网络单元的处理顺序的图。
16.图9是用来说明卷积神经网络的感受野(receptive field)的图。
17.图10是用来说明实施方式的感受野的图。
18.图11是用来说明卷积神经网络和循环型神经网络的感受野的范围的差异的图。
19.图12是用来说明有关变形例2的循环型神经网络单元的输入步长的图。
20.图13是用来说明有关变形例2的感受野的设定范围的图。
具体实施方式
21.以下，参照附图说明实施方式。
22.(结构)
23.图1是有关本实施方式的图像处理装置的框图。使用本实施方式的图像处理装置的图像处理系统1对来自照相机装置的图像数据进行处理，进行图像识别等的处理，将其处理结果的信息输出。
24.图像处理系统1包括图像处理处理器(image signal processor：isp。以下称作isp)11、片外存储器12和处理器13。
25.isp11通过遵循mipi(mobile industry processor interface：移动产业处理器接口)csi(camera serial interface：相机串行接口)标准等的接口与照相机装置(未图示)连接。isp11接受来自照相机装置的图像传感器14的摄像信号，对摄像信号进行规定的处理，将规定的处理的结果数据输出。即，对于作为处理器的isp11，序列地输入图像数据的多个像素数据。这里，isp11以来自作为摄像元件的图像传感器14的摄像信号(以下称作输入图像数据)ig为输入，作为结果数据而输出图像数据(以下称作输出图像数据)og。例如，isp11对输入图像数据ig进行噪声除去等，输出没有噪声等的输出图像数据og。
26.另外，也可以将来自图像传感器14的输入图像数据ig的全部向isp11输入，对输入图像数据ig的全部执行后述的rnn运算，也可以对输入图像数据ig的一部分执行后述的rnn运算。
27.isp11包括状态缓存21、和反复执行基于循环型神经网络(recurrent neural network：rnn。以下称作rnn)的规定的运算的rnn单元处理器22。关于isp11的结构在后面叙述。
28.片外存储器12是dram等的存储器。在isp11中生成并从isp11输出的输出图像数据og被保存到片外存储器12中。
29.处理器13基于保存在片外存储器12中的输出图像数据og进行识别处理等。处理器13输出由识别处理等得到的结果数据rd。由此，isp11、片外存储器12及处理器13例如构成对图像进行图像识别处理等的图像识别装置(由图1的虚线表示)2。
30.图2是用来说明isp11的处理内容的图。如图2所示，isp11使用rnn单元处理器22(后述)对来自图像传感器14的输入图像数据ig进行噪声除去等的规定的处理，生成输出图像数据og。
31.例如，当图像识别装置2通过处理器13基于输出图像数据og进行识别处理等时，由于输出图像数据og是被除去了噪声的数据，所以能够期待处理器13中的识别处理等的精度的提高。
32.图3是表示isp11的结构的框图。图4是rnn单元处理器22的结构图。isp11包括状态缓存21、rnn单元处理器22及像素流解码器23。像素流解码器23是将输入图像数据ig变换为流数据sd而向rnn单元处理器22输出的电路。
33.图5是用来说明从输入图像数据ig向流数据sd的变换的图。这里，为了使说明变得简单，在图5中，输入图像数据ig的图像由6行图像数据构成。各行包含多个像素数据。即，图像由多行(这里是6行)多列的像素数据构成。
34.像素流解码器23如果接收到来自图像传感器14的输入图像数据ig，则将接收到的输入图像数据ig的多个像素数据变换为规定的顺序的流数据sd。
35.像素流解码器23从输入图像数据ig生成由从第1行的第1列的像素(即最上行的左端的像素)到第1行的最终列的像素(即最上行的右端的像素)的行数据l1、接着行数据l1而从第2行的第1列的像素(即上起第2行的左端的像素)到第2行的最终列的像素(即第2行的右端的像素)的行数据l2、
…
、从作为第最终行的第6行的第1列的像素(即最下行的左端的像素)到第6行的最终列的像素(即最下行的右端的像素)的数据列ll的多个像素数据构成的流数据sd并输出。
36.由此，像素流解码器23是将输入图像数据ig变换为流数据sd并向rnn单元处理器22输出的电路。
37.如图4所示，rnn单元处理器22是包括1个rnn单元31的处理器。rnn单元31是简单rnn单元(simple rnn cell)，是将对于两个输入值in1、in2进行规定的运算而得到的隐藏状态(hidden state)作为两个输出值out1、out2输出的硬件电路。
38.另外，这里rnn单元处理器22包括1个rnn单元31，但也可以包括两个以上的rnn单元31。或者，rnn单元31的数量也可以与后述的层的数量相同。
39.rnn单元31的输入值in1是i
l，t
。l表示层，t表示步长(step)。rnn单元31的输入值in2是隐藏状态h
l，t－1
。rnn单元31的输出值out1是隐藏状态h
l，t
，为下一层(l+1)的步长t的输入值in1(即i
l+1，t
)。rnn单元31的输出值out2是隐藏状态h
l，t
，为相同层的下一步长(t+1)的rnn单元31的输入值in2。
40.步长t也被称作时间步长(time step)，是每当在rnn中被输入1个序列数据而隐藏状态被更新时增加的数字，作为隐藏状态及输入输出的索引而被分配，是并不一定与现实的时刻相同的虚拟的单位。
41.如图3所示，rnn单元31能够将在rnn运算中使用的各种参数(用虚线表示)从片外存储器12读出并保持在rnn单元31的内部。参数包括后述的每层的各rnn运算的权重参数w及偏置(bias)值b等。
42.另外，rnn单元31也可以通过由中央处理装置(cpu)执行的软件实现。
43.rnn单元31按照后述的每个层而执行对应的动作，在最初的层(第1层)中，将流数据sd作为rnn单元31的输入值in1顺序地输入。rnn单元31进行规定的运算，将作为运算结果的隐藏状态h
l，t
生成输出值out1、out2，向状态缓存21输出。
44.在各层中得到的各输出值out1、out2被保存到状态缓存21中的规定的存储区域中。状态缓存21例如是线缓存。
45.由于状态缓存21设在isp11内，所以rnn单元31能够高速地进行向状态缓存21的数据的写入及读出。rnn单元31将进行规定的运算而得到的隐藏状态h保存到状态缓存21中。
状态缓存21是包括线缓存的sram，是至少保存流数据数的数据的缓存。
46.rnn单元31能够执行多个层运算。这里，rnn单元31能够执行以流数据sd为输入而进行规定的运算的第1层运算、以作为第1层中的规定的运算的运算结果的隐藏状态h为输入而进行规定的运算的第2层运算、和以作为第2层中的规定的运算的运算结果的隐藏状态h为输入而进行规定的运算的第3层运算等。
47.对rnn单元31中的规定的运算进行说明。在第l(字母“l”)个层运算中，rnn单元31在某个步长t中，将输入值in1作为像素数据i，作为规定的运算而使用作为非线性函数的激活函数tanh，将输出值out1、out2输出。输出值out1、out2是隐藏状态ht。这里，如图4所示，隐藏状态h
l，t
通过以下的式(1)计算。
48.h
l，t
＝tanh(w
l，ih
i
l，t
+w
l，hh
h
l，t－1
+b
l
)
…
(1)
49.这里，w
l，ih
及w
l，hh
分别是由以下的式(2)(3)表示的权重参数。
50.w
l，ih
∈r
e
×
d
…
(2)
51.w
l，h
h∈r
e
×
e
…
(3)
52.这里，r
e
×
d
及r
e
×
e
是由e行d列及e行e列的实数矩阵形成的空间，都表示是由实数形成的矩阵。
53.此外，输入值(像素数据i
l，t
)及输出值(隐藏状态h
l，t
)分别由以下的式(4)(5)表示。
54.i
l，t
∈r
d
…
(4)
55.h
l，t
∈r
e
…
(5)
56.这里，r
d
表示d维的实数空间，r
e
表示e维的实数空间，都表示是由实数形成的向量。
57.上述非线性型函数的各权重参数的值通过rnn的学习而被优化。
58.像素数据i
l，t
是输入向量，例如在被输入了rgb图像的情况下是三维向量，在中间特征图的情况下是其通道(channel)数。隐藏状态h
l，t
是输出向量。d、e分别表示输入向量和输出向量的维度。l是层号，是序列数据的索引。b是偏置值。
59.另外，在图4中，rnn单元31根据输入值in1、以及将来自之前的像素的输出值作为输入值in2，生成相同值的两个输出值out1、out2并输出，但rnn单元31也可以输出相互不同的两个输出值out1、out2。
60.在第2层运算中，rnn单元31将输入值in1作为第1层的输出值out1，使用作为规定的运算的作为非线性型函数的激活函数tanh，将输出值out1、out2输出。
61.当进行第2层运算的再接着的第3、第4等的层运算时，在第3、第4等的层运算中，与第2层运算同样，rnn单元31将输入值in1设为之前的层的输出值out1，使用作为规定的运算的作为非线性型函数的激活函数tanh，将输出值out1、out2输出。
62.(作用)
63.接着，对isp11的动作进行说明。这里，说明具有3个层的例子。如上述那样，像素流解码器23输出流数据sd(图5)，该流数据sd是将输入图像数据ig以从第1行l1的左端的像素到右端的像素的多个像素数据、从第2行l2的左端的像素到右端的像素的多个像素数据、
…
、从第最终行的数据列ll(即l6)的左端的像素到右端的像素的多个像素数据的顺序(由箭头a表示的顺序)排列的。
64.在第1层中，向rnn单元31的最初的输入值in1是流数据sd的最初的数据(即输入图
像数据ig的第1行的第1列的像素)，输入值in2是规定的默认值。
65.在第1层中，rnn单元31如果在最初的步长t1中被输入两个输入值in1、in2，则执行规定的运算，将输出值out1、out2输出。输出值out1、out2被保存到状态缓存21中的规定的存储区域中。第1层的步长t1的输出值out1在下个第2层的最初的步长t1中被从状态缓存21读出，作为rnn单元31的输入值in1使用。在第1层中，步长t1中的输出值out2作为下一步长t2中的输入值in2使用。
66.以下同样，在第1层中，之后的各步长中的输出值out1在接着的第2层中、在对应的步长中被从状态缓存21读出，作为rnn单元31的输入值in1使用。在第1层中，之后的各步长中的输出值out2在下一步长中被从状态缓存21读出，作为rnn单元31的输入值in2使用。
67.如果第1层中的对于流数据sd的各像素数据的规定的运算结束，则执行第2层的处理。
68.如果第1层中的对于第1个像素数据的规定的运算结束，则执行与第2层的第1个像素对应的处理。
69.在第2层中，将第1层中的从最初到最后的步长得到的多个输出值out1作为输入值in1，序列地向rnn单元31输入。与第1层中的处理同样，以第1层的从第1步长到最后的步长的顺序，在第2层中，rnn单元31执行规定的运算。
70.如果第2层中的对于第1层的各输出值out1的规定的运算结束，则执行第3层的处理。
71.如果第2层中的对于第1个像素数据的规定的运算结束，则执行第3层的与第1个像素对应的处理。
72.在第3层中，第2层中的从最初到最后的步长得到的多个输出值out1作为输入值in1被序列地向rnn单元31输入。与第2层中的处理同样，以第2层的从第1步长到最后的步长的顺序，在第3层中，rnn单元31执行规定的运算。
73.图6是用来说明对于输入图像数据ig中包含的多个像素值的rnn单元31的处理顺序的图。图6表示多个步长中的、向rnn单元31输入的输入值in1、in2和从rnn单元31输出的输出值out1、out2的流。在第1层中，rnn单元31被表示为rnn单元(rnncell)1，在第2层中，rnn单元被表示为rnn单元2，在第3层中，rnn单元被表示为rnn单元3。
74.在图6中，仅表示了对于输入图像数据ig中的行y的列x和其前方的列(x－1)、(x－2)的像素数据的处理的流。
75.如图6所示，第1层(层1)的列(x－2)的rnn单元1的输入值in1是在步长t
k
中被输入的像素数据。第1层的列(x－2)的rnn单元1的输入值in2是第1层的列(x－3)的rnn单元1的输出out2。第1层的列(x－2)的rnn单元1的输出值out1为第2层的列(x－2)的rnn单元2的输入值in1。第1层的列(x－2)的rnn单元1的输出值out2为第1层的列(x－1)的rnn单元1的输入值in2。
76.同样，第1层的列(x－1)的rnn单元1的输入值in1是在步长t
(k+1)
中被输入的像素数据。第1层的列(x－1)的rnn单元1的输入值in2是第1层的列(x－2)的rnn单元1的输出out2。第1层的列(x－1)的rnn单元1的输出值out1为第2层的列(x－1)的rnn单元2的输入值in1。第1层的列(x－1)的rnn单元1的输出值out2为第1层的列(x)的rnn单元1的输入值in2。
77.第1层的列(x)的rnn单元1的输入值in1是在步长t
(k+2)
中被输入的像素数据。第1层
的列(x)的rnn单元1的输入值in2是第1层的列(x－1)的rnn单元1的输出out2。第1层的列(x)的rnn单元1的输出值out1为第2层的列(x)的rnn单元2的输入值in1。第1层的列(x－1)的rnn单元1的输出值out2被作为下一步长中的rnn单元l的输入值in2使用。
78.如以上这样，rnn处理器22的rnn单元31对于输入的多个像素数据，依次进行rnn运算，将隐藏状态的信息保存到状态缓存21中。隐藏状态是rnn单元31的输出。
79.第2层(层2)的列(x－2)的rnn单元2的输入值in1是第1层的列(x－2)的rnn单元1的输出值out1。第2层的列(x－2)的rnn单元2的输入值in2是第2层的列(x－3)的rnn单元2的输出out2。第2层的列(x－2)的rnn单元2的输出值out1为第3层的列(x－2)的rnn单元3的输入值in1。第2层的列(x－2)的rnn单元2的输出值out2为第2层的列(x－1)的rnn单元2的输入值in2。
80.同样，第2层的列(x－1)的rnn单元2的输入值in1是第1层的列(x－1)的rnn单元1的输出值out1。第2层的列(x－1)的rnn单元2的输入值in2是第2层的列(x－3)的rnn单元2的输出out2。第2层的列(x－1)的rnn单元2的输出值out1为第3层的列(x－1)的rnn单元3的输入值in1。第2层的列(x－1)的rnn单元2的输出值out2为第2层的列(x)的rnn单元2的输入值in2。
81.第2层的列(x)的rnn单元2的输入值in1是第1层的列(x)的rnn单元1的输出值out1。第2层的列(x)的rnn单元2的输入值in2是第2层的列(x－1)的rnn单元2的输出out2。第2层的列(x)的rnn单元2的输出值out1为第3层的列(x)的rnn单元3的输入值in1。第2层的列(x)的rnn单元2的输出值out2被作为下一步长的rnn单元2的输入值in2使用。
82.第3层(层3)的列(x－2)的rnn单元3的输入值in1是第2层的列(x－2)的rnn单元2的输出值out1。第3层的列(x－2)的rnn单元3的输入值in2是第3层的列(x－3)的rnn单元3的输出out2。第3层的列(x－2)的rnn单元3的输出值out1在这里被向softmax层输入，从softmax层将输出图像数据og输出。第3层的列(x－2)的rnn单元3的输出值out2为第3层的列(x－1)的rnn单元3的输入值in2。
83.同样，第3层的列(x－1)的rnn单元3的输入值in1是第2层的列(x－1)的rnn单元2的输出值out1。第3层的列(x－1)的rnn单元3的输入值in2是第3层的列(x－2)的rnn单元3的输出out2。第3层的列(x－1)的rnn单元3的输出值out1在这里被向softmax层输入，从softmax层将输出图像数据og输出。第3层的列(x－1)的rnn单元3的输出值out2为第3层的列(x)的rnn单元3的输入值in2。
84.第3层的列(x)的rnn单元3的输入值in1是第2层的列(x)的rnn单元2的输出值out1。第3层的列(x)的rnn单元3的输入值in2是第3层的列(x－1)的rnn单元3的输出out2。第3层的列(x)的rnn单元3的输出值out1在这里被向softmax层输入，从softmax层将输出图像数据og输出。第3层的列(x)的rnn单元3的输出值out2被作为下一步长中的rnn单元3的输入值in2使用。
85.由此，第3层的输出是在多个步长中得到的多个输出值out1的数据。第3层的输出被向softmax层输入。softmax层的输出被变换为y行x列的图像数据，作为输出图像数据og被保存到片外存储器12中。
86.如以上这样，rnn单元处理器22使用图像数据的多个像素数据、和保存在状态缓存21中的作为rnn运算的运算结果的隐藏状态的至少一方，进行循环型神经网络运算。rnn处
理器22能够执行多个作为执行多次rnn运算的处理单位的层。多个层包括以多个像素数据为输入而执行rnn运算的第1处理单位(第1层)、和以在第1处理单位(第1层)中得到的隐藏状态的数据为输入而执行rnn运算的第2处理单位(第2层)。
87.另外，如上述那样，rnn运算中的非线性型函数的各权重参数的值通过rnn的学习而被优化。
88.如以上这样，根据上述的实施方式，代替cnn而使用rnn，对图像数据进行规定的处理。
89.由此，与在将图像数据保持在片外存储器12中之后、一边使规定尺寸的窗口相对于图像数据整体滑动一边进行核运算的方法不同，本实施方式的图像处理装置由于将图像数据变换为流数据sd，顺序地执行rnn运算，所以能够等待时间较小且低成本地进行神经网络运算处理。
90.(变形例1)
91.在上述的实施方式中，由多行、多列的多个像素构成的图像数据被变换为流数据sd，将从第1行第1列的像素值到最终行的最终列的像素值顺序地作为1个rnn单元处理器31的输入值in1而输入。
92.但是，在图像数据的情况下，在各行的第1列的像素的像素值与其之前的行的最终列的像素值之间，特征量的趋势不同。
93.所以，在本变形例1中，不是将各行的最终列的输出值out2原样作为下一行的最初的输入值in2，而是追加了在变更为规定的值后设为下一行的rnn单元31的最初的输入值in2的线端(line end)单元。
94.作为线端单元，既可以通过变更rnn单元31的执行内容以进行与上述非线性函数不同的非线性函数的运算而使用rnn单元31，或者也可以如在图3中用虚线表示那样，使用设在rnn单元处理器22内的、作为与rnn单元31不同的运算单元的线端单元31a。
95.线端单元的非线性函数的各权重参数的值也通过rnn的学习而被优化。
96.图7是用来说明对于各行的最终列的输出值out2的线端单元31a的处理顺序的图。这里，图像数据的各行具有w个像素值。即，图像数据具有w列。
97.如图7所示，在rnn单元31对于将第1列设为0时的最终列(w－1)的像素数据执行规定的运算后，输出值out2向线端单元31a输入。
98.如图7所示，线端单元31a按照每个层，对各行的最终列(w－1)的rnn单元31的输出值out2进行处理。在图7中，第1层中的线端单元31a被表示为线端单元(lineendcell)1，第2层中的线端单元31a被表示为线端单元2，第3层中的线端单元31a被表示为线端单元3。
99.在第1层中，第y行的线端单元31a以第1层的第y行的最终列的rnn单元l的输出值out2(h
1(w－1，y)
)为输入，将作为运算结果的输出值的隐藏状态h
1(line)
作为接着的第(y+1)行的rnn单元1的输入值in2。
100.同样，在第2层中，第y行的线端单元31a也以第2层的第y行的最终列的rnn单元2的输出值out2(h
2(w－1，y)
)为输入，将作为运算结果的输出值的隐藏状态h
2(line)
作为接着的第(y+1)行的rnn单元2的输入值in2。
101.同样，在第3层中，第y行的线端单元31a也以第3层的第y行的最终列的rnn单元3的输出值out2(h
3(w－1，y)
)为输入，将作为运算结果的输出值的隐藏状态h
3(line)
作为接着的第(y
+1)行的rnn单元3的输入值in2。
102.如以上这样，rnn单元处理器22当图像数据由n行m列的像素数据构成时，rnn处理器22具有在相邻的两个行间对隐藏状态进行规定的运算的线端单元31a。
103.由此，线端单元31a在各层中设在行的变化点。并且，线端单元31a进行将被输入的输出值out2变更的处理，将变更后的输出值作为进行下一行的处理时的rnn单元31的输入值in2。
104.如以上这样，通过由线端单元31a将各行的最终列的输出值out2变更，能够将各行的最终的像素值与下一行的最初的像素值之间的特征量的倾向的差异的影响排除，进而能够期待噪声除去等的精度的提高。
105.(变形例2)
106.在上述的实施方式中，rnn单元31的输入值in1在全部的层间以一致的步长被取得。相对于此，在本变形例2中，rnn单元31的输入值in1不是以层间一致的步长被取得，而是具有偏移量延迟而被取得，以使rnn运算具有与cnn的感受野(receptive field)同样的感受野。换言之，本变形例2的图像处理装置构成为，在层间具有偏移量而执行rnn运算。
107.图8是用来说明有关本变形例2的、对于输入图像数据ig中包含的多个像素值的rnn单元31的处理顺序的图。
108.如图8所示，流数据sd的像素数据i在第1层中被序列地处理。但是，在第2层中，作为rnn单元2的输入值in1，在图像的x方向上延迟偏移量u1、在图像的y方向上延迟偏移量v1而使用rnn单元1的输出值out1。另外，偏移量信息被写入到片外存储器12中，作为参数而从片外存储器12向rnn单元处理器22写入。
109.在图8中，rnn单元2的输入值in1由以下的式(6)表示。
110.i
2(x-u1，y-v1)
＝h
1(x-u1，y-v1)
…
(6)
111.进而，在第3层中，rnn单元3的输入值in1在图像的x方向上延迟偏移量(u1+u2)、在图像的y方向上延迟偏移量(v1+v2)而使用rnn单元1的输出值out1。即，在图8中，rnn单元3的输入值in1由以下的式(7)表示。
[0112][0113]
第3层的各rnn单元3的输出值out1由以下的式(8)表示。
[0114][0115]
图9是用来说明cnn的感受野(receptive field)的图。感受野是给核运算带来影响的输入值的范围。通过对输入图像数据ig进行cnn运算的层ly1，生成输出图像数据og。在此情况下，层ly1的比核尺寸r1宽的范围r2对输出图像数据的输出值p1带来了影响。由此，在cnn的情况下，如果反复进行cnn运算，则作为为了得到输出值而直接或间接地参照的输入值的范围的感受野变大。
[0116]
相对于此，在上述的实施方式中，由于进行rnn运算，所以可以将按照每个层在运算步长中在比该步长靠前进行的rnn运算的结果的范围称作感受野。
[0117]
图10是用来说明上述实施方式的感受野的图。图11是用来说明cnn和rnn的感受野
memory：长短期记忆)网络、gru(gated recurrent unit：门控循环单元)等的构造。
[0130]
以上说明了本发明的几个实施方式，但这些实施方式是作为例子例示的，不是要限定发明的范围。这些新的实施方式能够以其他各种各样的形态实施，在不脱离发明的主旨的范围中能够进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围及主旨中，并且包含在权利要求书所记载的发明和其等价的范围中。