PyTorch - Autograd: 自動微分
PyTorch 1.5 Tutorialsの2回目です。順番にやっていきます。
"autograd"自動微分です。
"Central to all neural networks in PyTorch"ということでPyTorchでニュートラルネットワークを組み上げる時に中心となるものです。
そしてもう一つ大事なものがあります。"torch.Tensor"です。これは
.requires_grad
が"True"の場合はその操作が記録されます。操作が終了して記録を止めた時に
.backward()
を呼び出せば自動的に勾配が計算され、
.grad
属性として保存されます。その他の機能では
autogradにはFunctionと言うパッケージがあります．requires_grad=Trueで指定されたtensorとFunctionは内部で繋がっており，この２つで計算グラフが構築されています．この計算グラフに計算の記録が全て残ります．生成されたtensorのそれぞれに.grad_fnという属性があり，この属性によってどのFunctionによってtensorが生成されたのかを参照できます．ただし，ユーザによって作られたtensorの場合grad_fnはNoneとなります．
コードを書いてみましょう。まずは
import torch
requires_grad=Trueでtensor を記録していきます。requires_gradでは，requires_grad=Trueとすることで微分対象のtensorを指定します。
デフォルトではrequires_grad=Falseとなっているので，"False"ままだと微分ができず，勾配にはNoneとなります。
x = torch.ones(2, 2, requires_grad=True)
print(x)tensor([[1., 1.],
[1., 1.]], requires_grad=True)
となります。
演算をしていきます。
y = x + 2
print(y)出力は
tensor([[3., 3.],
[3., 3.]], grad_fn=<AddBackward0>)
"y"には計算結果が入り、"grad_fn" を持ちました。"grad_fn"の中身をみてみましょう。
print(y.grad_fn)
<AddBackward0 object at 0x7f381c351eb8>
と出力されました。
さらに演算を続けます。
z = y * y * 3
out = z.mean()
print(z, out)tensor([[27., 27.],
[27., 27.]], grad_fn=<MulBackward0>) tensor(27., grad_fn=<MeanBackward0>)
ここで微分対象のtensorを指定しているrequires_gradを反転してみましょう。
a = torch.randn(2, 2)
a = ((a * 3) / (a - 1))
print(a.requires_grad)
a.requires_grad_(True)
print(a.requires_grad)
b = (a * a).sum()
print(b.grad_fn)False
True
<SumBackward0 object at 0x7f381c2ee0b8>
いよいよ勾配を求めていきましょう。"backprop"となっているので誤差逆伝播法を使っているようです。
out は単一のスカラーを含むので、out.backward() は out.backward(torch.Tensor(1.)) と同値ということです。
out.backward()
print(x.grad)
とすると
tensor([[4.5000, 4.5000],
[4.5000, 4.5000]])
と勾配が求めることができました。
チュートリアル以外で説明されているサイトを載せておきます。