Understanding gradient computation using backward() in PyTorch

fla*_*awr 5

每当您使用时，您都会相对于所有参数（在您的情况下为 ）value.backward()计算导数value（在您的情况下）。粗略地说，这意味着以某种方式参与您的计算的所有张量都具有. 所以这意味着value == xxrequires_grad=True

x.grad = dx / dx = 1

补充一点：通过自动微分，您始终使用“恒定”值进行计算：您的所有功能或网络始终在具体点进行评估。你得到的梯度是在同一点评估的梯度。没有进行符号计算。计算梯度所需的所有信息都编码在计算图中。