大家好，又见面了，我是你们的朋友全栈君。
今天在使用pytorch进行训练，在运行 loss.backward() 误差反向传播时出错 ：
RuntimeError: grad can be implicitly created only for scalar outputs
File “train.py”, line 143, in train
loss.backward()
File “/usr/local/lib/python3.6/dist-packages/torch/tensor.py”, line 198, in backward
torch.autograd.backward(self, gradient, retain_graph, create_graph)
File “/usr/local/lib/python3.6/dist-packages/torch/autograd/__init__.py”, line 94, in backward
grad_tensors = _make_grads(tensors, grad_tensors)
File “/usr/local/lib/python3.6/dist-packages/torch/autograd/__init__.py”, line 35, in _make_grads
raise RuntimeError(“grad can be implicitly created only for scalar outputs”)
RuntimeError: grad can be implicitly created only for scalar outputs
问题分析：
因为我们在执行 loss.backward() 时没带参数，这与 loss.backward(torch.Tensor(1.0)) 是相同的，参数默认就是一个标量。
但是由于自己的loss不是一个标量，而是二维的张量，所以就会报错。
解决办法：
1. 给 loss.backward() 指定传递给后向的参数维度：
loss = criterion(pred, targets)
loss.backward()
# 改为：
loss = criterion(pred, targets)
loss.backward(loss.clone().detach())2. 修改loss函数的输出维度，把张量的输出修改为标量，比如说多多个维度的loss求和或求均值等。此方法对于某些任务不一定适用，可以尝试自己修改。
criterion = nn.L1Loss(reduction='none')
# 把参数去掉，改为：
criterion = nn.L1Loss()
这里顺便介绍一下pytorch loss函数里面 的reduction 参数:
在新的pytorch版本里，使用reduction 参数取代了旧版本的size_average和reduce参数。
reduction 参数有三种选择：
‘elementwise_mean’：为默认情况，表明对N个样本的loss进行求平均之后返回(相当于reduce=True，size_average=True);
‘sum’：指对n个样本的loss求和(相当于reduce=True，size_average=False);
‘none’：表示直接返回n分样本的loss(相当于reduce=False)
参考：
http://www.cocoachina.com/articles/90127
https://blog.csdn.net/goodxin_ie/article/details/89645358
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/144114.html原文链接：https://javaforall.net
