解决pytorch 损失函数中输入输出不匹配的问题
解决pytorch 损失函数中输入输出不匹配的问题
这篇文章主要介绍了解决pytorch 损失函数中输入输出不匹配的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
一、pytorch 损失函数中输入输出不匹配问题
File "C:\Users\Rain\AppData\Local\Programs\Python\Anaconda.3.5.1\envs\python35\python35\lib\site-packages\torch\nn\modules\module.py", line 491, in __call__ result = self.forward(*input, **kwargs)
File "C:\Users\Rain\AppData\Local\Programs\Python\Anaconda.3.5.1\envs\python35\python35\lib\site-packages\torch\nn\modules\loss.py", line 500, in forward reduce=self.reduce)
File "C:\Users\Rain\AppData\Local\Programs\Python\Anaconda.3.5.1\envs\python35\python35\lib\site-packages\torch\nn\functional.py", line 1514, in binary_cross_entropy_with_logits
raise ValueError("Target size ({}) must be the same as input size ({})".format(target.size(), input.size()))
ValueError: Target size (torch.Size([32])) must be the same as input size (torch.Size([32,2]))
原因
input 和 target 尺寸不匹配
解决方案：
将target转为onehot
例如：
1 | one_hot = torch.nn.functional.one_hot(masks, num_classes=args.num_classes) |
二、Pytorch遇到权重不匹配的问题最近，楼主在pytorch微调模型时遇到
size mismatch for fc.weight: copying a param with shape torch.Size([1000, 2048]) from checkpoint, the shape in current model is torch.Size([2, 2048]).
size mismatch for fc.bias: copying a param with shape torch.Size([1000]) from checkpoint, the shape in current model is torch.Size([2]).
这个是因为楼主下载的预训练模型中的全连接层是1000类别的，而楼主本人的类别只有2类，所以会报不匹配的错误
解决方案：
从报错信息可以看出，是fc层的权重参数不匹配，那我们只要不load 这一层的参数就可以了。
1 2 3 4 5 6 7 8 | net = se_resnet50(num_classes=2)pretrained_dict = torch.load("./senet/seresnet50-60a8950a85b2b.pkl")model_dict = net.state_dict()# 重新制作预训练的权重，主要是减去参数不匹配的层，楼主这边层名为“fc”pretrained_dict = {k: v for k, v in pretrained_dict.items() if (k in model_dict and 'fc' not in k)}# 更新权重model_dict.update(pretrained_dict)net.load_state_dict(model_dict) |
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
您可能感兴趣的文章:
pytorch中常用的损失函数用法说明
Pytorch 的损失函数Loss function使用详解
解决pytorch 交叉熵损失输出为负数的问题
原文链接：https://blog.csdn.net/weixin_42990464/article/details/99709645