1:加载预训练权重
通过load 和 set_state_dict 函数接口调用实现
# save
paddle.save(net.state_dict(), "old_net.pdparams")
paddle.save(opt.state_dict(), "old_opt.pdopt")
# load
state_dict_net = paddle.load("old_net.pdparams")
state_dict_opt = paddle.load("old_opt.pdopt")
# match
new_net.set_state_dict(state_dict_net)
new_opt.set_state_dict(state_dict_opt)
注意:
1:如果网络结构不完全一致:Paddle会自动跳过不一致的layer
2:固定权重进行微调
通过设置stop_gradient=True进行实现,比pytorch便捷一些
举例1:
对于固定网络层:如: stage1→ stage2 → stage3 ,设置 stage2 的输出,假设为y,设置 y.stop_gradient=True
,那么, stage1→ stage2 整体都固定了,不再更新。
举例2:
cls0-cls9是网络的10个输出分支,只微调第7个分支权重
3:验证权重固定是否生效
通过named_parameters来查看,与pytorch基本类似
举例1:
for item in net.named_parameters():
if item[0] == 'cls0.0.bias':
print("####", item[0], item[1][0])
if item[0] == 'cls6.0.bias':
print("!!!!", item[0], item[1][0])
参考:
1:参数调整常见问题-使用文档-PaddlePaddle深度学习平台
更多推荐
Paddle:加载预训练权重以及固定部分权重微调
发布评论