文章目录
- 前言
- 1. 模型状态
- 2. 动态图与静态图
- 3. paddle.nn 与paddle.nn.functional异同
- 参考
前言
最近在学习Paddle深度学习框架,这里对个人觉得比较重要的部分跟大家分享下,加深个人记忆,方便以后回顾。
1. 模型状态
深度学习包括模型训练与推理两个阶段,深度学习模型实例包括训练 .train() 和评估 .eval() 两个状态,为什么会有两种不同的状态呢?
- 训练时要进行前向计算和梯度更新,推理时仅需要进行前向计算即可,不同阶段执行过程不同,因此所需内存和性能也不同,推理阶段需要内存更少,速度更快;
- 部分高级算子在训练和推理阶段执行逻辑不同,比如Dropout算子, BN算子等;
2. 动态图与静态图
Paddle中动态图方便调试,执行速度相对慢;静态图性能更优,方便部署;动态图执行相对于python解释器执行方式;静态图执行相对于C++编译器执行方式,需要提前定义好网络模型,编译优化后才能执行并得到结果, paddle中实现了将动态图自动转换为静态图的装饰器to_static
3. paddle.nn 与paddle.nn.functional异同
相同点:
paddle.nn与paddle.nn.functional都实现了组网相关API, 比如Linear, Conv2D, LSTM, 损失函数,激活函数等;
不同点:
paddle.nn中以类的方式实现组网相关API, 每个类自带模块参数; paddle.nn.functional中以函数方式实现组网相关API,需要手动传入模块参数,在深度学习中,卷积、全连接等拥有自身参数的层建议使用paddle.nn模块,池化、激活函数等不具有自身参数的层建议使用paddle.nn.functional模块。
参考
https://www.paddlepaddle/tutorials/projectdetail/2267447
更多推荐
Paddle框架理解:模型状态、动态图与静态图、paddle.nn与paddle.nn.functional异同
发布评论