Paddle Inference 是飞桨的原生推理库, 作用于服务器端和云端,提供高性能的推理能力。 由于能力直接基于飞桨的训练算子,因此Paddle Inference 可以通用支持飞桨训练出的所有模型。 Paddle Inference 功能特性丰富,性能优异,针对不同平台不同的应用场景进行了深度的适配优化,做到高吞吐、低时延,保证了飞桨模型在服务器端即训即用,快速部署。

Paddle Inference支持静态图与动态图的部署,这里博主以paddle官方的resnet50模型为例,只研究实现静态图的部署,并提供动态图转静态图的实现方式。

resnet50静态图下载链接:https://paddle-inference-dist.bj.bcebos/Paddle-Inference-Demo/resnet50.tgz

1、paddle动态图转静态图

这里以一个已经训练好的mnist模型为例,进行转换操作。转换完的模型包含inference.pdiparams、inference.pdiparams.info、inference.pdmodel三个文件,其中pdiparams为模型参数文件,pdmodel为模型结构文件。前面的resnet50静态图下载链接中文件也是这种存储结构。

import paddle
from paddle import nn

更多推荐

paddle 39 基于Paddle Inference在win环境用Cmake编译部署resnet50并加载图像测试