Paddle Inference C++ 依赖库安装
- 1. 环境准备
- 2. 下载安装库
- 3. 设置环境变量
- 4. VS C++ 项目配置
Paddle Inference 是飞桨的原生推理库, 提供服务器端的高性能推理能力。由于 Paddle Inference 能力直接基于飞桨的训练算子,因此它支持飞桨训练出的所有模型的推理。Paddle Inference 功能特性丰富,性能优异,针对不同平台不同的应用场景进行了深度的适配优化,做到高吞吐、低时延,保证了飞桨模型在服务器端即训即用,快速部署。
此处针对使用GPU加速的方式安装,主要依靠NVIDIA 官方文档了解 CUDA、cuDNN 和 TensorRT
1. 环境准备
此处针对使用GPU加速的方式安装,主要依靠NVIDIA 显卡CUDA、cuDNN 和 TensorRT,所以首先电脑环境应当安装上CUDA、cuDNN 和 TensorRT,具体版本对应如下表所示:
CUDA 版本 | cuDNN 版本 | TensorRT 版本 |
---|---|---|
10.2 | 7.6.5 | 7.0.0.11 |
11.2 | 8.2.1 | 8.0.1.6 |
11.6 | 8.4.0 | 8.4.0.6 |
11.7 | 8.4.1 | 8.4.2.4 |
具体版本可以有一些差别,本机电脑安装的CUDA版本为11.4,cuDNN 版本为8.2.4,TensorRT 版本为8.4.0.6,经过测试也是可以使用的。
2. 下载安装库
此处我们需要安装C++依赖库,飞桨官网提供了编译好的安装包,此处我们直接下载安装包即可,如果没有对应的版本可以自己进行编译,不过可能会浪费更多时间,其容易出错,因此此处采用线程的预编译包:
下载安装 Linux 推理库-PaddlePaddle深度学习平台
由于当前电脑安装的CUDN为11.4,没有对应编译好的文件,所以选择
CUDA11.6/cuDNN8.4/TensorRT8.4版本下载,经过测试是可以使用的。
问价下载好后,将压缩包解压到指定路径下,将该路径作为后面的安装和使用路径。文件解压后架构如下所示:
paddle_inference/paddle_inference_install_dir/
├── CMakeCache.txt
├── paddle
│ ├── include C++ 推理库头文件目录
│ │ ├── crypto
│ │ ├── internal
│ │ ├── paddle_analysis_config.h
│ │ ├── paddle_api.h
│ │ ├── paddle_infer_declare.h
│ │ ├── paddle_inference_api.h C++ 推理库头文件
│ │ ├── paddle_mkldnn_quantizer_config.h
│ │ └── paddle_pass_builder.h
│ └── lib
│ ├── libpaddle_inference.lib C++ 静态推理库文件
│ └── libpaddle_inference.dll C++ 动态态推理库文件
├── third_party
│ ├── install 第三方链接库和头文件
│ │ ├── cryptopp
│ │ ├── gflags
│ │ ├── glog
│ │ ├── mkldnn
│ │ ├── mklml
│ │ ├── protobuf
│ │ └── xxhash
│ └── threadpool
│ └── ThreadPool.h
└── version.txt
3. 设置环境变量
此处需要将所有的动态推理库路径加入到环境变量中,由于文件路径较多,所以先创建一个变量paddle_inference
,并依次加入以下路径:
D:\Program Files\paddle_inference\paddle\lib
D:\Program Files\paddle_inference\third_party\install\cryptopp\lib
D:\Program Files\paddle_inference\third_party\install\gflags\lib
D:\Program Files\paddle_inference\third_party\install\glog\lib
D:\Program Files\paddle_inference\third_party\install\mkldnn\lib
D:\Program Files\paddle_inference\third_party\install\mklml\lib
D:\Program Files\paddle_inference\third_party\install\onnxruntime\lib
D:\Program Files\paddle_inference\third_party\install\paddle2onnx\lib
D:\Program Files\paddle_inference\third_party\install\protobuf\lib
D:\Program Files\paddle_inference\third_party\install\utf8proc\lib
D:\Program Files\paddle_inference\third_party\install\xxhash\lib;
最后在系统环境变量Path
变量中加入上面创建的变量:%paddle_inference%
。
4. VS C++ 项目配置
由于下载的预编译包只支持Release模式,所以此处只能使用Release:
// 包含目录
D:\Program Files\paddle_inference\paddle\include
// 库目录
D:\Program Files\paddle_inference\paddle\lib
// 附加依赖项
paddle_inference.lib
更多推荐
Paddle Inference C++ 依赖库安装(Windows)
发布评论