TensorRT （基于8.2.3）

• 1.简介
• 1.export
• • 1.1 使用tensorrt API 搭建
  • 1.2 使用parser
  • 1.3 使用框架内 tensorrt 接口
  • 1.4 注意事项
• 2.开发辅助工具
• • 2.1 trtexec
  • 2.2 Netron
  • 2.3 onnx-graphsurgeon
  • 2.4 polygraphy
  • 2.5 Nsight Systems
• 3. plugin
• • 3.1 plugin
  • 3.2 使用
  • • 3.3 类型
    • 3.4 结合使用parser 和 plugin
• 4. 高级话题
• • 4.1 Dynamic shape 在min-max 跨度较大时性能下降
  • 4.2 重叠计算和数据拷贝时间，增加GPU利用率
  • 4.3 一个engine供多个线程使用
• 仅用于个人视频笔记

1.简介

通过推理优化器（构建）和运行环境（运行）实现高效实现推理过程

更高吞吐量
更低延迟
C++/Python

构建期

模型解析/搭建
计算图优化
节点消除
精度
优选kernel / format
自定义plugin
显存优化

运行期

对象管理，内存管理，异常处理
序列化 / 反序列化

1.export

1.1 使用tensorrt API 搭建

1.2 使用parser

1.3 使用框架内 tensorrt 接口

某些框架的新版本已经把trt加入在子模块，比如tensorflow，pytorch，个人不用不太了解

1.4 注意事项

2.开发辅助工具

2.1 trtexec

工具转换
性能测试

2.2 Netron

网络结构可视化

2.3 onnx-graphsurgeon

功能：
修改计算图： 图属性，节点，张量，节点和张量的连接，权重
修改子图：添加，删除，替换，隔离
优化计算图：常量折叠，拓扑排序，去除无用层
目的：
手工修改网络
去除冗余节点
修改阻碍tensorrt融合的节点组
手工模块化节点组

2.4 polygraphy

2.5 Nsight Systems

3. plugin

3.1 plugin

3.2 使用

plugin不参与层融合

3.3 类型

3.4 结合使用parser 和 plugin

4. 高级话题

4.1 Dynamic shape 在min-max 跨度较大时性能下降

4.2 重叠计算和数据拷贝时间，增加GPU利用率

4.3 一个engine供多个线程使用

仅用于个人视频笔记