- 2017-04-27 项目发起,创建GitHub仓库。
- 2017-09-30 TensorRT 3最近发布,整理一下目前的资源。
- 2017-10-18 增加博客-使用TensorRT实现leaky relu层
- 2017-11-11 资源:新增google的INT8开源库
- 2017-11-25 增加博客-TensorRT Plugin使用方式简介-以leaky relu层为例
- TensorRT 3 RC和TensorRT 2.1 下载链接
- TensorRT 2.1 官方在线文档
- NVIDIA 介绍TensorRT的blog-Deploying Deep Neural Networks with NVIDIA TensorRT
- GTC 2017介绍TensorRT 的PPT和视频,内含INT8 Quantization和Calibration的实现原理。
- 新增cublas 和 cudnn的INT8 demo
- 新增本人在GTC China 2017 Community Corner主题NVIDIA INT8的PPT, GTC-China-2017-NVIDIA-INT8.pdf
- 新增google的INT8开源库gemmlowp,目前支持ARM和CPU优化
- “子棐之GPGPU”公众号所写的《TensorRT系列》博客,NVIDIA的工程师出的,从入门篇到INT8篇再到FP16篇最后收尾于Custom Layer篇,内容逻辑清楚,干货满满,自愧不如。附四篇博客链接:TensorRT 系列之入门篇,TensorRT系列之INT8篇,TensorRT系列之FP16篇,TensorRT系列之Custom Layer篇。
- 《高性能深度学习支持引擎实战——TensorRT》,主要内容:一、TensorRT理论介绍:基础介绍TensorRT是什么;做了哪些优化;为什么在有了框架的基础上还需要TensorRT的优化引擎。二、TensorRT高阶介绍:对于进阶的用户,出现TensorRT不支持的网络层该如何处理;
TensorRT作为NVIDIA推出的c++库,能够实现高性能推理(inference)过程。最近,NVIDIA发布了TensorRT 2.0 Early Access版本,重大更改就是支持INT8类型。在当今DL大行其道的时代,INT8在缩小模型大小、加速运行速度方面具有非常大的优势。Google新发布的TPU就采用了8-bit的数据类型。
本人目前在使用TensorRT进行INT8的探究。已经被TensorRT不完善的文档坑了一次了。所以想自力更生做一个TensorRT Tutorial,主要包括三部分:
- TensorRT User Guide 翻译;
- TensorRT samples 介绍分析讲解;
- TensorRT 使用经验。
使用TensorRT者请先阅读《TensorRT目前存在的BUG》。
感谢每一位为该翻译项目做出贡献的同学.
内容来源: TensorRT 下载页面: https://developer.nvidia.com/nvidia-tensorrt-20-download
TensorRT 文档、Samples 安装后对应目录中
TensorRT User Guide 翻译
翻译校对
- 赵开勇
TensorRT samples 介绍分析讲解
TensorRT 使用经验。
欲参与者请加QQ群:483063470
支持捐赠项目