TensorRT 是 NVIDIA 推出的專門加速深度學(xué)習(xí)推理的開發(fā)工具。利用 TensorRT， 您可以快速、高效地在 GPU 上部署基于深度學(xué)習(xí)的應(yīng)用。 我們首先會(huì)介紹 TensorRT 的基本功能和用法，例如它的優(yōu)化技巧和低精度加速。其次， 結(jié)合我們實(shí)際使用過程中的經(jīng)驗(yàn)，詳細(xì)介紹 TensorRT 的難點(diǎn)：Plugin 機(jī)制。最后，我們會(huì)分享幾個(gè) TensorRT 成功應(yīng)用案例