TVM vs TensorRT比较

TVM vs TensorRT比较

如果理解正确的话，TensorRT和TVM会加快预测速度。

TensorRT优化预测GPU和TVM优化预测几乎所有平台支持GPU，ARM，Mobile。。。

两者在GPU上有比较吗？

到目前为止，tvm还没有为TensorRT优化的int8进行优化。但在这方面还有一些工作要做，所以答案是目前TensorRT速度更快，我们正在不断改进TVM，以涵盖TensorRT在所有平台上使用的优化。

在Pytorch中训练了一个Yolov3模型，并将其转换为onnx文件，以便与TensorRT一起运行。注意到Pythorch模型和TensorRT模型之间的一些性能不同的情况，想知道TensorRT与TVM等其他编译器相比有哪些优缺点？

卷积：TensorRT为fp32和int8卷积实现了许多算法，tvm只实现了direct和winograd卷积，在服务器上找到快速的conv卷积配置需要将近1天的时间。

反卷积：TensorRT完全支持，TVM的deconv不支持group，不支持int8。

量化：TensorRT有完整的训练后量化支持，开源TVM量化不完整。

TVM优点：

开源。

在服务器上进行了1天的调优之后，调优后的模型可能比tensorrt快一点。

TensorRT缺点：

还有一些bug。

不熟悉其它编译器。