最近,我们在arXiv发布了TorchBench的第一篇论文,TorchBench: Benchmarking PyTorch with High API Surface Coverage。代码开源在Github TorchBench
TorchBench是一个基于PyTorch的深度学习框架的benchmarking框架。在这篇论文中,我们介绍了TorchBench目前包含的深度学习模型,评估了不同领域模型的性能表现,对比了AMD和NVIDIA的高性能GPU、新的PyTorch2.0中TorchInductor编译器在这些模型上的表现,并分析了背后的原因。
TorchBench最主要的两个使用场景是:1)深度学习模型的性能分析和优化;2)PyTorch性能退化的监测和修复。具体内容请参考论文。
除了提供一些常见的深度学习模型的benchmarking代码,TorchBench还提供了一些API来让用户定制自己的benchmarking代码,比如对比不同CUDA版本对性能的影响。我们也添加了一个简单的TorchBench Analyzer来监测模型的内存占用,TFLOPS等性能指标。
欢迎大家使用TorchBench来benchmark自己的模型,也欢迎大家提出issue和PR来改进TorchBench。
Comments