安装
GitHub的安装教程已经很完善，这里不再赘述。
Update model
如果更新了某些model，比如detectron2的model，则需要
pip uninstall detectron
python install.py detectron2_fasterrcnn_r_50_fpn
Run
python3 run.py -d cuda -t train detectron2_fasterrcnn_r_50_fpn
Profile
python3 run.py -d cuda -t train --profile --profile-detailed --profile-devices cpu,gpu detectron2_fasterrcnn_r_50_fpn
默认生成profile reports在当前目录的./logs/目录下。注意，由于pytorch profiler对于report文件名格式的限制，文件名比如以.pt.trace.json结尾。
拷贝logs目录到本地，在本地的python环境中，执行命令：
pip install torch-tb-profiler tensorboard
在reports所在目录执行
tensorboard --logdir ./logs
tensorboard将自动解析logs目录下的所有reports，并开启一个本地的http server，默认为http://127.0.0.1:6006。在浏览器打开，即可在线查看生成的profile report。
或者直接在vscode中ctrl+shift+p找到tensorboard，来打开tensorboard。
Conda Tips
# clone env
conda create --name opt --clone pt
# remove env
conda env remove -n pt
安装特定日期的pytorch
使用down_nightly_torch.py可以下载特定日期的pytorch及依赖包。
./down_nightly_torch.py --date 20230531 --python cp310 --cuda cu121
可以通过pkginfo包来确定某个whl文件的依赖包的版本。
pip install pkginfo
pkginfo -f requires_dist torchtext-0.14.0.dev20221025-cp38-cp38-linux_x86_64.whl
# output 如下
requires_dist: ['tqdm', 'requests', 'torch (==1.14.0.dev20221025)', 'numpy']
Reference
https://aiqm.github.io/torchani/start.html
https://stackoverflow.com/questions/50170588/list-dependencies-of-python-wheel-file
Comments