Facebook AI Researchが開発した高性能な深層学習ライブラリPyTorch

Table 1. 32ビットフロートを使用した6モデルのトレーニング速度 [1]

ディープラーニングフレームワークは、多くの場合、使いやすさと速度のどちらか一方に焦点を当てていますが、両方には焦点を合わせていません。

Facebook AI Researchの研究チームが開発したPyTorchは、これら2つの目標が実際に互換性があることを示す機械学習ライブラリです:モデルとしてコードをサポートし、デバッグを容易にし、他の一般的な科学計算ライブラリと一貫性があり、効率的なまま、GPUなどのハードウェアに対してもサポートされている必須のPythonプログラミングスタイルを提供します。

Facebook AI Researchの研究チームが発表した本論文は、PyTorchの実装を推進した原則と、それらがPyTorchのアーキテクチャにどのように反映されるかについて詳しく説明しています。
PyTorchのすべての側面は、ユーザーが完全に制御できる通常のPythonプログラムであり、また、ランタイムの重要なコンポーネントを慎重かつ実用的に実装することで、それらが連携して魅力的なパフォーマンスを実現する方法を説明しています。
表1に示しているように、一般的なベンチマークで、個々のサブシステムの効率とPyTorchの全体的な速度を実証しています。

PyTorchは、使いやすさに焦点を合わせ、パフォーマンスを慎重に検討することで、ディープラーニング研究コミュニティで人気のあるツールになったと主張しており、ディープラーニングの最新のトレンドと進歩を引き続きサポートすることに加えて、今後、PyTorchの速度とスケーラビリティを引き続き改善する予定としています。

[1] : Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., … & Desmaison, A. (2019). PyTorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems (pp. 8024-8035).

URL : https://arxiv.org/abs/1912.01703