ABEJA Tech Blog

中の人の興味のある情報を発信していきます

2022-08-03から1日間の記事一覧

GPT-neoxの学習用にマルチノード並列学習環境を整えた with DeepSpeed

1. はじめに 2. 並列学習環境を調べる 並列学習方法を調べる ネットワーク、コンピューティング周りを調べる 3. インフラ環境を構築する コンパクトプレースメントポリシーの作成 Compute Engine を起動する (Fast Socket と gVNIC を利用する) 4. まずはシ…