スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開

東京工業大学、東北大学、富士通 人工知能研究所、理化学研究所、名古屋大学、サイバーエージェント、Kotoba Technologiesは、スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を5月10日に公開した。

理化学研究所 スーパーコンピュータ「富岳」

深層学習フレームワークを「富岳」に移植してTransformerの性能を「富岳」上で最適化し、並列分散学習手法を開発・適用することで、大規模言語モデルの学習を行う際の演算速度を6倍に高速化した。

さらに、「富岳」向けにTofuインターコネクトD上での集団通信の最適化を行うことにより、通信速度を3倍高速化することに成功。これにより「富岳」のCPUを用いて、現実的な時間内で大規模言語モデルを学習することが可能になったという。

Fugaku-LLMは国内で多く開発されている70億パラメータより高性能、かつ扱いやすい130億パラメータのモデル。学習では、サイバーエージェントが収集した独自の日本語学習データと英語のデータなどを用いているため、日本語性能にも優れ、特に人文社会系のタスクでは高いベンチマーク性能を発揮するという。

Fugaku-LLMは、GitHubやHugging Faceを通じ公開していて、ライセンスに従う限り、研究および商業目的での利用が可能。

モデル

ソースコード

関連URL

富士通