- トップ
- 企業・教材・サービス
- スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開
2024年5月14日
スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開
東京工業大学、東北大学、富士通 人工知能研究所、理化学研究所、名古屋大学、サイバーエージェント、Kotoba Technologiesは、スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を5月10日に公開した。
深層学習フレームワークを「富岳」に移植してTransformerの性能を「富岳」上で最適化し、並列分散学習手法を開発・適用することで、大規模言語モデルの学習を行う際の演算速度を6倍に高速化した。
さらに、「富岳」向けにTofuインターコネクトD上での集団通信の最適化を行うことにより、通信速度を3倍高速化することに成功。これにより「富岳」のCPUを用いて、現実的な時間内で大規模言語モデルを学習することが可能になったという。
Fugaku-LLMは国内で多く開発されている70億パラメータより高性能、かつ扱いやすい130億パラメータのモデル。学習では、サイバーエージェントが収集した独自の日本語学習データと英語のデータなどを用いているため、日本語性能にも優れ、特に人文社会系のタスクでは高いベンチマーク性能を発揮するという。
Fugaku-LLMは、GitHubやHugging Faceを通じ公開していて、ライセンスに従う限り、研究および商業目的での利用が可能。
関連URL
最新ニュース
- CFC、教育格差解消をめざす「スタディクーポン事業」が神奈川県綾瀬市で政策化(2024年7月26日)
- 公立中学校の部活動改革、母親の半分以上が知らない =インタースペース調べ=(2024年7月26日)
- インヴェンティット、大分県豊後大野市立菅尾小学校の「mobiconnect」導入事例を公開(2024年7月26日)
- アルー、教育者の主体的な学びのためのプラットフォームがローンチ(2024年7月26日)
- 生成AI英語対話サービス「ELSA Speak」、関西大倉中学・高校が導入(2024年7月26日)
- C&R社、「AIを使ってJavaScriptを書いてみよう」のアーカイブ映像を無料配信(2024年7月26日)
- ミカサ商事、教職員向け「校務の効率アップ!Google スプレッドシート 実践活用法」8月3日開催(2024年7月26日)
- 東京電機大学、中・高校生対象「電子情報・生体医工学系オンラインセミナー」開催(2024年7月26日)
- 「大学におけるオープンバッジ活用セミナー ~成城大学~」8月8日開催(2024年7月26日)
- ミエタ、教職員向けの「社会とつながる探究学習のカリキュラム開発・授業運営研修」8月開催(2024年7月26日)