- トップ
- 企業・教材・サービス
- スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開
2024年5月14日
スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開
東京工業大学、東北大学、富士通 人工知能研究所、理化学研究所、名古屋大学、サイバーエージェント、Kotoba Technologiesは、スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を5月10日に公開した。
深層学習フレームワークを「富岳」に移植してTransformerの性能を「富岳」上で最適化し、並列分散学習手法を開発・適用することで、大規模言語モデルの学習を行う際の演算速度を6倍に高速化した。
さらに、「富岳」向けにTofuインターコネクトD上での集団通信の最適化を行うことにより、通信速度を3倍高速化することに成功。これにより「富岳」のCPUを用いて、現実的な時間内で大規模言語モデルを学習することが可能になったという。
Fugaku-LLMは国内で多く開発されている70億パラメータより高性能、かつ扱いやすい130億パラメータのモデル。学習では、サイバーエージェントが収集した独自の日本語学習データと英語のデータなどを用いているため、日本語性能にも優れ、特に人文社会系のタスクでは高いベンチマーク性能を発揮するという。
Fugaku-LLMは、GitHubやHugging Faceを通じ公開していて、ライセンスに従う限り、研究および商業目的での利用が可能。
関連URL
最新ニュース
- 学研ホールディングス、品川区との包括連携協定を締結(2024年9月6日)
- 保育ICT advance、「令和6年度後期・東京第3回保育士等キャリアアップ研修」提供(2024年9月6日)
- コドモン、福岡県添田町の保育所・小中学校等12施設にICTサービス「CoDMON」導入(2024年9月6日)
- 自動生成AIの就活利用、学生の7割以上が「使っていない」と回答 =文化放送キャリアパートナーズ調べ=(2024年9月6日)
- 就活生が選ぶ「理想の人事担当者」男性1位は櫻井翔さん、女性1位は水卜麻美さん =マイナビ調べ=(2024年9月6日)
- 83.7%が親の目の届かない子どものスマホ使用「不安を感じている」=キングソフト調べ=(2024年9月6日)
- 愛知県立犬山総合高校の教材にobnizのIoT開発ボード「obniz Board」が採用(2024年9月6日)
- 高専生向けキャリア支援を行うプロッセル、高専人会と年間スポンサー契約を締結(2024年9月6日)
- プログラミングスクール「Tech Mentor」が経産省「リスキリングを通じたキャリアアップ支援事業」に採択(2024年9月6日)
- プログラボ教育事業運営委員会、「WRO トルコ大会」に3チームが出場決定(2024年9月6日)