- トップ
- 企業・教材・サービス
- スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開
2024年5月14日
スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開
東京工業大学、東北大学、富士通 人工知能研究所、理化学研究所、名古屋大学、サイバーエージェント、Kotoba Technologiesは、スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を5月10日に公開した。
深層学習フレームワークを「富岳」に移植してTransformerの性能を「富岳」上で最適化し、並列分散学習手法を開発・適用することで、大規模言語モデルの学習を行う際の演算速度を6倍に高速化した。
さらに、「富岳」向けにTofuインターコネクトD上での集団通信の最適化を行うことにより、通信速度を3倍高速化することに成功。これにより「富岳」のCPUを用いて、現実的な時間内で大規模言語モデルを学習することが可能になったという。
Fugaku-LLMは国内で多く開発されている70億パラメータより高性能、かつ扱いやすい130億パラメータのモデル。学習では、サイバーエージェントが収集した独自の日本語学習データと英語のデータなどを用いているため、日本語性能にも優れ、特に人文社会系のタスクでは高いベンチマーク性能を発揮するという。
Fugaku-LLMは、GitHubやHugging Faceを通じ公開していて、ライセンスに従う限り、研究および商業目的での利用が可能。
関連URL
最新ニュース
- 学校~保護者間の連絡、デジタル化は「教員」41%、「保護者」46%=LINEヤフー調べ=(2025年2月18日)
- プログラミングスクール受講者、93.6%が「オンライン授業だけで学習」=GMOメディア調べ=(2025年2月18日)
- 年収の高い企業は「志望度が上がる」と回答した20代が約9割 =学情調べ=(2025年2月18日)
- 73.2%の学生がインターンシップ・仕事体験と、学業・定期試験の両立で苦労=マイナビ調べ=(2025年2月18日)
- 横浜市、教員採用試験にSPI3導入した【春チャレンジ選考試験】実施(2025年2月18日)
- エン・ジャパン、茨城県の「教員」採用プロジェクトを開始(2025年2月18日)
- 埼玉工業大学、自動運転サービス社会実装に向け「自動運転専攻 ティアフォー連携室」新設(2025年2月18日)
- ⽇本⼯学院⼋王⼦専⾨学校内に「オートデスクイノベーションセンター」を共同開設(2025年2月18日)
- TENHO、北海道函館工業高校に「AI共創型探究学習プログラム」を提供開始(2025年2月18日)
- 情報オリンピック日本委員会、中高生対象「第24回日本情報オリンピック」成績優秀者を決定(2025年2月18日)