FLUX、最高水準の日本語性能を実現した大規模言語モデル「FLUX Japanese LLM」を公開

FLUXは29日、新手法による日本語能力強化を行い、最高水準の日本語性能を実現した大規模言語モデル（LLM）を公開した。

FLUXでは今回、日本語の知識や日本語／英語間の回路をピンポイントで特定することで、データセットを必要な箇所のみに流し込むPrecise-tuningのアプローチを実施した。これにより、強化したい分野のみで日本語能力を強化する手法を発見、マルチモーダル性能や推論能力はベースモデルの性能を維持することに成功した。Precise-tuningにより、日本語で知識を強化したい部分のみに日本語データセットを流し込めるため、日本語能力全体を強化するだけでなく、業界特化型LLMとの親和性が高い手法であるとしている。

今回のFLUX Japanese LLMはQwenベースであり、今後も同社では複数のOSSモデルを利用した研究開発を進めていくとしている。また、同モデルの応用展開の第1弾として、金融業界に特化したモデルも作成した。日本特有の金融業界のガイドラインや業務内容、業界状況などを含む日本語データセットでPrecise-tuningを行い、さらに、金融業界におけるQAデータを活用したトレーニングも行うことで、ビジネス利用に耐えうるLLMを目指した。

FLUX Japanese LLMは、LLM勉強会が作成するオープン日本語LLMリーダーボードのベンチマークにおいて、現行の1位を上回るスコアを獲得した。今回のFLUX Japanese LLMについて、同社では「FLUX-Japanese-Qwen」モデルを一般公開する。モデルは商用利用可能なApache License 2.0で提供し、以下のURLから利用することができる。

モデル