- トップ
- 企業・教材・サービス
- GMOメディア、「日本語言語モデルの実践的評価」研究でIT分野でのLLMの能力差を解明
2024年3月13日
GMOメディア、「日本語言語モデルの実践的評価」研究でIT分野でのLLMの能力差を解明
GMOメディアは11日、「日本語言語モデルの実践的評価」研究で、IT分野でのLLMの能力差を解明したと発表した。
「大規模言語モデルの日本語実践的評価:JGLUEとIT パスポート試験を用いた比較分析」をテーマとした研究を実施。大規模言語モデル(LLM)が持つ推論能力(正確な解答を導き出す力)や問題解決能力の特徴を分析することで、LLMごとのIT分野における能力差を解明したという。
研究では、複数のLLMに「ITパスポート試験」の過去問を解答させることで、IT分野の問題に対してどの程度正しい解答を導き出すことができるかを評価した。
その結果、「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」は、約70%の精度で正解できた。一方、JGLUE試験のような一般常識問題では高い正答率を出す「Japanese Stable LM Instruct Alpha 7B v2」「nekomata-7b-instruction」は、IT分野は苦手とする傾向が見られた。しかし、解答を補助するヒントを与えることで、ほとんどのLLMで解答の精度が向上した。
IT分野での正確な解答を導き出す力はLLMのモデル間で差異があり、IT分野に関してLLMに質問をする場合は、ある程度有効的に活用できるLLM(「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」)と、活用に注意しなければならないLLMがあることが分かったという。
研究の詳細と結果はコエテコAI教育研究所のページで公開している。
関連URL
最新ニュース
- LINEヤフーとキラメックス、⾹川県と連携し県内のデータ・AI⼈材育成を⽀援(2024年4月26日)
- アデコ、「エンジニア・プログラマー」が初めて中学生男子が選ぶ「将来就きたい職業」の1位に(2024年4月26日)
- 小中学校のFAX、教諭の86%が月に1回以上利用するも、過半数が廃止に賛成 =アドビ調べ=(2024年4月26日)
- リスキリング理解度は高まるが社会人の約4割は学習意欲なし =ベネッセ調べ=(2024年4月26日)
- じゅけラボ予備校、「難関私立大vsその他私立大」現役合格者の勉強時間比較(2024年4月26日)
- 昇給を実施する企業は「魅力を感じる」の回答が9割超 =学情調べ =(2024年4月26日)
- 滋賀県立大学と山田進太郎D&I財団、中高生女子のSTEM人材育成に向け連携協定を締結(2024年4月26日)
- WHITE、日本経済大学と「教育革新パートナーシップ契約」を締結(2024年4月26日)
- みんがく、文京区立第九中学校にて全校生徒・教職員に向け「生成AIリテラシー講座」開催(2024年4月26日)
- ShoPro、世田谷区立小で「探究学習プログラムコンテンツ」使用した授業実施(2024年4月26日)