- トップ
- 企業・教材・サービス
- GMOメディア、「日本語言語モデルの実践的評価」研究でIT分野でのLLMの能力差を解明
2024年3月13日
GMOメディア、「日本語言語モデルの実践的評価」研究でIT分野でのLLMの能力差を解明
GMOメディアは11日、「日本語言語モデルの実践的評価」研究で、IT分野でのLLMの能力差を解明したと発表した。
「大規模言語モデルの日本語実践的評価:JGLUEとIT パスポート試験を用いた比較分析」をテーマとした研究を実施。大規模言語モデル(LLM)が持つ推論能力(正確な解答を導き出す力)や問題解決能力の特徴を分析することで、LLMごとのIT分野における能力差を解明したという。
研究では、複数のLLMに「ITパスポート試験」の過去問を解答させることで、IT分野の問題に対してどの程度正しい解答を導き出すことができるかを評価した。
その結果、「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」は、約70%の精度で正解できた。一方、JGLUE試験のような一般常識問題では高い正答率を出す「Japanese Stable LM Instruct Alpha 7B v2」「nekomata-7b-instruction」は、IT分野は苦手とする傾向が見られた。しかし、解答を補助するヒントを与えることで、ほとんどのLLMで解答の精度が向上した。
IT分野での正確な解答を導き出す力はLLMのモデル間で差異があり、IT分野に関してLLMに質問をする場合は、ある程度有効的に活用できるLLM(「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」)と、活用に注意しなければならないLLMがあることが分かったという。
研究の詳細と結果はコエテコAI教育研究所のページで公開している。
関連URL
最新ニュース
- 埼玉県、オンラインによる「女性のデジタル人材育成講座」6月1日から申込受付(2024年5月10日)
- 埼玉県久喜市立図書館、生成AI蔵書検索システムの実証実験を開始(2024年5月10日)
- 大学受験に向けて塾に通い始めるのは「高校1年生から」がトップ =僕と私と調べ=(2024年5月10日)
- 多摩美大、AIやサーキュラーなど5つの最先端テーマを研究するプラットフォーム開設(2024年5月10日)
- 立命館、学生・社会、教育・研究が混ざり合う「TRY FIELD 」開設、オープニングセレモニー開催(2024年5月10日)
- フォトロン、ネットワークカメラ収録システムと学習動画共有プラットフォーム、名城大学の導入事例を公開(2024年5月10日)
- Wonderlabo、渋谷教育学園中高校で「マーケティングの可能性」について講義(2024年5月10日)
- 「ONGAESHI」 、zero to one「E資格認定プログラム」NFTを活用して“無償で学んで転職”(2024年5月10日)
- COMPASS、「学習者を中心としたデータ利活用のこれから」を考えるイベントをオンラインで開催(2024年5月10日)
- 日本野球機構、「エデュすぽ!~教員のための体育授業研究会~」全国4都市のドーム球場で開催(2024年5月10日)