- トップ
- 企業・教材・サービス
- 国語研とワークスの産学共同研究「日本語単語分散表現」モデルを無償公開
2019年3月25日
国語研とワークスの産学共同研究「日本語単語分散表現」モデルを無償公開
ワークスアプリケーションズは22日、国立国語研究所と産学共同研究を実施し、国語研が有する日本語データベース「国語研日本語ウェブコーパス(NWJC)」と、ワークス徳島人工知能NLP研究所の形態素解析器「Sudachi」を使って学習した、実用的な単語分散表現モデルを開発したことを明らかにした。
「単語の分散表現」(単語のベクトル表現ともいう)とは、単語の周辺文脈から単語間の関連性や類似性を機械学習して高次元のベクトルとして表現(数値化)したもの。深層学習などの技術においてコンピュータが日本語を意味解析・意味理解する上で欠かせない自然言語処理の基礎技術となる。日本語の単語分散表現モデルは、「単語の区切り」が明示されないといった特殊性や、学習データの不足などが課題となり、実用化にいたる研究は英語などに比較して遅れをとっていると言われる。
今回の共同研究では、「Sudachi」を使用して複数の粒度で分割したコーパスを同時に学習することで、人名や地名、ブランド名、企業名、サービス名などの固有表現の収録数を大幅に拡大。加えて、語の内部構造を考慮して類似度や相関度を学習することで実用性を向上させた。
このたび、第1弾として「複数粒度の分割結果に基づく日本語単語分散表現」モデルを商用利用可能なオープンデータとして無償公開した。同社では、同単語分散表現モデルを活用することで、コンピュータによる日本語の処理能力を向上させ、企業内に眠るさまざまなデータの解析、活用を促進させることを目指している。また、言語資源として広く公開することで、研究機関や技術者が手軽に高度な言語処理を実現できるようになり、自然言語処理研究の推進に貢献できることを期待している。
関連URL
最新ニュース
- 20代の「仕事と学歴」に対する意識調査 =Personal調べ=(2024年11月21日)
- 共働き家庭の子どもの教育、「母親主導」51.4%、「夫婦共同」33.5%、「父親主導」13.9%=明光義塾調べ=(2024年11月21日)
- マイナビ、高校生向け探究学習サイト「Locus」を全国の高校へ4月から無償提供(2024年11月21日)
- チエル、全日本教育工学研究協議会全国大会(JAET)東京都港区大会に出展(2024年11月21日)
- 明治学院大学、生成AIで個人の「顔表情からの感情推定」を可能に 学生グループが受賞(2024年11月21日)
- 高度人材育成機構、「DX認定企業調査報告書 2024年版」公開(2024年11月21日)
- ISEN、「令和5年度学校・教育機関における個人情報漏えい事故の発生状況」調査報告書を公表(2024年11月21日)
- プログラミング教育「HALLO」、年長~中学生対象の「冬期講習会」を開催(2024年11月21日)
- CKCネットワーク、「出席扱い制度オンライン説明会」12月に開催(2024年11月21日)
- ワオ高校、通信制高校で海外を目指す 海外大学進学セミナー 23日オンライン開催(2024年11月21日)