1. トップ
  2. 企業・教材・サービス
  3. 国語研とワークスの産学共同研究「日本語単語分散表現」モデルを無償公開

2019年3月25日

国語研とワークスの産学共同研究「日本語単語分散表現」モデルを無償公開

ワークスアプリケーションズは22日、国立国語研究所と産学共同研究を実施し、国語研が有する日本語データベース「国語研日本語ウェブコーパス(NWJC)」と、ワークス徳島人工知能NLP研究所の形態素解析器「Sudachi」を使って学習した、実用的な単語分散表現モデルを開発したことを明らかにした。

0325-wks「単語の分散表現」(単語のベクトル表現ともいう)とは、単語の周辺文脈から単語間の関連性や類似性を機械学習して高次元のベクトルとして表現(数値化)したもの。深層学習などの技術においてコンピュータが日本語を意味解析・意味理解する上で欠かせない自然言語処理の基礎技術となる。日本語の単語分散表現モデルは、「単語の区切り」が明示されないといった特殊性や、学習データの不足などが課題となり、実用化にいたる研究は英語などに比較して遅れをとっていると言われる。

今回の共同研究では、「Sudachi」を使用して複数の粒度で分割したコーパスを同時に学習することで、人名や地名、ブランド名、企業名、サービス名などの固有表現の収録数を大幅に拡大。加えて、語の内部構造を考慮して類似度や相関度を学習することで実用性を向上させた。

このたび、第1弾として「複数粒度の分割結果に基づく日本語単語分散表現」モデルを商用利用可能なオープンデータとして無償公開した。同社では、同単語分散表現モデルを活用することで、コンピュータによる日本語の処理能力を向上させ、企業内に眠るさまざまなデータの解析、活用を促進させることを目指している。また、言語資源として広く公開することで、研究機関や技術者が手軽に高度な言語処理を実現できるようになり、自然言語処理研究の推進に貢献できることを期待している。

関連URL

「複数粒度の分割結果に基づく日本語単語分散表現」モデルの公開

自立学習と学力向上に効果創出 活用事例多数紹介 すらら 活用事例のご紹介
校務用パソコンのログインセキュリティ対策できてますか? YubiPlusで簡単に対策
Classi Welcome to talk共催 コロナ禍のメンタルヘルスケア対策 “明日使える”生徒指導のポイント 6/25(金) 16:00~ 無料
jamf jamfは100を超える自治体で採用! Appleデバイス管理なら CLICK
ニュース記事の作成・提供 膨大なリリースから最適なネタを選択し記事化して廉価で提供 取材記事も作成可能 WANITEL Web-News Writing Service

アーカイブ

  • 資料請求 無料体験 朝日小学生新聞 朝日中高生新聞 デジタル for School
  • 学校無線LANスタートアップブック ダウンロードページはこちら FURUNO SYSTEMS
  • GIGAスクール構想に! Chromebook(TM)活用パック Google for Education x CHIeru 詳細ページへ
  • クラウド授業支援 ビデオ会議機能を搭載! TeacherView
  • turnitin 無料eBook配布中 「アカデミック・インテグリティとは? その役割と重要性について」 無料ダウンロード
  • オンライン受検実施 AI検定 公開試験日 2021年8月1日(日) 情報処理能力認定委員会 サーティファイ
  • ICT要員派遣はおまかせ! ICTまるごとサポート 詳細はこちら
  • 訴求力をUPさせるワンランク上の提案書 無料セミナー実施中! Out-Sourcing! Technology
  • 事例紹介作って掲載します。 ICT教育ニュースの楽々 事例作成サービス