1. トップ
  2. 企業・教材・サービス
  3. 朝日新聞社、新聞記事から作成した「単語ベクトル」を公開

2017年11月8日

朝日新聞社、新聞記事から作成した「単語ベクトル」を公開

朝日新聞社は7日、今年7月からレトリバと自然言語処理分野で研究を進めていたその成果の一部を「単語(埋め込み)ベクトル」という形で研究者向けに原則無償で公開し、技術を還元すると発表した。

今回公開するのは、1984年8月~2017年8月の朝日新聞の記事データ約800万件(延べ約24億単語)から獲得した、単語ベクトルと呼ばれる日本語研究用の資源。

単語ベクトルとは、文章中に含まれる単語が、どのような単語と一緒に使われるか、その傾向を機械学習の技術を使って学習し、その特徴を300個の数字で数値化したもの。

単語の特徴を数値化することで、コンピューターで自然言語が扱いやすくなる。世界では、単語ベクトルの利用で自動翻訳や要約、音声認識など自然言語処理の研究が加速している。

たとえば、「大きな」と「大きい」という2つの単語は数値的に似た単語ベクトルで表され、対義語である「大きい」と「小さい」も、使われ方が似ていることから、これらも似た単語ベクトルで表される。

公開する単語ベクトルは、米グーグルが提案した「word2vec」と呼ばれる手法、またスタンフォード大学の研究チームが提案した「GloVe」と呼ばれる手法で生成したものを、研究者が使いやすいフォーマットに整えたもので、約75万語にのぼる。

さらに、これらの単語ベクトルをもとに、同義語同士が似た単語ベクトルの関係になるように調整した別の単語ベクトルも公開する。

自然言語処理を研究する上で、単語ベクトルは必要不可欠なものになってきた。今回、朝日新聞とレトリバの共同研究で使用している単語ベクトルを公開することで、日本語処理研究の活性化などを図るという。

関連URL

朝日新聞単語ベクトル

AI x アダプティブラーニング 低負荷で個別最適の学びを実現 すらら 活用事例はこちら
Classi 文科省指定校 神奈川県立山北高等学校 Classiで地域課題にチャレンジ! 高齢化 防災 過疎化 産業 探求事例のご紹介
GIGAスクール構想 標準仕様書スペックに対応したタブレット端末が登場 Sky安心GIGAタブレット Windows10 Office 365搭載 Sky
GIGAスクールでの表現活動に。 Adobe Spark 詳しくはこちら Adobe
Adobe Creative Cloud 一人年間500円以下 Adobe Creative Cloud 小中高向け 詳しくはこちら Adobe
小学校の1人1台学習をサポートする 非営利型一般社団法人 Just-learning

アーカイブ

  • 「GIGAスクール構想」に最適なアクセスポイントとは? 成功のカギは、Wi-Fiから FURUNO SYSTEMS
  • 教育ICTって現場じゃ使われないと思ってませんか? ちゃんと使われている事例がたくさんあります。 みらいスクールステーション 成功の秘訣はこちら FUJISOFT
  • GIGAスクール構想に! Chromebook(TM)パック Google for Education x CHIeru 詳細ページへ
  • 国内メーカーならではの手厚い対応/無償保証 「GIGAスクール構想」対応ネットワークソリューション AlaxalA
  • vmware GIGAスクール構想に対応した MDM VMware Workspace ONE
  • プログラミング教室ポータルサイト コエテコ by GMO 掲載教室数 No.1
  • 事例紹介作って掲載します。 ICT教育ニュースの楽々 事例作成サービス