1. トップ
  2. 企業・教材・サービス
  3. 朝日新聞社、新聞記事から作成した「単語ベクトル」を公開

2017年11月8日

朝日新聞社、新聞記事から作成した「単語ベクトル」を公開

朝日新聞社は7日、今年7月からレトリバと自然言語処理分野で研究を進めていたその成果の一部を「単語(埋め込み)ベクトル」という形で研究者向けに原則無償で公開し、技術を還元すると発表した。

今回公開するのは、1984年8月~2017年8月の朝日新聞の記事データ約800万件(延べ約24億単語)から獲得した、単語ベクトルと呼ばれる日本語研究用の資源。

単語ベクトルとは、文章中に含まれる単語が、どのような単語と一緒に使われるか、その傾向を機械学習の技術を使って学習し、その特徴を300個の数字で数値化したもの。

単語の特徴を数値化することで、コンピューターで自然言語が扱いやすくなる。世界では、単語ベクトルの利用で自動翻訳や要約、音声認識など自然言語処理の研究が加速している。

たとえば、「大きな」と「大きい」という2つの単語は数値的に似た単語ベクトルで表され、対義語である「大きい」と「小さい」も、使われ方が似ていることから、これらも似た単語ベクトルで表される。

公開する単語ベクトルは、米グーグルが提案した「word2vec」と呼ばれる手法、またスタンフォード大学の研究チームが提案した「GloVe」と呼ばれる手法で生成したものを、研究者が使いやすいフォーマットに整えたもので、約75万語にのぼる。

さらに、これらの単語ベクトルをもとに、同義語同士が似た単語ベクトルの関係になるように調整した別の単語ベクトルも公開する。

自然言語処理を研究する上で、単語ベクトルは必要不可欠なものになってきた。今回、朝日新聞とレトリバの共同研究で使用している単語ベクトルを公開することで、日本語処理研究の活性化などを図るという。

関連URL

朝日新聞単語ベクトル

町全体でICT化を推進 福島県西会津中学校 すらら 活用事例のご紹介
Classi オンラインセミナー2020 新学習指導要領を見据えた学校グランドデザインとICT活用を考える 3校の事例講演あり 11/14(土)
PANDUIT 最適な校内LAN整備の実現には道路が要です GIGAスクール構想対応 Cat6A ソリューション カテゴリー6A製品の詳細はこちら
オンライン授業の双方向化と視聴確認に リアルタイムアンケート respon -レスポン- クイックスタートプラン くわしくはこちら
RICOH パソコン環境を有効に活かす 大型提示装置の活用ヒント集 無料DL
時間と距離の課題をICTでクリア 島しょ部の生徒たちに刺激と交流の機会を マイナビニュース PR:シスコシステムズ
全国ICTクラブ協会(NICA) お子さま用PCレンタル付き いつでもどこでも始められる オンライン個別プログラミング!

アーカイブ

  • ICT授業を止めない、快適なネットワーク環境づくり! ~withコロナ時代に先進学校から学ぶ~ 会期:2020年11月10日(火) 時間:13:00~17:00 主催:マイナビニュース 協賛:FURUNO SYSTEMS WIRELESS NAVI 2020
  • GIGAスクール構想に! Chromebook(TM)活用パック Google for Education x CHIeru 詳細ページへ
  • TERRACE 導入事例をご紹介 ICT教材の利活用にお悩みの先生へ 簡単入力で資料請求
  • マルチプラットフォーム辞書 DONGRI 個別商談会受付中!
  • 事例紹介作って掲載します。 ICT教育ニュースの楽々 事例作成サービス