- トップ
- 企業・教材・サービス
- 朝日新聞社、新聞記事から作成した「単語ベクトル」を公開
2017年11月8日
朝日新聞社、新聞記事から作成した「単語ベクトル」を公開
朝日新聞社は7日、今年7月からレトリバと自然言語処理分野で研究を進めていたその成果の一部を「単語(埋め込み)ベクトル」という形で研究者向けに原則無償で公開し、技術を還元すると発表した。
今回公開するのは、1984年8月~2017年8月の朝日新聞の記事データ約800万件(延べ約24億単語)から獲得した、単語ベクトルと呼ばれる日本語研究用の資源。
単語ベクトルとは、文章中に含まれる単語が、どのような単語と一緒に使われるか、その傾向を機械学習の技術を使って学習し、その特徴を300個の数字で数値化したもの。
単語の特徴を数値化することで、コンピューターで自然言語が扱いやすくなる。世界では、単語ベクトルの利用で自動翻訳や要約、音声認識など自然言語処理の研究が加速している。
たとえば、「大きな」と「大きい」という2つの単語は数値的に似た単語ベクトルで表され、対義語である「大きい」と「小さい」も、使われ方が似ていることから、これらも似た単語ベクトルで表される。
公開する単語ベクトルは、米グーグルが提案した「word2vec」と呼ばれる手法、またスタンフォード大学の研究チームが提案した「GloVe」と呼ばれる手法で生成したものを、研究者が使いやすいフォーマットに整えたもので、約75万語にのぼる。
さらに、これらの単語ベクトルをもとに、同義語同士が似た単語ベクトルの関係になるように調整した別の単語ベクトルも公開する。
自然言語処理を研究する上で、単語ベクトルは必要不可欠なものになってきた。今回、朝日新聞とレトリバの共同研究で使用している単語ベクトルを公開することで、日本語処理研究の活性化などを図るという。
関連URL
最新ニュース
- エムティーアイ、ウィメンズヘルスケアサービス「ルナルナ」のアプリを東京・江戸川区立小中校のタブレット端末に配信(2025年4月3日)
- Blueberry、「キャリア教育プログラム」の無料トライアル提供を開始(2025年4月3日)
- スキャネット、デジタル採点システム「デジらく採点2クラウド」をバージョンアップ(2025年4月3日)
- KIYOラーニング、司法試験・予備試験対策の柱となる「論文コアメソッド講座」を開講(2025年4月3日)
- Polimill、長野県立科町役場で省庁・自治体サポートAI「QommonsAI」導入サポート研修実施(2025年4月3日)
- アンドドット、自治体向け生成AI研修を合計150自治体で実施(2025年4月3日)
- 早稲田システム開発、「ポケット学芸員」が高知県香美市の国指定史跡天然記念物 龍河洞に導入(2025年4月3日)
- イーコミュニケーション、Skype終了でも“学びを止めない”別のアプリへの移行を無料サポート(2025年4月3日)
- サンワサプライ、タブレットをまとめて充電&同期できるUSB2.0 Type-Cハブを発売(2025年4月3日)
- AI英語学習アプリ「abceed」、『かぐや様は告らせたい-天才たちの恋愛頭脳戦-』英語吹き替え版配信開始(2025年4月3日)