2023年6月12日

三菱鉛筆、「筆記具の動きから脳波を予測する」実証実験を実施

三菱鉛筆は9日、筆記具の役割である「書く」「描く」ことに加えて、新たな提供価値を創出するための試みの1つとして、筆記具の動きと脳波を記録し、「筆記具の動きから脳波を予測する」実証実験を行い、その結果を発表した。

実測した脳波と、予測脳波の時間順プロット

同実験は、東京大学・大学院薬学系研究科の池谷裕二教授とストーリアとの共同研究として実施。その結果、筆記具の加速度データから集中力を予測できることが判明。また、同研究の論文は、2023年度人工知能学会全国大会で採択された。

実験では、筆記具に装着し加速度を測定できるアタッチメント型のIoT機器（ストーリア製の試作品「Penbe」）を装着して、筆記動作をセンシングできるようにした。この筆記動作センシングと同時に、脳波計を被験者に取り付け、集中力やタスクパフォーマンスとの関連が知られている脳の前頭葉のガンマ波成分を計測。

これらの筆記動作（加速度）とガンマ波の2つを、ディープラーニングの1つである「長短期記憶ニューラルネットワーク手法」（LSTM手法）を使って、時系列的に分析した。

具体的には、アラビア語学習経験のない被験者を対象に、60分間アラビア語の書き写しを行い、その後10分間ずつ絵画と数理クイズのタスクを課した。アラビア語の書き写しをする60分間は、集中を阻害するために、外部から各種の妨害（動画視聴やフリートーク）を行った。

その結果、外部から妨害を行った時間帯では、妨害の少ない時間帯に比べて、ガンマ波強度/デルタ波強度比率の平均が低いことが判明。そのため、ガンマ波強度/デルタ波強度比率が、集中度合いの指標として用いることが妥当と確認できた。

また、筆記動作からLSTMネットワーク手法を使って予測したガンマ波強度/デルタ波強度比率と、実際のガンマ波強度/デルタ波強度比率の、時系列変化の推移がほぼ一致することが確認できた。

さらには、ガンマ波強度/デルタ波強度比率が0以上になる時間帯を集中、0以下になる時間帯を不集中として分けると、感度（実測した脳波に対し、筆記動作から正しく予測できた割合）は、83.0%になった。

今回の実験で、LSTM手法を使って筆記具の加速度データからデルタ波を予測できることが示されたが、これは、脳波を直接測定することなく、日常的に使用する筆記具から脳内の状態を予測できることを意味しており、教育や作業といった様々な場面で応用できることが考えられる。

関連URL