ギブリー、エンジニア採用試験での「ChatGPT」の正答率を検証

ギブリーは2日、同社のコーディングテストツール「Track Test」（トラック・テスト）を使って、ChatGPTをはじめとする生成AIが普及した世界での、企業のエンジニア採用選考や評価への向き合い方について検証した見解をまとめ発表した。

オンラインテストの不正行為が懸念される中で、今回、「Track Test」はChatGPT対策チームを組織して、現状のChatGPTの正答率を測る検証を行うとともに、今後求められるエンジニアリングスキルの変化やプロダクト開発の方向性をまとめた。

今回の検証では、「Track Test」の問題コンテンツを開発するエンジニアが、実際にChatGPTを活用して問題を正答できるかを調査。1度のラリーだけではなくChatGPTが出力した内容に対して、追加でオーダーを何度か行い、出力内容の変化も含めて検証した。

その結果、「得意な領域」に関しては、クイズ形式の選択式の問題で、明らかに異なる選択肢を消去法で除外するなどの基本的な受験テクニックが使え、また、「FizzBuzz」「全探索」など、プログラミング問題として一般的に有名な問題のマイナーチェンジでは高得点を取ることができることが分かった。

一方、「苦手な領域」に関しては、「ロジカルシンキング」（特に数学と数学的推論）、問題文ならではの独特な要求仕様の読解力やその実装、計算量を落として高速化する問題では計算量を落とす Evaluation Point（評価ポイント）で部分点しか取れない傾向にある、ことが分かった。

ChatGPTの台頭でエンジニアの「スキル」の定義が変わる可能性があるが、今回の検証結果から、「Track Test」チームは、①AIを活用せずに純粋なコーディングスキルを実務力とする、②AIを活用することも含めてその人の実務力とする―という大きく2つのパターンに分けられるとの見解を示している。

「Track Test」は、プログラミングスキルをテストして、データに基づいて採用を決定するためのエンジニア採用プラットフォーム。コーディングテストを通して候補者のスキルを正しく理解することが強い組織を作る。

また、今回の検証結果について分かりやすく解説するセミナー「ChatGPTはコーディングテストを解けるのか～AI時代におけるエンジニアのスキル評価への影響とは～」を、6月21日にオンラインで無料開催する。

開催概要

開催日時：6月21日（水）12:00～13:00
開催方法：オンライン
登壇者：ギブリー執行役員/HR Tech部門事業推進部長・山根淳平氏
主な内容：
・ChatGPTに解かれやすい/解かれにくいコーディングテスト問題の特徴
・Track Testを解かせた検証結果
・ChatGPTはエンジニアのスキル評価にどのような影響を与えるのか
定員：50人
参加費：無料