- トップ
- 企業・教材・サービス
- ギブリー、エンジニア採用試験での「ChatGPT」の正答率を検証
2023年6月5日
ギブリー、エンジニア採用試験での「ChatGPT」の正答率を検証
ギブリーは2日、同社のコーディングテストツール「Track Test」(トラック・テスト)を使って、ChatGPTをはじめとする生成AIが普及した世界での、企業のエンジニア採用選考や評価への向き合い方について検証した見解をまとめ発表した。
オンラインテストの不正行為が懸念される中で、今回、「Track Test」はChatGPT対策チームを組織して、現状のChatGPTの正答率を測る検証を行うとともに、今後求められるエンジニアリングスキルの変化やプロダクト開発の方向性をまとめた。
今回の検証では、「Track Test」の問題コンテンツを開発するエンジニアが、実際にChatGPTを活用して問題を正答できるかを調査。1度のラリーだけではなくChatGPTが出力した内容に対して、追加でオーダーを何度か行い、出力内容の変化も含めて検証した。
その結果、「得意な領域」に関しては、クイズ形式の選択式の問題で、明らかに異なる選択肢を消去法で除外するなどの基本的な受験テクニックが使え、また、「FizzBuzz」「全探索」など、プログラミング問題として一般的に有名な問題のマイナーチェンジでは高得点を取ることができることが分かった。
一方、「苦手な領域」に関しては、「ロジカルシンキング」(特に数学と数学的推論)、問題文ならではの独特な要求仕様の読解力やその実装、計算量を落として高速化する問題では計算量を落とす Evaluation Point(評価ポイント)で部分点しか取れない傾向にある、ことが分かった。
ChatGPTの台頭でエンジニアの「スキル」の定義が変わる可能性があるが、今回の検証結果から、「Track Test」チームは、①AIを活用せずに純粋なコーディングスキルを実務力とする、②AIを活用することも含めてその人の実務力とする―という大きく2つのパターンに分けられるとの見解を示している。
「Track Test」は、プログラミングスキルをテストして、データに基づいて採用を決定するためのエンジニア採用プラットフォーム。コーディングテストを通して候補者のスキルを正しく理解することが強い組織を作る。
また、今回の検証結果について分かりやすく解説するセミナー「ChatGPTはコーディングテストを解けるのか~AI時代におけるエンジニアのスキル評価への影響とは~」を、6月21日にオンラインで無料開催する。
開催概要
開催日時:6月21日(水)12:00~13:00
開催方法:オンライン
登壇者:ギブリー執行役員/HR Tech部門事業推進部長・山根淳平氏
主な内容:
・ChatGPTに解かれやすい/解かれにくいコーディングテスト問題の特徴
・Track Testを解かせた検証結果
・ChatGPTはエンジニアのスキル評価にどのような影響を与えるのか
定員:50人
参加費:無料
関連URL
最新ニュース
- コドモン、島根県江津市の公立放課後児童クラブにICTサービス「CoDMON」導入(2024年5月17日)
- みん就、「みん就 2025年卒 IT業界新卒就職人気企業ランキング」を発表(2024年5月17日)
- 志望校選び、親子で温度差。子どもは「設置学部」保護者は「学費」=明光義塾調べ=(2024年5月17日)
- 最も苦手な体育の種目、小学生は「水泳」、中学生は「長距離走」=ニフティ調べ=(2024年5月17日)
- カホエンタープライズ、山口大学で「Tableau」用いたデータ活用DX化支援を実施(2024年5月17日)
- 埼玉工業大学、工学部5専攻を新設 全学的に専攻を強化(2024年5月17日)
- FIXER、鈴鹿工専で生成AI活用に特化した寄付講座を開講(2024年5月17日)
- 立命館大学、人工知能チャットボット「ChatGPT」と翻訳ツール「BloomTalk」導入(2024年5月17日)
- マナリンク、不登校のためのオンラインフリースクール「マナリンク小中等部」開校(2024年5月17日)
- レコチョク、幼児・小学生向けデジタル技術を活用した「音楽×教育」体験会を開催(2024年5月17日)