GeminiのMultimodal Live APIを使って、就活のWEBテストを受けさせてみた結果

みなさん、Googleが12月に発表した「Multimodal Live API」は触っておりますでしょうか？

知らない方に簡単に説明すると、Googleが提供しているAI「Gemini」にリアルタイムで音声と動画で通信でき、AIから回答を受け取ることができるとうものです。

では、これで一体何ができるかというと、

1. PCの画面をAI「Gemini」に共有し、
2. 共有している画面の情報をAIが解析し、
3. こちらからの質問に画面の情報から回答してくれる、

という生成AIアプリを簡単に作れてしまいます。

この「Multimodal Live API」を使ってあることをしてみようというのが今回の記事の内容です。

・サクッと作ったWebアプリ「AI音声チャットボット」

どうせ試すならアプリを作ろうと思い、作ったのが「AI音声チャットボット」という安直なネーミングのWebアプリ

使ったサービスと作成方法を簡単に紹介すると以下になります。

【使ったサービス】
　V0とCursor、（とコードの一部修正にChatGPT o1）

【作り方】
1.V0でフロントエンドを作ってもらい

最初の作成画面

2.Cursorでコードを書いてもらい
・以下のMultimodal Live APIのAPIリファレンスのページを全コピーして、CursorのChatに貼り付けて送信

Multimodal Live API  |  Gemini API  |  Google AI for Developers

（最近のCursorはgemini-exp-1206モデルが使用でき、より的確なコード生成ができるようになりました）

3.上手くいかない時はChatGPT o1でコードの修正をお願いする
・Cursorで作成されたコードをコピーして、追加したい機能を依頼する

というもの。

で、最終的に出来上がったのが以下の画面。

Multimodal Live APIのオンオフを制御するだけの簡単な画面です。

・オンにすればGeminiに画面共有

・オフにすれば共有停止

言ってしまえばそれだけの機能。

で、ここからが本題です。

・「WEBテストの画面を共有し、AIに解答してもらおう」という黒い誘惑

このアプリで何をしようと思ったか。それは、

「WEBテストの画面を共有させれば、AIに解かせることができるんじゃない？」

というもの。

【WEBテストとは就活におけるオンラインテスト】
就活におけるWEBテストは、企業が応募者のスクリーニングを行うために実施するオンライン形式の筆記試験です。主に以下の要素を測定します：
・基礎学力
言語理解（国語）や数的処理（数学）など、高校までの学力に基づく問題。
・性格診断
応募者の性格や価値観、企業との適性を測るための質問。
・専門知識
一部の職種では、業界や技術に関する専門的な知識を問う問題。
代表的な形式には「SPI」「玉手箱」「CAB」「GAB」などがあります。受験前に形式を確認し、対策問題集や練習サイトを活用して準備することが重要です。

ChatGPTの回答

就職活動を経験された方にとっては馴染み深いものではないでしょうか？

このWEBテスト、今までも度々カンニングや替え玉受験などが問題になり、対策不足感があるテストもありました。

今回のMultimodal Live APIは、更なる課題になるのではと思い、試した結果を紹介します。

・で、結果は・・・？

ここからは実際の結果報告です。

【初めに】
WEBテストは実際の企業のテストを受けるわけにはいきませんので、デモとして、キャリタス就活のウェブサイトのお試し！WEBテストを使っております。

お試し！WEBテスト | キャリタス就活 | インターンシップ・新卒採用情報サイト

その結果がこれ（私の声が小さくて申し訳ありません）

最後まで見てもらうとわかるのですが、結論を言ってしまえば、

「答えをお教えすることはできません。テストは自分の力で解くものです」とのこと。

ですよねー。

不正を許さないGeminiくんなのでした。

・【ここからは企業への提言】監視のないWEBテストに意味はなくなる

今回は（Geminiの倫理観が高く）失敗に終わってしまった、

「AIに画面共有し、WEBテストを受けさせる」という実験ですが、

この失敗の原因はLLMがGeminiだったからというのが大きいです。

例えば、個人で開発できるようなローカルのLLMを使えば、この壁は突破できてしまいます。（もうすでに誰かが作っているかもしれませんが）

そもそも、監視のないWEBテストは、昔から友達を呼んで、みんなで受験できるような状態でした。

それが、個人でAIを使えばより速く・正確にできるようになってしまうことです。

これではWEBテストがAIを使いこなせるか判断するテストになってしまいます。

企業側で対策できることは、

1. 全てテストセンター形式にする（会場に行って受験）

2. PCのカメラから監視つきのWEBテストにする

3. 解答速度などをAIに評価させ、不正行為がないか分析させる

ぐらいではないでしょうか。

技術の進歩に企業や行政の動きがどれだけ追い付けるかが、問題を広げてしまうか、それとも課題を解決できるかを決定します。

・最後に

今回はいかがだったでしょうか。

今後も生成AIを触ってみるだけでなく、活用してみた系の記事を書いていきますので、気になる方はぜひフォローをお願いします！

また、記事のコメントもお待ちしております！

では、次回の記事もよろしくお願いします👋