AI研修 初心者向け / 第1章: はじめての生成AIと最新トレンド
PC画面を見て操作する最新AIトレンド
無料公開レッスン / 読了目安 2 分
このレッスンのフル版で学ぶ
無料マークの付いた教材は登録なしで閲覧できます。学習記録の保存・演習の提出にはGoogleログインが必要です。準備中のコースは受講対象に含みません。
無料でフル版を開くこれまでの生成AIは、テキストや画像を入力して回答を得る「対話型のツール」が主流でした。しかし現在、AIは人間のパソコン画面を視覚的に認識し、マウス操作やキーボード入力を直接代行する段階へと急進歩しています。
Googleの「Gemini 3.5 Flash」に標準搭載された「Computer Use」機能や、Anthropicが提供するClaudeの「Record a skill」といった技術がその代表例です。これらの最新機能では、AIがモニター上のボタン位置や入力フォーム、表示されたブラウザ画面を人間のように理解して操作します。
例えば、人間が画面上でのデータ転記やシステム登録の手順を一度実演して録画(レコーディング)して見せるだけで、AIはその手順を記憶します。次回からは「いつもの更新作業をやっておいて」と話しかけるだけで、AIが自律的にブラウザを起動し、必要なデータを入力して作業を完結してくれます。
プログラミングや難しいAPI連携の知識がなくても、普段の画面操作を見せるだけでPC作業を丸投げできる環境が整いつつあります。AIは「質問に答えるツール」から「画面を見て作業を代行するパートナー」へと進化しています。

関連動画
【革命】最新AIが〇〇を直接操作。スマホ1つで「部下」が働く時代へ #ai #claude #ショート動画
【未来が来た!】AIがあなたのPCを自由に操る時代へ! #Shorts