PC画面を直接操作するComputer Use

AIエージェントの驚くべき進化の一つに、人間と同じようにパソコンを操作する技術があります。Googleは最新AIモデル「Gemini 3.5 Flash」に、画面を見てブラウザやアプリを直接操作する「Computer Use」という機能を標準搭載しました。

これまでのAIは、別々のアプリ間でデータをやり取りするために、システム同士を複雑につなぐプログラミング設定が必要でした。しかし「Computer Use」では、AIがPCの画面を人間のように視覚的に認識し、Webブラウザを起動して検索したり、特定のボタンをクリックしたり、文字を入力したりといった操作を人間に代わって行います。

さらに、Anthropicの「Claude」などの新機能「Record a skill」を組み合わせることで、プログラミング知識が全くない非エンジニアでも自動化が簡単になります。人間が普段行っているExcelへの入力やデータの転記作業を一度実演して「録画」するだけで、AIがその操作手順を記憶し、次からは全自動でそのスキルを代行してくれます。面倒な定型手続きをAIに丸投げする次世代の働き方が、いよいよ現実のものとなっています。