GitHub Copilot が10月1日、画面の中のアプリを人間の代わりに操作する「コンピュータ操作（computer use）」を公開プレビューとして始めた。対象はコマンドライン版のCopilot CLIと、デスクトップ版のGitHub Copilotアプリで、動くのはmacOSとWindowsのローカルのセッションだけだ。

コードを書くAIが、コードの外のアプリにまで手を伸ばし始めた。ただし発表のなかでいちばん目を引くのは、機能そのものよりGitHub自身の添え書きである。APIやMCPサーバー、ターミナルコマンドで済むなら、そちらを先に使うよう勧めている。公式ドキュメントにそう書かれており、米メディアのThe New Stackも「まず別の手を試せ」を記事の見出しに据えた。

「できること」より先に「使わずに済む場面」を挙げる。この順番に、機能の立ち位置がよく出ている。

⚠ 情報の鮮度について
一次情報はGitHub公式チェンジログ（2026年10月1日）と公式ドキュメントです。公開時点で約3日が経っているため、速報としてではなく、選ぶ側にとって何が変わるのかの整理として書いています。公式ドキュメントは公開プレビューの内容が「変更されうる」と明記しています。なお、確認できた公式ページには、課金（プレミアムリクエストの消費など）と使われるモデルについての記載が見当たりませんでした。
Section 01

コンピュータ操作とは──Copilotに何が始まったのか

コンピュータ操作とは、AIが画面の内容を読み取り、人間の代わりにクリックや文字入力をしてアプリを動かす方式のことだ。公式の説明では、Copilotはアプリの中身と画面の見た目を読み取り、コントロールのクリック、文字の入力と編集、キー操作、スクロール、ドラッグ、アプリをまたぐ手順の移動ができる。

狙いはAPI・コマンドライン・MCP（AIと外部ツールをつなぐ共通の接続口）のどれも用意されていない古いソフトや、画面操作しかできないソフトの仕事を任せることにある。公式チェンジログが挙げる例は、ブラウザの通知の要約、プレゼン資料の更新、デスクトップアプリをまたぐ情報の受け渡しだ。

項目 現時点の内容
提供場所 Copilot CLI／GitHub Copilotアプリ
対応環境 macOSとWindowsのローカルのセッションのみ（Linuxは対象として書かれていない）
状態 公開プレビュー（変更されうる）
有効化 CLIは /computer on、アプリは設定の「Computer Use」
macOSの追加条件 アクセシビリティと画面収録の権限
止め方 CLIは /computer off、作業中は Esc を2回
一言でまとめると──「Copilotが画面の向こうのアプリまで触れるようになったが、使うには自分で有効にする必要があり、組織は止めることもできる。使うかどうかは使う側が決める」形での公開です。
Section 02

GitHubが勧める順番は「画面操作は最後」

新機能の告知で、提供元が「まず別の手段を試してほしい」と書くのは珍しい。公式ドキュメントの趣旨はこうだ。API、MCPサーバー、ターミナルコマンド、ファイル操作のツール、専用のブラウザツールのどれかで直接こなせるなら、そのツールのほうが構造化された情報を返し、結果も予測しやすい。The New Stackは10月2日付の記事で、この案内をそのまま見出しにした。コンピュータ操作は、そうした手段が1つも無いときの選択肢という位置づけだ。

理由は仕組みを考えると分かりやすい。APIは「この項目にこの値を入れる」と一意に指示できる。画面操作は、ボタンがどこにあるかをその都度画面から読み取って押す。画面の並びが少し変われば、押す場所を間違えうる。

01
まず直接の手段

API、MCPサーバー、ターミナルコマンド。呼び出し方が決まっているので、同じ指示なら同じ結果になりやすい。

02
次にブラウザやファイルの操作

対象がWebページやファイルなら、画面全体を見て動かすより範囲が狭く、失敗の幅も小さくて済む。

03
最後にコンピュータ操作

どちらも使えない古い業務ソフトや、画面でしか動かせないアプリの出番。「できる」ことと「確実」であることは別だと、提供元が前提にしている。

同じ「コンピュータ操作」は、AI各社が相次いで出している機能でもある。OpenAIは9月3日公開のGPT-6 Astraで同種の機能を投入しており、反応の分かれ方はGPT-6 Astraのコンピュータ操作を扱った記事で整理した。今回のCopilotの特徴は、機能そのものよりも、開発者向けの道具に、承認の仕組みと組織の停止スイッチを付けて出してきた点にある。

Section 03

承認と停止の仕組み、画面に映るものの扱い

公式の説明では、Copilotはアプリを操作する前に承認を求める。選べるのは3つで、いまのセッションだけ許可する「Allow」、今後も許可として保存する「Always allow」、拒否だ。「Always allow」の承認は、同じコンピューターのGitHub Copilotアプリでコンピュータ操作を使うときにも共通で適用される。CLIで一度「いつも許可」にしたアプリは、アプリ側でも確認なしで動かされうる、ということだ。

組織の側には止める手段がある。管理者は管理設定でコンピュータ操作を無効にでき、無効にした場合はCLIが「管理設定によりブロックされている」と表示する。個人が上書きすることはできない。

⚠ 画面に映っているものは、AIの目にも入りえます
公式ドキュメントは、指示があいまいだと、端末・データ・アカウントに意図しない操作が及びうると注意しています。そのうえで、機密情報を含むアプリや、影響の大きい操作を伴うアプリには「Always allow」を選ばないよう勧めています。Copilotは画面の見た目（視覚的な文脈）も読み取って動くので、作業と無関係なウィンドウの内容まで視界に入りうると考えておくのが安全です。使い始める前に、機密を含むウィンドウを閉じておくのが最低限の手当てになります。

macOSでは、アクセシビリティと画面収録の権限を渡す必要がある。この2つは、OS側から見れば「他のアプリの画面を読んで操作する」ための強い権限にあたる。許可を出す前に、どのアプリにどの範囲を渡したかを自分で把握しておきたい。

Section 04

あなたはどうするか──立場別の判断

A
個人でCopilotを使っている人

使うには自分で有効にする必要があるので、何もしなければ何も変わらない。試すなら、失敗しても元に戻せる作業から始め、「Always allow」は最初は選ばない。機密を映したまま走らせない。

B
組織の管理者

管理設定で一括して無効にでき、個人は上書きできない。社内の方針が決まるまで止めておくという運用が、設定1つで取れる。

C
APIのあるソフトを画面操作で動かそうとしている人

GitHub自身が先にAPIやMCPを勧めている。画面操作に頼る前に、そのソフトにAPIや接続口が無いかを確かめる。

もう1つ、判断材料として欠けているものがある。確認できた公式ページには、コンピュータ操作がどのモデルで動くのか、使った分が課金やプレミアムリクエストにどう数えられるのかの記載が見当たらない。月額のプランで足りるのか、使うほど枠を消費するのかは、いまの時点では読み取れない。業務で使い込む前提なら、この点が公式に書かれるのを待ってからでも遅くない。

Section 05

編集部の見立て

Editor's Opinion

今回の発表で重要なのは、Copilotがデスクトップを触れるようになったことそのものより、提供元が「最後の手段」と位置づけて出してきたことだと考えます。AIに画面を操作させる機能は、デモでは派手に映りますが、実務では誤クリックや画面の変化で止まる場面が避けられません。GitHubがそれを前提に、直接の手段を先に使うよう案内しているのは、機能の限界を最初から読者と共有している姿勢だと受け取りました。

選ぶ側の視点では、見るべき点は2つです。1つは、承認の仕組みが「許可の使い回し」を前提にしていることです。CLIで「いつも許可」にした結果がアプリにも及ぶ設計は、便利である一方、1回の判断の重みが増します。もう1つは、課金とモデルが示されていないことです。ここが空白のまま業務に組み込むと、後から請求の形が変わったときに引き返しにくくなります。

APIの無い業務ソフトが世の中にそれだけ多い、という見方もできます。コンピュータ操作が公開プレビューのうちから注目されるのは、AIの進歩だけでなく、つながっていないソフトの山が現場に残っているからでしょう。その山を相手にするとき、人が画面を見ている前提で作られたソフトを、AIにどこまで任せるかを決めるのは、結局は使う側です。

Section 06

まとめ

GitHub Copilotは2026年10月1日、Copilot CLIとGitHub Copilotアプリで、デスクトップアプリを操作する「コンピュータ操作」を公開プレビューとして始めました。対象はmacOSとWindowsのローカルのセッションで、使い始めるには自分で有効にする必要があります。

GitHubは、APIやMCPサーバー、ターミナルコマンドといった直接の手段を先に使うよう案内しており、コンピュータ操作はそれらが使えない古いソフトや画面操作専用のソフトのための選択肢です。

承認は「Allow」「Always allow」、拒否の3つで、「Always allow」はCLIとアプリで共通に適用されます。管理者は管理設定で無効化でき、個人は上書きできません。画面に映った機密情報が取り込まれる可能性があるため、使う前にウィンドウを整理しておく必要があります。

使われるモデルと課金の扱いは、確認できた公式ページには記載が見当たりません。

次に確かめたいのは、公開プレビューが外れるときに、使えるモデルと課金（プレミアムリクエストの消費）が公式ドキュメントのどこに、どう書かれるかだ。いまは、その行が白紙になっている。