Codex use case
ChatGPT を使ったコンピューター操作
macOS または Windows のコンピューターで、ChatGPT にクリック操作、文字入力、アプリ内の移動を任せましょう。
ChatGPT デスクトップアプリのコンピューターの使用機能を使うと、macOS または Windows のアプリやローカルファイルをまたぐ、範囲を限定したタスクを完了できます。アクセス権限を求めるプロンプトが表示され、最終結果をレビューできます。ログイン済みのブラウザを使うタスクは、Chrome で別途開始します。
最適な用途
- デスクトップアプリ、ウィンドウ、ローカルファイルをまたぐタスク
- macOS でのバックグラウンド実行、または Windows の専用フォアグラウンドセッションが必要な作業
Contents
ChatGPT を使ったコンピューター操作
macOS または Windows のコンピューターで、ChatGPT にクリック操作、文字入力、アプリ内の移動を任せましょう。
ChatGPT デスクトップアプリのコンピューターの使用機能を使うと、macOS または Windows のアプリやローカルファイルをまたぐ、範囲を限定したタスクを完了できます。アクセス権限を求めるプロンプトが表示され、最終結果をレビューできます。ログイン済みのブラウザを使うタスクは、Chrome で別途開始します。
ChatGPT デスクトップアプリのコンピューターの使用機能を使うと、macOS または Windows のアプリやローカルファイルをまたぐ、範囲を限定したタスクを完了できます。アクセス権限を求めるプロンプトが表示され、最終結果をレビューできます。ログイン済みのブラウザを使うタスクは、Chrome で別途開始します。
関連リンク
最適な用途
- デスクトップアプリ、ウィンドウ、ローカルファイルをまたぐタスク
- macOS でのバックグラウンド実行、または Windows の専用フォアグラウンドセッションが必要な作業
開始用プロンプト
はじめに
デスクトップアプリ、ウィンドウ、ローカルファイルをまたぐタスクには、コンピューターの使用を利用します。ChatGPT は、許可されたアプリでクリック操作や文字入力、画面移動を行い、レビューできる結果を返します。ウェブサイトやログイン済みのブラウザセッションを操作する場合は、@Chrome で別のブラウザタスクを開始します。
コンピューターの使用には ChatGPT デスクトップアプリが必要です。 対応地域では、macOS および Windows 上の ChatGPT Work と Codex でコンピューターの使用を利用できます。ウェブまたはモバイルで実行するクラウドの Work タスクからは、ローカルのアプリやファイル、ログイン済みのデスクトップブラウザセッションに直接アクセスできません。Mac または Windows のホストを接続すると、モバイルのリモート操作でデスクトップタスクを開始したり、進行を調整したりできます。
適した用途として、メモを正式な記録システムに移す、返信の下書きを作成する前に複数のアプリでコンテキストを確認する、専用プラグインのないツール間で承認済みの情報をコピーするといった作業が挙げられます。
週末のキャビン旅行の計画が「メッセージ」と「メモ」にある場合、デスクトップタスクを安全に任せる流れは次のとおりです。
ChatGPT Workデスクトップタスク： 「メッセージ」にある週末のキャビン旅行の案と「メモ」の候補リストを集め、ローカルメモを作成して返信の下書きを用意します。
結果： Pine Lodge は段差がなく、2 時間以内で行けて、料金は合計 $690 です。Lake House も条件に合う可能性がありますが、移動時間とバリアフリー対応の確認が必要です。Cedar Ridge は階段があるため候補から除外しました。グループの人数が不明なため、1 人あたりの料金は人数次第です。
ローカルメモと返信の下書きはレビューできる状態です。予約も送信もしていません。
使用方法
- ChatGPT デスクトップアプリを開き、コンピューターの使用プラグインをインストールします。
- デスクトップアプリを使うリクエストは
@Computerから、ブラウザタスクは@Chromeから始めます。 - タスクの内容、使用するアプリやファイル、求める結果を記述します。
- アクセス許可を求めるプロンプトを確認し、送信、提出、重要なデータの変更を行う前に一時停止してください。
- Windows では、コンピューターの使用によるタスクの実行中、対象のアプリを画面に表示したままにしてください。
アプリ用のプラグインがある場合、ChatGPT は構造化された操作にそのプラグインを使用することがあります。タスクがアプリのインターフェースに依存する場合や、利用できるプラグインがない場合は、コンピューターの使用が役立ちます。
活用例
まずは 1 つのツールから始めます。デスクトップアプリとローカルファイルには @Computer、ブラウザには @Chrome を使います。ChatGPT は必要に応じてほかのツールも選択できます。
メッセージからの計画作成
宿泊先の検索
プロジェクトの状況確認
会議メモに基づくトラッカーの更新
ログイン済みブラウザでの作業
ウェブサイトのテスト
ローカルファイルの整理
表示中の画面の共有
macOS では、appshot を使って、表示中のアプリウィンドウを共有できます。Appshots は視覚的なコンテキストを提供します。許可すると、コンピューターの使用機能でアプリを開き、内容を確認して操作できます。
実践的なヒント
コンピューターごとのタスク実行方法
macOS では、他のアプリを使用している間も、コンピューターの使用をバックグラウンドで実行できます。ピクチャ・イン・ピクチャのプレビューには、現在操作中のアプリが表示されます。プレビューを開いて進行状況を確認したり、邪魔にならない場所に移動したりできます。ペットを使用している場合は、プレビューをペットに移動できます。
Windows では、コンピューターの使用はアクティブなデスクトップ上で動作し、フォアグラウンドを占有します。タスクの実行中は、ポインターが移動し、キーボード入力が行われます。デバイスのロックを解除し、接続した状態を保ってください。メインのデスクトップを引き続き使用する必要がある場合は、Windows 仮想マシンでデスクトップアプリを実行してください。
適切なブラウザの選択
コンピューターの使用では、ブラウザでの操作が必要になることもよくあります。必要なコンテキストを利用できるブラウザを選択してください：
- Chrome 拡張機能： 掲載情報の検索やウェブサイトの閲覧、サインイン済みの Chrome プロファイル、タブ、拡張機能の利用など、ブラウザでのタスクには
@Chromeを使用します。 - 組み込みブラウザ： localhost や公開サイトに別のブラウザセッションを使用したい場合に利用します。独自のブラウザ状態を保持し、サインインが完了するまで待機できます。
- Web 版またはモバイル版 ChatGPT Work のクラウドブラウザ： サポート対象の公開サイトをサインアウト状態で利用する場合に使用します。ローカルファイル、開いているタブ、拡張機能、保存済みパスワードにはアクセスできず、サイトへのサインインや支払いの完了もできません。
ブラウザの選択が重要な場合はプロンプトでブラウザを指定し、デスクトップで繰り返し適用する設定にはカスタマイズを使用してください。
同じアプリでの同時実行の回避
同じアプリを対象に、コンピューターの使用で 2 つのタスクを同時に実行しないでください。操作が競合すると、現在のウィンドウや状態が変わり、結果が信頼できなくなる可能性があります。
アプリへのサインインとロック中の使用の準備
デスクトップでタスクを開始する前に、必要なアプリやサービスにサインインしてください。macOS では、Mac がロックされた後もタスクを続行する必要がある場合、ロック中の使用を有効にできます。この機能を有効にしていない場合、Mac がロックされるとコンピューターの使用は停止します。有効にすると、サポート対象のタスクは Mac がロックされた後も続行できます。Windows のコンピューターの使用では、ロック中の使用は利用できません。
