Appshots を使うと、最前面にあるアプリのウィンドウを ChatGPT のチャットに送信できます。コンピューター上の別のアプリで 作業中に、現在のコンテキストを ChatGPT に提供し、 そのタスクを手伝ってもらいたい場合に使用します。
Appshots は macOS 向け ChatGPT デスクトップアプリで利用できます。両方の Command キーを同時に押すか、カスタムの Appshots ホットキーを押して Appshot を撮影します。
Appshots のキャプチャ内容
Appshot でキャプチャされるのは、最前面のウィンドウだけです。次の内容が含まれる場合があります：
- 表示中のウィンドウの画像。
- そのウィンドウから取得できるテキスト。表示中のテキストに加え、アプリから取得できる 現在のスクロール表示範囲外にあるテキストも含まれます。
Appshot をチャットに追加すると、添付ファイルとして扱われます。ChatGPT は、 手動で添付したファイルや画像と同様に、Appshot をローカルのセッションファイルに 保存します。
Appshots の使用場面
ChatGPT が操作を実行するために、あらかじめ Mac アプリのコンテキストが必要な場合は、Appshots を使用します。
例：
- API リファレンスページを共有し、その API を使用するスクリプトの作成を ChatGPT に依頼します。
- メールやカレンダーの画面を共有し、次の対応案の作成を ChatGPT に依頼します。
- 画像エディター、デザイン、プレビューウィンドウを共有し、関連する アセットやコードの修正を ChatGPT に依頼します。
- 説明するより見せる方が簡単なエラー、設定パネル、アプリの状態を 共有します。
Appshot の撮影
- 共有するアプリのウィンドウを最前面に表示します。
- 両方の Command キーを押すか、ChatGPT の設定で割り当てた カスタムホットキーを押します。
- ChatGPT から求められた場合は、macOS で権限を許可します。
- Appshot を使ってタスクを実行するように ChatGPT に依頼します。
デフォルトでは、ChatGPT は Appshot 用に新しいチャットを開始します。過去 60 秒以内に チャットを使用していた場合、ChatGPT は代わりに直近のチャットへ Appshot を 追加します。Appshot を続けて撮影すると、同じチャットに追加されます。
アプリの設定で Appshots のホットキーを変更できます。
権限と安全性
Appshot を撮影するために、ChatGPT から次の権限を求められることがあります：
- 画面収録とシステムオーディオ録音 により、ChatGPT は最前面の ウィンドウの画像をキャプチャできます。
- アクセシビリティ により、ChatGPT は最前面のウィンドウから取得できるテキストを読み取れます。
Appshot を撮影すると、キャプチャされた画像と取得できるテキストが ChatGPT と共有されます。 タスクでそのコンテンツが必要な場合を除き、機密性の高いコンテンツの Appshot は 撮影しないでください。
Appshot についても、スクリーンショットやドキュメントを ChatGPT と共有する場合と同様に、共有内容を確認してください。
制限とトラブルシューティング
Appshots は macOS 向け ChatGPT デスクトップアプリで利用できます。すでに Appshot を含むチャットを CLI で再開すると、その添付ファイルはチャット履歴に含まれますが、 CLI で新しい Appshot を作成することはできません。
Google Docs、Gmail、Google Sheets、 Google Slides など、一部のアプリやウェブサイトでは、ChatGPT が受け取れるのは表示中のスクリーンショットだけで、 ドキュメント全体や画面外のテキストを受け取れない場合があります。ChatGPT Work または Codex では、ChatGPT が 対応するインストール済みプラグインを使って、関連するアプリのコンテンツにアクセスし、 リクエストに対応できます。
Appshots が動作しない場合：
- システム設定 > プライバシーとセキュリティ を開きます。
- 画面収録とシステムオーディオ録音 と アクセシビリティ で、Codex コンピューターの使用が許可されていることを確認します。
- アプリを再起動して、もう一度試します。