Appshots を使うと、最前面のアプリウィンドウを ChatGPT のチャットに送信できます。コンピューター上の別のアプリで作業しているときに、現在のコンテキストを ChatGPT に共有して、その作業を手伝ってもらうために活用できます。
Appshots は、macOS と Windows の ChatGPT デスクトップアプリで利用できます。macOS では左右の Command キー、Windows では左右の Alt キーを同時に押すと、Appshot を撮影できます。Appshots 用のカスタムホットキーも設定できます。
Appshots で取得できる内容
Appshot が取得するのは最前面のウィンドウのみです。次の内容を含めることができます。
- 表示されているウィンドウの画像
- ウィンドウから取得できるテキスト。表示中のテキストに加え、スクロール領域の表示範囲外にあり、アプリが提供するテキストも含まれます
チャットに追加した Appshot は、添付ファイルとして扱われます。ChatGPT は、手動で添付したファイルや画像と同様に、Appshot をローカルのセッションファイルに保存します。
Appshots の活用場面
ChatGPT が操作を行う前に別のアプリのコンテキストを必要とする場合に、Appshots を活用してください。
使用例：
- API リファレンスのページを共有し、その API を使うスクリプトの作成を ChatGPT に依頼します。
- メールやカレンダーの画面を共有し、次の対応の下書きを ChatGPT に依頼します。
- 画像エディター、デザイン、プレビューのウィンドウを共有し、関連するアセットやコードの修正を ChatGPT に依頼します。
- 言葉で説明するよりも見せた方が伝わりやすいエラー、設定パネル、アプリの状態を共有します。
Appshot の撮影
- 共有したいアプリのウィンドウを最前面に表示します。
- macOS では左右の Command キー、Windows では左右の Alt キーを同時に押すか、ChatGPT の設定で指定したカスタムホットキーを使います。
- ChatGPT から求められた場合は、権限の設定を完了します。
- Appshot を使ってタスクを実行するよう ChatGPT に依頼します。
デフォルトでは、ChatGPT は Appshot 用に新しいチャットを開始します。ただし、直前の 60 秒以内にチャットを操作していた場合は、そのチャットに Appshot を追加します。連続して撮影した Appshot は、同じチャットに追加されます。
アプリの設定で、ホットキーと Appshot の送信先 を変更できます。 送信先を指定するには、 現在のチャット または 新しいチャット を選択します。 ここで説明した動作にするには、自動 のままにします。
フローティングコントロールからの Appshots の利用
macOS では、ペットのフローティングコントロールが開いていて、 ChatGPT のメインウィンドウが背面にある場合、送信先が 自動 に設定されていると、 そのコントロールから Appshot を添付した新しいチャットが始まります。ペットにMini を選んでいる場合も同様です。 あらかじめメインアプリで Appshots の権限設定を完了してください。 Windows では、Appshots はメインアプリで開きます。
権限と安全性
macOS では、Appshot を撮影する前に、ChatGPT が次の権限を求めることがあります。
- 画面収録とシステムオーディオ録音 を許可すると、 ChatGPT が最前面のウィンドウの画像を取得できます。
- アクセシビリティ を許可すると、ChatGPT が最前面のウィンドウから取得可能なテキストを読み取れます。
Appshot を撮影すると、取得した画像とテキストが ChatGPT に共有されます。タスクに必要な場合を除き、機密性の高い内容を含む Appshot の撮影は避けてください。
スクリーンショットやドキュメントを ChatGPT と共有するときと同様に、Appshot の内容もレビューしてください。
制限とトラブルシューティング
Appshots には、macOS または Windows の ChatGPT デスクトップアプリが必要です。すでに Appshot が含まれているチャットを CLI で再開した場合、その添付ファイルはチャット履歴の一部として保持されますが、CLI で新しい Appshot を作成することはできません。
Google Docs、Gmail、Google Sheets、Google Slides など、一部のアプリやウェブサイトでは、ChatGPT が表示範囲のスクリーンショットのみを受け取り、ドキュメント全体や画面外のテキストは受け取れない場合があります。ChatGPT Work または Codex では、対応するプラグインがインストールされていれば、ChatGPT がそれを使って関連するアプリのコンテンツにアクセスし、依頼に対応できます。
Appshots が動作しない場合は、デスクトップアプリを更新し、設定したホットキーを確認してください。また、組織で Appshots の利用が許可されていることも確認してください。macOS では、次の手順で権限も確認します。
- システム設定 > プライバシーとセキュリティを開きます。
- Codex Computer Use の 画面収録とシステムオーディオ録音 と アクセシビリティ の権限を確認します。
- アプリを再起動して、もう一度試します。