GPT-Live は、バックエンドのエージェントが情報を調べ、ツールを使い、タスクを完了する間、音声会話を担当します。話しながら聞くことができ、この機能を全二重と呼びます。バックエンドに作業を任せることを委任と呼び、その作業が実行されている間も会話を続けられます。
たとえば、ユーザーは注文について質問し、バックエンドが注文状況を確認している間に詳細を付け加え、結果が出たら音声で聞くことができます。バックエンドのモデルやエージェントは、音声モデルとは独立して選択できます。一方、Realtime は音声、推論、ツール選択に単一のモデルを使用します。
2 つの構成要素
- GPT-Live は会話を担当します。音声を聞き取り、話し、バックエンドに支援を求めるタイミングを判断します。会話のスタイルと委任するタイミングを短いプロンプトで指定してください。
- バックエンドは委任されたタスクを担当します。 Responses 委任では、対応する Responses モデルを使用します。クライアント委任では、アプリケーションで実行する任意のモデル、エージェントハーネス、サービスを接続できます。バックエンドは推論を行い、ツールを使い、GPT-Live がユーザーに伝えるための結果を返します。詳細な指示、ビジネスルール、ツールのワークフローはバックエンド側に置いてください。
権限、確認、非公開関数の実行、タスク状態の永続化は、アプリケーション側で管理します。音声を中断しても、バックエンドの作業は自動的にはキャンセルされません。GPT-Live と Realtime、処理を連結した音声アプリケーションの比較については、音声エージェントを参照してください。
バックエンドの実行方法の選択
マネージドバックエンドが適している場合は、 Responses 委任から始めてください。GPT-Live が設定済みの Responses モデルを呼び出し、会話のコンテキストを渡して結果を返します。バックエンドの実行、コンテキスト、GPT-Live に渡す結果をアプリケーション側で制御する必要がある場合は、クライアント委任を選択してください。
比較と設定の詳細は、委任モードの選択を参照してください。モードはセッションの作成時に選択します。モードを変更するには、新しいセッションを開始してください。
最初のセッションへの接続
GPT-Live WebRTC クイックスタートから始めてください。ブラウザとサーバーのサンプルでは、ウェブ検索が可能な Responses バックエンドを使い、マイク入力とスピーカー出力を接続します。
マイク、HTTPS または localhost で配信されるブラウザページ、OpenAI プロジェクトの API キーを持つ信頼できるサーバーが必要です。キーはサーバー上に保管してください。
- GPT-Live がバックエンドに支援を求めるタイミングを指定する、短い会話プロンプトを作成します。
- クイックスタートに従って、ブラウザのマイク、音声再生、イベントチャネルを接続します。サーバーがセッションを作成し、ブラウザの接続オファーを送信してアンサーを受け取ります。
session.startedを待ってから話しかけ、応答を聞きます。ウェブ検索バックエンドを試すには、最新の情報が必要な質問をしてください。- 会話を終えてセッションを閉じ、最終的な使用量を取得し、接続を解放します。
音声会話とバックエンドの結果の両方を確認してください。セッション開始イベントでは起動を確認できます。応答を聞くことと検索結果を確認することでは、それぞれアプリケーションの別の部分を検証できます。
GPT-Live の音声セッションは、利用時間に応じて秒単位で課金されます。現在の料金は、モデルの料金を参照してください。バックエンドのモデルとツールの使用量は別途課金されます。使用量の集計方法とコスト削減の方法については、コストの最適化を参照してください。
接続方法の選択
- ブラウザの音声アプリケーションには、WebRTC を使用します。メディアトラックで音声を、データチャネルで JSON イベントを送受信します。
- サーバー側での音声連携には、WebSockets を使用します。プライマリソケットで音声と制御イベントを送受信します。
- バックエンドから既存のセッションにアクセスするには、サーバー側の制御を使用します。サイドバンド接続でイベントを送受信し、音声は引き続きプライマリ接続で送受信します。
- 電話連携の方法とプロバイダーに関するガイダンスは、電話と SIP を参照してください。
パートナー連携
LiveKit、 Twilio、 Telnyx、 Daily/Pipecat のいずれかで構築したアプリケーションでは、まずパートナー連携の概要を参照し、既存のメディア経路に合った接続方法を選択してください。
開発の次のステップ
- GPT-Live のプロンプトを参考に、会話のスタイルと委任の動作を調整します。
- 委任とツールを参考に、ツールを接続し、バックエンドのレイテンシを削減します。
- セッションの管理を参考に、コンテキスト、文字起こし、セッションのライフサイクルを管理します。
- GPT-Live への移行を参考に、Realtime またはテキストベースのエージェントの移行方法を選択します。
- 音声エージェントの評価を参考に、会話とタスクの結果をテストします。