GPT-Live 的委派與工具

設定 Responses 委派

建立 Live 工作階段時，加入以下委派組態。請獨立選擇 Responses 模型，不必與語音模型相同：

1
2
3
4
5
6
7
8
9
10export const session = {
  model: "gpt-live-1",
  delegation: {
    type: "responses",
    responses: {
      model: "gpt-5.6-terra",
      instructions: "[Your backend prompt]",
    },
  },
};

1
2
3
4
5
6
7
8
9
10
11
12from openai.types.live.session_config_param import SessionConfigParam

session: SessionConfigParam = {
    "model": "gpt-live-1",
    "delegation": {
        "type": "responses",
        "responses": {
            "model": "gpt-5.6-terra",
            "instructions": "[Your backend prompt]",
        },
    },
}

可以先使用 GPT-5.6 Terra，若工作負載對成本較敏感，也可以試用 GPT-5.6 Luna。選擇後端模型前，請以您的實際任務比較回答品質與延遲。

在 delegation.responses.tools 中註冊支援的工具。使用 delegation.responses.tool_choice 控制後端可使用哪些工具："auto" 讓後端自行選擇，"required" 要求呼叫工具，"none" 則禁止呼叫工具。您也可以指定要使用的函式。將 delegation.responses.parallel_tool_calls 設為 true，即可允許同時執行彼此獨立的查詢；若呼叫必須依序執行，則設為 false。您的應用程式仍負責執行自訂函式，並確保遵守相依關係與核准要求。這些設定不會強制即時模型進行委派。

建立 Responses 組態時，必須指定後端 model。此組態支援在 tools 中加入 function 定義與 web_search 項目，也提供 max_output_tokens（設定時至少為 16）、service_tier，以及所選後端模型支援的 reasoning 和 text 設定。可調整的設定請參閱降低後端延遲。

如果您的模型與專案可使用快速模式，可以考慮將其用於對延遲敏感的呼叫。在 GPT-Live 中，請透過 delegation.responses.service_tier: "priority" 選用此模式。

隨著對話變化，您可以傳送 session.update，在 session.delegation.responses 中提供變更，以更新後端模型、指示、可用工具、tool_choice 或其他支援的設定，無須啟動新的 Live 工作階段。省略的設定會保留原有值。將 delegation 設為 null 會選擇用戶端模式，無法用來重設正在執行的 Responses 工作階段；切換模式會失敗，並傳回 immutable_field_update。

這些設定採用熟悉的 Responses 概念，但 Live 僅支援獨立 Responses API 的部分功能。Live 會提供對話上下文並啟動委派工作。請透過工作階段設定後端；Live 的 response.create 指令會使用該組態，不接受獨立 Responses API 的請求主體。

從您的應用程式引導即時對話

Responses 委派會管理後端工作流程，但您的應用程式仍可直接將上下文傳送給 GPT-Live 模型。如果您透過側頻 WebSocket 或主要事件連線監控通話，可以使用 session.instructions.append、session.thinking.append 或 session.commentary.append，並搭配 delegation_id: null。例如，根據逐字稿運作的防護機制可以附加指示，改變對話方向。這會引導即時模型，但不會變更 Responses 後端的提示詞，也不會取消已在進行的工作。

處理 Responses 委派

對於由 Responses 處理的工作，session.delegation.created 會包含 target: "responses" 和 response_id。後續的 Responses 事件會封裝在 response.event 中傳送：

1234567891011121314{
  "type": "response.event",
  "event_id": "event_response_1",
  "delegation_id": "item_9tA2cB6n2V8c4X1z7Q5r9",
  "event": {
    "type": "response.output_text.delta",
    "sequence_number": 4,
    "item_id": "msg_123",
    "output_index": 0,
    "content_index": 0,
    "delta": "The forecast is",
    "logprobs": []
  }
}

根據 envelope.event.type 分派處理，並保留外層的 delegation_id。不要將每個最上層的 response.* 值都當成未封裝的 Responses 事件處理。處理邏輯也應能容納額外的巢狀 Responses 生命週期事件。

即時語音與委派工作會各自獨立持續進行。後端回應完成，本身並不代表使用者已聽到回答。互動中的語音部分，請以 Live 輸出的逐字稿與音訊為依據。

完成可由用戶端執行的函式呼叫

從巢狀的 response.output_item.done 事件讀取已完成的函式呼叫。完成的函式項目包含 call_id、name 和 arguments；僅憑引數完成事件，還不足以識別該呼叫。

追蹤巢狀 response.created 中的回應 ID 及外層的 delegation_id，並從 response.output_item.done 收集該回應的函式呼叫。轉送的生命週期快照會刻意包含 response.output: []，在 response.completed 時也一樣；其中的 tools 陣列為空，instructions 為 null，且省略 input。最終狀態的輸出清單為空， 不 代表沒有待處理的函式呼叫。請根據收集到的呼叫，判斷繼續執行前必須提交哪些結果。

執行已獲授權的操作後，將結果附加為 Responses 項目：

1
2
3
4
5
6
7
8
9
10
11export function sendUpdate(connection) {
  connection.send({
    type: "response.item.create",
    event_id: "tool_result_1",
    item: {
      type: "function_call_output",
      call_id: "call_123",
      output: '{"status":"confirmed","order_id":"order_123"}',
    },
  });
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17from openai.resources.live.live import AsyncLiveConnection
from openai.resources.live.sideband import AsyncSidebandConnection
from openai.types.responses.response_input_item_param import ResponseInputItemParam


async def send_update(
    connection: AsyncLiveConnection | AsyncSidebandConnection,
) -> None:
    item: ResponseInputItemParam = {
        "type": "function_call_output",
        "call_id": "call_123",
        "output": '{"status":"confirmed","order_id":"order_123"}',
    }
    await connection.response.item.create(
        event_id="tool_result_1",
        item=item,
    )

接著明確要求繼續執行回應：

1
2
3
4
5
6export function sendUpdate(connection) {
  connection.send({
    type: "response.create",
    event_id: "continue_1",
  });
}

1
2
3
4
5
6
7
8
9
10from openai.resources.live.live import AsyncLiveConnection
from openai.resources.live.sideband import AsyncSidebandConnection


async def send_update(
    connection: AsyncLiveConnection | AsyncSidebandConnection,
) -> None:
    await connection.response.create(
        event_id="continue_1",
    )

繼續執行前，請先提交待處理工具呼叫所需的所有結果。附加函式結果不會自動讓回應繼續執行。response.item.create 沒有獨立的成功確認訊息；請持續處理錯誤，以及後續的巢狀回應生命週期事件。

response.create 是 Live 指令，可使用工作階段中設定的後端，建立或繼續執行委派給 Responses 的工作。請勿在此事件中附加 Responses API 的建立請求主體、後端模型覆寫設定或 delegation_id。這兩個指令都必須在 Responses 委派模式下使用。

設定用戶端委派

建立 Live 工作階段時，設定 delegation：

1
2
3
4
5
6export const session = {
  model: "gpt-live-1",
  delegation: {
    type: "client",
  },
};

1
2
3from openai.types.live.session_config_param import SessionConfigParam

session: SessionConfigParam = {"model": "gpt-live-1", "delegation": {"type": "client"}}

這會為工作階段選擇用戶端委派。請另外設定後端：由您的應用程式選擇模型或服務、指示、工具，以及工作的路由方式。如果該後端使用 Responses API，請在您自己的 Responses 請求中設定模型與工具。Live 工作階段不會設定或執行這些後端工具。

當 GPT-Live 請求協助時，您的應用程式會根據對話與應用程式上下文建立後端請求、執行工作，並決定要傳回哪些結果。執行工具前，請落實權限檢查與必要確認。在應用程式中保留完整的對話記錄，以便為每個後端請求提供相關上下文。

在您的應用程式中保留對話上下文

使用用戶端委派時，請 自行收集逐字稿並維護目前的任務狀態。

監聽 session.input_transcript.delta 和 session.output_transcript.delta。這些事件的 delta 中包含逐字稿文字，並附有 start_ms 和 end_ms 時間戳記。請保留足夠的記錄，以理解「是」之類的簡短回覆、「星期四，不是星期五」之類的更正，以及先前提供的細節。逐字稿片段不等於使用者的一個完整回合，而且逐字稿可能有誤。

另行傳送的 session.delegation.created 事件包含 offset_ms 時間戳記，以及 delegation.id 和 delegation.target 等委派中繼資料。它 不 包含使用者說的話或任務文字。請根據逐字稿事件與應用程式狀態，判斷使用者的需求。儲存 delegation.id，以便將後續更新對應至該請求。

將長篇記錄與完整工具輸出保留在後端。如果您建立新的工作階段來取代原有工作階段，請從應用程式還原相關上下文，並在重複執行任何工作前，確認哪些動作已經執行。

接收用戶端委派

session.delegation.created 用於識別委派：

12345678910{
  "type": "session.delegation.created",
  "event_id": "event_delegation",
  "offset_ms": 1000,
  "delegation": {
    "id": "item_9tA2bF3h7K9m2P5q8R1s4",
    "type": "delegation",
    "target": "client"
  }
}

讀取 event.delegation.id。委派物件包含中繼資料，不含任務文字。請自行維護委派工作處理常式所需的逐字稿與應用程式上下文。目前的 ID 帶有 item_ 前綴，如此處範例所示；請將完整 ID 視為不透明的識別碼，原樣傳回，不要自行建構或解析。

使用該 ID 傳回結果：

1
2
3
4
5
6
7
8export function sendUpdate(connection) {
  connection.send({
    type: "session.commentary.append",
    event_id: "result_123",
    delegation_id: "item_9tA2bF3h7K9m2P5q8R1s4",
    content: "The order shipped today and should arrive tomorrow.",
  });
}

1
2
3
4
5
6
7
8
9
10
11
12from openai.resources.live.live import AsyncLiveConnection
from openai.resources.live.sideband import AsyncSidebandConnection


async def send_update(
    connection: AsyncLiveConnection | AsyncSidebandConnection,
) -> None:
    await connection.session.commentary.append(
        event_id="result_123",
        delegation_id="item_9tA2bF3h7K9m2P5q8R1s4",
        content="The order shipped today and should arrive tomorrow.",
    )

使用 session.thinking.append 為模型的內部推理新增資訊，模型不會在附加資訊時將其說出來。若結果需要由模型說出來，請使用 session.commentary.append；模型已受過訓練，會改述附加的文字。所有附加內容都是純字串，且必須包含 delegation_id，即使其值為 null 也不例外。非 null 的 ID 必須指向已知的用戶端委派。

多次附加結果可延續同一個用戶端委派。系統會在預估上下文已注入後，傳回已附加的確認訊息；這並不能證明模型已使用或說出結果，也不能證明外部操作已成功。

使用 Responses 委派時，將使用者訊息加入後端的佇列：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16export function sendUpdate(connection) {
  connection.send({
    type: "response.item.create",
    event_id: "typed_order_number",
    item: {
      type: "message",
      role: "user",
      content: [
        {
          type: "input_text",
          text: "My order number is A0042.",
        },
      ],
    },
  });
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17from openai.resources.live.live import AsyncLiveConnection
from openai.resources.live.sideband import AsyncSidebandConnection
from openai.types.responses.response_input_item_param import ResponseInputItemParam


async def send_update(
    connection: AsyncLiveConnection | AsyncSidebandConnection,
) -> None:
    item: ResponseInputItemParam = {
        "type": "message",
        "role": "user",
        "content": [{"type": "input_text", "text": "My order number is A0042."}],
    }
    await connection.response.item.create(
        event_id="typed_order_number",
        item=item,
    )

準備好執行或繼續後端工作時，傳送 response.create。如果後端正在等待函式結果，請先回傳所有必要結果。將文字加入佇列本身不會取消正在執行的工作。

使用用戶端委派時，將輸入的值直接傳送至處理對話的後端。如果該值是對執行中任務的更正，請更新該任務，避免重新啟動相同的工作。你可以使用 session.thinking.append，將簡短的事實摘要同步至即時工作階段；若是使用者應聽到的結果，則使用 session.commentary.append。

使用 Responses 委派時，請設定具備視覺能力的後端模型。使用 response.item.create 將支援的 Responses 圖像輸入項目加入佇列，再傳送 response.create 以執行或恢復後端工作。繼續之前，請回傳所有尚待提供的必要函式結果。請參閱處理 Responses 委派。

使用用戶端委派時，將視覺輸入連同相關對話和應用程式狀態，傳送至處理委派請求的後端。透過用戶端結果回傳流程回傳精簡的分析結果。

Responses 委派

Live 會管理連至 Responses 的持續性 WebSocket 連線，預先準備連線和已知的請求組態，並在可用時重複使用先前的回應狀態。你無須自行為託管後端實作這些步驟。能否重複使用取決於目前的連線和狀態相容性，並不保證快取命中或特定的延遲時間。

透過 delegation.responses 調整後端：

• model：獨立於語音模型，另行選擇負責推理和工具選擇的模型。
• reasoning.effort：使用該模型支援的值，在推理時間和任務品質之間取得平衡。
• service_tier：依模型支援情況和專案存取權，使用 auto、default、flex 或 priority。auto 會沿用專案的組態。請評估所選層級的效能與成本。

在工作階段期間，使用 session.update 更新支援的設定。自訂工具仍在你的應用程式中執行，因此即使 Live 管理 Responses 連線，緩慢的服務呼叫、佇列和工具結果緩衝仍可能延遲回答。請及時回傳每個必要的工具結果，並繼續後端回應。

用戶端委派

從接收委派到回傳結果的整個流程，都由你的應用程式負責。請在語音工作階段執行期間，為這個流程做好準備：

• 重複使用後端連線。 在多次委派之間，讓 API 用戶端及其連線集區保持運作。若需反覆呼叫 Responses，可考慮使用持續性的 Responses WebSocket 連線。
• 準備已知的組態。 在第一個請求需要使用指令、工具和連線之前，先完成初始化。Responses WebSocket 模式也支援在生成前預熱已知的請求狀態；請遵循其設定指引。
• 以串流方式傳回有用的結果。 使用 session.commentary.append 回傳語意連貫且經過驗證的片段。若要更新進度而不朗讀，請使用 session.thinking.append。保留用戶端委派 ID，並遵守每次附加內容最多 500 個 Token 的限制。將私有推理留在後端，並在宣布成功之前確認動作已完成。
• 讓可重複使用的輸入保持不變。 保留指令、工具定義及其順序，以及未變更的歷史紀錄前綴。若後端支援快取及接續處理，請將新資訊附加在可重複使用的內容之後。
• 避免不必要的緩衝。 有用的結果一旦就緒，就立即轉送。只需緩衝足以判別輸出類型並組成連貫片段的內容。優先使用結構化的階段中繼資料；若使用文字前綴區分進度與結果，請等到收到完整前綴後再轉送文字。

將此流程與 Responses 委派比較時，請測量產生第一個有用語音回答所需的時間。