GPT-Live 中的委派与工具

配置 Responses 委派

在创建 Live 会话时添加此委派配置。Responses 模型可独立于语音模型选择：

1
2
3
4
5
6
7
8
9
10export const session = {
  model: "gpt-live-1",
  delegation: {
    type: "responses",
    responses: {
      model: "gpt-5.6-terra",
      instructions: "[Your backend prompt]",
    },
  },
};

1
2
3
4
5
6
7
8
9
10
11
12from openai.types.live.session_config_param import SessionConfigParam

session: SessionConfigParam = {
    "model": "gpt-live-1",
    "delegation": {
        "type": "responses",
        "responses": {
            "model": "gpt-5.6-terra",
            "instructions": "[Your backend prompt]",
        },
    },
}

先从 GPT-5.6 Terra 开始；对于成本敏感的工作负载，也可以尝试 GPT-5.6 Luna。选择后端模型前，请在您的任务上比较回答质量和延迟。

在 delegation.responses.tools 中注册支持的工具。使用 delegation.responses.tool_choice 控制后端可以使用哪些工具："auto" 允许后端自行选择，"required" 要求调用工具，"none" 则禁止调用工具。您也可以指定一个具名函数。将 delegation.responses.parallel_tool_calls 设为 true，可允许相互独立的查询同时运行；如果调用必须按顺序运行，则设为 false。您的应用仍需负责执行自定义函数，并落实依赖关系和审批要求。这些设置不会强制实时模型发起委派。

创建时，Responses 配置要求指定后端 model。它支持在 tools 中添加 function 定义和 web_search 条目，还提供 max_output_tokens（如设置，值至少为 16）、service_tier，以及所选后端模型支持的 reasoning 和 text 设置。有关可调整的设置，请参阅降低后端延迟。

如果您的模型和项目可以使用快速模式，可考虑将其用于延迟敏感的调用。在 GPT-Live 中，使用 delegation.responses.service_tier: "priority" 选择此模式。

随着对话变化，发送 session.update，并在 session.delegation.responses 中提供更改，即可更新后端模型、指令、可用工具、tool_choice 或其他受支持的设置，无需启动新的 Live 会话。省略的设置会保留原值。将 delegation 设为 null 会选择客户端模式，不能用来重置正在运行的 Responses 会话；切换模式会失败并返回 immutable_field_update。

这些设置沿用熟悉的 Responses 概念，但 Live 仅支持独立 Responses API 的部分功能。Live 提供对话上下文并发起委派任务。请通过会话配置后端；Live 的 response.create 命令使用该配置，不接受独立 Responses 请求体。

通过您的应用引导实时对话

Responses 委派负责管理后端工作流程，但您的应用仍可以直接向 GPT-Live 模型发送上下文。如果您通过旁路 WebSocket 或主事件连接监控通话，可以使用 session.instructions.append、session.thinking.append 或 session.commentary.append，并设置 delegation_id: null。例如，基于转录文本的防护机制可以追加一条指令来调整对话方向。这会引导实时模型的行为，但不会更改 Responses 后端提示，也不会取消正在进行的任务。

处理 Responses 委派

对于由 Responses 执行的任务，session.delegation.created 包含 target: "responses" 和一个 response_id。后续 Responses 事件会封装在 response.event 中到达：

1234567891011121314{
  "type": "response.event",
  "event_id": "event_response_1",
  "delegation_id": "item_9tA2cB6n2V8c4X1z7Q5r9",
  "event": {
    "type": "response.output_text.delta",
    "sequence_number": 4,
    "item_id": "msg_123",
    "output_index": 0,
    "content_index": 0,
    "delta": "The forecast is",
    "logprobs": []
  }
}

根据 envelope.event.type 分派处理，并保留外层的 delegation_id。不要将每个顶层 response.* 值都作为未封装的 Responses 事件处理。处理逻辑应能容纳其他嵌套的 Responses 生命周期事件。

Live 语音和委派任务各自独立进行。后端响应完成本身并不意味着用户已听到回答。对于交互中的语音部分，请使用 Live 输出的转录文本和音频。

完成可由客户端执行的函数调用

从嵌套的 response.output_item.done 事件中读取已生成完整内容的函数调用。完整的函数条目包含 call_id、name 和 arguments；仅凭参数完成事件不足以识别该调用。

同时跟踪嵌套 response.created 中的响应 ID 和外层的 delegation_id，并从 response.output_item.done 中收集该响应的函数调用。转发的生命周期快照会有意将输出设为 response.output: []，包括 response.completed 时的快照；其 tools 数组为空，instructions 为 null，且省略 input。终态输出列表为空 并不 意味着没有待处理的函数调用。请根据收集到的调用，确定继续响应前必须提交哪些结果。

执行已获授权的操作后，将结果作为 Responses 条目追加：

1
2
3
4
5
6
7
8
9
10
11export function sendUpdate(connection) {
  connection.send({
    type: "response.item.create",
    event_id: "tool_result_1",
    item: {
      type: "function_call_output",
      call_id: "call_123",
      output: '{"status":"confirmed","order_id":"order_123"}',
    },
  });
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17from openai.resources.live.live import AsyncLiveConnection
from openai.resources.live.sideband import AsyncSidebandConnection
from openai.types.responses.response_input_item_param import ResponseInputItemParam


async def send_update(
    connection: AsyncLiveConnection | AsyncSidebandConnection,
) -> None:
    item: ResponseInputItemParam = {
        "type": "function_call_output",
        "call_id": "call_123",
        "output": '{"status":"confirmed","order_id":"order_123"}',
    }
    await connection.response.item.create(
        event_id="tool_result_1",
        item=item,
    )

然后显式继续该响应：

1
2
3
4
5
6export function sendUpdate(connection) {
  connection.send({
    type: "response.create",
    event_id: "continue_1",
  });
}

1
2
3
4
5
6
7
8
9
10from openai.resources.live.live import AsyncLiveConnection
from openai.resources.live.sideband import AsyncSidebandConnection


async def send_update(
    connection: AsyncLiveConnection | AsyncSidebandConnection,
) -> None:
    await connection.response.create(
        event_id="continue_1",
    )

继续响应前，请提交待处理工具调用所需的全部结果。追加函数结果不会自动继续响应。response.item.create 没有单独的成功确认消息；请继续处理错误以及后续嵌套的响应生命周期事件。

response.create 是一条 Live 命令，用于通过会话配置的后端创建或继续 Responses 委派任务。不要在此事件中附加 Responses API 创建请求体、后端模型覆盖设置或 delegation_id。这两条命令都要求使用 Responses 委派。

配置客户端委派

在创建 Live 会话时设置 delegation：

1
2
3
4
5
6export const session = {
  model: "gpt-live-1",
  delegation: {
    type: "client",
  },
};

1
2
3from openai.types.live.session_config_param import SessionConfigParam

session: SessionConfigParam = {"model": "gpt-live-1", "delegation": {"type": "client"}}

这会为会话选择客户端委派。请单独配置后端：由您的应用选择模型或服务、指令、工具以及任务路由方式。如果该后端使用 Responses API，请在您自己的 Responses 请求中设置模型和工具。Live 会话不会配置或运行这些后端工具。

当 GPT-Live 请求帮助时，您的应用会根据对话和应用上下文构建后端请求，执行任务，并决定返回哪些结果。执行工具前，请落实权限要求并取得必要的确认。在应用中保留完整的对话历史，以便为每个后端请求提供相关上下文。

在您的应用中保留对话上下文

使用客户端委派时，请 自行收集转录文本并维护当前任务状态。

监听 session.input_transcript.delta 和 session.output_transcript.delta。这些事件在 delta 中包含转录文本，并提供 start_ms 和 end_ms 时间戳。保留足够的历史记录，以便理解“是的”等简短回复、“是星期四，不是星期五”等更正，以及之前提供的详细信息。转录片段并不等于完整的一轮用户发言，而且转录文本可能有误。

单独的 session.delegation.created 事件包含 offset_ms 时间戳和委派元数据，其中包括 delegation.id 和 delegation.target。它 不 包含用户的发言或任务文本。请根据转录事件和应用状态判断用户的需求。保存 delegation.id，以便将更新与该请求匹配。

将较长的记录和完整的工具输出保留在后端。如果您创建新会话来替换原会话，请从应用中恢复相关上下文，并在重复执行任何任务前检查哪些操作已经执行过。

接收客户端委派

session.delegation.created 用于标识一次委派：

12345678910{
  "type": "session.delegation.created",
  "event_id": "event_delegation",
  "offset_ms": 1000,
  "delegation": {
    "id": "item_9tA2bF3h7K9m2P5q8R1s4",
    "type": "delegation",
    "target": "client"
  }
}

读取 event.delegation.id。委派对象包含元数据，不包含任务文本。请维护您自己的委派任务处理程序所需的转写文本和应用上下文。如下例所示，当前 ID 带有 item_ 前缀；请将完整 ID 视为不透明值并原样返回，不要自行构造或解析。

使用该 ID 返回结果：

1
2
3
4
5
6
7
8export function sendUpdate(connection) {
  connection.send({
    type: "session.commentary.append",
    event_id: "result_123",
    delegation_id: "item_9tA2bF3h7K9m2P5q8R1s4",
    content: "The order shipped today and should arrive tomorrow.",
  });
}

1
2
3
4
5
6
7
8
9
10
11
12from openai.resources.live.live import AsyncLiveConnection
from openai.resources.live.sideband import AsyncSidebandConnection


async def send_update(
    connection: AsyncLiveConnection | AsyncSidebandConnection,
) -> None:
    await connection.session.commentary.append(
        event_id="result_123",
        delegation_id="item_9tA2bF3h7K9m2P5q8R1s4",
        content="The order shipped today and should arrive tomorrow.",
    )

使用 session.thinking.append 为模型的内部推理添加信息，模型不会在追加时将其说出。对于模型应说出的结果，使用 session.commentary.append；模型经过训练，会用自己的话转述追加的文本。所有追加操作都包含一个纯字符串，并且必须提供 delegation_id，即使其值为 null 也不例外。非空 ID 必须指向一个已知的客户端委派。

多次追加结果可以继续同一次客户端委派。追加确认会在预计上下文已注入后到达；它不能证明模型已经使用或说出结果，也不能证明外部操作已成功。

使用 Responses 委派时，将用户消息加入后端队列：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16export function sendUpdate(connection) {
  connection.send({
    type: "response.item.create",
    event_id: "typed_order_number",
    item: {
      type: "message",
      role: "user",
      content: [
        {
          type: "input_text",
          text: "My order number is A0042.",
        },
      ],
    },
  });
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17from openai.resources.live.live import AsyncLiveConnection
from openai.resources.live.sideband import AsyncSidebandConnection
from openai.types.responses.response_input_item_param import ResponseInputItemParam


async def send_update(
    connection: AsyncLiveConnection | AsyncSidebandConnection,
) -> None:
    item: ResponseInputItemParam = {
        "type": "message",
        "role": "user",
        "content": [{"type": "input_text", "text": "My order number is A0042."}],
    }
    await connection.response.item.create(
        event_id="typed_order_number",
        item=item,
    )

准备好运行或继续执行后端任务时，发送 response.create。如果后端正在等待函数结果，请先返回所有必需的结果。将文本加入队列本身不会取消正在运行的任务。

使用客户端委派时，将键入的值直接发送到处理对话的后端。如果该值修正了正在运行的任务，请更新该任务，而不是重新启动相同的工作。您可以通过 session.thinking.append 将简短的事实摘要同步到实时会话中，或使用 session.commentary.append 发送用户应当听到的结果。

使用 Responses 委派时，请配置具备视觉能力的后端模型。使用 response.item.create 将受支持的 Responses 图像输入项加入队列，然后发送 response.create 以运行或恢复后端任务。继续执行前，请返回所有仍待提供的必需函数结果。请参阅处理 Responses 委派。

使用客户端委派时，将视觉输入连同相关对话和应用状态一起发送到处理委派请求的后端。通过客户端结果返回流程返回简明的分析结果。

Responses 委派

Live 会管理与 Responses 的持久 WebSocket 连接，提前准备连接和已知的请求配置，并在先前的响应状态可用时复用该状态。您无需为托管后端实现这些步骤。能否复用取决于当前活动连接和状态兼容性，并不保证缓存命中或特定的延迟。

通过 delegation.responses 调优后端：

• model：独立于语音模型，选择负责推理和工具选择的模型。
• reasoning.effort：使用该模型支持的值，在推理时间与任务质量之间取得平衡。
• service_tier：根据模型支持情况和项目访问权限，使用 auto、default、flex 或 priority。auto 遵循项目配置。请评估所选层级的性能和成本。

在会话期间，使用 session.update 更新受支持的设置。您的自定义工具仍在您的应用中运行，因此，即使 Live 管理着 Responses 连接，缓慢的服务调用、排队和工具结果缓冲仍可能延迟回复。请及时返回每个必需的工具结果，并继续后端响应。

客户端委派

从接收委派到返回结果的整个流程由您的应用负责。请在语音会话运行期间为该流程做好准备：

• 复用后端连接。 在多次委派之间保持 API 客户端及其连接池存活。如果需要重复调用 Responses，可考虑使用持久的 Responses WebSocket 连接。
• 准备已知配置。 在首次请求需要使用指令、工具和连接之前，完成它们的初始化。Responses WebSocket 模式还支持在生成前预热已知的请求状态；请遵循其设置指南。
• 流式返回有效结果。 使用 session.commentary.append 返回连贯且经过验证的内容片段。使用 session.thinking.append 更新进度而不进行播报。保留客户端委派 ID，并遵守每次追加最多 500 个 Token 的限制。将私有推理保留在后端，并在宣布成功之前确认操作确已完成。
• 保持可复用输入稳定。 保留指令、工具定义及其顺序，以及未发生变化的历史记录前缀。如果您的后端支持缓存和继续执行，请在可复用内容之后追加新信息。
• 避免不必要的缓冲。 有效结果一旦就绪，立即转发。仅缓冲足够对输出进行分类并组成连贯片段的内容。优先使用结构化的阶段元数据；如果使用文本前缀区分进度与结果，请在收到完整前缀后再转发文本。

将此流程与 Responses 委派进行比较时，请测量给出首个有效语音回答所需的时间。