跳转至

实时会话

通过聊天选择 Talk 语音

在浏览器、iOS 或 Android 上进行中的实时 Talk 通话期间,可让助手列出可用语音或切换到某个语音。浏览器输入框只保留通话控制;默认语音在 设置 → Talk 中选择。talk_voice 工具会列出当前对话中该通话的当前 provider、模型、语音以及支持的语音 ID。设置语音会重连该通话,同时保留其聊天记录和字幕。替换后的通话会等待已定稿的语音保存完毕,并接收受限的对话历史,包括在旧连接关闭期间定稿的语音。在此交接期间,已接受的智能体工作会继续运行。助手只有在替换后的通话就绪后才会报告成功;不支持的更改或连接失败会返回错误。设置 → Talk 会为之后的通话设置默认语音。在 Discord 实时语音频道中,可让智能体使用同一工具列出或更改语音。该更改应用于所连接的语音房间(包括后续说话者),并会保持已保存的 Discord 语音配置不变。替换 provider 连接期间,Discord 连接和智能体对话保持活动。

iOS 支持在 WebRTC 和 Gateway-relay 通话中切换。Android 支持在使用其支持的实时模型的 Gateway-relay 通话中切换。原生语音和 TTS 回退通话会保留其现有语音设置。切换使用当前 Gateway 连接和对话;结束通话或更换 Gateway 会取消待处理的切换。

移动应用会在所连接的 Gateway 声明支持语音选择时启用切换功能。旧版 Gateway 上仍可发起通话,但在 Gateway 更新之前,切换功能不可用。

对于 Talk TTS 播放,在设置 talk.provider 和相应的 talk.providers.<provider> 配置后,可使用 /voice status 检查活动的 provider 和语音,使用 /voice list [limit] 列出其可用语音,使用 /voice set <voiceId|name> 保存 provider 作用域内的选择。Discord 原生将同一命令公开为 /talkvoice。

状态与列表命令为只读。设置语音需要消息频道所有者或具有 operator.admin 的 Gateway 客户端。配置、provider 查找、未知语音和权限失败会在聊天中明确返回。/voice status 中掩码后的 API-key 值仅描述配置;它不验证凭据可用性。

客户端自有的实时 Talk 通常会通过 talk.client.toolCall 转发 provider 工具调用,而不是直接调用 chat.send。GPT-Live WebRTC 会话在 Gateway 拥有的 sideband 上进行委托,Gateway 会将每次委托绑定到拥有它的浏览器或 Gateway-relay Talk 会话。后端 WebSocket 桥接使用常规 relay consult 路径。当实时 consult 处于活动状态时,客户端可调用 talk.client.steer 或 talk.session.steer,将语音输入分类为 status、steer、cancel 或 followup;这也包括 GPT-Live 委托。已接受的 steering 请求会进入活动中的嵌入式 run 队列;被拒绝的 steering 会返回原因,如 no_active_run、not_streaming 或 compacting。较新的 GPT-Live 语音任务也会取代正在运行的委托。

瘦音频客户端可以在 talk.client.create.capabilities 中请求 gateway-control-v1。OpenAI GA Realtime 在此模式下需要 Platform API key。已发布的 GPT-Live 路由保留其现有的 ChatGPT OAuth 或 Platform 身份验证;未列出的路由需要 Platform 身份验证。请求 Gateway 控制不会切换所选模型。

成功时返回 clientControl: { owner: "gateway" }、一个 60 秒的一次性 clientSecret,以及相对 offer URL /plugins/openai/realtime/calls。客户端提交仅音频的 SDP offer,且不打开 provider 数据通道。Gateway 会接入 provider 的服务端 sideband,并在媒体继续于客户端与 OpenAI 之间直接传输的同时,负责工具或原生智能体委托、转录、steering、取消和通话清理。协商后的会话共享每个客户端连接两个会话的限制,包括待处理的 offer。不支持的组合(例如仅使用 OAuth 的 GA)会明确失败,而不会回退到客户端自有控制。现有浏览器客户端不含此能力,因此保留其数据通道和客户端转录报告。

在 Gateway 控制的原生通话和原生 Gateway 中继中,provider 的委托会启动每个宿主操作。最终语音转录会保存到历史记录中;它们既不会触发操作,也不会重复某项委托的操作。status 请求会让当前任务继续运行,取消请求会停止当前任务,重定向或后续请求则针对该通话的活动工作。当通话没有活动任务时,status 和取消请求会返回一句“无活动运行”的语音响应,即使同一连接和智能体会话上的另一个通话正在进行工作也是如此。空闲时,诸如“查看天气”之类的普通请求仍会启动任务。真正的新任务仍会遵循原生委托替换行为。

这些通话在创建时会禁用 provider 生成的委托确认。OpenClaw 在启动真实任务时会发送一条中性回执;status 和取消请求会等待宿主返回的结果,而不是等待最终语音转录。控制队列已满时会产生语音拒绝;待处理的控制完成后请重试。任务回执并不代表模型或工具已开始运行,提交语音结果也不代表音频已实际送达。

关闭原生传输会阻止新的委托和迟到的 provider 交付;已接受的智能体工作保留自己的取消生命周期。通过语音取消 run 与结束音频连接是分开的。Gateway 控制的原生会话会确认取消,但不会说出被取消任务的部分答案、空结果回退或失败任务重试提示。超时仍属于失败,而不会被静默视为取消。

已定稿的实时用户和助手话语始终会即时追加到活动智能体会话中,因此后续聊天和语音轮次共享同一历史记录。客户端自有的传输以稳定的条目 ID 报告已定稿的转录;Gateway 中继和 Gateway 控制的 WebRTC 会话在服务端追加相同的事件。Provider 会话也会收到 Discord 语音所使用的受限的实时 profile 上下文。

在已接受的咨询开始期间定稿的语音仍会保留在历史中可见,并且不会阻止代理采用该咨询的记录输入。已完成的代理回答和新准入的任务仍会关闭较早的输入;语音记录不会重新打开它。

由 Gateway 控制的原生 WebRTC 通话会在其指令中以引用的历史背景形式接收共享会话历史,而不是作为新通话自身的用户或助手消息。该背景可以包含先前通话和支撑代理的回答;它不会确立当前通话的实时任务状态。它保留最新历史,范围为 16 条条目、每条 800 个字符,以及包括标签和引用在内的 8,000 个 UTF-8 字节。这既不会更改已保存的转录,也不会更改聊天显示。未协商主机输入控制的原生通话以及直接 WebSocket 会话种子保留其现有表示。

生成的代理咨询提示是内部输入,而不是口述的用户轮次。新的咨询记录对聊天隐藏,并排除在后续模型上下文之外,而活动咨询仍会接收完整的问题、上下文和响应风格。原始归档和会话导出保持无损。没有排除标志的现有咨询记录不会被重写,并且仍可用于模型上下文。

基于聊天的 Talk 会存储口述回答,而不会在可见历史中保存成功咨询回答的第二份副本;内部回答仍保留在原始转录和模型上下文中。工具活动、进度、错误和中断的回复保留其现有可见性。

直接由提供商拥有的咨询会使其自身的最终回答在 Chat 中保持可见。已接受的工作可能比已关闭或已替换的音频连接存活更久,因此不保证会有口述替换。如果语音也到达,两条记录都可能可见;OpenClaw 会保留该回答,而不是猜测口述文本替换了它。

OpenAI GA 浏览器 Talk 会保持提供商会话顺序,即使助手回复在用户转录或条目公告乱序到达之前完成。文本会在通话视图中立即流式显示;迟到的前驱元数据会将其放置在正确的回复旁边。停止通话会排空已定稿的语音,跳过未完成的转录,并为缺失的转录或未解析的会话链接记录浏览器控制台警告。

Google Live 会在通话期间保存完整语句,包括省略显式转录完成标志的 Gemini 3.1 转录。部分文本在提供商的完成边界之前保持临时状态。

语音发起的咨询运行在执行高影响操作之前需要一次新的、精确的口述确认,例如发送消息、控制节点、浏览器/计算机操作、服务变更、破坏性 shell 命令或发布。该门控适用于通过 talk.client.toolCall、Gateway 中继和 GPT-Live 边带委托启动的运行。确认仅适用于规范化的最终执行参数,并且只消费一次;如果策略或钩子重写了已批准的操作,OpenClaw 会阻止它,直到重写后的操作得到确认。无关的并发运行不受影响。当通话关闭时,OpenClaw 可以针对变更类工具,向会话的最后一个非 WebChat 投递目标发送一个紧凑的 语音通话变更 摘要。

Gateway 关闭会在释放持久化资源之前,合并已接受的语音转录、最终工具结果和提供商关闭摘要。已接受的咨询会保留其持久化所有权,直到所有排队和延迟的工作完成,包括诊断被禁用时。排队的摘要在等待投递槽位时保留其原始物理存储。收件人查找遵循 session.store;语音元数据和投递标记仍保留在各自独立的每代理存储中。缺失的会话会被报告为失败的摘要尝试,而不是静默丢弃其摘要。提供商清理失败不会绕过该持久化排空。存储格式和重试限制保持不变。已确认的投递只重试其完成标记;部分或不确定投递不会被重发。未解决的结果会在投递所有者生命周期内保留一个栅栏,且在其现有有界重试容量内。

在确认提示后,说 yes 以确认待处理操作,或说 no 以取消它。每次确认允许一个匹配的操作;另一个操作可能需要另一次确认。原生 GPT-Live 通话使用该通话记录的已定稿用户语音,因此生成的委托文本无法提供确认。当原生咨询被此门控阻止时,Talk 会返回一个特定的重试提示。如果待处理确认在结果之前过期或被清除,Talk 会报告该操作未运行,并要求新的请求。

仅转录 Talk 会发出与实时和 STT/TTS 会话相同的 Talk 事件信封,但使用 mode: "transcription" 和 brain: "none"。所有 Talk 会话都会在 talk.event 通道上广播事件;客户端订阅它以获取部分/最终转录更新(transcript.delta/transcript.done)和其他会话遥测。

转录提供商可以在 talk.catalog.transcription.providers[].models 中声明其模型选项。将 model 传递给 talk.session.create,以覆盖该会话已配置的转录模型。省略它会保留提供商配置,然后是匹配的 agents.defaults.voiceModel,最后是提供商自身的默认值。

浏览器视频 Talk 可用于 OpenAI Realtime WebRTC 和 Google Live 提供商 WebSocket 会话。当 describe_view 请求视觉上下文时,OpenAI 会获得单个有界 JPEG;它不会接收连续摄像头轨道。Google Live 直接从浏览器接收有界 JPEG 帧,最高每秒一帧,同时 describe_view 报告摄像头流状态。在这两种情况下,摄像头帧都会绕过 Gateway,停止 Talk 会释放摄像头和麦克风轨道。

浏览器 Talk 在准备会话、等待麦克风访问和连接时显示启动进度。Talk 和听写会在浏览器捕获请求待处理时显示麦克风指引:将标签页带到前台,并在提示时允许访问。浏览器可以保持未回答的权限请求处于待处理状态。在 Talk 中,停止语音输入 会取消启动,并释放在取消后授予的任何麦克风流。

Browser Talk 在创建提供商会话之前获取麦克风,因此授予权限所花费的时间不会消耗短期连接 token。如果会话创建失败,Talk 会在报告错误之前释放麦克风。

如果 OpenAI 无法转写一段语音,Browser Talk 会显示提供商的错误,而不会结束通话或编造转写文本。您可以再次说话;音频响应会继续,且独立于输入转写。

如果麦克风断开连接或其权限被撤销,Browser Talk 会结束通话并显示错误。选择一个可用的 麦克风输入,如有需要恢复权限,然后重新启动 Talk。意外的 GPT-Live 连接丢失也会以错误结束通话;不支持自动重连。

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 cl/openclaw