Slack QA
Slack QA¶
目标是一个真实的私有 Slack 频道,其中包含两个不同的机器人:一个由测试框架控制的 driver bot,以及一个由子 OpenClaw gateway 通过捆绑的 Slack 插件启动的 SUT bot。
当 Slack QA 适配器加载后,它需要异步代理捕获支持,以便不在 Gateway 线程上运行 SQLite 的情况下读取写入证据。如果缺少该能力,适配器创建会要求你在获取凭据或联系 Slack 之前进行升级。这并不保证当前 QA CLI 能在旧主机上加载:请使用匹配的当前源代码检出,并参见旧主机导入限制。
Agent E2E 配方¶
使用被测检出中的 .agents/skills/slack-e2e/SKILL.md,以获取可复用的原生测试夹具、Gateway 回复以及运行时/配置实验。在已有可访问 QA broker 的已认证 Convex CLI 的情况下:
pnpm openclaw qa slack --doctor
pnpm openclaw qa slack \
--scenario-file qa/scenarios/channels/slack-e2e-lifecycle.yaml
这些可选模式会在内存中发现凭据,并默认使用 Convex、CI 角色和 mock-openai。显式标志或凭据环境变量设置优先;普通 qa slack 的默认值保持不变。重复使用 --scenario-file 以指定完整的自定义 YAML 流程,这些流程声明 execution.channel: slack 和 execution.config.agentE2e: true。原生写入只运行一次;正的 retryCount 值会被拒绝。
就绪检查会检查实际租约的身份、共享工作区、频道访问权限、Gateway 连接以及已声明的 scopes。完整生命周期还需要 driver 的 reactions:read、reactions:write、files:read 和 files:write。下面的 driver 清单包含这些能力。现有安装需要应用所有者添加缺失的 scopes 并重新安装应用,然后才能重新运行生命周期。缺失的 scope 会阻止其操作和完整生命周期证明,而不会阻止基本文本流程。运行器不会授予权限或轮换凭据以寻找通过的结果。这些测试夹具操作由 Bot OAuth scopes 授权,而不是由 workspace-admin 权限授权。
driver 使用 Web API 调用;只有 SUT 拥有 Socket Mode。存储的消息/文件/反应回读可证明原生状态,而关联的 SUT 回复可证明 Gateway 入站和投递。两者都不能证明客户端渲染、人工 slash 命令、按钮点击、Agent View 或人工输入。对于这些声明,请使用手动客户端工作流。
清理会在进程关闭后、临时捕获状态移除前捕获最终的 Gateway 写入回执,然后只移除拥有的测试夹具,再释放租约。私有的 <scenario-id>-slack-e2e.json 回执可区分已接受的写入、存储状态和不完整的清理。
当 agentE2e: true 时,租约频道中的消息场景还会通过原生回执所有者记录它们的 driver roots。即使场景断言失败,清理也会包含这些 roots 及其捕获的 SUT 回复和独立进度消息。捕获读取会获取当前数据库准入,因此 Gateway 重启不会使最终清理失效。
直接凭据配置¶
当 --credential-source env 时所需的环境变量:
OPENCLAW_QA_SLACK_CHANNEL_IDOPENCLAW_QA_SLACK_DRIVER_BOT_TOKENOPENCLAW_QA_SLACK_SUT_BOT_TOKENOPENCLAW_QA_SLACK_SUT_APP_TOKEN
可选:
OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_DIR为 Mantis 启用可视化审批检查点。适配器会写入<scenario>.pending.json和<scenario>.resolved.json,然后等待匹配的.ack.json文件。OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_TIMEOUT_MS覆盖检查点确认超时。默认值为120000。
通过 Slack 实时适配器暴露的规范 YAML 场景:
thread-follow-upthread-isolation
Slack YAML 模块场景(qa/scenarios/channels/slack-*.yaml):
slack-canaryslack-mention-gatingslack-mpim-app-mention-dedupe- 打开一个真实的 C 前缀群组 DM,验证在消息/应用提及双投递后恰好有一个 SUT 回复,确认原生线程后续可以召回该机器人回复,然后关闭 MPIM。slack-allowlist-blockslack-channel-disabled-warning- 可选的真实 Slack 检查,确认已配置的禁用频道会发出结构化警告而不回复。slack-top-level-reply-shapeslack-restart-resumeslack-progress-commentary-true,slack-progress-commentary-false,slack-progress-commentary-omitted, andslack-progress-commentary-verbose-dedupe/slack-progress-commentary-verbose-full- 可选的真实 Slack 检查,用于独立的 commentary/工具进度控制、省略键的旧默认值,以及持久详细进度的单次投递行为。on检查要求一个安全的 Exec 摘要,不包含命令文本或输出;full检查要求在单独的工具输出消息中包含精确的 stdout 标记。两者使用相同的命令,并要求一个与最终答案分离的 commentary 身份。完整详细级别允许运行时的命令元数据和一条单独的启动摘要,同时要求唯一的已完成输出身份。Slack 可能在投递期间移除命令摘要标题,因此精确的输出行(而不是工具标签)用于标识已完成输出。失败会保留有界的展示事实,不包含原始 Slack 消息或平台身份,包括标记格式以及缺少命令标记的sleep摘要。slack-reaction-glyph-native- 可选的实时消息工具反应场景。指示 agent 传递精确的✅字形,并确认 Slack 为目标消息上的 SUT bot 存储了white_check_mark。slack-chart-presentation-native- 可选的可移植图表场景,验证原生data_visualization块和精确的可访问文本。slack-table-presentation-native- 可选的可移植表格场景,验证原生data_table块、精确的行和可访问文本。slack-table-invalid-blocks-fallback- 可选的直接传输场景,通过生产 Slack 发送路径发送一个结构上可读的超限原始表格,该表格包含 101 行数据及其表头,证明 Slack 本身返回invalid_blocks,并验证存储的禁用格式回退是完整的且没有原生数据块。场景详情仅保留安全的错误代码、计数和布尔证据。slack-approval-exec-native- 可选的原生 Slack exec 审批场景。通过 gateway 请求一个 exec 审批,验证 Slack 消息具有原生审批按钮,解决它,并验证已解决的 Slack 更新。slack-approval-plugin-native- 可选的原生 Slack 插件审批场景。同时启用 exec 和插件审批转发,使插件事件不会被 exec 审批路由抑制,然后验证相同的待处理/已解决原生 Slack UI 路径。slack-codex-approval-exec-native- 可选的 Codex Guardian 命令审批场景。以 Guardian 模式启用 Codex 插件,将源自 Slack 的 Gateway agent 轮次通过 Codex app-server harness 路由,等待针对codex的原生 Slack 插件审批提示,解决它,并验证 Codex 轮次以预期的命令输出和 assistant 标记结束。slack-codex-approval-plugin-native- 可选的 Codex Guardian 文件审批场景。使用工作区外的apply_patch指令,使 Codex 发出 app-server 文件变更审批路由,然后验证相同的原生 Slack 待处理/已解决审批路径、最终 assistant 标记以及清理前的精确文件内容。
Codex 审批场景需要一个 openai/* 或 codex/* --model、正常的实时模型凭据,以及 Codex 插件接受的 Codex 身份验证或 API 密钥身份验证。
场景详情包括 Codex app-server 方法、所选 Codex 模型键、最终 Codex 回合状态,以及伴随脱敏 Slack 审批元数据的操作标记验证。
输出产物:
qa-suite-report.mdqa-suite-summary.jsonqa-evidence.json- 实时传输检查的证据条目。approval-checkpoints/- 仅当 Mantis 设置OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_DIR时存在;包含检查点 JSON、 确认 JSON 以及待处理/已解决截图。
设置 Slack 工作区¶
该 lane 需要同一工作区中的两个不同 Slack 应用,以及一个两个 bot 都是成员的频道:
channelId- 两个 bot 均已被邀请加入的频道的Cxxxxxxxxxxid。请使用专用频道;该 lane 每次运行都会发布消息。driverBotToken- Driver 应用的 bot 令牌(xoxb-...)。sutBotToken- SUT 应用的 bot 令牌(xoxb-...),它必须与 Driver 是不同的 Slack 应用,以便其 bot 用户 id 不同。sutAppToken- SUT 应用的应用级令牌(xapp-...),具有connections:write,由 Socket Mode 使用,以便 SUT 应用可以接收事件。
优先使用专用于 QA 的 Slack 工作区,而不是复用生产工作区。
下面的 SUT 清单有意将捆绑的 Slack 插件生产安装(extensions/slack/src/setup-shared.ts:12)缩小到实时 Slack QA 套件所覆盖的权限和事件。对于用户看到的生产频道设置,请参阅
Slack 频道快速设置;QA Driver/SUT 对有意分开,因为该 lane 需要在同一工作区中有两个不同的 bot 用户 id。
1. 创建 Driver 应用
前往 api.slack.com/apps → 创建新应用 → 从清单创建 → 选择 QA 工作区,粘贴以下清单,然后 安装到工作区:
{
"display_information": {
"name": "OpenClaw QA Driver",
"description": "Test driver bot for OpenClaw QA Slack live lane"
},
"features": {
"bot_user": {
"display_name": "OpenClaw QA Driver",
"always_online": true
}
},
"oauth_config": {
"scopes": {
"bot": [
"channels:history",
"chat:write",
"files:read",
"files:write",
"groups:history",
"reactions:read",
"reactions:write",
"users:read"
]
}
},
"settings": {
"socket_mode_enabled": false
}
}
复制 Bot 用户 OAuth 令牌(xoxb-...)——它将成为
driverBotToken。Driver 可以读取/写入 fixture 消息、reaction 和文件;
它既不需要事件订阅,也不需要 Socket Mode。
2. 创建 SUT 应用
在同一工作区中重复 创建新应用 → 从清单创建。此 QA 应用
有意使用捆绑的 Slack 插件生产清单(extensions/slack/src/setup-shared.ts:12)的更窄版本:省略了 reaction
作用域和事件,因为实时 Slack QA 套件尚未覆盖 reaction 处理。
{
"display_information": {
"name": "OpenClaw QA SUT",
"description": "OpenClaw QA SUT connector for OpenClaw"
},
"features": {
"bot_user": {
"display_name": "OpenClaw QA SUT",
"always_online": true
},
"app_home": {
"home_tab_enabled": true,
"messages_tab_enabled": true,
"messages_tab_read_only_enabled": false
}
},
"oauth_config": {
"scopes": {
"bot": [
"app_mentions:read",
"assistant:write",
"channels:history",
"channels:read",
"chat:write",
"commands",
"emoji:read",
"files:read",
"files:write",
"groups:history",
"groups:read",
"im:history",
"im:read",
"im:write",
"mpim:history",
"mpim:read",
"mpim:write",
"pins:read",
"pins:write",
"usergroups:read",
"users:read"
]
}
},
"settings": {
"socket_mode_enabled": true,
"event_subscriptions": {
"bot_events": [
"app_home_opened",
"app_mention",
"channel_rename",
"member_joined_channel",
"member_left_channel",
"message.channels",
"message.groups",
"message.im",
"message.mpim",
"pin_added",
"pin_removed"
]
}
}
}
Slack 创建应用后,在其设置页面上执行两项操作:
- 安装到工作区 → 复制 Bot 用户 OAuth 令牌 → 它将成为
sutBotToken。 - 基本信息 → 应用级令牌 → 生成令牌和作用域 → 添加
作用域
connections:write→ 保存 → 复制xapp-...值 → 它 将成为sutAppToken。
通过分别对每个令牌调用 auth.test,验证两个 bot 具有不同的用户 id。运行时通过用户 id 区分 Driver 和 SUT;将同一个应用复用于两者会立即导致 mention-gating 失败。
3. 创建频道
在 QA 工作区中创建一个频道(例如 #openclaw-qa),并在频道内邀请两个 bot:
从 频道信息 → 关于 → 频道 ID 复制 Cxxxxxxxxxx id——它将成为
channelId。公共频道即可;如果使用私有频道,两个应用已具有 groups:history,因此 harness 的历史读取仍会成功。
4. 注册凭据
两种选项。对于单机器调试,使用环境变量(设置四个
OPENCLAW_QA_SLACK_* 变量并传递 --credential-source env),或者为共享 Convex 池填充数据,以便 CI 和其他维护者可以租用它们。
对于 Convex 池,将四个字段写入一个 JSON 文件:
{
"channelId": "Cxxxxxxxxxx",
"driverBotToken": "xoxb-...",
"sutBotToken": "xoxb-...",
"sutAppToken": "xapp-..."
}
在 shell 中导出 OPENCLAW_QA_CONVEX_SITE_URL 和 OPENCLAW_QA_CONVEX_SECRET_MAINTAINER 后,注册并验证:
pnpm openclaw qa credentials add \
--kind slack \
--payload-file slack-creds.json \
--note "QA Slack pool seed"
pnpm openclaw qa credentials list --kind slack --status all --json
预期 count: 1、status: "active",且没有 lease 字段。
5. 验证端到端
在本地运行该泳道,以确认两个 bot 可以通过 broker 相互通信:
pnpm openclaw qa slack \
--credential-source convex \
--credential-role maintainer \
--output-dir .artifacts/qa-e2e/slack-local
绿色运行会在远少于 30 秒内完成,并且 qa-suite-report.md 会显示 slack-canary 和 slack-mention-gating 的状态均为 pass。如果泳道挂起约 90 秒并以 Convex credential pool exhausted for kind "slack" 退出,则要么池为空,要么每一行都已被租约占用——qa credentials list --kind slack --status all --json 会告诉你具体是哪种情况。
本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 cl/openclaw