跳转至

标准场景覆盖

规范场景覆盖

根目录下的 taxonomy.yaml 定义语义覆盖 ID。qa/scenarios/ 下的场景 YAML 文件将每个场景映射到这些 ID,并拥有执行元数据;execution.channel 或 execution.channels 声明通道要求。分类法配置文件选择覆盖 ID 或整个类别,目录解析其主要场景所有者。传输运行器在该结果上应用通道和提供商资格,而不是保留场景 ID 允许列表。通道驱动是可互换的运行级实现选择。

对于 qa suite、qa run --qa-profile 以及专用传输 QA 命令(如 qa telegram),省略 --scenario 以使用默认选择。当提供时,至少需要一个非空场景 ID;有效 ID 周围的空白和空值会被忽略。全空选择会在传输运行器被调度之前被拒绝。

静态 qa coverage 输出报告分类法到场景的映射。实际证明来自 qa-evidence.json,其中记录已执行场景、覆盖 ID、实际使用的通道、驱动以及结果。通道和驱动是报告维度,而不是额外的覆盖 ID 词汇表或场景资格轴。

对于一次性 Linux VM 泳道,且不在 QA 路径中引入 Docker,请运行:

pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

这会启动一个全新的 Multipass 来宾,安装依赖项,在来宾内部构建 OpenClaw,并运行 qa suite。来宾通过挂载的工作区将常规 QA 报告和摘要写入宿主机的 .artifacts/qa-e2e/...,即使某个场景失败也是如此。它复用与宿主机上 qa suite 相同的场景选择行为。

宿主机和 Multipass 套件运行默认使用隔离的网关工作器并行执行多个已选场景。qa-channel 默认并发数为 4,上限为已选场景数量。使用 --concurrency <count> 调整工作器数量,或使用 --concurrency 1 进行串行执行。对于个人助理基准测试,使用 qa run --qa-profile personal-agent --provider-mode mock-openai;对于源代码检出遥测检查,使用 --qa-profile observability。CI 对 smoke-ci 使用相同的配置文件解析器;这些选择器均不维护第二个场景 ID 列表。

当任何场景失败时,命令以非零退出。如果你希望生成产物而不产生失败退出码,请使用 --allow-failures。

实时运行会转发对来宾实用的受支持 QA 认证输入:基于 env 的提供商密钥、QA 实时提供商配置路径,以及存在时的 CODEX_HOME。使用仓库根目录下的仓库相对 --output-dir,以便来宾可以通过挂载的工作区写回。

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 cl/openclaw