跳转至

QA 报告

报告

qa-lab 从观察到的总线时间线导出 Markdown 协议报告。 该报告应回答:

  • 哪些工作正常
  • 哪些失败
  • 哪些仍被阻塞
  • 哪些后续场景值得添加

如需可用场景清单(有助于评估后续工作量或接入新传输),运行 pnpm openclaw qa coverage(添加 --json 可获取机器可读输出)。当需要为受影响的某个行为或文件路径选择聚焦证据时,运行 pnpm openclaw qa coverage --match <query>。匹配报告会搜索场景元数据、文档引用、代码引用、覆盖 ID、插件和提供方要求,然后打印匹配的 qa suite --scenario ... 目标。生成的命令保留声明的通道驱动要求,并将具有不同驱动要求的场景分开。若没有驱动要求,非 QA 通道使用 live,qa-channel 保留其默认驱动。

每次 qa suite 运行都会为所选场景集合写入顶层 qa-evidence.json、qa-suite-summary.json 和 qa-suite-report.md 产物。声明 execution.kind: vitest 或 execution.kind: playwright 的场景会运行匹配的测试路径,并另外写入逐场景日志。声明 execution.kind: script 的场景会通过 node --import tsx 运行位于 execution.path 的证据生产者(并在 execution.args 中展开 ${outputDir} 和 ${scenarioId});生产者写入自己的 qa-evidence.json,其条目会被导入套件输出,且其产物路径相对于该生产者的 qa-evidence.json 进行解析。当 qa suite 通过 qa run --qa-profile 触达时,同一个 qa-evidence.json 还会包含所选分类法类别的配置文件记分卡摘要。

运行时轴奇偶校验报告保留每个运行时的已记录 pass、fail 或 skip 结果。运行时和传输故障会覆盖通过或跳过结果;受控工具错误仍可视为通过。已知的 known-harness-gap 跳过在配对运行时通过时可使场景保持通过,但跳过的单元格仍标记为 skip。意外跳过以及两个运行时均跳过的配对仍会导致奇偶校验门禁失败。缺失的采集数据标记为 missing。

显式的工具结果错误标志优先于返回文本中的关键词;错误结果块仍为失败。没有错误标志的结果保留基于文本的错误检测。因此,一次成功的文件读取可以包含诸如 “failed” 之类的词,而不会失去其成功的工具覆盖凭据。

已调度的实例与保留的观察

Schema v3 证据为每个已调度的场景实例赋予自己的身份。重复的场景名称在调度顺序中仍保持为独立实例。实例指向其选定的结果;null 结果表示未记录结果,而非通过。

原生脚本尝试会保留子包及其原始实例 ID、选择指针,以及针对确切生产者文件的凭据。顶层结果描述外部已调度场景;嵌套实例仍作为可检查的子级详细信息。单独运行的子包仍会报告其自身的调度结果。外层尝试单独记录其目录覆盖上限。记分卡和显式证明检查会与每个外层上限取交集,而不会更改子行或断言。次要主张永远不会成为主要主张;空上限不会使任何子主张获得资格。没有上限的历史包保留其原始行为。

重试会保留原始观察和产物。选定的尝试控制有效报告计数和覆盖范围,而图库会保留被留存的行以供检查。选择适用于整个尝试,而不是来自不同尝试的通过行的混合。独立诊断仍然独立。完整和精简证据都保留出现身份、行绑定和产物凭据;精简输出省略详细的执行上下文。外层重试会改变其被保留的子包是否对有效证据有贡献。它不会重写子包的本地选择或原始行。

读取器继续接受 schema v2 产物。历史行不会获得虚构的尝试、断言、运行时或包身份。来源、包、协议和账户事实保持未知,除非生产者在拥有该观察的边界处记录它们。已准备的 Docker 候选凭据标识候选清单和包;它不能证明安装或运行时行为。

显式证明要求

分类法配置文件可以声明 proofRequirements,其中包含命名所有者、验收引用、必需或建议义务、重试策略以及可接受的身份替代项。每个替代项仅列出其所需的来源、运行时、包、协议、账户或证明类维度。一条绑定的凭据必须满足一个替代项;来自无关观察的事实不能合并。selected-attempt 策略排除非活动的外层尝试及其子包。all-recorded-attempts 在评估证明时保留其断言。

必需的缺失或不完整断言仍不合格。冲突的通过/失败断言保留两种结果。已知的身份不匹配被视为过时;缺失身份或错误的证明类不足以构成证明,而非虚构的产品失败。建议性要求仍为诊断性。未显式声明的配置文件保留其现有行为:仅凭主要覆盖不会产生发布要求。

证据预览

QA Lab 证据图库使用可识别的文件后缀来选择图片、视频、JSON 或文本预览。.log 文件即使其自由形式的产物类型包含 gif 等媒体提示,也仍作为文本处理。类型提示仍可对无扩展名文件和未知后缀进行分类;完整的类型标签会被保留。

qa confidence-report 将 productImpact 和 qaImpact 注释保留在各自的 Markdown 表格单元格中,并在显示时折叠空白。JSON 摘要保留注释值,包括内部换行。

对于 JSONL 重放通道,每个转录都必须报告一个非负整数用户轮次计数,并且两个运行时的漂移条目数量与结果数量必须一致。缺失或不匹配的证据会被归类为 unknown,因此两种严格置信模式都会拒绝它。零轮次转录可以与完整重放轮次并存;没有重放用户轮次的报告仍为 unknown。

将覆盖率输出视为发现辅助工具,而不是门禁替代;所选场景仍需要正确的提供商模式、实时传输、Multipass、Testbox 或发布通道,以覆盖被测行为。有关记分卡上下文,请参阅成熟度记分卡。

角色与风格评估

对于角色和风格检查,请在多个实时模型引用上运行相同场景,并生成一份经过评判的 Markdown 报告:

pnpm openclaw qa character-eval \
  --model openai/gpt-5.6-luna,thinking=medium,fast \
  --model openai/gpt-5.2,thinking=xhigh \
  --model openai/gpt-5,thinking=xhigh \
  --model anthropic/claude-opus-4-8,thinking=high \
  --model anthropic/claude-sonnet-4-6,thinking=high \
  --model zai/glm-5.1,thinking=high \
  --model moonshot/kimi-k2.5,thinking=high \
  --model google/gemini-3.1-pro-preview,thinking=high \
  --judge-model openai/gpt-5.6-sol,thinking=xhigh,fast \
  --judge-model anthropic/claude-opus-4-8,thinking=high \
  --blind-judge-models \
  --concurrency 16 \
  --judge-concurrency 16

该命令运行本地 QA 网关子进程,而不是 Docker。角色评估场景应通过 SOUL.md 设置 persona,然后运行普通用户轮次,例如聊天、工作区帮助和小文件任务。不应告知候选模型它正在被评估。该命令会保留每个完整转录,记录基本运行统计信息,然后在支持的情况下,要求评判模型以 fast 模式和 xhigh 推理按自然度、氛围和幽默感对运行进行排名。比较提供商时使用 --blind-judge-models:评判提示仍会获得每个转录和运行状态,但候选引用会被替换为中性标签,例如 candidate-01;报告在解析后会将排名映射回真实引用。

候选运行默认使用 high thinking,GPT-5.6 Luna 使用 medium,支持该设置的旧版 OpenAI 评估引用使用 xhigh。使用 --model provider/model,thinking=<level> 可内联覆盖特定候选;内联选项还支持 fast、no-fast 和 fast=<bool>。--thinking <level> 仍会设置全局回退值,旧版 --model-thinking <provider/model=level> 形式出于兼容性保留。OpenAI 候选引用默认使用 fast 模式,以便在提供商支持时使用优先处理。仅当希望强制为每个候选模型开启 fast 模式时,才传入 --fast。候选和评判时长会记录在报告中用于基准分析,但评判提示明确说明不要按速度排名。候选模型和评判模型运行均默认并发数为 16。当提供商限制或本地网关压力使运行噪声过大时,请降低 --concurrency 或 --judge-concurrency。

当未传入候选 --model 时,角色评估默认使用 openai/gpt-5.6-luna、openai/gpt-5.2、openai/gpt-5、anthropic/claude-opus-4-8、anthropic/claude-sonnet-4-6、zai/glm-5.1、moonshot/kimi-k2.5 和 google/gemini-3.1-pro-preview。当未传入 --judge-model 时,评判模型默认为 openai/gpt-5.6-sol,thinking=xhigh,fast 和 anthropic/claude-opus-4-8,thinking=high。

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 cl/openclaw